مفاهیم و کاربرد های داده کاوی پروژه دوره کارشناسی

چکیده:
امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ،
نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کردواطلاعات حاصل از این پردازش
را در اختیار کاربران قرار داد .
و ابزارهای گوناگون گزارش گیری معمولی ، می توان SQL با استفاده از پرسش های ساده در
اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی
میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند
نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم
با شند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است .
از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده
شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به
کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های
منطقی را بیان نمایند .
داده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل
دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا
براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند .
در داده کاوی از بخشی از علم آمار به نام تحلیل اکتشافی داده ها استفاده می شود که در آن بر
کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکید می شود . علاوه بر این داده
کاوی با هوش مصنوعی و یادگیری ماشین نیز ارتباط تنگاتنگی دارد ، بنابراین می توان گفت در
5
داده کاوی تئوریهای پایگاه داده ها ، هوش مصنوعی ، یادگیری ماشین و علم آمار را در هم می
آمیزند تا زمینه کاربردی فراهم شود .
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها ،
در حد مگا یا ترابایت ، مواجه باشیم . در تمامی منابع داده کاوی بر این مطلب تاکید شده است .
هر چه حجم داده ها بیشتر و روابط میان آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان
داده ها مشکلتر می شود و نقش داده کاوی به عنوان یکی از روشهای کشف دانش ، روشن تر می
گردد .
6
فهرست مطالب
مفاهیم و کاربرد های داده کاوی .......................................................................................................
مفاهیم و کاربرد های داده کاوی .......................................................................................................
چکیده: ........................................................................................................................................... 4
مقدمه: . .......................................................................................................................................... 11
فصل اول – مفاهیم داده کاوی . ..................................................................................................... 14
مدیریت ذخیره سازی و دستیابی اطلاعات ............................................................................... 14
ساختار بانک اطلاعاتی سازمان: ................................................................................................ 15
16................................................................................................ (Data Mining) : داده کاوی
مفاهیم پایه در داده کاوی ......................................................................................................... 18
تعریف داده کاوی .................................................................................................................... 18
تاریخچه داده کاوی .................................................................................................................. 19
مراحل فرایند کشف دانش از پایگاه داده ها . ............................................................................. 21
انبارش داده ها . ......................................................................................................................... 22
انتخاب داده ها ......................................................................................................................... 22
تبدیل داده ها............................................................................................................................ 23
کاوش در داده ها . ..................................................................................................................... 23
تفسیر نتیجه .............................................................................................................................. 24
عملیاتهای داده کاوی . ............................................................................................................... 24
7
مدلسازی پیشگویی کننده ......................................................................................................... 25
تقطیع پایگاه داده ها ................................................................................................................. 26
تحلیل پیوند ............................................................................................................................. 26
تشخیص انحراف ..................................................................................................................... 27
الگوریتم های داده کاوی .......................................................................................................... 27
شبکه های عصبی ..................................................................................................................... 28
درخت های انتخاب ................................................................................................................. 29
استنتاج قانون . ........................................................................................................................... 30
الگوریتمهای ژنتیک .................................................................................................................. 31
مدل فرآیند دو سویه ................................................................................................................ 31
تعریف مساله . ........................................................................................................................... 32
ساختن یک پایگاه داده داده کاوی ............................................................................................ 33
جستجوی داده . ......................................................................................................................... 34
آماده سازی داده برای مدل سازی . ............................................................................................ 35
ساختن مدل داده کاوی ............................................................................................................ 35
تائید اعتبار ساده ....................................................................................................................... 36
ارزیابی و تفسیر؛ تایید اعتبار مدل ............................................................................................ 36
ایجاد معماری مدل و نتایج . ...................................................................................................... 36
سابقه داده کاوی ....................................................................................................................... 38
مفهوم داده کاوی ...................................................................................................................... 40
8
نرمافزارهای دادهکاوی .............................................................................................................. 42
درک قلمرو .............................................................................................................................. 44
استفاده از نتایج . ........................................................................................................................ 44
اکتشاف : .................................................................................................................................. 46
مدل پیش بینی : ....................................................................................................................... 46
تحلیلهای دادگاهی : ................................................................................................................. 46
52...................................................... DM Commercial Tools ابزارهای تجاری داده کاوی
منابع اطلاعاتی مورد استفاده ..................................................................................................... 53
انبار داده ................................................................................................................................... 54
پیشرفت در تکنولوژیهای داده پردازی ...................................................................................... 54
دیتا مارت ................................................................................................................................. 55
انبار داده ها .............................................................................................................................. 56
عناصر داده کاوی ..................................................................................................................... 58
فنون داده کاوی ........................................................................................................................ 59
ابزارهای پرس و جو: ............................................................................................................... 60
فنون آماری:.............................................................................................................................. 60
مصور سازی: . ........................................................................................................................... 60
پردازش تحلیلی پیوسته: ........................................................................................................... 61
یادگیری مبتنی بر مورد: ............................................................................................................ 61
درختان تصمیم گیری: .............................................................................................................. 61
9
قوانین وابستگی: ....................................................................................................................... 61
شبکه های عصبی : . .................................................................................................................. 62
الگوریتم ژنتیکی: ...................................................................................................................... 62
محدودیت های داده کاوی ....................................................................................................... 64
حفاظت از حریم شخصی در سیستمهای دادهکاوی ................................................................. 64
فصل دوم : کاربردهای داده کاوی ................................................................................................. 67
کاربرد داده کاوی در کسب و کار هوشمند بانک ...................................................................... 68
داده کاوی درمدیریت ارتباط بامشتری . ..................................................................................... 69
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی ................................................. 71
کاربردهای داده کاوی در کتابخانه ها . ....................................................................................... 71
داده کاوی و مدیریت موسسات دانشگاهی . .............................................................................. 73
کاربردهای داده کاوی در موسسات دانشگاهی ......................................................................... 73
داده کاوی و مدیریت بهینه وب سایت ها ................................................................................ 74
دادهکاوی و مدیریت دانش ....................................................................................................... 75
کاربرد دادهکاوی در آموزش عالی ............................................................................................ 76
فصل سوم – بررسی موردی 1: وب کاوی .................................................................................... 78
معماری وب کاوی ................................................................................................................... 78
مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان . .......................................... 84
محتوا کاوی وب ...................................................................................................................... 85
فصل چهارم – بررسی موردی 2 : داده کاوی در شهر الکترونیک ................................................. 87
10
زمینه دادهکاوی در شهر الکترونیک ......................................................................................... 90
کاربردهای دادهکاوی در شهر الکترونیک ................................................................................ 91
کشف علایق و انگیزههای شهروندان و تولید سرویسهای شخصیسازی . .................................. 92
تجدید ساختار سایت وب شهر و افزایش کارایی سیستم ......................................................... 93
تقویت برنامهریزیهای دولت و ترویج نوآوری.......................................................................... 95
بهبود تحلیلها و تصمیمات دولت ............................................................................................. 96
چالشهای دادهکاوی در شهر الکترونیک . .................................................................................. 96
کیفیت دادهها ........................................................................................................................... 97
قابلیت انتقال دادهها و استفاده از اطلاعات ............................................................................... 97
چالش برآورد مدلهای دادهکاوی . ............................................................................................. 98
دقت نتایج متدهای دادهکاوی ............................................................................................... 100
پیچیدگی و هزینه زمانی ........................................................................................................ 102
محرمانگی دادهها .................................................................................................................. 102
نتیجه گیری . ............................................................................................................................... 104
مراجع و ماخذ فارسی . ............................................................................................................... 106
مراجع و ماخذ لاتین و سایتهای اینترنتی . ................................................................................... 107
11
مقدمه:
با گسترش فناوری اطلاعات و ارتباطات 1 درجهان و ورود سریع آن به زندگی روزمره مردم مسائل
و ضرورتهای تازهای بهوجودآمدهاست. امروزه انسان توسعه یافته کسی است که به اطلاعات
دسترسی داشتهباشد و دسترسی به اطلاعات نه یک ضرورت،که یک قدرت محسوبمیشود.
دراینمیان شهرها به عنوان مراکز قدرت انسانی و تمدنهای بشری بیش از پیش اهمیتیافتهاند. به
اعتقاد الوین تافلر، مردم کره زمین تا به امروز سه موج اساسی تحول راپشت سرگذاشته اند :
موج اول، موج انقلاب کشاوزی است که زمان آغاز آن برکسی مشخص نیست.
موج دوم، انقلاب صنعتی است که به دنبال اختراع ماشین بخار در سال 1764 آغاز شد.
موج سوم یا انقلاب انفورماتیک است که ازسال 1946 که بشر به ساخت کامپیوتر نائل آمده آغاز
گشتهاست.
اگر در موج دوم سختافزارها به کمک انسانها میآمدند، درموج سوم این نرمافزارها هستند که به
خدمت بشر میشتابند و تفکرات و تصورات آدمی را به شکل کدهای صفر و یک و با کمک امواج
ماهوارهای مبادله میکنند.
در موج سوم، انسان هر روز که بیشتر یاد میگیرد، بیشترمی فهمدکه با حقیقت فاصله دارد. موج
سوم راموج خردورزی نیز لقب داده اند زیرا در این عرصهها، انسانها دیگر فرصت ندارند زیاد با
هم صحبتکنند، همه چیز تعریف شده و برای هر تعریف، یک کد درنظرگرفته شده است.
از سوی دیگر در دنیای به شدت رقابتی امروز، اطلاعات بعنوان یکی از فاکتورهای تولیدی مهم
پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از داده ها توجه بسیاری از افراد دخیل
1 Information and Communication Technology(ICT)
12
در

طراحی پایگاه داده ها( Database Design ) 



طراحی پایگاه داده ها( Database Design ) 



کتاب آموزش پایگاه داده اوراکل

پایگاه داده یا دادگان به مجموعه ای از اطلاعات با ساختار منظم و سازمامند گفته می شود این پایگاه های اطلاعاتی معمولا در قالبی که برای دستگاه ها و رایانه ها قابل خواندن و دسترسی باشند ذخیره می شوند البته چنین شیوه دخیره اطلاعات تنها شیوه موجود نیست و روش های دیگری هم مانند ذخیره سازی ساده در پرونده ها نیز استفاده می گردد . مسئله ای که ذخیره سازی دادگان در موثر می سازد وجود یک ساختار مفهومی است برای ذخیره سازی روابط بین داده هاپایگاه داده در اصل مجموعه ای سازمان یافته از اطلاعات است این واژه از دانش رایانه سرچشمه می گیرد اما کاربرد وسیع و عمومی دارد . پایگاه داده مجموعه رکوردهای ذخیره شده در کامپیوتر که با یک روش سیستماتیک مانند برنامه کامپیوتری می تواند به سوالات شما پاسخ دهد.و منظور از مدیر سیستم پایگاه داده یعنی برنامه ای رایانه ای که برای مدیریت و سوال و جواب بین پایگاه داده استفاده می شود و نام اختصاری آن (DBMS) است که براساس مدلهایی که استفاده می کنند تقسیم می شوند مانند مدل ارتباطی ، شبکه ای ، شی گرا ، که در مورد هر یک از آنها به صورت مختصر در کتاب توضیح داده شده است.

داده کاوی در مدیریت ارتباط با مشتری

 امروزه با گسترش سیستم های پایگاهی و حجم بالای داده های ذخیره شده در این سیستم ها نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.
با استفاده از پرسش های ساده در SQL و ابزارهای گوناگون گزارش گیری معمولی ، می توان اطلاعاتی را در اختیار کاربران قرار داد.
هومن حری(دانشجوی مهندسی فناوری اطلاعات)

کتاب اصول ساختمان داده ها مهندس حسین ابراهیم زاده به زبان فارسی

نام نویسنده: سیمور لیپ شوتز
فرمت کتاب: PDF
تعداد صفحات: 514 صفحه
حجم فایل: 12.2 مگابایت