تعداد صفحات:81
نوع فايل:word
فهرست مطالب:
چكيده
فصل1 – مقدمه اي بر داده كاوي
تعريف داده كاوي
تاريخچه داده كاوي
چه چيزي سبب پيدايش داده كاوي شده است؟
اجزاي سيستم داده كاوي
جايگاه داده كاوي در ميان علوم مختلف
قابليت هاي داده كاوي
چرا به داده كاوي نياز داريم؟
داده كاوي چه كارهايي نميتواند انجام دهد؟
كاربردهاي داده كاوي
كاربردهاي پيش بيني كننده
كاربردهاي توصيف كننده
ابزارهاي تجاري داده كاوي
داده كاوي و انبار داده ها
تعاريف انبار داده
چهار خصوصيت اصلي انبار داده
موارد تفاوت انبار داده و پايگاه داده
داده كاوي و OLAP
OLAP
انواع OLAP
مراحل فرآيند كشف دانش از پايگاه داده ها
انبارش داده ها
انتخاب داده ها
پاكسازي، پيش پردازش و آماده سازي
تبديل داده ها
كاوش در داده ها (Data Mining)
تفسير نتيجه
فصل 2 – قوانين ارتباطي
قوانين ارتباطي
اصول پايه
شرح مشكل جدي
پيمايش فضاي جستجو
مشخص كردن درجه حمايت مجموعه اقلام
الگوريتم هاي عمومي
دسته بندي
BFS و شمارش رويدادها
BFS و دونيم سازي TID-list
DFS و شمارش رويداد
DFS و دو نيم سازي TID-list
الگوريتم Apriori
مفاهيم كليدي
پياده سازي الگوريتم Apriori
معايب Apriori و رفع آن ها
الگوريتم رشد الگوي تكرار شونده
چرا رشد الگوي تكرار سريع است؟
مقايسه دو الگوريتم Apriori و FP-growth
تحليل ارتباطات
فصل 3 – وب كاوي و متن كاوي
وب كاوي
الگوريتم هاي هيتس و لاگسام
كاوش الگوهاي پيمايش مسير
متن كاوي
كاربردهاي متن كاوي
جستجو و بازيابي
گروه بندي و طبقه بندي
خلاصه سازي
روابط ميان مفاهيم
يافتن و تحليل گرايشات
برچسب زدن نحوي (pos)
ايجاد Thesaurus و آنتولوژي به صورت اتوماتيك
فرآيند متن كاوي
روش هاي متن كاوي
مراجع
فهرست اشكال:
مراحل فرآيند كشف دانش
سير تكاملي صنعت پايگاه داده
معماري يك نمونه سيستم داده كاوي
نرخ رشد اطلاعات
كاربرد پيش بيني كننده
داده ها از انبار داده ها استخراج ميگردند
داده ها از از چند پايگاه داده استخراج ميگردند
دسته بندي الگوريتم ها
پايان الگوريتم Apriori
درخت الگوي تكرار
اندازه گيري كاركرد درجه حمايت براي پايگاه داده D1 40K
اندازه گيري Apriori با درجه حمايت/تراكنش
اندازه گيري FP-growth با درجه حمايت/تراكنش
مقداردهي اوليه الگوريتم HITS
مثالي از الگوهاي پيمايش
فرآيند متن كاوي
مثال يافتن روابط
فهرست جداول:
كاوش FP-tree با ايجاد پايگاه هاي الگو شرطي
پارامترها
نتايج براي فاكتور درجه حمايت 5%
نتايج براي D1 150K با درجه حمايت
تراكنشهاي توصيف شده توسط مجموعه اي از URLها
نمايش URLها بعنوان بردارهايي از فعاليت گروه تراكنش
يك SOM مرسوم كه توسط توصيف URLها توليد شده است
چكيده:
در دو دهه قبل توانايي هاي فني بشر براي توليد و جمع آوري داده‌ها به سرعت افزايش يافته است. عواملي نظير استفاده گسترده از باركد براي توليدات تجاري، به خدمت گرفتن كامپيوتر در كسب و كار، علوم، خدمات دولتي و پيشرفت در وسائل جمع آوري داده، از اسكن كردن متون و تصاوير تا سيستم هاي سنجش از دور ماهواره اي، در اين تغييرات نقش مهمي دارند.
به طور كلي استفاده همگاني از وب و اينترنت بعنوان يك سيستم اطلاع رساني جهاني ما را مواجه با حجم زيادي از داده و اطلاعات ميكند. اين رشد انفجاري در داده‌هاي ذخيره شده، نياز مبرم وجود تكنولوژي هاي جديد و ابزارهاي خودكاري را ايجاد كرده كه بصورت هوشمند به انسان ياري رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل كند. داده كاوي بعنوان يك راه حل براي اين مسائل مطرح ميباشد. در يك تعريف غير رسمي داده كاوي فرآيندي است، خودكار براي استخراج الگوهايي كه دانش را بازنمايي ميكنند، كه اين دانش بصورت ضمني در پايگاه داده هاي عظيم، انباره داده و ديگر مخازن بزرگ اطلاعات، ذخيره شده است.
به لحاظ اين كه در چند سال اخير مبحث داده كاوي و اكتشاف دانش موضوع بسياري از مقالات و كنفرانس ها قرار گرفته و نرم افزارهاي آن در بازار به شدت مورد توجه قرار گرفته، از اين رو در مقاله سعي بر آن شده تا گذري بر آن داشته باشيم.
در اين مقاله در فصل اول مروري بر داده كاوي خواهيم داشت. كه بطور عمده به تاريخچه، تعاريف، كاربردها و ارتباط آن با انبار داده و OLAP خواهيم پرداخت. در پايان فصل مراحل فرآيند كشف دانش از پايگاه داده ها را ذكر كرديم كه داده كاوي يكي از مراحل آن است.
در فصل 2 يكي از شيوه هاي داده كاوي كه از سبد خريد گرفته شده است توضيح داده شده است. در اين فصل به شرح قوانين ارتباطي خواهيم پرداخت كه در آن بعد از دسته بندي الگوريتم ها، الگوريتم Apriori (كه يك الگوريتم پايه در اين زمينه است) و الگوريتم FP-Growth (يك الگوريتم جديد مي باشد) را با شرح يك مثال توضيح ميدهيم و در آخر آن دو را با هم مقايسه ميكنيم.
در فصل 3 مباحث وب كاوي و متن كاوي را كه در بسياري از مراجع جزء كاربردهاي داده كاوي به حساب مي آيد شرح داده خواهد شد.
مقدمه:
امروزه با گسترش سيستم‌هاي پايگاهي و حجم بالاي داده‌هاي ذخيره شده در اين سيستم‌ها، نياز به ابزاري است تا بتوان داده‌هاي ذخيره شده را پردازش كرد و اطلاعات حاصل از اين پردازش را در اختيار كاربران قرار داد.
با استفاده از پرسشهاي ساده در SQL و ابزارهاي گوناگون گزارش‌گيري معمولي، ميتوان اطلاعاتي را در اختيار كاربران قرار داد تا بتوانند به نتيجه‌گيري در مورد داده‌ها و روابط منطقي ميان آن ها بپردازند. اما وقتي كه حجم داده‌ها بالا باشد، كاربران هرچند زبر دست و باتجربه باشند نمي‌توانند الگوها مفيد را در ميان حجم انبوه داده‌ها تشخيص دهند و يا اگر قادر به اين كار هم باشند، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است. از سوي ديگر، كاربران معمولاً فرضيه‌اي را مطرح ميكنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه ميپردازند، در حالي كه امروزه نياز به روش هايي است كه اصطلاحاً به كشف دانش بپردازند يعني با كمترين دخالت كاربر و به صورت خودكار الگوها و رابطه‌هاي منطقي را بيان نمايند.
داده كاوي يكي از مهم ترين اين روش ها است كه به الگوهاي مفيد در داده‌ها با حداقل دخالت كاربران شناخته ميشوند واطلاعاتي را در اختيار كاربران و تحليل گران قرار ميدهند تا براساس آن تصميمات مهم و حياتي در سازمان ها اتخاذ شوند.
اصطلاح داده كاوي زماني به كار برده ميشود كه با حجم بزرگي از داده‌ها، در حد مگا يا ترابايت، مواجه باشيم. در تمامي منابع داده كاوي بر اين مطلب تاكيد شده است. هرچه حجم داده‌ها بيشتر و روابط آن ها پيچيده تر باشد دسترسي به اطلاعات نهفته در ميان داده ها مشكل تر ميشود و نقش داده كاوي به عنوان يكي از روشهاي كشف دانش، روشن‌تر ميگردد.
داده كاوي به طور همزمان از چندين رشته علمي بهره ميبرد نظير: تكنولوژي پايگاه داده، هوش مصنوعي، يادگيري ماشين، شبكه‌هاي عصبي، آمار، الگو، سيستم‌هاي مبتني بر دانش، حصول دانش، بازيابي اطلاعات، محاسبات سرعت بالا و بازنمايي بصري داده.
دانلود پروژه سكته