بهترين و سريعترين مرجع دانلود كارآموزي و پروژه و پايان نامه

تعداد صفحات:37

نوع فايل: word

فهرست مطالب:

مقدمه

تاريخچه

سير تحول داده‏ كاوي

داده، اطلاعات و دانش

جايگاه داده‏ كاوي در سازمان

داده‏ كاوي و ديگر رشته ها

آمار و داده‏ كاوي

نام هاي ديگر داده‏ كاوي

تعاريف داده‏ كاوي

دو ديدگاه در مورد داده‏ كاوي

آماده سازي و پيش پردازش داده‏ ها

ساختار يك سيستم داده‏ كاوي

معيارهاي جذابيت الگو

ارزيابي و به تصوير كشيدن الگوهاي كشف شده

انواع داده‏ كاوي

وظايف داده‏ كاوي

OLTP و OLAP

تعاريف انبار داده

چهار خصوصيت اصلي انبار داده‏ ها

موارد تفاوت پايگاه داده و انبار داده

مزايا و معايب پايگاه داده

فنون داده‏ كاوي

شبكه هاي عصبي

درخت تصميم

قواعد پيوند

نرم افزارهاي داده‏ كاوي

كاربردهاي داده‏ كاوي

محدوديت‌هاي داده‏ كاوي

مشكلات داده‏ كاوي

نمونه‌هاي اجرا شده ي داده‌كاوي

داده‏ كاوي در ايران

متن‏ كاوي

كاربردهاي متن‏ كاوي

فرآيند متن‏ كاوي

روشهاي متن‏ كاوي

وب‏ كاوي

نتيجه‏ گيري

منابع

مقدمه:

دنياي مدرن در واقع دنيايي داده‏ گرا است. ما با داده‏ هاي عددي و غيرعددي در بخشهاي صنعتي، بازرگاني، مديريتي، مالي و علمي احاطه شده‏ ايم. اين داده‏ ها بايد تحليل و پردازش شوند تا تبديل به اطلاعاتي شوند كه آگاهي بخش، آموزش دهنده و پاسخگو باشند يا به شكل ديگري به درك و تصميم‏ گيري ما كمك كنند.

در سال‏ هاي اخير رشد انفجار آميزي از روشها براي اكتشاف دانش جديد از داده‏ هاي خام به وقوع پيوسته است. در پاسخ به اين امر، رشته‏ جديدي از كاوش داده‏ ها موسوم به داده‏ كاوي بطور ويژه گسترش يافته است تا اطلاعات با ارزشي از مجموعه داده‏ هاي عظيم استخراج نمايند.

امروزه فناوري داده‏ كاوي بصورت موضوعي داغ براي تصميم‏ گيران در آمده است، زيرا اين فن، اطلاعات نهفته با ارزش تجاري و علمي را از داده‏ هاي حجيم ذخيره شده استخراج مي‏ كند. با اين وجود، ماهيت داده‏ كاوي فناوري جديدي محسوب نمي‏ شود. استخراج اطلاعات و دانش از داده‏ هاي ذخيره شده يك مفهوم كاملا ديرينه در مطالعات علمي و پزشكي مي‏ باشد. آن چه كه جديد است همگرايي و اشتراك چندين رشته و فناوري‏ هاي متناظر آن‏ ها است كه فرصت منحصر به فردي براي داده‏ كاوي به دنياي علم، تجارت و اقتصاد ايجاد كرده است. اما داده‏ كاوي يا كشف دانش و معرفت از پايگاه داده‏ ها با اين تعريف يك شاخه‏ نسبتا جديد علمي است كه از انجام تحقيقات در رشته هاي آمار، يادگيري ماشين، علوم رايانه (به ويژه پايگاه داده‏ ها) شكل گرفته است. در حالي كه مرزهاي اين رشته‏ ها در داده‏ كاوي مبهم است، ولي مي‏ توان گفت كه مهم ترين اين رشته ها آمار مي‏ باشد بطوريكه بدون آمار داده‏ كاوي مفهومي نخواهد داشت. با وجود اينكه داده‏ كاوي يك رشته‏ نسبتا جديد علمي مي‏ باشد و كاربردهاي متنوع و گسترده اي در رشته هايي مانند بازرگاني، پزشكي، مهندسي، علوم رايانه، صنعت، كنترل كيفيت، ارتباطات و كشاورزي پيدا كرده است. امروزه مرز و محدوديتي براي دانش داده‏ كاوي متصور نيست و مرز آن را از اعماق اقيانوس ها تا بيكران فضا مي‏ دانند. به عبارت ديگر كاربرد دانش داده‏ كاوي در تمامي حوزه هاي برخوردار از داده بوده و تنها محدوديت دانش داده‏ كاوي نبود داده است.

تعداد صفحات:81
نوع فايل:word
فهرست مطالب:
چكيده
فصل1 – مقدمه اي بر داده كاوي
تعريف داده كاوي
تاريخچه داده كاوي
چه چيزي سبب پيدايش داده كاوي شده است؟
اجزاي سيستم داده كاوي
جايگاه داده كاوي در ميان علوم مختلف
قابليت هاي داده كاوي
چرا به داده كاوي نياز داريم؟
داده كاوي چه كارهايي نميتواند انجام دهد؟
كاربردهاي داده كاوي
كاربردهاي پيش بيني كننده
كاربردهاي توصيف كننده
ابزارهاي تجاري داده كاوي
داده كاوي و انبار داده ها
تعاريف انبار داده
چهار خصوصيت اصلي انبار داده
موارد تفاوت انبار داده و پايگاه داده
داده كاوي و OLAP
OLAP
انواع OLAP
مراحل فرآيند كشف دانش از پايگاه داده ها
انبارش داده ها
انتخاب داده ها
پاكسازي، پيش پردازش و آماده سازي
تبديل داده ها
كاوش در داده ها (Data Mining)
تفسير نتيجه
فصل 2 – قوانين ارتباطي
قوانين ارتباطي
اصول پايه
شرح مشكل جدي
پيمايش فضاي جستجو
مشخص كردن درجه حمايت مجموعه اقلام
الگوريتم هاي عمومي
دسته بندي
BFS و شمارش رويدادها
BFS و دونيم سازي TID-list
DFS و شمارش رويداد
DFS و دو نيم سازي TID-list
الگوريتم Apriori
مفاهيم كليدي
پياده سازي الگوريتم Apriori
معايب Apriori و رفع آن ها
الگوريتم رشد الگوي تكرار شونده
چرا رشد الگوي تكرار سريع است؟
مقايسه دو الگوريتم Apriori و FP-growth
تحليل ارتباطات
فصل 3 – وب كاوي و متن كاوي
وب كاوي
الگوريتم هاي هيتس و لاگسام
كاوش الگوهاي پيمايش مسير
متن كاوي
كاربردهاي متن كاوي
جستجو و بازيابي
گروه بندي و طبقه بندي
خلاصه سازي
روابط ميان مفاهيم
يافتن و تحليل گرايشات
برچسب زدن نحوي (pos)
ايجاد Thesaurus و آنتولوژي به صورت اتوماتيك
فرآيند متن كاوي
روش هاي متن كاوي
مراجع

فهرست اشكال:
مراحل فرآيند كشف دانش
سير تكاملي صنعت پايگاه داده
معماري يك نمونه سيستم داده كاوي
نرخ رشد اطلاعات
كاربرد پيش بيني كننده
داده ها از انبار داده ها استخراج ميگردند
داده ها از از چند پايگاه داده استخراج ميگردند
دسته بندي الگوريتم ها
پايان الگوريتم Apriori
درخت الگوي تكرار
اندازه گيري كاركرد درجه حمايت براي پايگاه داده D1 40K
اندازه گيري Apriori با درجه حمايت/تراكنش
اندازه گيري FP-growth با درجه حمايت/تراكنش
مقداردهي اوليه الگوريتم HITS
مثالي از الگوهاي پيمايش
فرآيند متن كاوي
مثال يافتن روابط

فهرست جداول:
كاوش FP-tree با ايجاد پايگاه هاي الگو شرطي
پارامترها
نتايج براي فاكتور درجه حمايت 5%
نتايج براي D1 150K با درجه حمايت
تراكنشهاي توصيف شده توسط مجموعه اي از URLها
نمايش URLها بعنوان بردارهايي از فعاليت گروه تراكنش
يك SOM مرسوم كه توسط توصيف URLها توليد شده است

چكيده:
در دو دهه قبل توانايي هاي فني بشر براي توليد و جمع آوري داده‌ها به سرعت افزايش يافته است. عواملي نظير استفاده گسترده از باركد براي توليدات تجاري، به خدمت گرفتن كامپيوتر در كسب و كار، علوم، خدمات دولتي و پيشرفت در وسائل جمع آوري داده، از اسكن كردن متون و تصاوير تا سيستم هاي سنجش از دور ماهواره اي، در اين تغييرات نقش مهمي دارند.
به طور كلي استفاده همگاني از وب و اينترنت بعنوان يك سيستم اطلاع رساني جهاني ما را مواجه با حجم زيادي از داده و اطلاعات ميكند. اين رشد انفجاري در داده‌هاي ذخيره شده، نياز مبرم وجود تكنولوژي هاي جديد و ابزارهاي خودكاري را ايجاد كرده كه بصورت هوشمند به انسان ياري رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل كند. داده كاوي بعنوان يك راه حل براي اين مسائل مطرح ميباشد. در يك تعريف غير رسمي داده كاوي فرآيندي است، خودكار براي استخراج الگوهايي كه دانش را بازنمايي ميكنند، كه اين دانش بصورت ضمني در پايگاه داده هاي عظيم، انباره داده و ديگر مخازن بزرگ اطلاعات، ذخيره شده است.
به لحاظ اين كه در چند سال اخير مبحث داده كاوي و اكتشاف دانش موضوع بسياري از مقالات و كنفرانس ها قرار گرفته و نرم افزارهاي آن در بازار به شدت مورد توجه قرار گرفته، از اين رو در مقاله سعي بر آن شده تا گذري بر آن داشته باشيم.
در اين مقاله در فصل اول مروري بر داده كاوي خواهيم داشت. كه بطور عمده به تاريخچه، تعاريف، كاربردها و ارتباط آن با انبار داده و OLAP خواهيم پرداخت. در پايان فصل مراحل فرآيند كشف دانش از پايگاه داده ها را ذكر كرديم كه داده كاوي يكي از مراحل آن است.
در فصل 2 يكي از شيوه هاي داده كاوي كه از سبد خريد گرفته شده است توضيح داده شده است. در اين فصل به شرح قوانين ارتباطي خواهيم پرداخت كه در آن بعد از دسته بندي الگوريتم ها، الگوريتم Apriori (كه يك الگوريتم پايه در اين زمينه است) و الگوريتم FP-Growth (يك الگوريتم جديد مي باشد) را با شرح يك مثال توضيح ميدهيم و در آخر آن دو را با هم مقايسه ميكنيم.
در فصل 3 مباحث وب كاوي و متن كاوي را كه در بسياري از مراجع جزء كاربردهاي داده كاوي به حساب مي آيد شرح داده خواهد شد.

مقدمه:
امروزه با گسترش سيستم‌هاي پايگاهي و حجم بالاي داده‌هاي ذخيره شده در اين سيستم‌ها، نياز به ابزاري است تا بتوان داده‌هاي ذخيره شده را پردازش كرد و اطلاعات حاصل از اين پردازش را در اختيار كاربران قرار داد.
با استفاده از پرسشهاي ساده در SQL و ابزارهاي گوناگون گزارش‌گيري معمولي، ميتوان اطلاعاتي را در اختيار كاربران قرار داد تا بتوانند به نتيجه‌گيري در مورد داده‌ها و روابط منطقي ميان آن ها بپردازند. اما وقتي كه حجم داده‌ها بالا باشد، كاربران هرچند زبر دست و باتجربه باشند نمي‌توانند الگوها مفيد را در ميان حجم انبوه داده‌ها تشخيص دهند و يا اگر قادر به اين كار هم باشند، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است. از سوي ديگر، كاربران معمولاً فرضيه‌اي را مطرح مي‌كنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه ميپردازند، در حالي كه امروزه نياز به روش هايي است كه اصطلاحاً به كشف دانش بپردازند يعني با كمترين دخالت كاربر و به صورت خودكار الگوها و رابطه‌هاي منطقي را بيان نمايند.
داده كاوي يكي از مهم ترين اين روش ها است كه به الگوهاي مفيد در داده‌ها با حداقل دخالت كاربران شناخته ميشوند واطلاعاتي را در اختيار كاربران و تحليل گران قرار ميدهند تا براساس آن تصميمات مهم و حياتي در سازمان ها اتخاذ شوند.
اصطلاح داده كاوي زماني به كار برده ميشود كه با حجم بزرگي از داده‌ها، در حد مگا يا ترابايت، مواجه باشيم. در تمامي منابع داده كاوي بر اين مطلب تاكيد شده است. هرچه حجم داده‌ها بيشتر و روابط آن ها پيچيده تر باشد دسترسي به اطلاعات نهفته در ميان داده ها مشكل تر ميشود و نقش داده كاوي به عنوان يكي از روشهاي كشف دانش، روشن‌تر ميگردد.
داده كاوي به طور همزمان از چندين رشته علمي بهره ميبرد نظير: تكنولوژي پايگاه داده، هوش مصنوعي، يادگيري ماشين، شبكه‌هاي عصبي، آمار، الگو، سيستم‌هاي مبتني بر دانش، حصول دانش، بازيابي اطلاعات، محاسبات سرعت بالا و بازنمايي بصري داده.