تعیین تعداد واحدهای لایه مخفی در شبکههای عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART - هدف از پایان نامه تعیین تعداد واحدهای لایه مخفی در شبکههای عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART می باشد
دانلود پایان نامه کارشناسی ارشد رشته هوش مصنوعی
مهندسی شبکههای عصبی توسط اتوماتاهای یادگیر:
تعیین تعداد واحدهای لایه مخفی در شبکههای عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART
چکیده:
شبکههای عصبی پیسخور چند لایه و شبکههای ART از جمله شبکههایی هستند که در سالهای اخیر توجه زیادی به آنها شده است. در این پایاننامه این دو شبکه مورد بحث و بررسی قرار گرفته و الگوریتمهایی جهت بهبود عملکرد آنها ارائه میگردد. در قسمت اول این پایان نامه چند پیشنهاد برای بهبود الگوریتم بقاء که تنها روش مبتنی بر اتوماتاهای یادگیر برای تعیین ساختار مناسب برای شبکههای عصبی پسخور سه لایه میباشد ارائه میگردد. الگوریتمهای اصلاح شده بقاء بر روی مسایل متنوعی از جمله مسایل parity شش بیتی، parity شش بیتی نویزی شده، ارقام انگلیسی، ارقام انگلیسی نویزی شده، ارقام دست نویس فارسی، مساله encoding سه بیتی، مساله تقارن و مساله XOR سه بیتی آزمایش شده و نتایج آن با دو الگوریتم تعیین ساختار شبکههای عصبی پسخور به نامهای S&D و Iterative مقایسه شده است.
نتایج آزمایشها نشان میدهد که الگوریتمهای اصلاح شده بقاء در مقایسه با الگوریتم بقاء، الگوریتم S&D و الگوریتم Iterative از کارایی بالاتری برخوردار هستند و شبکههای کوچکتر با نرخ تشخیص بالاتری تولید میکنند. در قسمت دوم این پایاننامه، الگوریتمی مبتنی بر اتوماتاهای یادگیر برای تنظیم پارامتر مراقبت شبکه Fuzzy ARTMAP در کاربردهای کلاسبندی پیشنهاد میگردد. الگوریتم پیشنهادی از طریق تنظیم پارامتر مراقبت، شبکهای کوچک که دارای نرخ تشخیص بالا می باشد تولید میکند. عملکرد شبکه ARTMAP Fuzzy که در آن پارامتر مراقبت توسط اتوماتای یادگیر تنظیم میشود مستقل از مقدار اولیه پارامتر مراقبت میباشد. الگوریتم پیشنهادی بر روی مسائل دایره در مربع، مارپیچهای حلزونی و مسئله مربع در مربع آزمایش شده و نتایج بسیار مطلوبی حاصل گردیده است.
کلمات کلیدی:
تنظیم پارامتر
تعیین ساختار
اتوماتاهای یادگیر
شبکه های عصبی چند لایه
الگوریتم انتشار خطا به عقب
فهرست مطالب
1 مقدمه 1
1-1 تعیین ساختار شبکه های عصبی پیش خور 2
2 2-1 تنظیم پارامتر مراقبت در شبکه ART
3-1 اهداف پایان نامه 3
4-1 ساختار پایان نامه 3
2 روشهای پیشین تعیین پارامترها و ساختار شبکه های عصبی 6
1-2 مقدمه 6
6 2-2 روشهای مربوط به تعیین، تنظیم یا تطبیق پارامترهای الگوریتم BP
1-2-2 الگوریتم انتشار خطا به عقب 7
2-2-2 قانون دلتا-بار-دلتا 7
3-2-2 استفاده از کنترلر فازی جهت تنظیم پارامترهای شبکه 8
4-2-2 تخمین نرخ یادگیری و ممنتم بهینه 10
5-2-2 بدست آوردن نرخ یادگیری بهینه توسط مشتقات مرتبه بالاتر 13
6-2-2 روش مبتنی بر اتوماتا 16
3-2 روشهای تنظیم ساختار شبکه های عصبی پیش خور 16
17 1-3-2 روش محاسبات حساسیت 1
2-3-2 ایجاد شبکه های عصبی نورونی با هدف تعمیم بهتر 18
3-3-2 یک الگوریتم هرس برای شبکه های نورونی پیش خور 20
4-3-2 ارائه یک روش ترکیبی برای تغییر تعداد نورونهای مخفی 28
5-3-2 روش مبتنی بر اتوماتا 30
30 4-2 روشهای تنظیم پارامتر مراقبت در شبکه ART
30 1-4-2 شبکه های ART
30 Fuzzy ART 1-1-4-2
33 ART 2A 2-1-4-2
35 ART 2A کدگذاری مکمل با :ART 2A-C 3-1-4-2
36 ART 2A فواصل اقلیدسی در :ART 2A-E 4-1-4-2
37 ART 2-4-2 کنترل فازی 1
39 3-4-2 الگوریتم تطبیق فازی پارامتر مراقبت در شبکه ART
39 1-1-1-1 تحلیل پویایی های ART
1-3-4-2 رابطه مابین حوض جاذب و پارامتر مراقبت 40
40 ρ 2-3-4-2 الگوریتم تطبیق فازی برای انتخاب
5-2 خلاصه و نتیجه گیری 42
3 مروری بر اتوماتاهای یادگیر 44
1-3 مقدمه 44
2-3 تاریخچه اتوماتاهای یادگیر 44
3-3 اتوماتاهای یادگیر تصادفی 45
1-3-3 اتوماتای تصادفی 46
2-3-3 محیط 46
4-3 الگوریتمهای یادگیری 47
1-4-3 الگوریتمهای یادگیری استاندارد 47
2-4-3 الگوریتمهای یادگیر با ساختار ثابت 49
49 L 1-2-4-3 اتوماتای دو حالته 2,2
50 L 2-2-4-3 توسعه های اتوماتای 2,2
50 L2N 3-2-4-3 اتوماتای حافظه دار با دو عمل 2
52 (K 4-2-4-3 اتوماتای کرینسکی ( 1
52 (K 5-2-4-3 اتوماتای کرایلو ( 2
52 , 6-2-4-3 اتوماتای G2N
7-2-4-3 اتوماتای مهاجرت اشیاء 53
53 u 8-2-4-3 اتوماتای 3
5-3 بازیهای اتوماتا 53
6-3 خلاصه و نتیجه گیری 54
4 الگوریتمهایی مبتنی بر اتوماتاهای یادگیر برای تعیین ساختار
شبکه های عصبی چندلایه پیش خور 56
1-4 مقدمه 56
2-4 کاربردهای مورد آزمایش 57
1-2-4 پریتی 57
2-2-4 ارقام انگلیسی 57
58 XOR 3-2-4
58 Encoding 4-2-4
5-2-4 تقارن 58
6-2-4 مساله پریتی 4 بیتی نویزی شده 58
7-2-4 مساله ارقام انگلیسی نویزی شده 59
8-2-4 ارقام فارسی دست نویس 59
9-2-4 حروف چینی 59
3-4 الگوریتم بقاء نورون 59
1-3-4 تشخیص نحوه عملکرد نورون روشن 60
2-3-4 نحوه تمایز بین نورونهای خاموش 61
4-4 ارائه روشهای نو جهت بهبود عملکرد الگوریتم بقاء نورون 62
1-4-4 کاهش تاثیر نورونهای خاموش 62
2-4-4 تعمیم الگوریتم بقاء برای شبکه های با بیش از یک لایه میانی 63
3-4-4 زمان فعالیت اتوماتا 65
65 epoch 1-3-4-4 بعد از هر
2-3-4-4 بعد از بی تغییر ماندن خطا(عدم کاهش خطا) 65
4-4-4 تفاوت در نوع اتوماتا 69
آموزشی 72 EPOCH 5-4 مقایسه میزان محاسبات در یک
6-4 نتایج شبیه سازیها 74
1-6-4 مقایسه میان الگوریتمهای مبتنی بر اتوماتاهای با ساختار ثابت 74
1-1-6-4 مسئله ارقام انگلیسی و شبکه با یک لایه میانی 74
2-1-6-4 مسئله ارقام انگلیسی و شبکه با دو لایه میانی 74
3-1-6-4 مسئله ارقام انگلیسی و شبکه با سه لایه میانی 75
2-6-4 از لحاظ قدرت تعمیم 76
1-2-6-4 نتایج پیاده سازی برای اعداد فارسی 77
2-2-6-4 نتایج برای مسئله اعداد نویزی شده انگلیسی 78
3-2-6-4 نتایج برای مسئله پریتی 4 بیتی نویزی شده 80
3-6-4 از لحاظ ساختار شبکه 80
1-3-6-4 مقایسه الگوریتم در شبکه های با یک لایه میانی 81
2-3-6-4 مقایسه الگوریتم در شبکه های با دو لایه میانی 86
3-3-6-4 مقایسه الگوریتم در شبکه های با سه لایه میانی 91
4-6-4 نتایج شبیه سازیها برای مسئله حروف چینی 96
1-4-6-4 مقایسه الگوریتمها در شبکه های با یک لایه میانی 96
2-4-6-4 مقایسه الگوریتمها در شبکه های با دو لایه میانی 97
3-4-6-4 مقایسه الگوریتمها در شبکه های با سه لایه میانی 97
7-4 خلاصه و نتیجه گیری 98
5 الگوریتمی مبتنی بر اتوماتاهای یادگیر برای تنظیم پارامتر مراقبت
در شبکه FUZZY ARTMAP
1-5 مقدمه 100
2-5 کاربردهای مورد آزمایش 100
1-2-5 دایره در مربع 100
2-2-5 مارپیچهای حلزونی 101
3-2-5 مربع در مربع 101
102 FUZZY ART 3-5 شبکه
1-3-5 فرایند یادگیری 102
103 FUZZY ARTMAP 4-5 شبکه
104 Fuzzy ARTMAP 1-4-5 الگوریتم شبکه
5-5 روش پیشنهادی 106
6-5 نتایج شبیه سازی 108
1-6-5 نتایج پیاده سازی برای مسئله دایره در مربع 108
2-6-5 نتایج پیاده سازی برای مسئله مارپیچهای حلزونی 110
3-6-5 نتایج پیاده سازی برای مسئله مربع در مربع 112
7-5 خلاصه و نتیجه گیری 113
6 نتیجه گیری و پیشنهادات 115
مراجع 118
پیوست 123
123 پ 1) برنامه های مربوط به شبکه پیش خور لایه ای با الگوریتم یادگیری BP
124 BP 1) تنظیم پارامترهای برنامه های مربوط به شبکه پیش خور لایه ای با الگوریتم یادگیری BP
2) شیوه مقداردهی به الگوهای ورودی آموزشی در برنامه ها
126 پ 2) برنامه مربوط به شبکه ARTMAP
پ 3) واژه نامه 128
مشخصات فروشنده
نام و نام خانوادگی : محمد همتی
شماره تماس : 09106392022 - 09216302826
ایمیل :hemmati.eng@gmail.com
سایت :fileina.com