بلوک دیاگرام موجود در شکل ۴‑۳، یک آزمون انطباقی مبتنی بر شبکه عصبی را نشان میدهد که دارای دو ماژول میباشد. در ماژول اول سطح مهارت آزموندهنده با بهره گرفتن از یک شبکه عصبی تخمین زده می شود. این تخمین به ماژول دوم تزریق می شود که وظیفه انتخاب آموزندهترین سوال با توجه به تخمین فعلی را دارد که آن را به آزمون دهنده ارائه می کند.
شکل ۴‑۳: بلوک دیاگرام آزمون انطباقی مبتنی بر شبکه عصبی.
در زمانی که آموزش تمام شود، از شبکه عصبی میتوان برای پیش بینی خروجی مطلوب برای الگوی ورودی مفروض استفاده کرد. گونه های مختلفی از مدلهای شبکه عصبی وجود دارند. در این بخش، روی سه مدل شامل، شبکه عصبی هرس جامع، پرسپترون چند لایه (MLP) و تابع پایه شعاعی(RBF) تمرکز خواهد شد. آزمایشهایی انجام شدند که عملکرد شبکه های عصبی گوناگونی را نشان می دهند. دستههای داده استفاده شده و دیگر اجراهای آزمایشی در ادامه این بخش شرح داده خواهند شد؛ شبکه های عصبی که در این روش پیشنهادی استفاده شدند بطور خلاصه در ادامه توضیح داده شده اند.
شبکه عصبی پرسپترون ساده
فرانک روزن بلات ، با اتصال این نرونها به طریقی ساده پرسپترون را ایجاد و ابداع کرد ، و برای نخستین بار این مدل را در کامپیوترهای دیجیتال شبیهسازی و آنها را به طور رسمی تحلیل نمود [۲۵].
شبکه عصبی پرسپترون چند لایه ) MLP (
در بسیاری از مسائل پیچیده ریاضی که به حل معادلات بغرنج غیر خطی منجر میشود ، یک شبکه پرسپترون چند لایه میتواند به سادگی با تعریف اوزان و توابع مناسب مورد استفاده قرارگیرد. توابع با فعالیت مختلفی به فراخور اسلوب مسئله در نرون ها مورد استفاده قرار میگیرد . در این نوع شبکهها از یک لایه ورودی جهت اعمال ورودیهای مسئله یک لایه پنهان و یک لایه خروجی که نهایتاً پاسخهای مسئله را ارائه مینمایند ، استفاده میشود. گرههایی که در لایه ورودی هستند ، نرونهای حسی و گرههای لایه خروجی، نرونهای پاسخ دهنده هستند. در لایه پنهان نیز ، نرونهای پنهان وجود دارند [۲۷]. این شبکه بر مبنای الگوریتم پس از انتشار خطا آموزش میبیند. بدین ترتیب که خروجی های واقعی با خروجیهای دلخواه مقایسه میشوند و وزن ها به وسیله الگوریتم پس از انتشار، به صورت تحت نظارت تنظیم میگردند تا الگوی مناسب بوجود آید [۲۸] (شکل ۴‑۴).
شکل ۴‑۴: ساختار پرسپترون چندلایه با نرونهای پنهان tansig و نرونهای خروجی با تابع خطی [۲۹].
در شکل ۴‑۴، p، بردار ورودی و IW1,1 به معنی ماتریس وزنهای ورودی از مبدا لایه ۱ (عدد دوم) به مقصد لایه ۱ (عدد اول) میباشد علاوه بر آن S1 نماینده تعداد نرونهای لایه اول و n1 نماینده تعداد خروجیهای لایه اول میباشد.
شبکههای پرسپترون چند لایه میتوانند با هر تعداد لایه ساخته و به کار گرفته شوند ، ولی قضیهای که در اینجا بدون اثبات پذیرفته می شود بیان میکند که یک شبکه پرسپترون سه لایه قادر است هر نوع فضایی را تفکیک کند. این قضیه که قضیه کولموگوروف[۴۹] نامیده میشود ، بیانگر مفهوم بسیار مهمی است که میتوان در ساخت شبکههای عصبی از آن استفاده کرد [۲۵].
مزیت اصلی استفاده از MLP این است که ساده و قابل استفاده است و اینکه می تواند هر نگاشت ورودی/ خروجی را تخمین بزند. با این حال، به کندی آموزش میبیند و نیازمند داده های زیادی برای آموزش است. از این رو، در اندازه گیری کارایی MLP، زمان و فضا جزو مسائل کلیدی مطرح می شود. برای شبکه عصبی feed-forward سه لایه ای، نگاشت الگوی پاسخ ورودی به سطح مهارت آزموندهنده در دو مرحله صورت میگیرد. ابتدا خروجی هر PE از الگوی ورودی، در لایه های پنهان محاسبه می شود و سپس برای محاسبه خروجی واقعی مورد استفاده قرار میگیرد. هر PE یک ترکیب خطی از ورودیهای خود را محاسبه می کند که این ورودی، ورودی شبکه نامیده می شود. سپس یک تابع فعالسازی غیرخطی (مثلا sigmoid) به شبکه اعمال می شود تا خروجی را تولید کند. بنابراین خروجی یک واحد پردازش i در معادله ۴‑۴ به دست می آید. که در آن f() یک تابع فعالسازی غیرخطی ، wik وزن اتصال سیناپس واحد k به واحد i است. m تعداد ورودی ها به واحد i و Ø تمایل (bias) واحد i را نشان میدهد.
معادله ۴‑۴ |
شبکه با تابع پایه شعاعی (RBF)
شبکه های RBF برای آموزش، نیاز به تعداد نورون های زیادی دارند. عملکرد این شبکه ها نیز در صورت استفاده از تعداد بردارهای آموزشی زیاد، به بهترین وجه انجام می شود. در این شبکه ها بر خلاف شیوه رایج در شبکه های دیگر، به تمام فضای ورودی به طور یکسان پاسخ داده نمی شود. در اینجا ابتدا مرکز فضای ورودی محاسبه شده و سپس به ورودیهایی که به اندازه کافی به این مرکز نزدیک باشند، پاسخ داده می شود. در نتیجه این شبکه ها به ورودی ها به صورت محلی پاسخ می دهند [۳۰, ۳۱]. شبکه های RBF دارای دو لایه هستند که لایه اول آنها از نوع پایه شعاعی بوده و لایه خروجی آنها نیز از نوع خطی است (شکل ۴‑۵). فرایند آموزش نیز در اینجا توسط روشهای یادگیری رقابتی یا روش خوشه ابزاری k[50] انجام میگیرد. پارامترهای شبکه در اینجا شامل دو پارامتر «عدد گسترش» و «عدد هدف» است. با تغییر این پارامترها، میتوان عملکرد شبکه را بهبود بخشید.
شبکه تابع پایه شعاعی RBF به عنوان یک شبکه مرکب، یک جایگزین قوی برای MLP، برای تخمین تابع و طبقه بندی فراهم می کند. در این پایان نامه، RBF شامل دو مرحله است. در مرحله اول، RBF از یادگیری نظارت نشده برای انجام یک نگاشت غیرخطی از یک فضای ورودی به یک فضایی با ابعاد بیشتر که در آن الگوی مورد نظر به صورت خطی قابل جداسازی باشد.
مرحله اول RBF از یادگیری بدون نظارت استفاده می کند و دارای یک لایه پنهان با توابع فعالسازی گاوسی میباشد. شبکه RBF آشکارسازهای ویژگی را در لایه پنهان جای میدهد که از یک تابع پایهای مشخص برای شناسایی و پاسخ به بخشهای موضعی از فضای بردار ورودی استفاده می کند. تابع فعالسازی گاوسی پاسخی میدهد که به صورت مکرر همزمان با افزایش فاصله بین واحد پنهان و بردار ورودی صورت میگیرد و در مورد محور شعاعی، متقارن است.
مرحله دوم از شبکه RBF از یادگیری نظارت شده استفاده می کند تا لایه پرسپترون تک لایه با توابع فعالسازی خطی را تمرین دهد. یک مساله در مورد طراحی شبکه عصبی RBF این است که تعداد خوشه ها باید به درستی انتخاب شده باشد به طوریکه کل فضای ورودی با کمترین همپوشانی، پوشش داده شود. این تصمیمات معمولاً به صورت تجربی است، و از طریق روشهای آموزشی اتوماتیک به دست نمیآیند. اگر داده ها به خوبی خوشهبندی شده باشند، در این صورت مراکز خوشه کمتری مورد نیاز خواهد بود. از سوی دیگر، اگر داده ها پراکنده باشند، مراکز بسیاری برای کارایی بهتر نیاز خواهد بود. برای مجموعه داده های کوچکتر، RBF معمولاً سریعتر از MLP معمولی آموزش میبیند و در مینیمومهای محلی به دام نمیافتد. در طول آموزش، مرحله اول پارامترهای گاوسی را از بین یادگیری نظارت نشده، یاد بگیرد، در حالی که در مرحله دوم وزن سیناپسها از طریق یادگیری نظارت شده محاسبه خواهند شد.
شکل ۴‑۵: ساختار شبکه های تابع با پایه شعاعی [۲۹].
شبکه عصبی هرس جامع
شبکه هرس جامع یک مورد خاص از روش هرس، با دو لایه پنهان و روش شعاعی تابع پایه شبکه (RBFN) میباشد. هرس کردن شبکه عصبی بسیار اثر مفیدی روی کارکرد شبکه می گذارد و هر چه تعداد وزنها در شبکه کم شود مجهولات نیز کمتر خواهد شد و شبکه سریعتر و بهتر عمل خواهد کرد و این راندمان شبکه را بسیار تحت تاثیر قرار می دهد. این شبکه با روش هرس مرتبط است و مدل را با یک شبکه بزرگ شروع می کند و ضعیفترین واحد در لایه پنهان را هرس می کند، ورودی به عنوان محصول آموزش است. با هرس جامع، پارامترهای آموزش شبکه برای اطمینان از جستجوی بسیار کامل از فضای مدل ممکن، برای پیدا کردن یکی از بهترین ها انتخاب شده اند. این روش معمولاً کمتر مورد استفاده قرار میگیرد، اما اغلب منجر به بهترین نتایج می شود.
نتیجه گیری
در این فصل مشکلات روشهای قبل از جمله ثابت بودن طول آزمون، بدست آوردن اطلاعات کم از آزمون و استفاده از روشهای تکرار شونده که از دقت و سرعت خوبی جهت تخمین سطح آزموندهنده برخوردار نبودند، ذکر کرد. سپس گامهای الگوریتم آزمون انطباقی کامپیوتری پیشنهادی مطرح شد، در روش پیشنهادی انتخاب و پرسش سوال بعد از آزموندهنده با بهره گرفتن از شبکه بیزین پیشنهادی انجام شده است، همچنین محاسبه سطح آزموندهنده توسط شبکه عصبی انجام می شود. شبکه های عصبی که در این پایان نامه مورد استفاده قرار گرفتهاند و در مورد هر کدام صحبت شد عبارتند از شبکه عصبی پرسپترون چند لایه، شبکه عصبی تابع پایه شعاعی و شبکه عصبی هرس جامع میباشند.
فصل پنجم : پیادهسازی
مقدمه
در فصل قبل روش پیشنهادی مورد بحث و بررسی قرار گرفت و الگوریتم آزمون انطباقی کامپیوتری پیشنهاد داده شد. در این الگوریتم، سوالات با بهره گرفتن از شبکه بیزین مدلسازی شد و به پارامترهای مدل نظریه سوال پاسخ، ویژگیهای موضوع، مبحث و مفهوم افزوده شد تا انتخاب سوال و استتناج نتیجه آزمون را بهبود ببخشد. در قسمت محاسبه سطح آزموندهنده، استفاده از شبکه های عصبی پیشنهاد شد. چند شبکه عصبی با مجموعه داده های مختلف که یک مجموعه بدون استفاده از روش پیشنهادی مدلسازی سوال با شبکه بیزین و دیگری با روش پیشنهادی آزمایش شده اند. در ادامه ابتدا در مورد مجموعه داده ها و سپس در مورد آزمایشات انجام شده صحبت خواهد شد.
مجموعه داده
تعدادی آزمایش بر روی دو مجموعه داده به نامهای A و B انجام شده است، مجموعه A شامل بانک سوال دارای ۵۰۰ سوال با پارامترهای مختلف برای ۵۰۰ آزموندهنده که داده های آن بر اساس روش نمرهگذاری پسین مورد انتظارآماده شده است. مجموعه B شامل بانک سوال دارای ۵۰۰ سوال با پارامترهای مختلف برای ۵۰۰ آزموندهنده که داده های آن بر اساس روش پیشنهادی مدلسازی سوال با شبکه بیزین آماده شده است.
آزمایشات و نتایج
سه آزمایش برای دو مجموعه A و B در نظر گرفته شده که با بهره گرفتن از ۷۵% مجموعه داده آموزش و ۲۵% مجموعه داده ارزیابی، توسط نرمافزارSPSS Modeler ورژن ۱۲ و ورژن ۱۴ شرکت IBM انجام شده است. سیستم مورد استفاده در این پیادهسازی دارای پردازنده Core i5 3.3GHz و حافظه ۴ گیگابایت میباشد. آزمایش اول با بهره گرفتن از شبکه های عصبی و ساخت شبکه بر اساس روش هرس جامع ، آزمایش دوم با بهره گرفتن از شبکه عصبی پرسپترون چند لایه (MLP) ، آزمایش سوم با بهره گرفتن از شبکه عصبی تابع پایه شعاعی (RBF) انجام خواهد شد. این روشها در فصل قبل توضیح داده شده اند.
آزمایش اول
ابتدا مجموعه A و B را با ۷۰ درصد از داده ها آموزش داده شده است. مدل مورد نظر با بهره گرفتن از شبکه های عصبی و ساخت شبکه بر اساس روش هرس جامع انجام شده است. این روش به روش هرس مرتبط است و مدل را با یک شبکه بزرگ شروع می کند و ضعیفترین واحد در لایه پنهان را هرس می کند، ورودی به عنوان محصول آموزش است. با هرس جامع ، پارامترهای آموزش شبکه برای اطمینان از جستجوی بسیار کامل از فضای مدل ممکن، برای پیدا کردن یکی از بهترین ها انتخاب شده اند. این روش معمولاً کمتر مورد استفاده قرار میگیرد، اما اغلب منجر به بهترین نتایج می شود. توجه داشته باشید که این روش می تواند مدت زمان طولانی برای آموزش، به خصوص با مجموعه داده های بزرگ داشته باشد، به طور مثال در این پایان نامه، آموزش این مدل با ۲۵۰۰۰ رکورد، حدود ۶ ساعت به طول انجامید.
خلاصهای از وضعیت آموزش مدل برای مجموعه A که شامل بانک سوال دارای ۵۰۰ سوال با پارامترهای مختلف برای ۵۰۰ آزموندهنده با دادههایی که بر اساس روش نمرهگذاری پسین مورد انتظارآماده شده است، در ادامه شرح داده شده است.
هدف : سطح آزموندهنده (θ)
ورودی ها : پاسخ سوال ( ۰ نادرست، ۱ درست)، آلفا ( پارامتر تبعیض) ، بتا (پارامتر دشواری سوال) ، گاما (پارامتر حدس زدن سوال) ، سطح آزموندهنده قبل از پاسخ به سوال.
همانطور که در جدول ۵‑۱ مشاهده میکنید دقت تخمین زده شده شبکه عصبی بر روی مجموعه A، ۹۹.۹۱۲ است و تعداد نرونها در لایه ورودی ۵ نرون و تعداد نرونها در لایه پنهان اول ۲۴ نرون و در لایه پنهان دوم ۱۲ نرون میباشد. که این تعداد با بهره گرفتن از سعی و خطا بدست آمده است و نرون لایه خروجی سطح آزموندهنده میباشد. نتایج بدست آمده از اعمال مدل بر روی داده های تست برای مجموعه A در جدول ۵‑۲ نشان داده شده است.
جدول ۵‑۱ : مشخصات شبکه عصبی آزمایش اول بر روی مجموعه A.
دقت تخمین زده شده | ۹۹.۹۱۲ |