New Algorithms for Deep Learning Machines

Abstract

تهدف هذه الرسالة إلى تحقيق هدفين وهما: أولا تبيين مفصل للمف اهيم الأساسية للشبكات العصبية الصناعية وآلات التعلم السريعة. ثانيا، بناءا على هذه المف اهيم المقدمة يتم تصميم ثلاثة خوارزميات جديدة للتعلم العميق. تستخدم الخوارزمية الأول بتقنية ا لمربعات الصغرى لمعرفة ا لأنماط المكانية والزمانية. وكتطبيق لهذه الخوار زمية، تتم معالجة مشاكل مثل تنبؤ قيم أسهم الأوراق المالية، وسرعة الرياح، وتعلم أنماط الفوضى. وتعتمد هذه الخوارزمية على المعلومات المتمثلة في ا لخطوات السابقة لتحسين وظيفة قرارها. وتم اقتراح نسختين من هذه ا لخوارزميات وهما آلات التعلم السريعة ذات طبقة خفية متكررة (recurrent-hidden ELM) ، وآلات التعلم السريعة ذات مخرجات متكررة (recurrent-output ELM). وقد أظهرت محاكاة المق ارنة أنه، في المتوسط، تتفوق ا لخوارزمية المقترحة ا لأولى بنسختيها على آ لات ا لتعلم ا لسريعة ا لتق ليدية في حالة ستة مجموعات بيانات مستخدمة. أما الخوارزمية المقترحة الثانية والمعروفة باسم آ لات التعلم السريعة للتشفير الذاتي (ELM-AE) وهي طريقة استخراج الميزات على أساس المربعات الأق ل. وبما أنها لا يستخدم تقنية النشر العكسي (backpropagation)لتدريب الأوزان هي سريعة للغاية بخلاف النشر العكسي التي تعاني من بطؤ التعلم. وبذلك تتمكن هذه الخوارزمية من استخراج ا لسمات الهيكلية الخفية عبر بيانات الإدخال. علاوة على ذلك، يمكن استخدامها لتدريب شبكا تعصبية كبيرة الأحجام والمتكونة منطبقتين خفيتين أ و أ كثر. ومن خلال محاكاة التعرف على الحروف، تبين تشابه المي زات المستخرجة عبر خوارزميتي آلات ا لتعلم السريعة للتشفير الذاتي وآلات التشفير الذاتي الق ليلة التواصل ) sparse autoencoders ) على ا لرغم من أ ن سرعة تدريب آ لات ا لتعلم السريعة للتشفير الذاتي هو أ قل بكثير. كما أظهرت ا لدراسة أيضا أ ن الشبكات ا لعصبية كبيرة الأحجام المدربة باستخدام آلات ا لتعلم السريعة للتشفير الذاتي تتسم بدقة مشابهة للشبكات المدربة عبر شبكات الإيمان العميق (deep belief networks) وتقنية النشر ا لعكسي حتى عندما يستخدم نفس العدد من الطبق ات الخفية. وفيما يخص الخوارزمية المقترحة الثالثة والمعروفة باسم آ لات التعلم السريعة للتشفير الذاتي باعتماد التلافيف (ELM-based convolutional utoencoders) والتي تستخدم المربعات الصغرى لتدريب طبقة التلافيف لإعادة بناء ا لصور ا لمدخلة. وبهذا يمكن بناء شبكات عصبية كبيرة الأحجام باعتماد من الطبق ات الخفية. وفيما يخص الخوارزمية المقترحة الثالثة والمعروفة باسم آ لات التعلم السريعة للتشفير والتي تستخدم المربعات (ELM-based convolutional autoencoders) الذاتي باعتماد التلافيف الصغرى لتدريب طبقة التلافيف لإعادة بناء ا لصور ا لمدخلة. وبهذا يمكن بناء شبكات عصبية كبيرة الأحجام باعتماد والتي يمكن تدريبها بسرعة أق ل من تقنية النشر العكسي convolutional neural networks) التلافيف والتي قد تتطلب أسابيع لتدريب الشبكات. وقد أظهرت نتائج المحاكاة أن ا لشبكات العصبية ا لكبيرة الأحجام باعتماد التلافيف والمدربة باستخدام آلات التعلم السريعة للتشفير الذاتي باعتماد التلافيف تحقق نتائج تنافسية ومتجاوزة وآلات التعلم السريعة التق ليدية. و أ خيرا، (support vector machines) بشكل كبير لأداء الات شعاع الدعم تهدف المساهمات لمنجزة في هذه الرسالة إلى بدء ا تجاه جديد لخوارزميات التعلم العميقة والتي تتميز بسرعة التعلم والكف اءة في آن واحد.