HUMAN IN-PLACE ACTION RECOGNITION USING COMBINATION OF KINECT DATA STREAMS

Abstract

تُستخدم تقنية التعرف على حركة الإنسان في تطبيقات عدة، من أهمها: التطبيقات الطبية وتطبيقات الحاسوب التفاعلي. الجدير بالذكرأن هذا المجال البحثي تطور بشكلٍ كبير بعد تقديم مايكروسوفت لجهاز كينيكت© . حركة الإنسان يجب أن تظهر في مساحةٍ محدودة لكي يتم التعرف عليها بدقة عن طريق كينيكت. لذا فإن طريقة عمل كينيكت مناسبة للتعرف على حركة الإنسان المكانية التي لا تتطلب التحرك لمسافات طويلة. في هذا البحث، عملنا على التعرف على بعض الحركات المكانية مثل: القفز والركل. في السابق كان التعرف على حركة الإنسان يتم عن طريق تحليل لقطات الفيديو الملونة أو البُعدية. لكن هذه اللقطات تعاني من بعض الصعوبات عند استخدامها لوصف حركة الإنسان، مثل: لون الملابس في اللقطات الملونة أو تداخل أعضاء الجسم في اللقطات البُعدية. البرمجيات المُرفقة مع الإصدار الثاني من جهاز مايكروسوفت كينيكت تقدّم معلومات قيّمة، مثل: اللقطات الملونة واللقطات البُعدية ومؤشر الجسم والإحداثيات الثلاثية لبعض مفاصل الجسم. في هذه الأطروحة استخدمنا اللقطات البُعدية لتقسيم الحركة المكانية واستخدمنا مؤشر الجسم لإزالة الخلفية عن الجسم. وللتعرف على الحركة إستخرجنا من الإحداثيات الثلاثية لبعض مفاصل الجسم ثلاثة أنواع من السِمات هي: الانحراف المعياري والمسافة الإقليدية بالإضافة الى بعض المقاييس المبنيّة على تحويل المويجات المنفصلة. النتائج المخبرية أظهرت تحسناً في أداء خوارزمية التعرف بعد تطبيق سِمات مُستخرجة من الإحداثيات الثلاثية لمفاصل الجسم مقارنةً باستخدام الإحداثيات الثلاثية لمفاصل الجسم كسِمات مباشرة. أيضاً من المشاكل التي تواجه تقنية التعرف على حركة الإنسان هي الحاجة الى كمية كبيرة من بيانات الحركة. تسجيل هذه البيانات الحركية باستخدام أشخاص حقيقيين يزيد من صعوبة العملية بسبب الحاجة إلى التواصل مع الشخص بالإضافة إلى شرح تفاصيل الحركة له. كهدف إضافي لهذه الأطروحة، درسنا إمكانية تدريب خوارزمية التعرف على بيانات حركية اصطناعية ومن ثم اختبارها على بيانات حركية حقيقية لتوفير الوقت والجهد. التجارب التي قمنا بها أظهرت أن خوارزمية التعرف التي تم تدريبها على بيانات حركية اصطناعية تمكنت من التعرف على بيانات حركية حقيقية بنسبة تعرف تجاوزت ٩٠% وهو ما يدعم الهدف الثاني لهذه الأطروحة.