Arabic handwritten text recognition using structural and syntactic pattern attributes

Abstract

In this thesis, we have conducted research on off-line automatic recognition of Arabic handwritten text. Automatic recognition of Arabic handwritten text has many applications, like forms processing, postal address and zip code recognition, etc. Recognition performance of Arabic handwritten text lags far behind compared to Latin and Chinese scripts. Cursive nature of Arabic script, overlapping characters and ligatures, presence and variability of dots/diacritics, lack of benchmarking databases are among the reasons that make Arabic handwriting recognition a challenging task. Research on Arabic handwriting recognition has mainly focused on the recognition of isolated characters, numerals and words. Few works have been reported on the recognition of Arabic handwritten text. Moreover, statistical methods (like Hidden Markov Models (HMM), Neural Networks, etc.) have been more common in the reported results on Arabic handwriting recognition. Structural methods have remained largely unexplored in this regard. In addition, some recent multi–classifier based systems have tried to integrate both statistical and structural techniques. We present several novel techniques for different phases of Arabic handwriting recognition using a structural approach. We present three segmentation algorithms: segmentation of a page into lines, a line into words/sub–words and a word into characters/graphemes. In addition, we introduce polygonal approximation based representation and modeling of Arabic text. The recognition system is based on a proposed dissimilarity measure. Polygon–based modeling of text, prototype selection using set–medians, lexicon reduction using dot–descriptors etc. are some of the techniques that are applied to Arabic handwriting recognition for the first time. These techniques are applied to Arabic handwritten isolated–characters, digits, words and text recognition. Hence, this thesis addresses the lack of research in structural methods for Arabic handwriting recognition. In addition, the presented techniques may provide alternate sources of information to be utilized in multi–classifiers systems. نستعرض في ىذه الرسالة بحوثنا المتعلقة بالتعرف الآلي على خط اليد العربي. إن للتعرف الآلي على خط اليد تطبيقات متعددة كمعالجة النماذج المعبأة والتعرف على العناوين والرموز البريدية .. الخ. وقد تخلف أداء التعرف الآلي على النص العربي كثيرا عن مثيلاتو في اللغات اللاتينية والصينية ، ويعزى ىذا التخلف إلى عدة أسباب من أىمها تشابك الحروف العربية واختلاف أشكالها في الكلمة الواحدة وتداخلها في الكلمات المختلفة ووجود النقاط والتشكيل على بعض الحروف إضافة إلى عدم وجود قاعدة بيانات معيارية شاملة. إن معظم بحوث التعرف الآلي على خط اليد العربي تركزت على الحروف المنفصلة والارقام والكلمات. ولم ينشر إلا عدد قليل من الأبحاث المتعلقة بالتعرف على خط اليد العربي. وقد غلب على بحوث التع رف الآلي على الكتابة العربية استخدام ) ، والشبكات العصبية Hidden Markov Modelsالاساليب الاحصائية كنماذج ماركوف الخفية ( ) ..الخ. فظلت الأساليب البنائية غير مستكشفة إلى حد كبير. بالاضافة الى محاولة Neural Networks( استخدام النظم متعددة المصنفات والتي تدمج الاساليب الاحصائية والبنائية. xx

نستحدث في ىذه الرسالة أساليب وخوارزميات جديدة قائمة على النهج البنائي في مراحل التعرف الآلي المختلفة على خط اليد العربي حيث نعرض ثلاث خوارزميات لمرحلة التقطيع، أولها تقطيع الفقرات الى سطور والثاني تقطيع السطور الى كلمات أو كلمات فرعية والثالث يتعلق بتقطيع الكلمات الى حروف أو أجزاء من الحروف. كما طورنا نموذجا لتمثيل الكتابة العربية باستخدام المضلعات التقريبية والتي تم تصميمها باستخدام متوسطات المجموعات ، والمعجم المختصر للحروف والذي تم بناؤه بواسطة التوصيف النقطي . أما في مرحلة التعرف فقد صممنا مقياسا للتباين يتم بموجبو تحديد الحرف المتعرف عليو .وقد تم تطبيق ىذه التقنيات في التعرف على الحروف والارقام والكلمات والكتابة العربية اليدوية لاول مرة. وبالتالي فقد أسهمت ىذه الرسالة في سد النقص الحالي في استخدام الاساليب البنائية في بحوث التعرف على خط اليد العربي. بالاضافة لذلك فقد وفرت التقنيات المقترحة في ىذه الرسالة مصادر بديلة للمعلومات لاستخدامها في نظم متعددة التصنيف. وقد تم تطبيق التقنيات المقترحة على بعض قواعد البيانات المتوفرة وحصلنا على نتائج منافسة مقارنة مع افضل النتائج المنش ورة باستخدام السمات الاحصائية ، كما فاقت نتائجنا كل النتائج المنشورة للتقنيات القائمة على السمات البنائية. لقد قدمت ىذه الرسالة تقنيات لم يسبق استخدامها من قبل في مجال التعرف على خط اليد العربي تمتاز بإمكانية تطويرىا وزيادة أدائها ، إضافة إلى إثراء مجالات البحث المتعلقة بالتعرف الآلي على النص العربي.