Investigating the Accuracy of ChatGPT in Detecting EFL Writing Errors
No Thumbnail Available
Date
2025
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Saudi Digital Library
Abstract
في الآونة الأخيرة، تُشكل ثورة الذكاء الاصطناعي توجهًا رئيسيًا في جميع جوانب الحياة. أحد أحدث تقنيات الذكاء الاصطناعي شات جي بي تي وهو روبوت محادثة قادر على محاكاة المحادثات البشرية. فمنذ إطلاقه، أحدث شات جي بي تي ضجة حول العالم نظرًا لإمكانياته الهائلة التي يمكن استخدامها في مختلف المجالات ومنها التعليم وخصوصًا تعلم اللغة. وبالنظر إلى تنوع المهارات المرتبطة بعملية اكتساب اللغة، تبرز مهارة الكتابة كإحدى المهارات الشاقة التي تستوجب ممارسة مستمرة، لا سيما لدى متعلمي اللغة الإنجليزية كلغة أجنبية. ولتعزيز وتنمية هذه المهارة، فإن الملاحظات التصحيحية تُعد ضرورة مُلحة، وهي مايمكن تقديمه بسرعة وسهولة باستخدام أداة شات جي بي تي. بيد أن دقة الأداة في تحديد أخطاء الكتابة باللغة الإنجليزية كلغة أجنبية وتصحيحها لاتزال غير معروفة. لذلك تهدف هذه الدراسة لسد هذه الفجوة البحثية باستكشاف أخطاء الكتابة التي يمكن لـشات جي بي تي اكتشافها وتصحيحها وتلك التي تتجاوز قدراته. من أجل ذلك اعتمدت هذه الدراسة على تحليل المحتوى الكمي بوصفه منهجًا بحثيًا. فقد تم جمع بيانات هذه الدراسة من مصدرين لغويين: أولهما مجموعة بيانات أُعدت مسبقًا تتألف من جُمل خاطئة، وثانيهما مجموعة بيانات ضمت كتابات لمتعلمي اللغة الإنجليزية كلغة أجنبية، وقد خضعت كلتا المجموعتين لتحليل التكرار وتحديد الأنماط الوصفية. كشفت النتائج بأن شات جي بي تي حقق دقة عالية في الأداء في ست فئات، وهي: ترتيب الكلمات، صيغ المبني للمجهول، توافق الفعل مع الفاعل، الأسماء المفردة والجمع، صيغ الكلمات، وأدوات التعريف. بينما أظهر أداءً متوسطًا في خمس فئات، شملت: الجمل الشرطية، صيغ الأفعال، الأفعال المساعدة، أزمنة الأفعال، واختيار الكلمات. كما سجل أداًء منخفضًا في أربع فئات، تجلت في: المعاني غيرالواضحة، أدوات الربط، تركيب الجمل، والتعبيرات غير الاصطلاحية. تسلط النتائج الضوء على الإمكانيات الواعدة للشات جي بي تي كأداة لاستكشاف أخطاء كتابة اللغة الإنجليزية كلغة أجنبية وتصحيحها مع الأخذ بالإعتبار مراعاة قيوده.
Description
Recently, the revolution of artificial intelligence (AI) has become a top trend in almost every aspect of life. ChatGPT is a state-of-the-art AI chatbot designed to mimic human conversations. It has had a huge impact all over the world due to its ability to respond to numerous inquiries across diverse domains, including education, and in particular language learning. In the case of writing, enhancing writing abilities for English as a foreign language (EFL) learners requires frequent writing practice along with feedback, which ChatGPT can easily provide. However, ChatGPT’s accuracy in identifying and correcting EFL writing errors remains unknown. The current study fills this gap by exploring the categories of writing errors that ChatGPT can detect and correct, as well as those beyond its detection capabilities. Therefore, this study employs quantitative content analysis as its research methodology. The data for the study were obtained from two corpora: one consisting of a pre-created data set of erroneous sentences, and the other comprising EFL students’ writing. Both corpora were subjected to frequency analysis and descriptive pattern identification. The findings revealed that ChatGPT demonstrated high-performance accuracy for six categories, encompassing word order, passive voice, subject-verb agreement, singular/plural nouns, word form, and articles. Its performance was moderate for five categories covering conditional sentences, verb forms, modals, verb tense, and word choices. It showed low performance in four categories of errors, including unclear messages, connectors, sentence structure, and non-idiomatic expressions. The findings of the study shed light on the promising potential of ChatGPT as a tool for EFL writing error detection and correction, with due consideration to its limitations.
Keywords
EFL writing errors, artificial intelligence, ChatGPT, language learning, writing feedback, error detection, automated feedback, EFL writing proficiency