وجد الباحثون أن الطلاب كانوا أفضل حالًا في اختبارات المحاسبة من ChatGPT ، منتج روبوتات الدردشة OpenAI.
على الرغم من ذلك ، قالوا إن أداء ChatGPT كان “مثيرًا للإعجاب” وأنه كان “مغيرًا للعبة سيغير الطريقة التي يعلم بها الجميع ويتعلمون – للأفضل.” أراد الباحثون من جامعة بريغهام يونغ (BYU) ، والولايات المتحدة ، و 186 جامعة أخرى أن يعرفوا كيف ستنجح تكنولوجيا OpenAI في اختبارات المحاسبة. لقد نشروا النتائج التي توصلوا إليها في مجلة Issues in Accounting Education.
في اختبار المحاسبة للباحثين ، سجل الطلاب متوسطًا إجماليًا قدره 76.7 في المائة ، مقارنةً بنتيجة ChatGPT البالغة 47.4 في المائة.
بينما في 11.3 بالمائة من الأسئلة ، وجد أن ChatGPT حصل على درجات أعلى من متوسط الطالب ، وأداء جيدًا بشكل خاص في أنظمة المعلومات المحاسبية (AIS) والتدقيق ، وجد أن روبوت الذكاء الاصطناعي يعمل بشكل أسوأ في التقييمات الضريبية والمالية والإدارية. يعتقد الباحثون أن هذا قد يكون بسبب أن ChatGPT كافح مع العمليات الحسابية المطلوبة للنوع الأخير.
تم العثور على روبوت الذكاء الاصطناعي ، الذي يستخدم التعلم الآلي لإنشاء نص بلغة طبيعية ، بشكل أفضل فيما يتعلق بأسئلة الصواب / الخطأ (68.7 بالمائة صحيحة) وأسئلة الاختيار من متعدد (59.5 بالمائة) ، لكنه واجه صعوبة في الإجابة على الأسئلة القصيرة (بين 28.7 بالمائة) و 39.1 في المائة).
بشكل عام ، قال الباحثون إن الأسئلة ذات الترتيب الأعلى كان من الصعب على ChatGPT الإجابة عليها. في الواقع ، في بعض الأحيان ، تم العثور على ChatGPT لتقديم أوصاف مكتوبة موثوقة للإجابات غير الصحيحة ، أو الإجابة على نفس السؤال بطرق مختلفة.
وجدوا أيضًا أن ChatGPT غالبًا ما تقدم تفسيرات لإجاباتها ، حتى لو كانت غير صحيحة. في أوقات أخرى ، استمر في تحديد الإجابة الخاطئة ذات الاختيار من متعدد ، على الرغم من تقديم أوصاف دقيقة.
لاحظ الباحثون بشكل مهم أن ChatGPT يصنعون الحقائق في بعض الأحيان. على سبيل المثال ، عند تقديم مرجع ، ينتج عنه مرجع حقيقي المظهر تم اختلاقه بالكامل. العمل وأحيانًا المؤلفون لم يكونوا موجودين.
وقد لوحظ أن الروبوت يقوم أيضًا بارتكاب أخطاء رياضية لا معنى لها مثل إضافة رقمين في مشكلة الطرح ، أو قسمة الأرقام بشكل غير صحيح.
رغبة في إضافة المزيد إلى الجدل المستمر حول كيفية تأثير نماذج مثل ChatGPT في التعليم ، قرر مؤلف الدراسة الرئيسي David Wood ، أستاذ المحاسبة في BYU ، تعيين أكبر عدد ممكن من الأساتذة لمعرفة كيف كان أداء الذكاء الاصطناعي مقابل طلاب المحاسبة الجامعيين الفعليين. .
انفجرت فكرة تجنيد المؤلف المشارك له على وسائل التواصل الاجتماعي: شارك 327 مؤلفًا مشاركًا من 186 مؤسسة تعليمية في 14 دولة في البحث ، وساهموا بـ 25،181 سؤالاً في اختبار المحاسبة في الفصل الدراسي.
قاموا أيضًا بتجنيد طلاب جامعيين BYU لإطعام 2،268 سؤالًا آخر من بنك اختبار الكتب المدرسية إلى ChatGPT. غطت الأسئلة AIS ، والتدقيق ، والمحاسبة المالية ، والمحاسبة الإدارية والضرائب ، وتنوعت في الصعوبة والنوع (صح / خطأ ، الاختيار من متعدد ، إجابة قصيرة).
