دراسة: ChatGPT يفشل في حل مشكلات البرمجة الحديثة ولا يمكنه استبدال البشر

منذ الكشف عن ChatGPT في عام 2022، كان هناك الكثير من الحديث حول كيف يمكن لروبوت الدردشة المدعوم بالذكاء الاصطناعي أن يحل محل البشر في بعض الوظائف. في حين يعتقد بعض خبراء التكنولوجيا أن روبوتات الدردشة المدعمة بالذكاء الاصطناعي ستتولى بعض الوظائف البشرية مثل البرمجة، يزعم آخرون أن التكنولوجيا لا يمكن أن تكون ذكية مثل البشر ولن تساعدهم إلا على أن يكونوا أفضل في وظائفهم.

في الماضي، قال بعض كبار رجال التكنولوجيا إنه بعد سنوات من الآن، لن تكون هناك حاجة إلى مبرمجين بشريين على الإطلاق لأن الذكاء الاصطناعي سيتولى البرمجة، ولكن هل هذا صحيح حقًا؟ تقول دراسة جديدة إن هذا ليس بالضرورة صحيحًا.

أجرى البحث، الذي نُشر في العدد الصادر في يونيو من مجلة IEEE Transactions on Software Engineering، مقارنة بين الكود الذي تم إنشاؤه بواسطة ChatGPT والكود الذي كتبه المبرمجون البشريون، مع التركيز على الوظائف والتعقيد والأمان.

توصلت الدراسة إلى أن معدل نجاح ChatGPT في توليد التعليمات البرمجية الوظيفية كان متفاوتًا على نطاق واسع. واعتمادًا على صعوبة المهمة ولغة البرمجة المستخدمة وعوامل أخرى، تراوحت نسبة نجاح الذكاء الاصطناعي من 0.66% إلى 89%.

يشير هذا النطاق الواسع إلى أنه على الرغم من أن ChatGPT يمكنه في بعض الأحيان مواكبة المبرمجين البشريين أو حتى التفوق عليهم، إلا أنه يعاني أيضًا من قيود كبيرة.

وأشار يوتيان تانغ، المحاضر بجامعة جلاسكو والذي شارك في تأليف الدراسة، إلى أن توليد التعليمات البرمجية المستندة إلى الذكاء الاصطناعي يمكن أن يعزز الإنتاجية ويؤتمت بعض مهام تطوير البرمجيات. ومع ذلك، من المهم فهم نقاط القوة والضعف في نماذج الذكاء الاصطناعي هذه، وشدد تانغ على الحاجة إلى إجراء تحليل شامل لتحديد المشاكل المحتملة وتحسين تقنيات التعليمات البرمجية المولدة بواسطة الذكاء الاصطناعي.

وللتعمق أكثر في هذه القيود، اختبر فريق البحث قدرة GPT-3.5 على حل 728 مشكلة ترميز من منصة LeetCode عبر خمس لغات برمجة: C وC++ وJava وJavaScript وPython. وكشفت الدراسة أن ChatGPT كان بارعًا إلى حد ما في حل مشاكل الترميز قبل عام 2021 على LeetCode، محققًا معدلات نجاح بلغت حوالي 89 بالمائة للمشكلات السهلة، و71 بالمائة للمشكلات المتوسطة، و40 بالمائة للمشكلات الصعبة.

ومع ذلك، انخفض أداء الذكاء الاصطناعي بشكل كبير عند التعامل مع مشكلات الترميز التي ظهرت بعد عام 2021 – على سبيل المثال، انخفض معدل نجاح ChatGPT للمشكلات السهلة من 89 في المائة إلى 52 في المائة. وبالنسبة للمشكلات الصعبة، انخفض معدل النجاح من 40 في المائة إلى 0.66 في المائة فقط. ويشير هذا إلى أن ChatGPT يعاني من مشكلات ترميز أحدث، ربما لأن بيانات التدريب الخاصة به لم تتضمن هذه التحديات الأحدث.

واقترح تانغ فرضية معقولة لأداء ChatGPT المتغير، مشيراً إلى أن الذكاء الاصطناعي يعمل بشكل أفضل في المشكلات الخوارزمية قبل عام 2021 لأن هذه المشكلات من المرجح أن يتم تضمينها في مجموعة بيانات التدريب الخاصة به، ومع تطور البرمجة، لم يتعرض ChatGPT لمشاكل وحلول جديدة، ويفتقر إلى مهارات التفكير النقدي التي يتمتع بها المبرمج البشري.
يعني هذا القيد أنه على الرغم من أن ChatGPT يمكنه معالجة المشكلات التي واجهها من قبل بشكل فعال، إلا أنه يواجه مشكلات أحدث وغير مألوفة.

وتشير نتائج الدراسة إلى أنه على الرغم من أن نماذج الذكاء الاصطناعي مثل ChatGPT تحمل وعدًا بتعزيز الإنتاجية وأتمتة بعض مهام البرمجة، إلا أنها لا تزال لا تحل محل المبرمجين البشريين. ويسلط عجز الذكاء الاصطناعي عن حل أحدث مشكلات البرمجة الضوء على الحاجة إلى التطوير والتدريب المستمر لمواكبة مجال هندسة البرمجيات المتطور باستمرار.