اكتشاف جديد يكشف أن مجرد تحسين توجيهات المطورين للذكاء الاصطناعي ليس كافياً لضمان جودة الكود، بل يجب اختبار القواعد التي تحكم سلوك الذكاء الاصطناعي نفسه. مشروع «AIDDSkeleton» يقدم حلاً لذلك عبر حوكمة مستودع البيانات.
لقد اكتشفنا مؤخرًا في WondTech أن مجرد إعطاء وكلاء الذكاء الاصطناعي تعليمات أفضل لكتابة الأكواد ليس كافياً لضمان جودة النتائج. هذا يعني أن ضمان جودة عمل الذكاء الاصطناعي في البرمجة يتطلب نهجاً جديداً يركز على اختبار القواعد التي يتبعها الذكاء الاصطناعي في عمله، وليس فقط التوجيهات التي يتلقاها.
كان هناك استنتاج غير مريح مفاده أن تحسين التعليمات لوكيل برمجة يعمل بالذكاء الاصطناعي لم يكن كافياً. فبدأ المطورون في بناء حوكمة على مستوى المستودع حول أمور مثل ملكية مصدر الحقيقة، وسلوك المراجعة، والأدلة، والنطاق، ودورة الحياة. أصبحت المستودعات أكثر اتساقاً وتصرفت الوكلاء بشكل أفضل. لكن سرعان ما ظهرت مشكلة أخرى: كيف يمكن التأكد من أن هذه القواعد هي المسؤولة بالفعل عن التحسن؟ يمكن لوكيل الذكاء الاصطناعي أن ينتج نتيجة أفضل لأسباب عديدة: قد يكون الموجه مختلفاً قليلاً، أو السياق السابق للمحادثة سرب الإجابة المتوقعة، أو أن الوكيل رأى التزامات لاحقة، أو تم التلميح عن المشكلة عن طريق الخطأ، أو أن النموذج ببساطة اتبع مسار تفكير مختلف في ذلك اليوم. لم يعد مجرد الشعور بأن «هذا يبدو أفضل» كافياً.
لحل هذه المشكلة، بدأ الباحثون في تطبيق اختبارات تراجعية على القواعد نفسها. هذا المشروع، المسمى AIDDSkeleton، هو هيكل مستودع للتطوير المدفوع بالذكاء الاصطناعي. معظم سلوكه المثير لا يأتي من نصوص برمجية أو إطار عمل، بل يأتي من حوكمة محلية للمستودع. هذه الحوكمة تتمثل في ملفات Markdown التي تخبر وكيل الذكاء الاصطناعي بكيفية تفسير معلومات المشروع، وما يعتبر سلطة، وكيف تنتقل المهام عبر دورة حياتها، وكيف يجب التعامل مع الأدلة، وكيف يجب أن تؤثر نتائج المراجعة على العمل الحالي.
هذا يخلق مشكلة اختبار غريبة. إذا غيرت دالة TypeScript، يمكنني تشغيل اختبار. ولكن إذا غيرت قاعدة مكتوبة باللغة الطبيعية، فماذا بالضبط أشغل؟ على سبيل المثال، أحد التغييرات المبكرة فصل بين شيئين كان يتم خلطهما: مدى خطورة هذا الاكتشاف؟ وماذا يجب أن نفعل به الآن؟ تعليق المراجعة يمكن أن يكون صحيحاً دون أن يصبح تلقائياً عملاً حالياً. بدأت الحوكمة في التمييز بين التصرفات مثل «قبول الآن، رفض، تأجيل، مراقبة» وبين التصنيفات مثل «خطأ حاسم، نقص ضمن النطاق، متابعة». هذا جعل من الصعب على كل اقتراح مثير للاهتمام أن يوسع المهمة بصمت، ويؤكد الحاجة إلى اختبار دقيق لهذه القواعد الحاكمة لضمان استقرار وفعالية عمل الذكاء الاصطناعي.
كان هناك استنتاج غير مريح مفاده أن تحسين التعليمات لوكيل برمجة يعمل بالذكاء الاصطناعي لم يكن كافياً. فبدأ المطورون في بناء حوكمة على مستوى المستودع حول أمور مثل ملكية مصدر الحقيقة، وسلوك المراجعة، والأدلة، والنطاق، ودورة الحياة. أصبحت المستودعات أكثر اتساقاً وتصرفت الوكلاء بشكل أفضل. لكن سرعان ما ظهرت مشكلة أخرى: كيف يمكن التأكد من أن هذه القواعد هي المسؤولة بالفعل عن التحسن؟ يمكن لوكيل الذكاء الاصطناعي أن ينتج نتيجة أفضل لأسباب عديدة: قد يكون الموجه مختلفاً قليلاً، أو السياق السابق للمحادثة سرب الإجابة المتوقعة، أو أن الوكيل رأى التزامات لاحقة، أو تم التلميح عن المشكلة عن طريق الخطأ، أو أن النموذج ببساطة اتبع مسار تفكير مختلف في ذلك اليوم. لم يعد مجرد الشعور بأن «هذا يبدو أفضل» كافياً.
لحل هذه المشكلة، بدأ الباحثون في تطبيق اختبارات تراجعية على القواعد نفسها. هذا المشروع، المسمى AIDDSkeleton، هو هيكل مستودع للتطوير المدفوع بالذكاء الاصطناعي. معظم سلوكه المثير لا يأتي من نصوص برمجية أو إطار عمل، بل يأتي من حوكمة محلية للمستودع. هذه الحوكمة تتمثل في ملفات Markdown التي تخبر وكيل الذكاء الاصطناعي بكيفية تفسير معلومات المشروع، وما يعتبر سلطة، وكيف تنتقل المهام عبر دورة حياتها، وكيف يجب التعامل مع الأدلة، وكيف يجب أن تؤثر نتائج المراجعة على العمل الحالي.
هذا يخلق مشكلة اختبار غريبة. إذا غيرت دالة TypeScript، يمكنني تشغيل اختبار. ولكن إذا غيرت قاعدة مكتوبة باللغة الطبيعية، فماذا بالضبط أشغل؟ على سبيل المثال، أحد التغييرات المبكرة فصل بين شيئين كان يتم خلطهما: مدى خطورة هذا الاكتشاف؟ وماذا يجب أن نفعل به الآن؟ تعليق المراجعة يمكن أن يكون صحيحاً دون أن يصبح تلقائياً عملاً حالياً. بدأت الحوكمة في التمييز بين التصرفات مثل «قبول الآن، رفض، تأجيل، مراقبة» وبين التصنيفات مثل «خطأ حاسم، نقص ضمن النطاق، متابعة». هذا جعل من الصعب على كل اقتراح مثير للاهتمام أن يوسع المهمة بصمت، ويؤكد الحاجة إلى اختبار دقيق لهذه القواعد الحاكمة لضمان استقرار وفعالية عمل الذكاء الاصطناعي.
