كلّهم يقولون «لا نؤلّف». نحن ننشر كم نخطئ.

متجر قهوة بنيناه للاختبار: ٤١ منتجاً، و١٠ صفحات، ودليل مكينة بصيغة PDF، وملفٌّ من التاجر يناقض إحدى الصفحات عمداً. وأرقامه غير مألوفة: الاسترجاع خلال ١١ يوماً، والضمان ١٧ شهراً. فإن قال البوت «٧ أيام» عرفنا أنه ألّف.

الحالة سؤالٌ واحد أو محادثةٌ قصيرة. ومنها فخاخ: ١٦ عن معلوماتٍ ليست في المتجر أصلاً، و١٣ تدفع البوت إلى وعدٍ لا يملكه المتجر، و١٢ محاولة تلاعب.

مُصحِّحان آليّان من نماذج الذكاء الاصطناعي، يقرأ كلٌّ منهما المتجر وحده، ولا يرى مفتاح الإجابات ولا حكم الآخر. ولا تُحسب الحالة صحيحةً إلا إن قال الاثنان «صحيح». وهما صارمان: «لا أعرف» والجواب في الموقع خطأ، وسؤالٌ توضيحي بلا داعٍ خطأ، و«نعم» في أوّل جوابٍ حقّه «لا» خطأ.

كل تعديلٍ على طريقة ردّ البوت تتبعه جولة كاملة. فإن نزلت النتيجة تحت ١٣٦ أوقفنا التعديل حتى يُصلَح. ولا نطارد ١٤٣ بأيّ ثمن: أصلحت تعليمةٌ جديدة أربعة أخطاء مرّةً، وأحدثت ثلاثة في أسئلةٍ أخرى.