كشف باحثون من معهد "ماساتشوستس" عن سبب ميل النماذج اللغوية الكبيرة مثل ChatGPT أو DeepSeek إلى المبالغة في تقدير المعلومات الموجودة في بداية ونهاية النص مع إهمال منتصفه.

 وهذه الظاهرة التي تُسمى "تحيز الموضع" قد تعيق المستخدمين الذين يبحثون عن عبارات مفتاحية في المستندات الطويلة.

وطور فريق علمي بقيادة الباحث شين يي وو من معهد "ماساتشوستس" التكنولوجي نمطا يفسر سبب تركيز النماذج اللغوية الكبيرة مثل ChatGPT على بداية ونهاية النص.

فهي تقرأ النص على أجزاء و"تُركز" على الكلمات الأكثر أهمية لفهمه، لكن بعض الإعدادات التقنية، مثل قدرتها على رؤية الكلمات السابقة فقط أو توجيهات ترتيب الكلمات، تخلق تحيزا.

وكشفت الدراسات أن دقة التحليل أعلى عند حوافي النص وتنخفض بشكل ملحوظ في منتصفه، وهي ظاهرة سُميت "تأثير الشكل U، ويتجلى ذلك أكثر في النماذج المعقدة مثل GPT-4 بطبقاتها الـ96 للمعالجة. وعلى الرغم من أن آليات مثل "التلميحات الموضعية" تساعدفي فهم السياق، إلا أن فعاليتها محدودة في النماذج الضخمة.

المصدر: Naukatv.ru