BM
Bashar ModallalSOFTWARE · AI · SYSTEMS
← All field notes

AI / الذكاء الاصطناعي

الوحدات النصية والانتباه: كيف تولّد النماذج اللغوية الكبيرة النص فعليًا؟

شرح واضح للوحدات الفرعية والانتباه السببي واحتمالات الوحدة التالية وطرق السحب، مع بيان أن التنبؤ السلس ليس تحققًا من الحقائق.

بلاطات رموز تجريدية تمر عبر شبكة انتباه خضراء مضيئة لتتحول إلى جملة مولّدة على خلفية غابية داكنة.

English edition: Read in English.

لا يتعامل النموذج اللغوي عادةً مع الجملة بوصفها سلسلة من الكلمات الكاملة، ولا يسترجع جوابًا جاهزًا. بل يحوّل النص إلى معرّفات وحدات نصية، ويبني تمثيلات تراعي السياق عبر شبكة عصبية، ثم يقدّر في كل خطوة الوحدة التي قد تأتي تاليًا. هذه الآلية مفيدة، لكنها لا تعادل فهم الإنسان لحقيقة ما.

يتحول النص إلى وحدات

يربط المُجزِّئ النص بوحدات منفصلة من مفردات النموذج. وقد تكون الوحدة كلمة شائعة كاملة، أو جزءًا من كلمة، أو علامة ترقيم، أو مسافة متبوعة بحروف، أو بايتات ممثلة وفق أسلوب الوحدات الفرعية. ويختلف التقسيم باختلاف النموذج: فقد تكون كلمة “attention” وحدة واحدة في مفردات، وعدة وحدات في مفردات أخرى. لذلك لا يساوي عدد الوحدات عدد الكلمات، وقد يغيّر تبديل حرف واحد التقسيم المحيط به.

شرح بحث GPT-2 أسلوب ترميز أزواج البايتات على مستوى البايت: يبدأ من البايتات ثم يدمج المقاطع الشائعة تدريجيًا. ويتيح ذلك تمثيل عدد كبير من السلاسل من دون إضافة مفردة مستقلة لكل كلمة أو نظام كتابة. وفي واجهات النماذج المنشورة قد تؤثر بنية الرسائل والمدخلات غير النصية أيضًا في العدد الإجمالي. لذا ينبغي استخدام أداة العد أو المُجزِّئ الحاليين للنموذج المستهدف عند تخطيط السعة، بدل تقديرها بعدد الأحرف. راجع بحث نموذج GPT-2 ودليل OpenAI لعدّ الوحدات.

يبني الانتباه السياق

في بنية Transformer، يُحوَّل تمثيل كل موضع إلى متجهات للاستعلام والمفتاح والقيمة. يقارن الانتباه الاستعلام بمفاتيح المواضع المتاحة، ويقيّس الدرجات، ثم يطبق softmax ليحوّلها إلى أوزان، ويستخدمها لمزج متجهات القيم. ويمكن لرؤوس الانتباه المتعددة أن تتعلم علاقات مختلفة. كما تساعد معلومات الموضع النموذج على تمييز ترتيب العناصر.

في نموذج لغوي سببي، تمنع قناعـة الانتباه الموضع من الاطلاع على وحدات مستقبلية. فعندما يتنبأ النموذج بالوحدة التالية، يستطيع استخدام نص الطلب والوحدات التي ولّدها سابقًا، لا الوحدات التي لم ينتجها بعد. قدّم بحث Transformer الأصلي الانتباه بضرب النقاط المُقيّس وبنية الرؤوس المتعددة؛ ثم استخدم GPT-2 Transformer لتوليد النص من اليسار إلى اليمين.

وحدة واحدة في كل خطوة

ينتج النموذج درجات على مفرداته، تُسمى غالبًا logits. ويحوّلها softmax إلى توزيع احتمالي مشروط للوحدة التالية. بعد ذلك تختار قاعدة فك الترميز مرشحًا أو تسحبه عشوائيًا. تُضاف الوحدة المختارة إلى السياق، وتتكرر العملية حتى يتحقق شرط التوقف.

لنتخيّل مفردات صغيرة جدًا بعد الطلب «بقيت الدفيئة دافئة لأن»:

المرشح احتمال توضيحي
الزجاج 0.52
فتحات 0.21
الباب 0.16
بسرعة 0.07
دراجة 0.04

هذه أرقام مختلقة لشرح الآلية، وليست ناتجًا مقاسًا من نموذج. تختار قاعدة الجشع «الزجاج»، بينما قد تختار قاعدة السحب مرشحًا آخر. ثم يُحسب توزيع جديد للسياق الأطول «بقيت الدفيئة دافئة لأن الزجاج». وقد تحتاج الكلمة المولّدة إلى عدة خطوات وحدات، كما أن حدود الوحدة لا تتطابق بالضرورة مع حدود الكلمات.

تغيّر الحرارة حدّة التوزيع قبل السحب. وتُبقي طريقة top-k عددًا ثابتًا من المرشحين، بينما تحتفظ طريقة النواة (top-p) بمجموعة يتغير حجمها حتى تبلغ كتلة احتمالية تراكمية محددة. تؤثر هذه الضوابط في طريقة الاختيار، لكنها لا تضيف معلومات إلى النموذج. وتوضح أبحاث تدهور النص المولّد أهمية طريقة فك الترميز: فقد يصبح تعظيم الاحتمال تكراريًا، بينما قد يؤدي السحب من الذيل منخفض الاحتمال كله إلى نص غير مترابط.

التنبؤ ليس تحققًا

يُدرَّب النموذج على إسناد احتمالات إلى سلاسل الوحدات. وقد يكون الامتداد المرجح سلسًا، لكنه خاطئ أو قديم أو بلا سند. يصف الانتباه تدفق المعلومات داخل الشبكة؛ ولا يثبت أن المصدر المذكور صحيح أو أن الادعاء قورن بالواقع.

في الاستخدام الهندسي، تعامل مع النص المولّد على أنه اقتراح. استرجع الوثائق أو البيانات الموثوقة للادعاءات المهمة، واحتفظ بروابط الأدلة، وتحقق من النتائج بالاختبارات أو الفحوص المناسبة للمجال. باختصار: يحدد الترميز الوحدات، ويمزج الانتباه السياق، ويختار فك الترميز مسارًا ضمن تنبؤات النموذج. ولا تحوّل أي من هذه الخطوات وحدها التنبؤ إلى تحقق من الحقائق.

المراجع

#LLM

رأيك يهمنا

ما رأيك في المقال؟

اختر تفاعلًا واحدًا لهذا المقال.

هل كان المقال مفيدًا؟

تُستخدم ملفات تعريف الارتباط للحد من تكرار الردود. ملاحظاتك خاصة.

شارك المقالLinkedIn ↗X ↗البريد الإلكتروني ↗

Keep exploring.