الوحدات النصية والانتباه: كيف تولّد النماذج اللغوية الكبيرة النص فعليًا؟
شرح واضح للوحدات الفرعية والانتباه السببي واحتمالات الوحدة التالية وطرق السحب، مع بيان أن التنبؤ السلس ليس تحققًا من الحقائق.
AI / الذكاء الاصطناعي
دليل عملي لتقسيم مستندات RAG مع حفظ البنية والتداخل والسياق ومواضع المصدر وتقييم الاسترجاع.

English edition: Read in English.
المقطع هو الوحدة التي يبحث فيها نظام الاسترجاع ثم يمررها إلى النموذج. إذا قسّمنا النص عند عدد ثابت من الأحرف دون مراعاة بنيته، فقد ينفصل العنوان عن شرحه، أو ينقسم صف جدول، أو يبقى ضمير بلا مرجع واضح. وإذا أبقينا المستند كاملًا كوحدة واحدة، فقد تختلط موضوعات كثيرة ويضعف تركيز المقطع المطلوب. تصميم المقاطع هو اختيار مدروس بين هذه المشكلات.
التقسيم ليس غاية بحد ذاته. يفيد عندما يتجاوز المصدر حد إدخال النموذج أو عندما تمزج وحدة كبيرة موضوعات متعددة. يصف بحث RAG الأصلي مسترجعًا يختار مقاطع بناءً على السؤال، ثم مولّدًا يبني الإجابة اعتمادًا على تلك المقاطع؛ لذلك تؤثر جودة الوحدات المتاحة للمسترجع فيما يصل إلى مرحلة التوليد (Lewis وآخرون).
حدّد أولًا ما الذي يجب أن يحتويه الناتج المسترجع. ففي سؤال عن سياسة، قد يكون المطلوب قاعدة كاملة مع نطاقها واستثنائها. وفي دليل استكشاف الأعطال قد يكون خطوة تشخيص مع شرطها المسبق والنتيجة المتوقعة. احتفظ بأصغر مقطع يجيب عن سؤال واقعي محتمل من دون إجبار النموذج على استكمال سياق مفقود.
يمكن أن يعمل المقسّم وفق تسلسل هرمي عملي:
تقلل هذه الطريقة الهجينة احتمال فصل العنوان عن محتواه، وتمنع الأقسام الطويلة جدًا من تجاوز حدود النموذج. وتعرض وثائق Azure AI Search أساليب ثابتة الحجم، ومراعية للبنية، ودلالية، مع التنبيه إلى أن الحجم والتداخل يعتمدان على نوع المحتوى وشكل السؤال؛ لذا فالأرقام الافتراضية نقطة بداية وليست وصفة عامة (إرشادات التقسيم). كما تشرح وثائق Document Layout حفظ العناوين في حقول منفصلة عن نص المقطع لدعم الفهرسة المراعية للأقسام (Document Layout).
قد يحتوي مقطع مأخوذ من منتصف تقرير على عبارة مثل «هذا الحد» أو «الخيار الثاني» من دون تسمية الموضوع. احتفظ بمسار العناوين وبيانات المصدر، أو أضف سطر سياق موجزًا مثل «دليل النشر ← حدود التراجع». افصل هذا السياق الموروث أو المولّد عن النص الأصلي الحرفي حتى تظل الإحالات قادرة على تحديد موضع المصدر.
تصف دراسة Anthropic للاسترجاع السياقي إضافة شرح موجز خاص بكل مقطع بالاستفادة من المستند كاملًا قبل إنشاء فهرسي التضمين وBM25. وتشير أيضًا إلى أن جودة الاسترجاع تتأثر بحدود المقاطع والتداخل ونموذج التضمين وإعادة الترتيب، لذا فالسياق الإضافي يكمل التقسيم الجيد ولا يحل محله (Contextual Retrieval).
قد يبدو سجل المقطع المفيد هكذا:
{
"documentId": "guide-42",
"documentVersion": "2026-11",
"sectionPath": ["Deployments", "Rollback"],
"pageStart": 8,
"pageEnd": 9,
"sourceUri": "https://docs.example/guide-42",
"text": "The rollback window is measured from deployment completion..."
}
القيم توضيحية. في نظام حقيقي، ينبغي أن تأتي معرّفات المصدر وإصداراته ومواضع صفحاته وصلاحياته من مسار الإدخال، لا أن يخترعها نموذج لغوي.
ينبغي أن يبقى الجدول مع عناوين أعمدته غالبًا. وإذا كان كبيرًا، فقسّمه بحسب الصفوف وكرّر رأس الجدول في كل مقطع. أبقِ الشيفرة مرتبطة بلغتها واسم ملفها أو عنوان قسمها؛ وقسّم عند الدوال أو الكتل المنطقية بدل منتصف التعليمة. في النص النثري قد يحفظ التداخل انتقالًا مهمًا، لكن كل وحدة مكررة تزيد المحتوى المفهرس وقد تجعل الدليل نفسه يظهر أكثر من مرة في نتائج الاسترجاع.
لا يوجد حجم أو مقدار تداخل صحيح لكل الحالات. قارن عدة استراتيجيات باستخدام أسئلة ممثلة ومقاطع داعمة معروفة. افحص ما إذا كان الاسترجاع يعيد الدليل كاملًا، وما إذا كانت المقاطع المتجاورة تسبب التكرار، وهل بقي موضع الإحالة إلى المصدر قابلًا للتتبع. اضبط التقسيم حسب نوع المستند، لا وفق حد رموز عام فقط.
أنشئ مجموعة صغيرة مراجعة من الأسئلة مع المقاطع المصدرية المتوقعة. افحص معرّفات المقاطع ومواضعها قبل تقييم الإجابة المولّدة. وافصل الإخفاقات إلى استخراج أو حدود تقسيم أو بيانات وصفية أو ترتيب استرجاع أو صياغة الإجابة. قد يحسن المقطع الأفضل الاسترجاع، لكنه لا يعيد نصًا ضاع في OCR ولا يضمن صحة الإجابة.
يحافظ المقطع الموثوق على معنى محلي كافٍ للعثور عليه، وعلى مصدر كافٍ للتحقق، وعلى رابط ثابت إلى المستند الأصلي. ابدأ ببنية المستند، واضبط الطول وفق حدود النموذج، وأرفق السياق صراحةً، ثم اختبر النتيجة بأسئلة حقيقية.
رأيك يهمنا
اختر تفاعلًا واحدًا لهذا المقال.
تُستخدم ملفات تعريف الارتباط للحد من تكرار الردود. ملاحظاتك خاصة.