RAG والنماذج اللغوية الكبيرة: بناء إجابات تستند إلى بياناتك
دليل عملي لفهم العلاقة بين RAG والنماذج اللغوية الكبيرة، من استرجاع المعلومات وإسناد الإجابات إلى المصادر، إلى الصلاحيات والتقييم والبحث بالعربية والإنجليزية.
AI / الذكاء الاصطناعي
تصميم عملي لمسار إدخال ملفات PDF في RAG يحفظ التخطيط ومصدر الصفحة والمقاطع المفهومة وبيانات الوصول وإخفاقات الاستخراج.

English edition: Read in English.
لا يستطيع نظام التوليد المعزّز بالاسترجاع إحضار ما لم يحفظه مسار إدخال البيانات. فقد يحتوي ملف PDF على نص قابل للتحديد أو صفحات ممسوحة ضوئيًا أو أعمدة متعددة أو جداول وحواشٍ، أو مزيج من ذلك كله. وتحويل كل ملف إلى نص طويل واحد قد يطمس البنية التي تساعد الإجابة على الإحالة إلى دليل واضح.
يتعامل المسار الجيد مع الاستخراج والتقسيم والفهرسة وإثبات المصدر بوصفها مراحل مترابطة. وينبغي أن تترك كل مرحلة معلومات كافية لتفسير ما حدث للمصدر ومعرفة موضع المقطع المسترجع فيه.
ملف PDF أو مستند مكتبي
→ تسجيل الإصدار والمالك وسياسة الوصول
→ استخراج النص والتخطيط، مع OCR عند الحاجة
→ تطبيع المحتوى مع حفظ الصفحات والأقسام
→ إنشاء مقاطع تراعي البنية
→ إضافة البيانات الوصفية وفلاتر الوصول
→ إنشاء التضمينات وفهرسة البحث الدلالي واللفظي
→ التحقق من إصدار الفهرس وتسجيل الإخفاقات
قد تختلف الخدمات المستخدمة. الأهم هو إبقاء الملف الأصلي وتمثيله المستخرج مرتبطين، بدل التعامل مع فهرس المتجهات على أنه النسخة الوحيدة.
عند دخول ملف إلى المسار، سجّل معرّفًا ثابتًا للمستند، ورابط المصدر، والمستأجر أو المجموعة، والإصدار، وبصمة المحتوى، ووقت الاستلام، وسياسة الوصول. احتفظ باسم العرض ومكان المصدر المعتمد لاستخدامهما في الإحالات. وإذا استُبدل المستند، فاحتفظ بعلاقته بالإصدار السابق حتى يمكن تمييز «السياسة الحالية» من مراجعة أقدم.
تساعد بصمة المحتوى مهمة الإدخال على معرفة أن الملف لم يتغير. لكنها لا تغني عن التفويض؛ إذ يجب على التطبيق تطبيق صلاحيات المستفيد على المستند ومقاطعِه عند الاسترجاع أيضًا.
يمكن غالبًا تحليل ملفات PDF النصية مباشرة. أما الصور الممسوحة والصفحات التي لا تحتوي إلا على صور فتحتاج إلى OCR، وقد تتطلب الملفات المختلطة المسارين معًا. وبالنسبة إلى الجداول، احتفظ بالصفوف والأعمدة والعناوين والتسميات كلما أمكن؛ ففصل خلايا الجدول إلى أسطر غير مترابطة قد يجعل القيم ملتبسة.
تشرح إرشادات Microsoft لبناء RAG باستخدام Document Intelligence كيف يمكن استخدام مخرجات Markdown من نموذج Layout للتقسيم عند حدود الفقرات وإنشاء مقاطع تراعي الجداول. وتوضح وثائق نموذج Layout استخراج النص والجداول وعلامات التحديد وبنية المستند.
احفظ رقم الصفحة، وعند توفره نطاق المصدر أو إحداثيات العنصر المستخرج. وتعامل مع درجة ثقة OCR أو تحذيرات الاستخراج بوصفها مؤشرات جودة، لا ضمانًا لصحة النص. وأبقِ الملف الأصلي متاحًا كي يستطيع المراجع فحص المقطع المشتبه فيه.
احذف الترويسات والتذييلات المتكررة فقط إذا كانت نصوصًا نمطية فعلًا. واحتفظ بعناوين الأقسام وحدود القوائم وتسميات الجداول وانتقالات الصفحات التي تؤثر في المعنى. لا تدمج بصمت جملة انقسمت بين عمودين أو صفحتين. ينبغي أن تنتج مرحلة التطبيع نصًا مقروءًا وروابط إلى عناصر المصدر التي بُني منها.
قد يتضمن سجل المقطع العملي:
{
"documentId": "policy-42",
"documentVersion": "2026-11",
"sectionPath": ["Exports", "Retention"],
"pageStart": 4,
"pageEnd": 5,
"sourceUri": "https://docs.example/policy-42",
"accessScope": "team-a",
"text": "The exported report is available for seven days."
}
القيم هنا توضيحية. في النظام الفعلي، يجب أن تأتي المعرّفات وقواعد الوصول من نظام المصدر، لا من النموذج الذي يصوغ الإجابة.
يساعد التقسيم على إبقاء المقاطع ضمن حدود الإدخال الخاصة بنماذج التضمين والإجابة، لكن عددًا ثابتًا من الأحرف قد يفصل العنوان عن شرحه أو الجدول عن تسميته. ابدأ بالعناوين وحدود الفقرات، ثم قسّم الأقسام الكبيرة وفق ميزانية رموز مناسبة. أبقِ الجدول الصغير وحدة واحدة، وإذا كبر فأنشئ مجموعات صفوف مكتفية بذاتها مع تكرار عناوين الأعمدة اللازمة.
يشرح دليل Azure AI Search لتقسيم المستندات متى يفيد التقسيم، مثل تجاوز حدود إدخال النموذج أو ضعف تمثيل مستند كامل بمتجه واحد. لا يوجد حجم أو تداخل واحد يناسب جميع المجموعات؛ اختبر الاختيار على أسئلة وأنواع مستندات ممثلة.
أرفق عنوان القسم وسياقًا موجزًا بالمقطع. وتعرض مقالة Anthropic عن الاسترجاع السياقي أسلوب إضافة سياق خاص بالمقطع قبل إنشاء التضمين والفهرس اللفظي. تعامل مع ذلك كطريقة تستحق التقييم عندما يفقد المقطع موضوعه بعد فصله عن المستند، لا كبديل عن حفظ النص الأصلي.
يحوّل التضمين النص إلى متجه يُستخدم لمقارنة الترابط الدلالي. يشرح دليل OpenAI للتضمينات إنشاء المتجهات من النص، ويبيّن أن اختيار النموذج يحدد طول المتجه. سجّل النموذج وإعداداته مع إصدار الفهرس حتى يمكن إعادة بنائه بصورة متسقة.
تفيد مشابهة المتجهات في العثور على صيغ مختلفة للفكرة نفسها، لكن أسئلة الدعم قد تتضمن معرّفات أو رموز أخطاء أو أسماء منتجات أو أرقام إصدارات دقيقة. ويمكن لمسار بحث لفظي مثل BM25 أن يكمل البحث الدلالي. ويجمع البحث الهجين المرشحين من المسارين ويرتبهم قبل اختيار الأدلة التي سترسل إلى النموذج.
احتفظ بمعرّف المصدر وإصداره وقسمه وصفحته ورابطه وحقول الوصول في السجل المفهرس. وقبل إرجاع مقطع، طبّق نطاق المستخدم واستبعد المحتوى المستبدل أو المسحوب. لا ينبغي لمتجه ذي صلة أن يتجاوز صلاحيات المستند.
يسجل مسار الإدخال حالة كل مرحلة: استلام، استخراج، تقسيم، تضمين، فهرسة أو إخفاق. استخدم مفتاح إدخال ثابتًا مرتبطًا بإصدار المصدر حتى تحدّث إعادة المحاولة السجلات المنطقية نفسها بدل إنشاء نسخ مكررة. وإذا فشل استخراج صفحة، فأبقِ الإخفاق وموضع المصدر ظاهرين بدل فهرسة نص ناقص بصمت وكأنه كامل.
async function ingest(source) {
const manifest = await registerSource(source);
const layout = await extractLayout(source);
const chunks = await splitByStructure(layout, { tokenBudget: 700 });
const records = chunks.map((chunk) => ({
id: source.id + ":" + source.version + ":" + chunk.index,
documentId: source.id,
documentVersion: source.version,
sectionPath: chunk.sectionPath,
pageStart: chunk.pageStart,
pageEnd: chunk.pageEnd,
sourceUri: manifest.canonicalUri,
text: chunk.text
}));
await embedAndUpsert(records);
await verifyIndexedVersion(source.id, source.version);
}
ميزانية الرموز في هذا المثال توضيحية وليست قيمة موصى بها لكل الحالات. ينبغي للنظام الفعلي الالتزام بحدود النموذج المختار الحالية، وحجز مساحة للبيانات الوصفية، واختبار المستندات كثيفة الجداول ومتعددة اللغات.
أنشئ مجموعة صغيرة مراجعة من الأسئلة ذات الصفحات الداعمة المعروفة. اختبر هل حفظ الاستخراج الجملة أو صف الجدول المطلوب، وهل استُرجع المقطع المناسب، وهل تطابقت الصفحة المحال إليها مع المصدر، وهل استُبعد الإصدار القديم أو المحتوى المقيّد. سجّل فئات الإخفاق منفصلة: OCR، أو ترتيب القراءة، أو حدود المقطع، أو البيانات الوصفية الناقصة، أو الترتيب، أو فلتر الوصول.
إذا غاب الدليل عن سؤال، فعلى طبقة الإجابة أن تصرح بذلك أو تطلب توضيحًا. يقلل التحليل الجيد مشكلات الاسترجاع الممكن تجنبها، لكنه لا يضمن صحة كل إجابة يولدها النموذج.
للنسخة الإنجليزية: اقرأ باللغة الإنجليزية.
رأيك يهمنا
اختر تفاعلًا واحدًا لهذا المقال.
تُستخدم ملفات تعريف الارتباط للحد من تكرار الردود. ملاحظاتك خاصة.