كيف تعلّم الذكاء الاصطناعي اتباع التعليمات؟
![]() |
| تدريب الذكاء الاصطناعي على التعليمات |
اكتب بداية فقرة واترك فراغًا، فيكمل نموذج اللغة الكلام. اطلب منه تلخيص الفقرة في نقطتين، فتتوقع نتيجة مختلفة: تنفيذ المهمة، لا مجرد مواصلة النص. المسافة بين الأمرين تفسر جزءًا مهمًا من رحلة الذكاء الاصطناعي من نماذج لغوية قوية إلى مساعدين يمكن مخاطبتهم بلغة عادية.
بعد أن شرحنا كيف غيّر Transformer معالجة اللغة، ننتقل إلى ما حدث فوق هذه البنية: التدريب على النصوص، ثم أمثلة تنفيذ التعليمات، ثم التعلم من تفضيل إجابة على أخرى. هذه مراحل لها أهداف مختلفة، وليست ثلاثة أسماء للشيء نفسه. وفهم الفرق يوضح لماذا قد تبدو الإجابة مهذبة ومنظمة، ومع ذلك تحتاج إلى تحقق.
البداية: النص نفسه يقدّم إشارة التدريب
يتعامل نموذج اللغة مع وحدات تسمى «توكنات». قد تكون الوحدة كلمة أو جزءًا منها أو علامة ترقيم؛ فلا يصح افتراض أن كل كلمة عربية تساوي توكنًا واحدًا. في تدريب النماذج المولّدة ذات الاتجاه السببي، يعرض النظام سياقًا ويحاول النموذج توقع الوحدة التالية، ثم تُعدّل أوزانه لتقليل خطأ التوقع عبر أمثلة كثيرة.
يسمى ذلك عادة تعلمًا ذاتي الإشراف، لأن هدف التدريب يستخرج من النص نفسه بدل أن يكتب شخص إجابة مستقلة لكل مثال. كانت أبحاث مبكرة تصف هذا المسار أيضًا بالتعلم غير الخاضع للإشراف. ليس المقصود أن البيانات بلا مشكلات، أو أن أحدًا لم يخترها وينظفها؛ بل أن كل جملة لا تحتاج بطاقة بشرية تقول للنموذج ماذا يتعلم منها.
بتكرار العملية يتعلم النموذج تمثيلات وأنماطًا لغوية وعلاقات مفيدة لمهام أخرى. لكن هدف توقع النص لا يساوي تلقائيًا هدف تقديم مساعدة دقيقة. قد يتوقع نصًا مقنعًا في شكله، أو يكمل السؤال بسؤال آخر، بدل أن ينفذ الطلب بالطريقة التي تريدها.
محطة 2018: تعلّم عام ثم تكييف للمهمة
عرضت OpenAI في يونيو 2018 طريقة تجمع Transformer مع تدريب لغوي مسبق، ثم ضبط على مجموعات أصغر لمهام محددة. الفكرة المهمة لم تكن أن كل مهمة تحتاج نموذجًا يبدأ من الصفر؛ يمكن لنموذج تعلم من نصوص عامة أن يكون نقطة انطلاق لمهام متنوعة.
لكن لا ينبغي قراءة هذه المحطة وكأنها كانت المساعد الحواري الحالي مكتملًا. البحث اختبر مهامًا ومجموعات بيانات محددة، وذكر قيود التعميم والتحيز وحدود التعلم من النص. الانتقال من نموذج أساسي إلى منتج يتلقى تعليمات متنوعة كان يحتاج خطوات أخرى، لا مجرد زيادة الثقة في مخرجاته.
ضبط التعليمات: درّبه على شكل العمل المطلوب
في ضبط التعليمات، يتدرب النموذج على أمثلة تجمع طلبًا وإجابة مطلوبة: «لخّص هذه الفقرة»، أو «صنف التعليق»، أو «ترجم النص». نحن لا نكتب برومبتًا أفضل لنموذج ثابت فقط؛ بل نجري تدريبًا يغيّر أوزانه حتى يصبح تنفيذ هذا النوع من الطلبات أسهل وأثبت.
في أكتوبر 2021 عرضت Google بحث FLAN، الذي صاغ مجموعات مهام متنوعة في صورة تعليمات. اختبر الباحثون تعميم السلوك على مهام لم تدخل في ضبط النموذج بالطريقة نفسها، مع فصل مجموعات مهام عند التقييم. النتيجة التاريخية المهمة أن التدريب على تنوع التعليمات يمكن أن يساعد على تنفيذ مهام جديدة، لا حفظ إجابة واحدة لكل صياغة.
هذا لا يعني أن أي ملف صغير من الأمثلة يحسن أي نموذج. جودة البيانات وتنوعها وحجم النموذج وطريقة الاختبار عوامل مؤثرة. كما أن إجابة مقبولة في بيانات التدريب قد تكون ناقصة إذا تغير مجال الاستخدام أو لغة الجمهور.
التغذية الراجعة: ليست كل إجابة سليمة لغويًا مفيدة
تخيل مثالًا افتراضيًا: طلب عميل سياسة الاسترجاع، فقدم النموذج إجابتين. الأولى ودودة وواثقة، لكنها اخترعت مهلة 30 يومًا. الثانية قالت إن المستند المعروض لا يذكر المهلة وطلبت الرجوع إلى السياسة المعتمدة. إذا كافأنا الانطباع الجميل وحده فقد نفضل الخطأ، أما المعيار الجيد فيوازن الفائدة والدقة والالتزام بما هو معلوم.
في مسار InstructGPT المنشور عام 2022، جُمعت أمثلة بشرية للسلوك المطلوب أولًا، ثم مقارنات يرتب فيها مقيمون إجابات النموذج. استُخدمت المقارنات لتدريب نموذج مكافأة يتنبأ بما يفضله المقيمون، ثم استُخدم هذا التقييم في ضبط النموذج بالتعلم المعزز. هذا هو المسار المشهور باسم RLHF: التعلم المعزز من التغذية الراجعة البشرية.
ليس معناه أن شخصًا يجلس خلف كل إجابة ويكتبها لحظيًا. كما أن نموذج المكافأة ليس كاشف حقيقة معصومًا؛ إنه يتعلم تقريب تفضيلات ضمن بيانات ومعايير بعينها. وقد ينحاز إلى إجابة تبدو جيدة أو يتعلم النظام استغلال ثغرة في التقييم بدل تحسين المعنى الذي يهم المستخدم.
لماذا لا تكفي عبارة «البشر راجعوه»؟
من هم المقيمون؟ ما التعليمات التي تلقوها؟ هل يعرفون المجال؟ وهل الاختبار مستقل عن أمثلة التدريب؟ هذه أسئلة تغير معنى النتيجة. تفضيل إجابة في مقارنة لا يثبت صحتها الطبية أو القانونية، ولا يضمن أنها الأفضل لكل ثقافة أو لهجة.
أظهر شرح Hugging Face لتجربة StackLLaMA عام 2023 مثالًا واضحًا على صعوبة المكافأة: قد يرتفع التقييم الذي يمنحه نموذج المكافأة بينما تتدهور النصوص أو تتكرر أنماط لا تفيد القارئ. الدرس ليس رفض التغذية الراجعة، بل عدم مساواة المؤشر الذي نحسنه بالهدف الكامل الذي نريده.
حتى بحث InstructGPT الأصلي نص على بقاء اختلاق الحقائق والتحيز ومخرجات ضارة. لذلك لا يتحول النموذج إلى مرجع موثوق تلقائيًا عندما يصبح ألطف في الحوار وأكثر التزامًا بتنسيق الإجابة. تحسن السلوك وتحسن المعرفة مساران متصلان، لكنهما ليسا متطابقين.
وهل تأتي كل الملاحظات من البشر؟
لا. عرض بحث Constitutional AI من Anthropic في ديسمبر 2022 طريقة تستخدم مبادئ يختارها البشر لتوجيه نقد الإجابات ومراجعتها، ثم تفضيلات ينتجها نموذج للمساعدة في التدريب. سُمّي جانب منها التعلم من التغذية الراجعة للذكاء الاصطناعي، أو RLAIF.
الفرق لا يلغي دور البشر؛ اختيار المبادئ وتصميم التجربة وتقييم النتيجة يظل قرارات بشرية. كما لا تعني هذه الورقة أن كل نموذج حديث يستخدم الوصفة نفسها. هذه أمثلة تاريخية على عائلة من المسارات، وليست خريطة معلنة لتدريب كل منتج متاح اليوم.
ما الذي يتغير لك كمستخدم؟
إذا أردت تغيير شكل الإجابة في محادثة واحدة، ابدأ بتعليمات واضحة ومثال للنتيجة المطلوبة. هذا يختلف عن تدريب النموذج نفسه، ولا يعني أن رسالتك أعادت كتابة أوزانه فورًا. أما استخدام المحادثات لاحقًا في التدريب فيتبع سياسة الخدمة وإعداداتها؛ لا تستنتج السياسة من شكل الحوار.
وإذا أردت جوابًا من سياسة شركة أو ملف حديث، فأرفق المصدر الملائم واطلب بيان ما لا يغطيه، ثم راجع الادعاءات المهمة. ضبط التعليمات لا يمد النموذج تلقائيًا بآخر تعديل في مستنداتك، ولا يجعل عبارة «أنا متأكد» دليلًا. جرب سؤالًا تعرف إجابته، وآخر لا يحتوي المصدر على إجابته، وانظر هل يفرق بينهما.
رحلة المساعد إذن لم تكن انتقالًا من «لا يعرف الكلام» إلى «يعرف كل شيء». كانت أيضًا انتقالًا من تعلم أنماط النص إلى تدريب أكثر مباشرة على المهمة والسلوك الذي يفضله الناس. وكلما فهمت ما الذي جرى تحسينه، أصبح أسهل أن تميز بين جواب حسن العرض وجواب صالح للاعتماد عليه.
