![]() |
| Transformer والانتباه في تعلّم اللغة |
إزاي برنامج يميّز إن «عين» في جملة «غسلت عيني» غير «عين المياه»؟ وإزاي يربط ضمير في آخر الجملة باسم ظهر في أولها؟ الكمبيوتر ما عندوش عين بتقرأ ولا ذاكرة بشرية بتستوعب الحكاية. لكنه يقدر يحوّل النص لأرقام، ويحسب علاقات بين أجزائه. واحدة من أهم الأفكار اللي طوّرت الحسابات دي اسمها «الانتباه»، ومنها ظهرت بنية Transformer.
في ختام الحكاية التاريخية من الانتشار الخلفي إلى ألكس نت وقفنا عند عودة الشبكات العصبية بقوة. المقال ده وقفة مستقلة بعد الحكاية: هنفهم الفكرة اللي ساعدت نماذج اللغة تاخد دفعة كبيرة، من غير معادلات ولا افتراض إن الآلة بتفكّر زينا.
المشكلة: الكلام مش كلمات واقفة لوحدها
بص على الجملتين: «فتح أحمد الباب لأنه كان مقفولًا»، و«فتح أحمد الباب لأنه كان مستعجلًا». إحنا بنربط الوصف مرة بالباب ومرة بأحمد. ترتيب الكلمات والسياق بيغيّروا المقصود، حتى لو بداية الجملة واحدة. ده مثال توضيحي للعلاقات اللي محتاجين نمثّلها، مش اختبار منشور يضمن إن أي نموذج هيجاوب صح.
قبل Transformer، كانت الشبكات المتكررة، أو RNNs، طريقة مهمة لمعالجة اللغة. بتحدّث حالة داخلية وهي ماشية على عناصر النص بالتتابع. وبعض نماذج الترجمة المبكرة كانت بتحاول تلخّص الجملة كلها في تمثيل عددي ثابت، وبعده تبدأ تولّد الترجمة. كل ما الجملة تطول، ضغط التفاصيل في الملخص ده يبقى أصعب. وكان اعتماد كل خطوة على اللي قبلها بيحدّ من المعالجة المتوازية أثناء التدريب.
الانتباه بدأ قبل Transformer
الانتباه ما اتولدش فجأة مع ورقة سنة 2017. في بحث باهـداناو وتشو وبنجيو عن الترجمة العصبية، كانت الفكرة بدل الاعتماد على ملخص واحد: خَلّي النموذج يرجع لتمثيلات مواضع مختلفة من الجملة الأصلية كل ما يحتاج يولّد كلمة في الترجمة، ويديها أوزانًا مختلفة حسب فائدتها للخطوة الحالية.
تخيّل إنك بتراجع فقرة وفي إيدك قلم تظليل. مش كل جزء فيها بنفس الأهمية للسؤال اللي قدامك. التشبيه ده بيقرّب الفكرة، لكن حسابات النموذج مش اختيارًا واعيًا: الأوزان ناتجة من عمليات رياضية ومعاملات اتعلمها أثناء التدريب.
إيه الجديد اللي قدّمته ورقة «Attention Is All You Need»؟
في سنة 2017 قدّم آشِش فاسواني وزملاؤه بنية Transformer للترجمة الآلية. التغيير الكبير إنهم استغنوا عن التكرار في معالجة التسلسل، واعتمدوا على الانتباه مع طبقات أخرى. ده سمح بتوازٍ أكبر في التدريب، وسهّل توصيل المعلومات بين مواضع متباعدة في النص. الورقة كانت عن الترجمة، مش إعلانًا عن شات بوت بقدرات التطبيقات الحالية.
المهم هنا إن «الانتباه هو كل ما تحتاجه» عنوان لافت، مش وصف حرفي إن النظام فيه عملية واحدة. البنية الأصلية فيها طبقات شبكات عصبية أخرى، وتطبيع، ووصلات بتساعد المعلومات تمر بين الطبقات، وطريقة لتمثيل مواضع عناصر النص. الانتباه جزء محوري، مش الجهاز كله.
من الكلمة إلى الأرقام، ثم إلى السياق
النموذج بيتعامل مع وحدات اسمها Tokens. الوحدة ممكن تكون كلمة أو جزءًا منها أو علامة، حسب طريقة تقسيم النص. علشان كده عدد الكلمات مش بالضرورة يساوي عدد الوحدات. كل وحدة بيتكوّن لها تمثيل عددي، أو Embedding، وتدخل معاه معلومات عن موضعها؛ لأن «أكل القط السمكة» مش زي «أكلت السمكة القط».
في الانتباه الذاتي، أو Self-Attention، النموذج بيستخدم العلاقات بين مواضع داخل التسلسل نفسه علشان يحدّث تمثيل كل موضع بالسياق المتاح له. معنى «ذاتي» هنا إن العلاقات داخل التسلسل، مش إن البرنامج عنده وعي بذاته. وبدل ما «عين» تفضل مجرد تمثيل أولي معزول، تدخل معلومات من الكلام حواليها في الحساب.
هتسمع أسماء Query وKey وValue، أو الاستعلام والمفتاح والقيمة. دي تمثيلات عددية متعلّمة، مش أسئلة مكتوبة في بحث جوجل. بنقارن الاستعلام بالمفاتيح لحساب درجات، ونحوّل الدرجات لأوزان، ثم نستخدم الأوزان لمزج القيم. النتيجة تمثيل جديد يحمل معلومات من مواضع مختلفة بنسب مختلفة. مش لازم تحفظ الأسماء علشان تفهم الفكرة الأساسية: السياق بيغيّر التمثيل.
ليه أكتر من «رأس»؟ وليه ترتيب النص مهم؟
بدل إجراء حساب انتباه واحد، الانتباه متعدد الرؤوس بيعمل عدة حسابات بتعلّم إسقاطات عددية مختلفة، وبعدها يدمج النتائج. ده يتيح تمثيل جوانب وعلاقات متنوعة في نفس الوقت. لكنه مش تقسيمًا ثابتًا نقول فيه بثقة إن الرأس الأول للنحو والثاني للمشاعر والثالث للحقائق؛ وظائف الرؤوس مش قائمة جاهزة يكتبها المبرمج.
والعلاقات لوحدها مش كفاية. لازم معلومات عن ترتيب الوحدات تدخل في النموذج. البنية الأصلية أضافت ترميزًا موضعيًا إلى التمثيلات. من غير وسيلة لتمثيل المواضع، آلية الانتباه وحدها ما بتقدّمش نفس معلومات ترتيب الكلمات. التفاصيل اختلفت في بنى لاحقة، لكن أهمية الترتيب ما اختفتش.
من الترجمة إلى نماذج توليد اللغة
البنية الأصلية جمعت مُرمّزًا يقرأ المدخل ومُفكّك ترميز يولّد المخرج. مش كل نموذج مبني على Transformer لازم يستخدم الشكل الكامل ده. في عمل OpenAI المنشور في يونيو 2018، اجتمع Transformer مع التدريب المسبق على نمذجة اللغة، ثم الضبط على مهام محددة. كانت دي خطوة مهمة في مسار النماذج اللغوية التوليدية، مش أول محاولة في التاريخ للتعلّم من نصوص غير موسومة.
في النموذج السببي اللي بيتنبأ بالوحدة التالية، الموضع الحالي يقدر يستفيد من الوحدات السابقة المسموح له يشوفها، مش من وحدات مستقبلية لسه ما اتولدتش. أثناء التدريب، وجود النص الصحيح كاملًا مع قناع يمنع الاطلاع على المستقبل يسمح بحساب توقعات مواضع متعددة بالتوازي. أما عند توليد نص جديد بالطريقة المعتادة، فالنموذج يضيف وحدة ثم يستخدمها في الخطوة التالية. إذن سرعة التدريب بالتوازي لا تعني إنه بيكتب الإجابة كلها مرة واحدة.
الانتباه مش شهادة بصحة الإجابة
حساب علاقات لغوية مفيدة مش هو التحقق من واقعة في العالم. نموذج اللغة ممكن ينتج جملة سليمة ومقنعة وفيها اسم أو رقم غلط. وحتى شرح OpenAI في 2018 نبّه إلى إن النصوص لا تحتوي معلومات كاملة أو دقيقة عن العالم، وإن النماذج قد تتعلّم تحيّزات البيانات وتتصرف بشكل غير متوقع خارج أمثلتها المعتادة.
عمليًا، لما تطلب معلومة مهمة، افصل بين جودة الصياغة وصحة المعلومة: اطلب المصدر، وافتحه، وراجع إن الادعاء موجود فعلًا وفي سياقه. ولو عايز تحس بتأثير السياق، جرّب جملتي أحمد والباب واسأل البرنامج عن مرجع الضمير وسبب اختياره. قارن إجابته بالكلام نفسه. دي تجربة لفهم سلوكه، مش طريقة لاستخراج أوزان انتباهه الحقيقية أو إثبات إنه يفهم زي الإنسان.
الخلاصة: Transformer غيّر طريقة ربط أجزاء النص وحسابها أثناء التدريب، والانتباه ساعد كل موضع يستفيد من السياق بدل ما يفضل معزولًا. لكن البيانات، وطريقة التدريب، وبقية البنية، والتحقق الخارجي كلها تظل مهمة. ولو حابب تكمل من الفكرة إلى الاستخدام، ابدأ بـدليل كتابة برومبت واضح، ومعاه الفارق ده في بالك: وضوح طلبك يساعد النموذج، لكنه مش ضمانًا لصحة رده.
للتوسّع البصري والتقني: شرح جاي ألمار المصوّر، ومذكرات MIT عن Transformer، وشرح Harvard المصحوب بالتنفيذ.
