تعودنا في مجال معالجة اللغة الطبيعية (NLP) عندما يأتي الحديث عن تطور منهجياته أن نذكر أن المجال بدأ باستخدام القواعد (Rule-based) ثم طرق تعلم الآلة (Machine Learning) وبعدها طرق التعلم العميق (Deep Learning). إلا أن هناك منظور آخر لتقدم مجال معالجة اللغة الطبيعية يتناول النماذج التي استخدمتها. ويقصد بالنماذج المستخدمة هنا بالأساليب المختلفة التي يستخدمها الباحثون والممارسون لتحسين أداء نماذج معالجة اللغة الطبيعية.
وتشير ورقة (Liu et al. 2021) إلى النماذج الأربع، كالتالي:
- هندسة الخصائص (Feature Engineering): يتضمن هذا النهج تصميم وتحديد الخصائص التي تصف المعلومات الهامة في البيانات، واستخدام هذه الخصائص كمدخلات لنموذج المعالجة الطبيعية للغة. من أمثلة هذه الخصائص: العدد الكلي للكلمات، ووسوم أجزاء الكلام، وغيرها.
- هندسة المعمارية (Architecture Engineering): يتضمن هذا النهج تصميم وتجربة بنيات وهياكل مختلفة لتحسين الأداء. من أمثلتها استخدام الشبكات العصبية المتكررة (RNN) والشبكات العصبية التلافيفية (CNN) وشبكات المحولات.
- الهندسة الهدفية (Objective Engineering): تتضمن التصميم والتجربة على الأهداف المختلفة والخسارة المختلفة لتحسين أداء النموذج، مثل استخدام التعلم المعزز (Reinforcement Learning).
- هندسة المحفزات (Prompt Engineering): يتضمن هذا النهج تصميم وتجربة مهام مختلفة ومقاييس تقييم لتقييم أداء النموذج. من أمثلتها: الترجمة الآلية والإجابة على الأسئلة وإنشاء النصوص.
المرجع:
Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig: “Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing”, 2021