أنواع أبحاث معالجة اللغة الطبيعية (NLP) وتوليد الأفكار

إجراء الأبحاث في مجال معالجة اللغة الطبيعية (NLP) لا يختلف كثيراً عن مثيلاتها من المجالات الحاسوبية الأخرى، فهي إما أبحاث قائمة على التطبيقات (Applications-driven Research) أو أبحاث قائمة على الفضول (Curiosity-driven Research) دعونا نتعرف باختصار على هذين النوعين مع ذكر أمثلة عليها:

تشير الأبحاث القائمة على التطبيقات (Applications-driven Research) إلى الأبحاث التي تركز على تطوير تطبيقات معينة قائمة على معالجة اللغة الطبيعية، مثل الترجمة الآلية وتلخيص النص وتحليل المشاعر. يعتمد هذا النوع من البحث عادةً على الحاجة إلى تحسين أداء الأنظمة الحديثة للمعالجة الطبيعية للغة أو تطوير تطبيقات جديدة. وغالبًا ما يكون الدافع وراء هذا النوع من البحث هو الرغبة في حل مشكلات معينة أو تلبية احتياجات محددة في السوق أو المجتمع.
في المقابل الأبحاث القائمة على الفضول (Curiosity-driven Research): هي أبحاث تركز على استكشاف وفهم المبادئ الأساسية للغة الطبيعية وكيفية معالجتها من قبل البشر والآلات. غالبًا ما يكون الدافع وراء هذا النوع من البحث هو الرغبة في تعزيز فهمنا للغة وهيكلها، بدلاً من الرغبة في حل مشكلات محددة أو تلبية احتياجات محددة. من أمثلتها إجراء أبحاث لاختبار معماريات الشبكات العصبية لفهم اللغة الطبيعية وتوليدها، وتطوير خوارزميات جديدة للتحليل النحوي (syntactic parsing) ووصف الأدوار الدلالية (semantic role labeling).

 ملاحظة: في الأوراق البحثية في مجال معالجة اللغة الطبيعية سنجد في أحياناً كثيرة استخدام كلا النوعين في نفس الورقة!

لكن يبقى السؤال الأهم وهو كيف يمكن الحصول على أفكار بحثية في المجال؟

هناك طريقتان أساسية للحصول على أفكار بحثية في معالجة اللغة الطبيعية (NLP) وغيرها من المجالات هما: الاكتشاف التصاعدي (Bottom-up Discovery) والتصميم التنازلي (Top-down Design).

الاكتشاف التصاعدي هو نهج بحثي يبدأ فيه الباحثون بجمع البيانات وتحليلها، ثم استخدام هذه البيانات لتشكيل فرضيات وتطوير أفكار بحثية جديدة. غالبًا ما يستخدم هذا النهج في البحث القائم على البيانات (data-driven research)، حيث يكون الهدف هو تحديد الأنماط أو الرؤى في البيانات التي يمكن استكشافها بشكل أكبر. على سبيل المثال، قد يبدأ الباحث بجمع مجموعة بيانات كبيرة لتفاعلات خدمة العملاء واستخدام هذه البيانات لتحديد مشكلات العملاء الشائعة أو أنماط اللغة الشائعة. ومن هذا المنطلق، يمكنهم تطوير أفكار بحثية جديدة حول كيفية تحسين تجربة خدمة العملاء.

في المقابل، التصميم التنازلي هو نهج بحثي يبدأ فيه الباحثون بسؤال أو مشكلة بحث واضحة ثم يصممون التجارب أو طرق جمع البيانات للإجابة على هذا السؤال. غالبًا ما يستخدم هذا النهج في البحث القائم على النظرية (theory-driven research)، حيث يكون الهدف هو اختبار فرضية معينة أو فهم ظاهرة معينة. على سبيل المثال، قد يبدأ الباحث برغبته في فهم كيفية معالجة البشر للغة الطبيعية ثم تصميم تجارب لاختبار جوانب معينة من هذه العملية، مثل دور السياق في فهم اللغة.

ختاماً، يمكن للباحثين استخدام كلا النهجين في أبحاثهم، بحيث يتم الجمع بين الاكتشاف التصاعدي والتصميم التنازلي من خلال البدء بسؤال أو مشكلة بحثية واضحة، وجمع البيانات وتحليلها، ثم استخدام البيانات لتحسين سؤال البحث واستكشاف مجالات بحث جديدة. يمكن أن يوفر هذا المزيج توازنًا بين البحث المبني على البيانات والمبني على النظرية، مما يؤدي إلى فهم أكثر شمولاً للموضوع.

النماذج الأربع لتطور مجال معالجة اللغة الطبيعية

تعودنا في مجال معالجة اللغة الطبيعية (NLP) عندما يأتي الحديث عن تطور منهجياته أن نذكر أن المجال بدأ باستخدام القواعد (Rule-based) ثم طرق تعلم الآلة (Machine Learning) وبعدها طرق التعلم العميق (Deep Learning). إلا أن هناك منظور آخر لتقدم مجال معالجة اللغة الطبيعية يتناول النماذج التي استخدمتها. ويقصد بالنماذج المستخدمة هنا بالأساليب المختلفة التي يستخدمها الباحثون والممارسون لتحسين أداء نماذج معالجة اللغة الطبيعية.

وتشير ورقة (Liu et al. 2021) إلى النماذج الأربع، كالتالي:

  1. هندسة الخصائص (Feature Engineering): يتضمن هذا النهج تصميم وتحديد الخصائص التي تصف المعلومات الهامة في البيانات، واستخدام هذه الخصائص كمدخلات لنموذج المعالجة الطبيعية للغة. من أمثلة هذه الخصائص: العدد الكلي للكلمات، ووسوم أجزاء الكلام، وغيرها.
  2. هندسة المعمارية (Architecture Engineering): يتضمن هذا النهج تصميم وتجربة بنيات وهياكل مختلفة لتحسين الأداء. من أمثلتها استخدام الشبكات العصبية المتكررة (RNN) والشبكات العصبية التلافيفية (CNN) وشبكات المحولات.
  3. الهندسة الهدفية (Objective Engineering): تتضمن التصميم والتجربة على الأهداف المختلفة والخسارة المختلفة لتحسين أداء النموذج، مثل استخدام التعلم المعزز (Reinforcement Learning).
  4. هندسة المحفزات (Prompt Engineering): يتضمن هذا النهج تصميم وتجربة مهام مختلفة ومقاييس تقييم لتقييم أداء النموذج. من أمثلتها: الترجمة الآلية والإجابة على الأسئلة وإنشاء النصوص.

المرجع:

Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig: “Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing”, 2021

تطبيقات نموذج الطالب والمعلم في معالجة اللغة

نموذج الطالب والمعلم (student model and the teacher model) هما مفهومان شائعان في مجال تعلم الآلة، وخاصة في سياق التقليل المعرفي (knowledge distillation).

ففي مجال التقليل المعرفي، يكون الهدف هو تدريب نموذج صغير وفعال (نموذج الطالب) للقيام بمهمة معينة مع نسبة تحقق ذات دقة متطابقة أو أفضل من نموذج كبير ومعقد (نموذج المعلم). يتم تدريب نموذج الطالب عادةً لتحمل النتائج المنجزة من نموذج المعلم، والذي قد تم تدريبه على مجموعة بيانات كبيرة ولديه مستوى جيد من الأداء في المهمة المعنية.

فيما يلي مثال لكيفية استخدام نموذج الطالب والمعلم في مجال معالجة اللغة الطبيعية:

  • دعنا نقول أنك تريد تدريب نموذج تعلم آلي لترجمة النص من لغة إلى لغة أخرى (مثل الإنجليزية إلى الفرنسية).
  • لديك مجموعة كبيرة من الجُمل المترجمة التي تستخدمها لتدريب شبكة عصبية عميقة (DNN) كنموذج المعلم. يحتوي DNN على العديد من الطبقات والملايين من المعلمات (parameters)، ويستغرق وقتًا كبيرًا لتدريبه.
  • بعد تدريب DNN، تريد إنشاء نموذج أصغر يمكنه ترجمة النص بنفس الدقة، ولكنه أكثر فعالية وأسهل للنشر. عندها تقرر استخدام التقليل المعرفي للقيام بذلك.
  • تبدأ بتدريب شبكة عصبية أصغر (مثل نموذج المتحول Transformer مع أقل عدد من الطبقات والمعلمات).
  • كنموذج الطالب. تستخدم النتائج المنجزة من نموذج المعلم (DNN) كهدف لنموذج الطالب، وليس الترجمات الحقيقية للجُمل. هذا يسمح لنموذج الطالب بالتعلم من خبرة نموذج المعلم.
  • تواصل تدريب نموذج الطالب على الجُمل المترجمة، وتعديل الأوزان والعوامل العامة للنموذج لتصغير الفرق بين نتائجه ونتائج نموذج المعلم. عندما يصبح نموذج الطالب أكثر دقة، يصبح أكثر تشابهًا مع نموذج المعلم من حيث أدائه في مهمة الترجمة.

عطفاً على المثال السابق، يمكن استخدام نموذج الطالب والمعلم في مجموعة متنوعة من المهام في مجال معالجة اللغة الطبيعية، بما في ذلك:

  • تصنيف النصوص والمشاعر: يمكن تدريب نموذج الطالب لتصنيف النص في فئات مختلفة (مثل الإيجابية، السلبية، المحايدة) على أساس نتائج نموذج المعلم الذي تم تدريبه على مجموعة كبيرة من النصوص الموسمة.
  • الترجمة الآلية: كما ذكرت مسبقًا، يمكنك تدريب نموذج الطالب لترجمة النص من لغة إلى لغة أخرى على أساس نتائج نموذج المعلم الذي تم تدريبه على مجموعة كبيرة من الجُمل المترجمة.
  • تلخيص النص: يمكن تدريب نموذج الطالب لإنتاج ملخص لنص طويل على أساس نتائج نموذج المعلم الذي تم تدريبه على مجموعة كبيرة من النصوص الملخصة.
  • نمذجة اللغة: يمكن تدريب نموذج الطالب لتنبؤ الكلمة التالية في جملة على أساس نتائج نموذج المعلم الذي تم تدريبه على مجموعة كبيرة من النص.