صورة لخط البيانات CCNet (المصدر مدونة Christian S. Perone)
التعامل مع النصوص الطبيعية هو واحد من أهم التحديات في مجال تعلم الآلة. يتطلب ذلك تنظيف وتحليل البيانات النصية من مصادر مختلفة ومتنوعة ثم تحويلها إلى نتائج مفيدة وقابلة للتطبيق. لهذا الغرض، يحتاج الباحثون والمطورون إلى خطوط أنابيب البيانات (data pipelines)، وهي عملية تسلسلية تربط بين مراحل مختلفة من معالجة البيانات. في هذا المقال، سألخص ما كتبه كريستيان بيرون (Christian S. Perone)، باحث في مجال تعلم الآلة عن خطوط الأنابيب التي تُستخدم لتدريب LLaMA، وهي أحدث النماذج اللغوية المتقدمة.
تبدأ العملية مع مصدر البيانات، والذي في هذه الحالة هو Common Crawl، وهو منظمة غير ربحية تقوم بالزحف الضخم للمواقع الإلكترونية وتوفر البيانات بتنسيقات مختلفة. تستخدم النماذج اللغوية عادة الأشكال الثانوية، WAT و WET، والتي تحتوي على بيانات معالجة مسبقاً.
يتطلب تنقية هذه البيانات الكثير من الخيارات. فخط بيانات CCNet (هي أداة تم تطويرها لاستخراج مجموعات بيانات أحادية اللغة عالية الجودة من بيانات التصفح على الويب. تم تطويره من قبل Meta ويستخدم في تدريب العديد من النماذج اللغوية الكبيرة)، على سبيل المثال، تستخدم تنسيق WET، والذي يتمثل في النص فقط، بينما تستخدم الأنابيب الأخرى، مثل The Pile، تنسيق WAT، مع الادعاء بأنه يمكن استخراج نص ذات جودة أعلى. أما الأنابيب الأخرى، مثل RefinedWeb، فتستخدم WARC مباشرة وتتجاوز خطوط الأنابيب Common Crawl لاستخراج النص.
علاوة على ذلك، تستخدم العديد من الأنابيب قوائم الحظر العامة للروابط (URL Filtering) لتصفية المواقع الإلكترونية التي تحتوي على محتوى غير لائق أو ضار. يمكن أن يتم تصفية الروابط URL بناءً على الكلمات أو باستخدام قوائم الحظر التي تضم الملايين من النطاقات.
بعدها تأتي عملية إزالة التكرار (deduplication)، وهي خطوة حاسمة في خط البيانات المستخدم لإنشاء مجموعات البيانات لتدريب النماذج اللغوية الكبيرة. ويعّرف إزالة التكرار، كما يوحي الاسم، بأنه عملية إزالة البيانات المكررة من مجموعة البيانات. هذه الخطوة مهمة لأن وجود بيانات مكررة في مجموعة التدريب يمكن أن تؤدي إلى التخصيص الزائد، حيث يتعلم النموذج تقليد بيانات التدريب بدلاً من التعلم للتعميم منها. في المقابل، تنفذ RefinedWeb عملية إزالة التكرار بشكل أكثر صرامة، مما يؤدي إلى معدلات إزالة أعلى بكثير من ما تم الإبلاغ عنه في مجموعات بيانات أخرى. كما يلاحظ CCNet أن هذه الخطوة تساعد في إزالة الكثير من البيانات غير الضرورية وتحسين تحديد اللغة.
التصفية في نماذج اللغة الكبيرة (LM Filtering) هي عملية مهمة للغاية في تحسين جودة البيانات المستخدمة في التدريب. بشكل عام، يتم تطبيق عمليات التصفية لاستبعاد المحتوى غير المرغوب فيه أو المحتوى الذي قد يكون ضارًا أو مضللاً. في عملية التدريب، تلعب التصفية دورًا هامًا في تحديد البيانات التي تتعلم منها النماذج اللغوية، وبالتالي يمكن أن تؤثر بشكل كبير على الأداء النهائي للنموذج.
في النهاية، يُظهر التعقيد المرتبط بخطوط أنابيب البيانات أن بناء مجموعة بيانات لتدريب النماذج اللغوية الكبيرة ليس بالمهمة السهلة. يتطلب الأمر الكثير من القرارات التقنية والمعرفة بأفضل الممارسات وأحدث الأبحاث. ومع ذلك، فإن النتائج الممتازة التي تحققها هذه النماذج تثبت أن الجهد يستحق ذلك.
ختاماً، هذا المقال مفيد لأي شخص يهتم بمجال تعلم الآلة والمعالجة اللغوية الطبيعية. حيث يوفر نظرة عامة على خطوط أنابيب البيانات في النماذج الضخمة وكيفية استخدامها لحل مشكلات معقدة. لذلك يرجى ملاحظة أن هذا الموضوع معقد ويتطلب فهمًا أعمق للتفاصيل. لمزيد من المعلومات، يرجى الرجوع إلى التدوينة الأصلية!