دردشة AI: أنواع النماذج اللغوية وكيف تدرب - مع د. صبري بوغربال скачать в хорошем качестве

دردشة AI: أنواع النماذج اللغوية وكيف تدرب - مع د. صبري بوغربال

مقدمة وخلفية (0:00:00 - 0:01:34) مقدمة المضيف والضيف، الدكتور صبري أبو غربال. نظرة عامة على خبرة الدكتور صبري وعمله الحالي على نموذج "فنار". جمع البيانات وإعدادها (0:01:34 - 0:09:59) مصادر البيانات لتدريب النماذج اللغوية الكبيرة (محتوى الويب، الموسوعات، الأوراق الأكاديمية، التعليمات البرمجية). عملية تصفية وتنظيف بيانات الويب. تحديات تصفية المحتوى العربي. هندسة النموذج: المحولات وجي بي تي (0:09:59 - 0:16:08) نبذة تاريخية عن تطوير النموذج اللغوي (BERT، GPT). شرح بنية "المحولات" وآلية "الانتباه" الخاصة بها. الفرق بين الشبكات العصبية المتكررة والمحولات. نماذج الـencoder مقابل نماذج الـdecoder (0:16:08 - 0:21:03) شرح نماذج المشفر فقط (BERT) ونماذج فك التشفير فقط (GPT). الفرق بين طريقة الإخفاء لنماذج المشفر، وطريقة التنبؤ لنماذج فك التشفير. التحديات التي تواجه نماذج فك التشفير. الترميز: ترميز الكلمات (0:21:03 - 0:26:56) عملية تحويل الكلمات إلى تمثيلات رقمية. مناقشة طرق الترميز المختلفة (القائمة على الكلمات، القائمة على الأحرف، الكلمات الفرعية). تحديات الترميز، ومفهوم الخصوبة. تدريب النموذج (0:26:56 - 0:31:27) عملية تدريب النموذج اللغوي باستخدام دفعات من البيانات. شرح وظائف الخسارة والتعلم المنهجي. أهمية خفض وظيفة الخسارة. التدريب الدقيق والتفضيل (0:31:27 - 0:35:12) الفرق بين التدريب المسبق والضبط الدقيق. عملية تدريب النموذج للإجابة على الأسئلة وتوليد الاستجابات المرغوبة. تحسين التفضيل بعد التدريب. الموارد الحسابية (0:35:12 - 0:39:59) متطلبات الأجهزة لتدريب النماذج اللغوية الكبيرة (وحدات معالجة الرسومات، مراكز البيانات). مناقشة حجم قوة الحوسبة المطلوبة. تكاليف الأجهزة المطلوبة. قانون التحجيم. تتناول هذه الحلقة عملية بناء النماذج اللغوية الضخمة مثل "فنار"، بدءًا من تجميع البيانات وتنقيحها، مرورًا بتصميم النموذج وتدريبه، وصولًا إلى تحسين أدائه. يتم التركيز على أهمية البيانات الضخمة، وهيكلة النموذج (خاصةً "ترانسفورمر" ونماذج "جي بي تي")، وتقنيات التدريب المتقدمة مثل "فاين تيونينج" و "بوست ترينينج". كما يتم تسليط الضوء على التحديات التقنية والموارد الحاسوبية الهائلة المطلوبة لبناء هذه النماذج. بناء النماذج اللغوية الضخمة: رحلة "فنار" من البيانات إلى الذكاء شهدت السنوات الأخيرة طفرة هائلة في مجال الذكاء الاصطناعي، خاصةً في تطوير النماذج اللغوية الضخمة القادرة على فهم اللغة الطبيعية وتوليد النصوص بشكل مذهل. ومن بين هذه النماذج، يبرز نموذج "فنار" الذي تم تطويره في معهد قطر لبحوث الحوسبة، كنموذج رائد في فهم ومعالجة اللغة العربية. البيانات: حجر الأساس تبدأ رحلة بناء نموذج لغوي ضخم بتجميع كميات هائلة من البيانات النصية من مصادر متنوعة، مثل صفحات الويب، الموسوعات، الكتب الأكاديمية، ولغات البرمجة. تمثل هذه البيانات الخامة الأساسية التي يتعلم منها النموذج أنماط اللغة وقواعدها. تنقية البيانات: غربلة الذهب لا تخلو البيانات المجمعة من الشوائب والضجيج، لذا تأتي مرحلة تنقية البيانات لتصفية المحتوى غير المرغوب فيه وتحسين جودة البيانات المستخدمة في التدريب. يتم استخدام تقنيات متقدمة لتحديد وتصحيح الأخطاء، وإزالة المحتوى المكرر أو غير ذي الصلة. هندسة النموذج: تصميم العقل يعتمد نموذج "فنار" على بنية "ترانسفورمر"، وهي بنية نموذجية حديثة أثبتت فعاليتها في معالجة اللغة الطبيعية. يتم تدريب النموذج على التنبؤ بالكلمة التالية في الجملة، مما يمكنه من فهم سياق الكلام وتوليد نصوص متناسقة. التدريب: صقل القدرات تتطلب عملية تدريب نموذج لغوي ضخم موارد حاسوبية هائلة، حيث يتم استخدام آلاف المعالجات المتوازية (GPUs) لتسريع عملية التدريب. يتم تقسيم البيانات إلى دفعات صغيرة (batches) وتغذية النموذج بها بشكل متكرر، مع ضبط معايير النموذج لتحسين أدائه. تحسين الأداء: الارتقاء بالذكاء بعد انتهاء مرحلة التدريب الأساسية، يتم تحسين أداء النموذج من خلال تقنيات مثل "فاين تيونينج" و "بوست ترينينج". يتم في هذه المرحلة تزويد النموذج بأمثلة محددة لتحسين قدرته على الإجابة على الأسئلة وتوليد النصوص المرغوبة. التحديات والمستقبل لا يزال بناء النماذج اللغوية الضخمة يواجه العديد من التحديات، مثل الحاجة إلى المزيد من البيانات عالية الجودة، وتطوير تقنيات تدريب أكثر كفاءة، وضمان أخلاقيات استخدام هذه النماذج. ومع ذلك، فإن التقدم المستمر في هذا المجال يبشر بمستقبل واعد، حيث يمكن لهذه النماذج أن تحدث ثورة في العديد من المجالات، مثل التعليم، والصحة، والترجمة، وخدمة العملاء. ======= الدكتور صبري بوغربال باحث في معهد قطر لبحوث الحوسبة، وهو المسئول عن نمذجة فنار، النموذج اللغوي الضخم العربي. حصل على الدكتوراة من جامعة باريس أورسيه وعمل كباحث في شركة فيليبس ومستشفى سدرة. الدكتور كريم درويش باحث في مجالي اللسانيات الحاسوبية، والإنسانيات الحاسوبية، وتخصصه العلمي يجمع بين علوم الحاسب واللغة وعلمي الاجتماع والنفس، وقد ألف عشرات الأبحاث العلمية، ونُشِرَت هذه الأبحاث في أهم المؤتمرات الدولية والمجلات العلمية، وشارك في كتابة العديد من الكتب العلمية المتخصصة. نشر عدة دراسات علمية في قضايا حساسة تخص الشأن العربي والإسلامي، في مواضيع مثل: تدخل الجيش في السياسة، والعداوة ضد المسلمين في الغرب، وتأثير الربيع العربي على الجماعات المتطرفة، ودور الدعاية الموجهة على وسائل التواصل الاجتماعي. عمل الدكتور كريم درويش في جامعة ميريلاند في الولايات المتحدة وفي جامعة القاهرة والجامعة الألمانية في القاهرة، وعمل باحثًا في شركتي ميكروسوفت وآي بي إم، ويشغل حاليا منصب كبير الباحثين في معهد قطر لبحوث الحوسبة التابع لمؤسسة قطر. على تويتر:   / kareem2darwish   على الفيس بوك:   / socipsych