بطاقة نموذج Gemma

صفحة النموذج: Gemma

الموارد والمستندات الفنية:

بنود الاستخدام: البنود

المؤلفون: Google

معلومات حول الطراز

وصف موجز وتعريف موجز للمدخلات والمخرجات.

الوصف

Gemma هي مجموعة من أحدث النماذج المتطوّرة والخفيفة المتاحة للجميع من Google، تم تصميمهما بالاستناد إلى الأبحاث والتكنولوجيا نفسها المستخدَمة لإنشاء نماذج Gemini. فهي عبارة عن نماذج لغوية كبيرة تستخدم "تحويل النص إلى نص" وف�� الترميز فقط، وتتوفر باللغة الإنجليزية مع الأوزان المفتوحة والمتغيرات المدرّبة مسبقًا والمتغيرات المصممة وفقًا للتعليمات. Gemma تناسب مجموعة متنوعة من مهام إنشاء النصوص، بما في ذلك للإجابة عن الأسئلة والتلخيص والاستنتاج. حجمها صغير نسبيًا تجعل من الممكن نشرها في بيئات ذات موارد محدودة مثل كمبيوتر محمول أو كمبيوتر مكتبي أو بنيتك الأساسية الخاصة بالسحابة الإلكترونية، ما يتيح للجميع الوصول إلى أحدث نماذج الذكاء الاصطناعي والمساعدة في تعزيز الابتكار للجميع.

المُدخلات والمُخرجات

  • الإدخال: سلسلة نصية، مثل سؤال أو طلب أو مستند الملخصة.
  • الإخراج: يتم إنشاء نص باللغة الإنجليزية ردًا على الإدخال، مثل. كإجابة على سؤال، أو ملخص لمستند.

معلومات الكتاب

@article{gemma_2024,
    title={Gemma},
    url={https://www.kaggle.com/m/3301},
    DOI={10.34740/KAGGLE/M/3301},
    publisher={Kaggle},
    author={Gemma Team, Thomas Mesnard and Cassidy Hardin and Robert Dadashi and Surya Bhupatiraju and Laurent Sifre and Morgane Rivière and Mihir Sanjay Kale and Juliette Love and Pouya Tafti and Léonard Hussenot and et al.},
    year={2024}
}

بيانات النموذج

يشير ذلك المصطلح إلى البيانات المستخدَمة لتدريب النماذج وطريقة معالجة البيانات.

مجموعة بيانات التدريب

تم تدريب هذه النماذج على مجموعة بيانات تضم بيانات نصية تتضمن مجموعة متنوعة من المصادر، بإجمالي 6 تريليون رمز مميز. في ما يلي المكونات الرئيسية:

  • مستندات الويب: تضمن المجموعة المتنوعة من نصوص الويب إظهار النموذج إلى مجموعة واسعة من الأساليب اللغوية والموضوعات والمفردات بشكل أساسي المحتوى باللغة الإنجليزية.
  • التعليمة البرمجية: يساعد عرض النموذج على التعليمات البرمجية في التعرف على بنية وأنماط للغات البرمجة، مما يحسن من قدرتها على إنشاء التعليمات البرمجية أو فهم الأسئلة المتعلقة بالتعليمات البرمجية.
  • الرياضيات: التدريب على النصوص الرياضية يساعد النموذج في التعلُ��م المنطقي الاستنتاج والتمثيل الرمزي ومعالجة الاستعلامات الرياضية.

يعد الجمع بين مصادر البيانات المتنوعة هذه أمرًا بالغ الأهمية لتدريب نموذج لغوي يمكنه التعامل مع مجموعة واسعة من المهام والنصوص المختلفة والتنسيقات.

المعالجة المسبقة للبيانات

فيما يلي طرق تنظيف البيانات وتصفيتها الرئيسية المطبقة على التدريب البيانات:

  • فلترة مواد الاعتداء الجنسي على الأطفال: كانت الفلترة الصارمة لمواد الاعتداء الجنسي على الأطفال تطبيقها على مراحل متعددة في عملية إعداد البيانات للتأكد من استبعاد المحتوى الضار وغير القانوني.
  • تصفية البيانات الحساسة: كجزء من جعل نماذج Gemma المدرّبة مسبقًا آمنة تم استخدام أساليب آلية موثوقة لتصفية بيانات بعض والمعلومات والبيانات الحساسة الأخرى من مجموعات التدريب.
  • طرق إضافية: الفلترة استنادًا إلى جودة المحتوى وأمانه بما يتوافق مع سياساتنا.

معلومات التنفيذ

تفاصيل حول التصميم الداخلي للنموذج.

أجهزة

تدربت "جيما" على استخدام أحدث جيل من جهاز وحدة معالجة المستشعر (TPU) (TPUv5e).

يتطلب تدريب النماذج اللغوية الكبيرة قوة حسابية كبيرة. وحدات معالجة الموتّرات مصممة خصيصًا لعمليات المصفوفة الشائعة في التعلم الآلي، توفر مزايا عديدة في هذا المجال:

  • الأداء: تم تصميم وحدات معالجة الموتّرات خصيصًا لمعالجة العمليات الحسابية الضخمة في تدريب النماذج اللغوية الكبيرة. يمكنهم تسريع التدريب بشكل كبير مقارنة وحدات المعالجة المركزية (CPU).
  • الذاكرة: غالبًا ما تكون وحدات معالجة الموتّرات مزوّدة بكميات كبيرة من الذاكرة ذات معدّل نقل البيانات العالي، ما يتيح للتعامل مع النماذج الكبيرة وأحجام الدفعة أثناء التدريب. يمكن أن تحسين جودة النماذج.
  • قابلية التوسع: توفر لوحات TPU (مجموعات كبيرة من وحدات معالجة الموتّرات) حلاً قابلاً للتوسع التعامل مع التعقيد المتزايد لنماذج الأساس الكبيرة. يمكنك توزيع والتدريب على العديد من أجهزة معالجة الموتّرات لإجراء معالجة أسرع وأكثر كفاءة.
  • الفعالية من حيث التكلفة: في العديد من السيناريوهات، يمكن أن توفر وحد��ت معالجة الموتّرات طريقة أكثر فعالية من حيث التكلفة لتدريب النماذج الكبيرة مقارنةً بالبنية التحتية القائمة على وحدة المعالجة المركزية (CPU)، خاصة عند التفكير في الوقت والموارد التي تم توفيرها بسبب التدريب.
  • تتماشى هذه المزايا مع تلتزم Google بالعمل بطريقة مستدامة.

البرامج

وتم إجراء التدريب باستخدام قناتَي JAX وML Pathways.

تسمح وكالة JAX للباحثين بالاستفادة من أحدث جيل من الأجهزة، بما في ذلك وحدات معالجة الموتّرات، للحصول على تدريب أسرع وأكثر فعالية للنماذج الكبيرة.

مشروع ML Pathways هو أحدث الجهود التي تبذلها Google لتطوير أنظمة ذكية بشكل مصطنع قادر على التعميم عبر مهام متعددة. هذا مناسب بشكل خاص نماذج التأسيس، بما في ذلك النماذج اللغوية الكبيرة مثل هذه.

ويتم استخدام مسارات JAX وML معًا كما هو موضح في بحث عن مجموعة نماذج Gemini "الأغنية وحدة التحكّم لترميز Jax وPathways، يُتيح صفحة Python واحدة لتنظيم عملية التدريب بأكملها، مما يؤدي إلى تبسيط سير عمل التطوير".

التقييم

مقاييس ونتائج تقييم النموذج

النتائج المعيارية

تم تقييم هذه النماذج مقابل مجموعة كبيرة من مجموعات البيانات المختلفة لتغطية الجوانب المختلفة لإنشاء النص:

مقياس الأداء المقياس Gemma PT 2B Gemma PT 7B
MMLU 5 لقطات، أعلى 1 42.3 64.3
HellaSwag 0-لقطة 71.4 81.2
PIQA 0-لقطة 77.3 81.2
SocialIQA 0-لقطة 49.7 51.8
BoolQ 0-لقطة 69.4 83.2
WinoGrande نتيجة جزئية 65.4 72.3
CommonsenseQA 7 لقطات 65.3 71.3
OpenBookQA 47.8 52.8
ARC-e 73.2 81.5
ARC-c 42.1 53.2
TriviaQA 5 لقطات 53.2 63.4
الأس��لة الطبيعي�� 5 لقطات 12.5 23.0
HumanEval Pass@1 22.0 32.3
MBPP 3 لقطات 29.2 44.4
بروتوكول GSM8K maj@1 17.7 46.4
MATH 4 لقطات 11.8 24.3
AGIEval 24.2 41.7
مقعد كبير 35.2 55.1
متوسطة 44.9 56.4

الأخلاقيات والسلامة

نهج تقييم الأخلاقيات والأمان والنتائج.

نهج التقييم

وتشمل طرق التقييم لدينا التقييمات المهيكلة والفريق الأحمر الداخلي اختبار سياسات المحتوى ذات الصلة تم إجراء الفريق الأحمر بواسطة عدد من فرق مختلفة، ولكل منها أهداف ومقاييس تقييم بشري مختلفة. هذه النماذج مقارنةً بعدد من الفئات المختلفة ذات الصلة الأخلاقيات والسلامة، بما في ذلك:

  • تحويل النص إلى نصوص بأمان: فريق المراجعين في المطالبات التي تتناول الأمان السياسات، بما في ذلك الاعتداء الجنسي على الأطفال واستغلالهم والتحرش والعنف والمحتوى الدموي الذي يحض على الكراهية والكلام الذي يحض على الكراهية
  • الضرر التمثيلي لتحويل النص إلى نص: مقارنة الأداء الأكاديمي ذي الصلة مجموعات البيانات مثل WinoBias وBBQ Dataset.
  • التذكّر: تقييم آلي لحفظ بيانات التدريب، بما في ذلك من مخاطر الكشف عن معلومات تحديد الهوية الشخصية.
  • الضرر على نطاق واسع: اختبارات "للإمكانات الخطيرة" مثل المواد الكيميائية المخاطر البيولوجية والإشعاعية والنووية (CBRN).

نتائج التقييم

نتائج تقييمات الأخلاقيات وتقييمات السلامة ضمن المعايير المقبولة للالتزام بالسياسات الداخلية للفئات مثل "الأطفال" السلامة وأمان المحتوى والأضرار التمثيلية والحفظ والضرر على نطاق واسع بالإضافة إلى التقييمات الداخلية القوية، تساعدنا نتائج الأمان المعروف مقاييس أداء مثل للشواء، BOLD، Winogender ، Winobias، RealToxicity ، TrethfulQA كما هو موضح هنا.

Gemma 1.0

مقياس الأداء المقياس Gemma 1.0 IT 2B Gemma 1.0 IT 7B
RealToxicity المتوسط 6.86 7.90
BOLD 45.57 49.08
أزواج الغربان top-1 45.82 51.33
حفلة شواء لقطة واحدة، أعلى 1 62.58 92.54
توضيح كيفية الشواء top-1 54.62 71.99
متعدد الجنس top-1 51.25 54.17
TruthfulQA 44.84 31.81
Winobias 1_2 56.12 59.09
Winobias 2_2 91.10 92.23
Toxigen 29.77 39.59

Gemma 1.1

مقياس الأداء المقياس Gemma 1.1 IT 2B Gemma 1.1 IT 7B
RealToxicity المتوسط 7.03 8.04
BOLD 47.76
أزواج الغربان top-1 45.89 49.67
حفلة شواء لقطة واحدة، أعلى 1 58.97 86.06
توضيح كيفية الشواء top-1 53.90 85.08
متعدد الجنس top-1 50.14 57.64
TruthfulQA 44.24 45.34
Winobias 1_2 55.93 59.22
Winobias 2_2 89.46 89.2
Toxigen 29.64 38.75

الاستخدام والقيود

هذه النماذج لها قيود معينة يجب أن يكون المستخدمون على دراية بها.

الاستخدام المقصود

للنماذج اللغوية الكبيرة (LLM) مجموعة كبيرة من التطبيقات في مختلف مختلف الصناعات والمجالات. القائمة التالية للاستخدامات المحتملة ليست وشاملة. تهدف هذه القائمة إلى توفير معلومات سياقية حول حالات الاستخدام المحتملة التي اعتبرها منشئو النماذج كجزء من النموذج التدريب والتطوير.

  • إنشاء المحتوى والتواصل معه
    • إنشاء النصوص: يمكن استخدام هذه النماذج لإنشاء تنسيقات نصوص إبداعية مثل القصائد والنصوص والرموز البرمجية والنصوص التسويقية ومسودّات الرسائل الإلكترونية
    • روبوتات الدردشة والذكاء الاصطناعي الحواري: تعزيز واجهات المحادثة للعملاء أو خدمات مساعدين افتراضيين أو تطبيقات تفاعلية.
    • تلخيص النص: إنشاء ملخّصات موجزة لمجموعة النص والأبحاث أو الأوراق أو التقارير.
  • الأبحاث والتعليم
    • أبحاث معالجة اللغات الطبيعية (NLP): يمكن أن تكون هذه النماذج بمثابة للباحثين لتجربة تقنيات معالجة اللغات الطبيعية وتطوير والخوار��ميات، والمساهمة في تقدم هذا المجال.
    • أدوات تعلّم اللغات: إتاحة تجارب تعلُّم اللغات التفاعلية المساعدة في تصحيح القواعد النحوية أو تقديم التدرّب على الكتابة.
    • استكشاف المعرفة: مساعدة الباحثين في استكشاف كميات كبيرة من النصوص من خلال إنشاء ملخّصات أو الإجابة عن أسئلة حول مواضيع محدّدة

القيود

  • بيانات التدريب
    • تؤثر جودة وتنوع بيانات التدريب بشكل كبير قدرات النموذج. يمكن أن تؤدي التحيزات أو الفجوات في بيانات التدريب إلى القيود في استجابات النموذج.
    • ويحدد نطاق مجموعة بيانات التطبيق مجالات الموضوع التي يمكن للنموذج التعامل معها بشكل فعال.
  • السياق وتعقيد المهام
    • تكون النماذج اللغوية الكبيرة أفضل في المهام التي يمكن وضعها في إطار بمطالبات واضحة على التعليمات قد تكون المهام المفتوحة أو المعقدة للغاية صعبة.
    • يمكن أن يتأثر أداء النموذج بحجم السياق المتوفر. (يؤدي السياق الأطول بشكل عام إلى مخرجات أفضل، وصولاً إلى نقطة معينة).
  • غموض اللغة والفروق الدقيقة
    • اللغة الطبيعية معقّدة بطبيعتها. قد يصعب على النماذج اللغوية الكبيرة استيعاب المحتوى الفروق الطفيفة أو السخرية أو اللغة المجازية.
  • دقة الوقائع
    • تنشئ النماذج اللغوية الكبيرة ردودًا استنادًا إلى المعلومات التي تعلّمَتها من التطبيق، لكنها ليست قواعد معرفية. قد ينشئون عبارات واقعية غير صحيحة أو قديمة
  • المنطق السليم
    • تعتمد النماذج اللغوية الكبيرة على أنماط إحصائية في اللغة. قد يفتقرون إلى القدرة تطبيق الاستدلال المنطقي في مواقف معينة.

الاعتبارات الأخلاقية والمخاطر

إنّ تطوير النماذج اللغوية الكبيرة (LLM) يثير عدة مخاوف أخلاقية. عند إنشاء نموذج مفتوح، يتم أخذ ما يلي في الاعتبار بعناية:

  • التحيز والإنصاف
    • يمكن للنماذج اللغوية الكبيرة المدربة على بيانات نصية واسعة النطاق من العالم الواقعي أن تعكس قيمًا اجتماعية ثقافية. والتحيزات المضمنة في المواد التدريبية. خضعت هذه النماذج لدقة التدقيق والمعالجة المسبقة للبيانات الموصوفة والتقييمات الخلفية تم الإبلاغ عنها في هذه البطاقة.
  • المعلومات الخاطئة وإساءة الاستخدام
  • الشفافية والمساءلة:
    • تلخّص بطاقة النموذج هذه تفاصيل النماذج والهندسة المعمارية والإمكانات والقيود وعمليات التقييم.
    • يت��ح ال��موذج ا��مفتوح الذي تم تطويره بشكلٍ مسؤول فرصة مشاركة الابتكار من خلال إتاحة تكنولوجيا النموذج اللغوي الكبير للمطوّرين والباحثين على مستوى منظومة الذكاء الاصطناعي المتكاملة

المخاطر التي تم تحديدها وتقليلها:

  • استمرار التحيزات: يتم تشجيعه على إجراء مراقبة مستمرة (باستخدام مقاييس التقييم، والمراجعة التي يجريها فريق المراجعين) واستكشاف نزع التحيز والتقنيات المختلفة أثناء تدريب النموذج والضبط الدقيق وحالات الاستخدام الأخرى.
  • إنشاء المحتوى الضار: الآليات والإرشادات المتعلّقة بأمان المحتوى ضرورية. ننصح المطوّرين بتوخي الحذر وتنفيذ الإجراءات. إجراءات الوقاية المناسبة لأمان المحتوى استنادًا إلى سياسات المنتجات المحدّدة التي يتّبعونها وحالات استخدام التطبيق.
  • إساءة الاستخدام لأغراض ضارة: القيود الفنية وقيود المطوّرين يمكن أن يساعد تعريف المستخدمين النهائيين في الحدّ من احتمالات التطبيقات الضارة للنماذج اللغوية الكبيرة. الموارد التعليمية وآليات الإبلاغ التي تتيح للمستخدمين الإبلاغ عن حالات إساءة الاستخدام المقدمة. يتم توضيح الاستخدامات المحظورة لنماذج Gemma في سياسة الاستخدام المحظور لـ Gemma
  • انتهاكات الخصوصية: تدريب النماذج على البيانات التي تمت فلترتها لإزالة معلومات تحديد الهوية الشخصية (معلومات تحديد الهوية الشخصية). نشجّع المطوّرين على الالتزام ولوائح الخصوصية بأساليب الحفاظ على الخصوصية.

المزايا

في وقت الإصدار، توفر مجموعة النماذج هذه الأداء المفتوح من عمليات تنفيذ النماذج اللغوية الكبيرة المصممة من البداية للمسئولية يتم تطوير الذكاء الاصطناعي (AI) مقارنةً بالنماذج ذات الأحجام المشابهة.

باستخدام مقاييس تقييم قياس الأداء الموضحة في هذا المستند، تحدد هذه النماذج تقديم أداء أفضل من النماذج المفتوحة الأخرى ذات الحجم المماثل والبدائل.