Gemma 2: Verbesserungen an einem offenen Sprachmodell in praktischer Größe [PDF]

 (storage.googleapis.com)
1 Punkte von GN⁺ 2024-06-28 | 1 Kommentare | Auf WhatsApp teilen
  • Gemma 2 von Google DeepMind ist eine Familie leichter offener Modelle in den Größen 2B, 9B und 27B, die mit dem Ziel veröffentlicht wurde, auch in kleineren Modellen eine Leistung zu erreichen, die mit größeren Modellen konkurrieren kann
  • 2B und 9B nutzen Knowledge Distillation statt Next-Token-Prediction, während 27B eigens von Grund auf trainiert wurde und damit je nach Modellgröße unterschiedliche Trainingsstrategien verfolgt
  • Architektonisch setzt das Modell auf eine Abfolge aus lokalem und globalem Attention, Grouped-Query Attention, Logit Soft-Capping sowie eine Kombination aus Pre-Norm- und Post-Norm-RMSNorm, um Effizienz und Leistung zugleich zu verbessern
  • Die Trainingsdaten bestehen hauptsächlich aus englischen Webdokumenten, Code und wissenschaftlicher Literatur; es handelt sich weder um ein multimodales Modell noch um eines, das auf modernste mehrsprachige Leistung abzielt
  • In den Evaluierungen lag die Leistung über der vergleichbarer offener Modelle ähnlicher Größe, vor einem realen Einsatz sind jedoch Sicherheitstests pro Anwendungsfall erforderlich

Überblick über das Gemma-2-Modell

  • Gemma 2 ist ein neues leichtgewichtiges offenes Modell der Gemma-Familie und wird in den Größen 2B, 9B und 27B Parameter angeboten
  • Die Modelle 2B und 9B werden mit Knowledge Distillation statt mit Next-Token-Prediction trainiert
    • Ein großes Sprachmodell dient dabei als Lehrermodell, und das Schülermodell lernt für jedes Token die Wahrscheinlichkeitsverteilung möglicher nächster Tokens
    • 2B und 9B werden theoretisch mit mehr als dem 50-Fachen der compute-optimalen Token-Anzahl per Distillation trainiert
  • Das 27B-Modell wird für diese Aufgabe von Grund auf trainiert
  • Gegenüber offenen Modellen ähnlicher Größe wurde die Leistung deutlich verbessert, und in einigen Benchmarks sowie menschlichen Bewertungen zeigte sich ein Ergebnis, das mit 2- bis 3-mal größeren Modellen konkurrieren kann
  • Vor einem praktischen Einsatz müssen alle Nutzer Sicherheitstests passend zum jeweiligen Bereitstellungs- oder Nutzungskontext durchführen

Modellarchitektur und Designentscheidungen

  • Gemma 2 verwendet wie das frühere Gemma eine ähnliche decoder-only Transformer-Architektur
  • Gemeinsame Designelemente sind:
    • Kontextlänge: 8192 Tokens
    • RoPE-Positionseinbettung
    • GeGLU-Nichtlinearität
    • SentencePiece-Tokenizer mit 256.128 Einträgen im Vokabular
    • tied embeddings
  • Die wichtigsten Architekturänderungen konzentrieren sich auf Attention und Normalisierung
    • local sliding window attention und globale Attention werden schichtweise abwechselnd angeordnet
      • Das Sliding Window der lokalen Attention umfasst 4096 Tokens
      • Die globale Attention-Spanne beträgt 8192 Tokens
    • In der Attention-Schicht und der finalen Schicht wird Logit Soft-Capping eingesetzt
      • Der soft_cap der Self-Attention-Schicht beträgt 50.0
      • Der soft_cap der finalen Schicht beträgt 30.0
    • Auf Ein- und Ausgabe jeder Transformer-Subschicht wird RMSNorm angewendet, sodass sowohl Pre-Norm als auch Post-Norm genutzt werden
    • Grouped-Query Attention erwies sich in Ablationsstudien als Wahl, die die Leistung beibehält und zugleich die Inferenz beschleunigt

Trainingsdaten und Infrastruktur

  • Die Zahl der Pretraining-Tokens unterscheidet sich je nach Modellgröße
    • Gemma 2 27B: 13 Billionen Tokens
    • Gemma 2 9B: 8 Billionen Tokens
    • Gemma 2 2B: 2 Billionen Tokens
  • Die Trainingsdaten sind überwiegend englisch und bestehen aus verschiedenen Quellen wie Webdokumenten, Code und wissenschaftlicher Literatur
  • Das Modell ist kein multimodales Modell und wurde nicht eigens auf modernste mehrsprachige Leistung hin trainiert
  • Die Datenfilterung erfolgt auf dieselbe Weise wie bei Gemma 1
    • Verringerung unerwünschter oder unsicherer Äußerungen
    • Entfernung bestimmter personenbezogener Informationen und sensibler Daten
    • Entfernung von Kontaminationen in Evaluierungssets
    • Minderung des Risikos wiederholter sensibler Ausgaben
  • Die Trainingsinfrastruktur basiert auf TPU
    • 2B: TPUv5e mit 512 Chips
    • 9B: TPUv4 mit 4096 Chips
    • 27B: TPUv5p mit 6144 Chips
  • Die CO2-Emissionen des Pretrainings werden auf 1247.61 tCO2eq geschätzt
    • Die Berechnung basiert auf dem stündlichen Energieverbrauch der TPU-Rechenzentren
    • Die CO2-Neutralität der Google-Rechenzentren wird durch Energieeffizienz, den Einkauf erneuerbarer Energien und CO2-Kompensation erreicht

Post-Training und Dialogformat

  • Post-Training ist der Prozess, bei dem das vortrainierte Modell zu einem instruction-tuned Modell feinjustiert wird
  • Die Trainingsschritte sind:
    • SFT mit synthetischen sowie von Menschen erstellten Prompt-Response-Paaren nur für englischen Text
    • RLHF unter Verwendung eines Reward-Modells, das mit englischen Präferenzdaten trainiert wurde
    • Mittelung der in jedem Schritt erhaltenen Modelle zur Verbesserung der Gesamtleistung
  • Die Mischung der Daten und das Post-Training-Rezept wurden anhand von Verbesserungen bei Hilfsbereitschaft, Sicherstellung der Sicherheit und Minimierung von Risiken im Zusammenhang mit Halluzinationen ausgewählt
  • Die Post-Training-Daten nach Gemma 1.1 wurden durch eine Mischung interner Daten und externer öffentlicher Daten erweitert
    • Bei LMSYS-chat-1M werden nur die Prompts verwendet, nicht die Antworten
  • Auf synthetische Daten werden mehrere Filterstufen angewendet
    • personenbezogene Informationen
    • unsichere oder toxische Modellausgaben
    • fehlerhafte Selbstidentifikationsdaten
    • Duplikatbeispiele
  • Gemma 2 verwendet dieselben Control Tokens wie Gemma 1, aber das formatting schema unterscheidet sich
    • Das Modell gibt am Ende der Generierung explizit die Tokens <end_of_turn><eos> aus
    • Zuvor wurde nur <eos> erzeugt

Experimente zu Knowledge Distillation und Architekturentscheidungen

  • In einem Vergleich, bei dem das 2B-Modell mit 500B Tokens trainiert wurde, zeigte Distillation-Training eine höhere Leistung als ein von Grund auf trainiertes Modell
    • Durchschnitt über 3 Benchmarks: from scratch 60.3, distilled 67.7
    • 500B sind 10-mal mehr als die compute-optimale Token-Anzahl für ein 2B-Modell
  • Auch beim Vergleich der Validierungs-Perplexity für 200M-, 400M- und 1B-Modelle war die Perplexity der distillierten Modelle niedriger
    • 200M: from scratch 23, distilled 21
    • 400M: from scratch 19, distilled 17
    • 1B: from scratch 17, distilled 15
  • Beim 9B-Modell war der Leistungsunterschied zwischen GQA und MHA gering; GQA wurde gewählt, weil es weniger Parameter benötigt und bei der Inferenz schneller ist
    • Durchschnitt über 4 Benchmarks: MHA 50.3, GQA 50.8
  • Bei gleicher 9B-Parameterzahl zeigte eine tiefere Architektur eine leicht bessere Leistung als eine breitere
    • Durchschnitt über 4 Benchmarks: Wide 50.8, Deep 52.0
  • Wenn bei der Inferenz die Sliding-Window-Größe auf 4096, 2048 und 1024 geändert wurde, blieb der Einfluss auf die Perplexity begrenzt
    • 4096: 1.63
    • 2048: 1.63
    • 1024: 1.64

Ergebnisse automatischer Benchmarks

  • Das vortrainierte 27B-Modell wurde in der HuggingFace-Evaluierung mit Qwen1.5 32B und LLaMA-3 70B verglichen
    • MMLU: Gemma-2 27B 75.2, Qwen1.5 32B 74.3, LLaMA-3 70B 79.2
    • GSM8K: Gemma-2 27B 74.0, Qwen1.5 32B 61.1, LLaMA-3 70B 76.9
    • ARC-c: Gemma-2 27B 71.4, Qwen1.5 32B 63.6, LLaMA-3 70B 68.8
    • HellaSwag: Gemma-2 27B 86.4, Qwen1.5 32B 85.0, LLaMA-3 70B 88.0
    • Winogrande: Gemma-2 27B 83.7, Qwen1.5 32B 81.5, LLaMA-3 70B 85.3
  • Auch die Modelle 2B und 9B zeigen große Verbesserungen gegenüber früheren Gemma-Modellen
    • Das 9B-Modell verbessert sich in einigen Benchmarks gegenüber der Vorgängerversion um bis zu 10 %
    • Gemma 2 2B wurde mit einer ähnlichen Token-Anzahl wie Gemma 1 2B trainiert, zeigt aber eine bessere Leistung
  • Die Gesamtdurchschnitte über mehrere Benchmarks lauten:
    • Gemma 1 2B: 44.2
    • Gemma 2 2B: 48.7
    • Gemma 1 7B: 57.9
    • Gemma 2 9B: 64.9
    • Gemma 2 27B: 69.4

Menschliche Bewertung und Chatbot Arena

  • Die instruction-tuned Modelle von Gemma 2 wurden in der LMSYS Chatbot Arena im blinden Side-by-Side-Verfahren bewertet
  • Die Elo-Werte sind:
    • gemma-2-27b-it: 1218
    • gemma-2-9b-it: 1187
    • gemma-2-2b-it: 1126
  • Die Vergleichsergebnisse zeigen Wettbewerbsfähigkeit gemessen an der Modellgröße
    • gemma-2-27b-it liegt über llama-3-70b-instruct mit Elo 1206
    • gemma-2-9b-it liegt auf einem ähnlichen Niveau wie gpt-4-0314 mit Elo 1186
    • gemma-2-2b-it liegt über gpt-3.5-turbo-0613 mit Elo 1116
  • In einer separaten menschlichen Präferenzbewertung wurden Sicherheit und Instruction Following mit zurückgehaltenen Single-Turn-Prompts gemessen
    • Instruction Following: Gemma 1.1 IT 7B 24.3 %, Gemma 2 IT 2B 26.5 %, 9B 34.1 %, 27B 37.7 %
    • Sicherheit: Gemma 1.1 IT 7B 42.8 %, Gemma 2 IT 2B 57.5 %, 9B 57.8 %, 27B 55 %
  • Die Multi-Turn-Bewertung wurde mit 500 zurückgehaltenen Szenarien und durchschnittlich 8.4 User-Turns durchgeführt
    • Nutzerzufriedenheit: Gemma 1.1 IT 7B 3.32, Gemma 2 IT 2B 3.64, 9B 4.04, 27B 4.20
    • Erreichung des Dialogziels: Gemma 1.1 IT 7B 3.36, Gemma 2 IT 2B 3.88, 9B 4.08, 27B 4.24

Memorization und personenbezogene Informationen

  • Große Sprachmodelle können unter bestimmten Bedingungen Trainingsdaten wortgetreu ausgeben; deshalb wurde Gemma 2 auf verbatim und approximate memorization geprüft
  • Die Bewertung erfolgte mit einem 50-Token-Prompt, um zu messen, ob 50 Tokens aus den Trainingsdaten memorisiert wurden
    • nach Exact-Match-Kriterium
    • nach Approximate-Match-Kriterium mit 10 % Edit Distance
  • Die gesamte Exact-Memorization-Rate von Gemma 2 liegt bei unter 0.1 %
  • Je nach Datenquelle zeigte sich mehr Memorization bei Code-, Wiki- und wissenschaftlichen Quellen, insgesamt jedoch auf niedrigerem Niveau als bei Gemma 1
  • Für die Bewertung personenbezogener Informationen wurde das Google Cloud Sensitive Data Protection Tool verwendet
    • Es wurden keine Ausgaben mit personenbezogenen Informationen hoher Schwere gefunden
    • Der Anteil memorisierter Daten mit personenbezogenen Informationen niedriger Schwere wurde mit 0.00026 % gemessen
    • Automatisierte Tools berücksichtigen den Kontext nicht, sodass False Positives auftreten können und die Ergebnisse möglicherweise überschätzt sind

Verantwortungsvolle Bereitstellung und Sicherheit

  • Bei der Entwicklung von Gemma 2 wurden drei Schwerpunkte angewendet: Sicherheitsminderungen während des Trainings, transparente Modellevaluierung und die Entwicklung des Responsible Generative AI Toolkit
  • Offene Modelle können die Vorteile von KI-Technologie verbreiten, zugleich müssen aber auch Missbrauchsrisiken wie Deepfake-Bilder, KI-generierte Desinformation sowie die Erzeugung illegaler oder verstörender Inhalte bewertet werden
  • Für Gemma sind bislang keine Berichte über missbräuchliche Nutzung eingegangen; falls entsprechende Meldungen eingehen, sollen sie untersucht und gemeinsam mit der Community weiter beobachtet werden
  • Angesichts der Tatsache, dass bereits größere und leistungsfähigere offene Modelle existieren, wird der Einfluss von Gemma 2 auf die gesamte Risikolandschaft als gering eingeschätzt
  • Die Sicherheitsrichtlinien sind in dieselbe Richtung wie bei den Gemini-Modellen ausgelegt, um die Erzeugung schädlicher Inhalte zu verhindern
    • sexueller Missbrauch und Ausbeutung von Kindern
    • Offenlegung personenbezogener Informationen, die zu Schaden führen können
    • Hassrede und Belästigung
    • gefährliche oder böswillige Inhalte
    • sexuell explizite Inhalte
    • medizinische Ratschläge, die dem wissenschaftlichen oder medizinischen Konsens widersprechen
  • Die instruction-tuned Modelle werden durch SFT und RLHF so angepasst, dass sie von unerwünschtem Verhalten wegsteuern

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-06-28
Hacker-News-Kommentare

  • Die 27B-Version ist sehr leistungsstark
    In der LMSys Chatbot Arena hat sie höher abgeschnitten als Llama-3-70B und liegt auf dem Niveau von OpenAI GPT-4 und Claude-3 Sonnet.

    • Wenn man Gemma lokal evaluieren möchte, geht das ziemlich einfach mit ollama und promptfoo

      prompts:
- 'Answer this coding problem in Python: {{ask}}'

providers:
- ollama:chat:gemma2:9b
- ollama:chat:llama3:8b

tests:
- vars:  
ask: function to find the nth fibonacci number
- vars:  
ask: calculate pi to the nth digit
- # ...

      Ein kleines Detail, das mir an Gemma immer gefallen hat, ist, dass es ohne Einleitung wie „Sure, I can help you“ direkt mit dem Code loslegt und die Erklärung danach anfügt.
      Das Training scheint auf Antwortstruktur und gute Verständlichkeit ausgerichtet zu sein.
      Außerdem ist es besser, Evaluierungen zu verwenden, die sich nicht auf bloßes Auswendiglernen von offen verfügbarem Code stützen, also sollte man das für eigene Tests anpassen.

      [0] https://ollama.com/library/gemma2

      [1] https://github.com/promptfoo/promptfoo

    • Bevor man sich von der übertriebenen Begeisterung mitreißen lässt, würde ich empfehlen, es selbst zu testen und zu warten, bis sich die Chatbot-Arena-Werte stabilisiert haben.
      In meiner eigenen Bewertung war gemma-2-27b-it in AI Studio deutlich schlechter als Llama 3 70B, besonders bei Schlussfolgerungen und Fragen zum grundlegenden Weltverständnis.

    • Etwas spät gesehen, aber der Vollständigkeit halber: Das Gemma-2-Modell scheint auf Reinforcement Learning für Leistung in der Chat Arena optimiert worden zu sein: https://x.com/natolambert/status/1806384821826109597
      Die relevante Stelle im Paper ist hervorgehoben.

    • Ich frage mich, was die auffälligste Stärke ist.
      Kleine Modelle schneiden auf Benchmarks oft gut ab, scheitern aber bei der Generalisierung; das erinnert mich an Phi-2.

    • Es wirkt so, als ob bessere Trainingsdaten für andere Sprachen als Englisch einen Einfluss hatten.
      Bei schwierigen englischen Prompts liegt es 15 ELO unter Llama-3-70B, bei allgemeinem Englisch 41 ELO darunter.
      Letzteres ist tatsächlich statistisch signifikant.

  • Noch einmal Grüße vom Gemma-Team.
    Wir freuen uns sehr, diesen Release veröffentlicht zu haben, und beantworten gern Fragen.
    Das sind persönliche Ansichten und nicht die Position von Google DeepMind.

    • Bei OpenAI oder Mistral ist es relativ einfach, für die API zu zahlen und sie zu nutzen.
      Dagegen ist es komplizierter zu verstehen, wie Google Cloud Vertex funktioniert und abgerechnet wird, und Azure und AWS sind für diesen Zweck ähnlich komplex.
      Es wäre schön, wenn Google Cloud eine OpenAI-kompatible API und entsprechende Services anbieten könnte.
      Mir ist klar, dass das andere Abteilungen sind, aber das würde die Nutzung der Modelle deutlich einfacher machen.
      Bei Google Cloud fühlt es sich oft so an, als gäbe es überhaupt keine UX oder Endnutzer-Tests.
      aistudio.google.com ist aber definitiv besser geworden als früher.
    • Ich arbeite bei Google ebenfalls an Gemma.
      27b kann man auf www.aistudio,google.com ausprobieren; probier einfach ein paar deiner üblichen Prompts aus, ich hoffe, dir gefallen die Antworten.
    • Ich frage mich, ob gemma2 auch in gemma.cpp verfügbar sein wird: https://github.com/google/gemma.cpp
    • Der 4k-Sliding-Window-Kontext wirkt wie eine umstrittene Entscheidung, nachdem Mistral 7B damit kaum Vorteile gezeigt hat.
      Mich würde interessieren, warum man diesen Ansatz gewählt hat, statt einfach auf volle 8k oder 16k zu gehen.
    • Die Modelle in der Google API unterstützen mehr als 1 Million Token, diese hier aber nur 8K.
      Ich frage mich, ob das ein grundlegender Architekturunterschied ist, ein Unterschied im Trainingsdatensatz oder etwas anderes.

  • 2.6B/9B sollte man meiner Meinung nach eher mit Microsofts Phi-3 mini 3.8B vergleichen als mit Mistral oder Llama-3.
    Wenn man Tabelle 13 auf Seite 7 des Papers mit Seite 6 von https://arxiv.org/pdf/2404.14219 vergleicht, wirkt Phi-3 insgesamt deutlich besser.
    Der Bericht über Wissensdestillations-Training ist aber interessant.

    • Die Art, wie in diesem Paper und bei diesem Modell verglichen wird, ist etwas nervig.
      2.6B würde gegen Phi-3 wohl deutlich verlieren, deshalb gibt es keinen Vergleich.
      2.6B und 3.8B wirken als 2.6 zu 3.8 weniger eindrucksvoll, aber 2,6 Milliarden gegenüber 3,8 Milliarden ist schon ein ziemlich großer Größenunterschied, daher kann das der Grund sein.
      Stattdessen beginnt jetzt dieses Aufblasen der Parameterzahlen wie bei Mistral 7B vs. Llama 8B vs. Gemma 9B.
      Als Llama 3 auf 8B ging, hatte ich schon die Sorge, dass damit ein Trend beginnt, mit Parameterzahlen zu tricksen, dachte dann aber, diese Sorge sei unbegründet.
    • Wegen der breiten Spannweite der Modellgrößen verstehe ich, warum sowohl Llama 3 70B als auch Llama 3 8B verglichen wurden.
      Ich stimme zu, dass die Phi-3-Familie ein stärkerer Konkurrent bei Wissensextraktion/-zusammenfassung ist und deshalb ein guter Vergleich wäre.
      Für solche Aufgaben auf einer Workstation mit begrenztem VRAM gefällt mir derzeit Phi-3 medium am besten, also phi3:14b-instruct.

  • Die 9B- und 27B-Versionen sind in Ollama verfügbar: https://ollama.com/library/gemma2

  • Ein großartiges Release
    Wenn man es mit einer guten Oberfläche lokal ausprobieren möchte: Ich habe gerade ein Update für die App, an der ich arbeite, veröffentlicht, mit Gemma-2-Unterstützung

    1: https://msty.app

    • msty sieht wirklich gut aus
      Habe es mir als Lesezeichen gespeichert, um später genauer zu prüfen, ob es meine lokal gehostete LibreChat-Instanz ersetzen kann
      Bei vielen Anfragen wäre es wahrscheinlich eine große Verbesserung, statt eines Remote-Modells ein lokales Modell zu verwenden

      Ich frage mich allerdings, ob es einen Grund gibt, msty nicht als Open Source, sondern als Closed Source zu halten
      Ich habe in der FAQ „why should I trust msty“ gelesen, fand das aber nicht ausreichend

      We are a small team of developers who are passionate about AI and privacy. We have worked on projects before that have been used by thousands of people such as this (I've never heard of Cleavr). There are real faces (real faces = Twitter account link?) behind the product. And come chat with us on our Discord server to know us better.

      Das ist zwar deutlich besser, als gar keine erkennbare Identität zu haben, aber weit entfernt von der Möglichkeit, Vertrauen durch Lesen des Codes zu überprüfen
      Ich würde gern hören, warum sie es nicht offenlegen
      Ich werde es aber wohl trotzdem einmal ausprobieren

    • Sieht cool aus, aber weil es Closed Source ist, bin ich vorsichtig
      Wenn ich unter Arch Linux versuche, einen Anthropic-API-Key zu speichern, passiert einfach nichts, und es erscheint die Meldung: „If you're experiencing problems saving API keys especially on Linux, contact Discord“
      Wenn das ein so häufiges Problem ist, sollte es dann nicht einen Link zu möglichen Lösungen geben?
      Zum Testen noch einen weiteren Discord-Server hinzuzufügen und nach der Antwort auf eine Frage zu suchen, die offenbar schon oft gestellt wurde, ist eine ziemlich hohe Hürde

    • Ich habe es heruntergeladen, und es sieht gut aus
      Die synchronisierte Split-Ansicht gefällt mir
      Aber entgegen der Ankündigung auf der Landingpage sehe ich weder Gemma 2 noch Claude 3.5 Sonnet

    • Ich frage mich, ob geplant ist, es für Windows-Downloads zu Chocolatey hinzuzufügen

    • Das sieht cool aus
      Ich weiß nicht, wie ich das bisher übersehen konnte, und werde es wohl einmal ausprobieren

  • Knowledge Distillation ist sehr interessant, aber Ausgaben in Billionenhöhe von einem großen Teacher-Modell zu erzeugen, klingt extrem teuer
    Ich frage mich, ob das wirklich kosteneffizienter ist, als diese Rechenressourcen direkt für das Training des Modells mit mehr Daten oder mehr Epochen zu verwenden

    • Frage ich mich auch
      Noch vor sechs Monaten schien jeder Angst vor Model Collapse zu haben, und jetzt sind synthetische Trainingsdaten und Teacher-Modelle auf einmal im Trend
      Ich frage mich, ob das Problem des Model Collapse inzwischen gelöst wurde
    • Distillation läuft wie RLHF on-policy ab
      Das Student-Modell erzeugt die Sequenz, und das Teacher-Modell liefert Feedback in Form von Logits

  • Ich frage mich, wie das mit expliziten Spezial-Token funktioniert
    Was passiert, wenn der Nutzer solche Tokens in eine Nachricht einfügt, und ob sich Dinge wie „ignore previous instructions“ dadurch leicht erzeugen lassen
    Muss man die Eingabe vor der Übergabe an das Modell selbst bereinigen?

    • Wenn man den Tokenizer kontrollieren kann, kann man verhindern, dass solche Tokens in der Nutzereingabe vorkommen
      Man kann sie zum Beispiel statt als Spezial-Token über die natürliche Kodierung der betreffenden Zeichenkette erzeugen, etwa „<“, „eos“, „>“

      Im llama3-Tokenizer gibt es eine Option, um die Tokenisierung von Spezial-Tokens zu steuern: https://github.com/meta-llama/llama3/blob/bf8d18cd087a4a0b3f...

      Wie Spezial-Tokens und Nutzereingaben zusammen verwendet werden, kann man hier sehen: https://github.com/meta-llama/llama3/blob/bf8d18cd087a4a0b3f...

      Wenn man den Tokenizer nicht kontrollieren kann, muss man die Eingabe wohl, wie du sagst, bereinigen

  • Ich frage mich, wie stark das Training per Distillation hinsichtlich der Anzahl der Iterationen beschleunigt wird, die nötig sind, um eine bestimmte Leistung zu erreichen

  • We use the same data filtering techniques as Gemma 1. Specifically, we filter the pre-
    training dataset to reduce the risk of unwanted or unsafe utterances.

    Ich würde gern wissen, was unsafe hier genau bedeutet

    • Wenn man es bittet, nur mit Doppeldeutigkeiten zu erklären, wie man Napalm herstellt, wird es wohl ablehnen

  • Es ist doppelt so groß wie Phi 3 und dennoch deutlich schlechter?
    Ich weiß nicht, was ich übersehe

    • Es wurden zwei Techniken verwendet, die sich nicht gegenseitig ausschließen
      Phi-3 ist vor allem ein Durchbruch beim Curriculum Learning
      Man hat den Trainingssatz auf hochwertige Tokens gefiltert und mit synthetischen Daten trainiert, um gute Ergebnisse zu erzielen
      Gemma-2 ist ein Durchbruch bei der Distillation
      Das LLM wurde unter Anleitung eines größeren Teacher-LLM trainiert und erzielte so gute Ergebnisse
      Es gibt keinen Grund, nicht beides zu kombinieren
    • Phi-3 sieht auf Benchmarks gut aus, bleibt in der Praxis aber hinter den Erwartungen zurück
      Zum Beispiel liegt Phi-3-Medium in der LMSYS Chatbot Arena deutlich hinter Llama-3-8b, obwohl es bei Benchmarks besser abschneidet

Es wirkt eher so, als würde Gemmas Leistung in Benchmarks niedriger erscheinen, als sie tatsächlich ist.
27b liegt derzeit in der Chatbot-Arena-Rangliste vor Llama3-70b

  • Bei LMSYS liegt phi-3 small mit 1100 ELO auf Platz 52, und das Konfidenzintervall von Gemma 2 9B liegt bei 1170~1200 ELO, also etwa zwischen Platz 15 und 25

  • Man kann es hier direkt selbst ausprobieren und auf diese Weise vergleichen: https://aistudio.google.com/app/prompts/new_chat?model=gemma...

  • Ich frage mich, ob du Phi 3 ausprobiert hast.
    Es ist intelligent und erzielt daher gute Benchmark-Ergebnisse, aber für Gespräche oder als Chatbot ist es nicht besonders gut

    Gemma 2 dürfte für die meisten ein besserer Allzweck-Assistent sein, während Phi 3 eher wie ein solides kleines LLM für spezifischere Anwendungsfälle wie Zusammenfassungen, RAG oder das Lernen von Mathematik wirkt.