OpenAIs neues Open-Source-Modell ist praktisch ein Phi-5
(seangoedecke.com)- OpenAI hat seine ersten Open-Source-Large-Language-Models
gpt-oss-120bundgpt-oss-20bveröffentlicht, die in einigen Benchmarks sehr gut abschneiden, in realen Anwendungen jedoch an Grenzen stoßen - Diese Modelle verfügen zwar über Allgemeinwissen, verfügen aber in bestimmten Bereichen wie der Popkultur über deutlich weniger Wissen
- Wie bei Microsofts Phi-Serie kann der Ansatz mit synthetischen Daten die Benchmark-Leistung steigern, führt in der Praxis aber häufig zu geringerer Nutzbarkeit
- Das Training mit synthetischen Daten hat den Vorteil, das bei einer Open-Source-Veröffentlichung mögliche Missbrauchsrisiko zu reduzieren
- OpenAI scheint einen Phi-orientierten Ansatz gewählt zu haben, um gegenüber chinesischen Open-Source-Modellen sowohl einen Benchmark-Vorteil zu erzielen als auch die Sicherheit zu wahren
Erste Open-Source-LLM-Veröffentlichung von OpenAI
- OpenAI stellte
gpt-oss-120bundgpt-oss-20bals seine ersten Open-Source-LLMs vor, die direkt im Web nutzbar sind - In einigen Benchmarks erreicht das Modell starke Werte, in speziellen Tests wie
SimpleQAjedoch schwächere Ergebnisse - Im Bereich des naturwissenschaftlichen bzw. allgemeinen Wissens ist es stark, bei Popkulturwissen dagegen werden Defizite beobachtet
- Die tatsächliche Praxistauglichkeit dürfte erst nach etwa sechs Monaten klar werden, wobei die reale Leistung unter den Benchmark-Werten liegen kann
Phi-Modelle und das Training mit synthetischen Daten
- Die von Sebastien Bubeck bei Microsoft im Jahr 2024 vorangetriebene Phi-Serie besteht aus Modellen, die vollständig auf synthetischen Daten trainiert wurden
- Synthetische Daten stammen von anderen Sprachmodellen erzeugten oder von Menschen ausgewählten lehrbuchartigen Texten; die Qualität ist kontrollierbar, die Erstellung ist jedoch kostenintensiv
- Dieser Ansatz kann die Benchmark-Performance verbessern, zeigt in realen Umgebungen jedoch häufig eher unbefriedigende Ergebnisse
- Da synthetische Daten sich leicht auf typische Benchmark-Aufgabentypen zuschneiden lassen, ist ein prüfungsorientiertes Training möglich, aber die Generalisierbarkeit bleibt oft schwach
Sebastien Bubecks Einstieg bei OpenAI und gpt-oss
- Ende 2024 wechselte Bubeck von Microsoft zu OpenAI
- Die genauen Details der Pretraining-Daten von
gpt-osswurden nicht offengelegt; es ist jedoch wahrscheinlich, dass stark gefilterte oder synthetische Daten verwendet wurden - Dieser Ansatz könnte Merkmale aufweisen, die den Modellen Phi-5 und Phi-5-mini ähneln
Sicherheitsvorteile synthetischer Daten
- Open-Source-Modelle können nach der Veröffentlichung unbegrenzt Fine-Tuning werden, was Sicherheitsrisiken birgt
- Ein häufiges inoffizielles Einsatzszenario kleiner Sprachmodelle ist dabei das Erwachsenen-Rollenspiel, weshalb Sicherheit zentral ist
- Beim Training mit synthetischen oder lehrbuchbasierten Daten kann riskanter Inhalt ausgeschlossen werden, was die Sicherheit erhöht
- OpenAI scheint eine Strategie gewählt zu haben, mit der es gegenüber chinesischen Open-Source-Modellen Benchmark-Führung mit einer stabilen Sicherheitslage verbindet
Fazit: de facto eine Phi-5-Linie
gpt-oss-Modelle wirken wie sicherheitszentrierte Konstruktionen auf Basis synthetischer Daten, bei denen Benchmark-Werte und Sicherheit offenbar wichtiger sind als Praxis-Performance- Damit gehören diese Modelle faktisch in die Familie von Phi-5 und Phi-5-mini
1 Kommentare
Hacker News Kommentar
Ich habe den Test gemacht, indem ich ein zufälliges Kapitel aus einem Science-Fiction-Roman übersetzen ließ, und dieses Modell hat bei Inhalten mit Minderjährigen und sexuellem Kontext abgelehnt. Um herauszufinden, wo genau das Problem liegt, habe ich Abschnitte des Romans herausgeschnitten und geprüft – es war eine einzelne, völlig harmlose und romantische Zeile zwischen zwei 17-jährigen Nebenfiguren der Auslöser. Ein weiteres Problem ist, dass manchmal bei normalen Alltagsgesprächen ganze Absätze in Zensurzeichen umgewandelt werden oder plötzlich eine Ablehnung auftritt. Bei diesem Maß an Zensur ist dieses Modell für Kreativarbeit, Übersetzungen oder alltagsnahe Aufgaben (außer Mathematik/Programmierung) praktisch nutzlos. Für ein 120B-MoE-Modell ist auch das Wissensniveau zu niedrig. Selbst wenn es wie "Schlussfolgern" aussieht, fühlt es sich oft so an, als prüfe es fast nur auf Policy-Verstöße. Ich dachte, das käme daher, dass im Fine-Tuning zu sehr nur riskante Aussagen abgefangen wurden und das Modell dadurch abgestumpft sei, aber ich verstehe auch, dass es im Grunde am vorab auf synthetischen Daten basierenden Pretraining liegt.
Das war wirklich eine lustige Erfahrung, und mir ist Ähnliches passiert. Ich habe einen ungefilterten Podcast-Transkript in ein LLM geladen, um wichtige Sätze herauszuziehen, und jedes dieser auffälligen Ausdrücke wie „an das Bett gebunden werden“ wurde in einen Euphemismus umgewandelt. Eigentlich wollte ich die alten Übersetzungen wiederfinden, aber diesmal habe ich sie ins Spanische übersetzt und anschließend zurückübersetzt; der eigentliche Satz kam fast unverändert zurück, sodass dieses merkwürdige Verhalten nicht wiederholte.
Ich frage mich, wie das Modell reagieren würde, wenn man ihm einen Roman wie „A Song of Ice and Fire" gibt.
Da es sich ohnehin um ein offenes Modell für Endverbraucher handelt, ist das nicht besonders überraschend. Wenn man etwas Bestimmtes braucht, sollte man ein weniger zensiertes Open Model nehmen.
Auf Twitter habe ich gesehen, dass Leute sich darüber beklagen, dass GPT-OSS sich nicht feinjustieren lässt und keine „Seele" habe, aber meist haben sie nicht gesagt, was sie eigentlich tun wollen. Als ich dann die Antwort sah „Der Hauptzweck des Fine-Tuning kleiner LLMs ist erotische Roleplay-Interaktion und tatsächlich gibt es eine große Nachfrage danach“, wurde es etwas verständlicher.
Es geht nicht nur um das Problem im erotischen Rollenspiel: In meinem Alltag, in dem häufig sexuelle Gespräche vorkommen, werden auch normale Aufgaben wie Gesprächszusammenfassungen, E-Mail-Überarbeitungen oder Übersetzungen sofort blockiert. Google Translate übersetzt oft zu wörtlich, deshalb habe ich bislang LLMs genutzt, um natürlichere Formulierungen zu finden. Im Moment nutze ich abliterated llama 3.1. Ich brauche keine Vision-Funktion und möchte den gespeicherten Kontext lieber stärker im Hintergrund nutzen. Wenn GPT-OSS nicht entsichert ist, ist es nutzlos. Natürlich kann man sich nicht durchbohren, wenn im Trainingsdatensatz keinerlei erotische Inhalte enthalten sind; und ehrlich gesagt habe ich kein Interesse daran, erotisches Roleplay zu betreiben – es ist eben nur dann interessant, wenn ein echter Mensch dahintersteht.
Ich möchte nicht speziell Rollenspiel, sondern nur, dass es besser zu meiner Sprachgewohnheit passt.
Ich benutze kein erotisches RP, sondern möchte NetHack mit KI umsetzen. Dungeon-Struktur-Generierung, NPC-Dialoge, und zahllose kleine Interaktionsdetails, für die NetHack berühmt ist, sollen ebenfalls von KI übernommen werden. Für solche Arbeiten sind „Seele“, Hintergrundwissen und Tool-Use-Fähigkeit absolut nötig.
Porno war immer eine kreative Grenze. Das Geschäftsmodell ist simpel, und oft ist das Medium selbst direkt das Produkt. In den 80ern war Pornografie im eigenen Zuhause eine neue Erfahrung und prägt bis heute 1-900-Nutzung, das Internet und sogar die Verbreitung von Smartphones. Rund 80 % der Erwachsenen-Contents werden über mobile Geräte konsumiert. KI-basierte, personalisierte, multimediale On-Demand-Erlebnisse sind hier der Kern. Und die Tatsache, dass man verbotene Rollenspiele ohne echte Opfer durchführen kann, ist etwas Besonderes. Der Stoff „Ich dachte, ich rede gerade mit einer KI ...“ ist ebenfalls gutes Story-Material.
Ich verstehe nicht, wo das Problem liegen soll. Erotische Literatur gab es seit dem Beginn des Schreibens vor Tausenden von Jahren. Istanbul 2461
Zitat aus dem Artikel: „Microsoft trainiert Phi-Style-Modelle wegen der Sicherheit weiter. Sobald es Open Source ist, hängt der eigene Name ewig daran, und Forscher bemühen sich darum, Sicherungsmechanismen zu entfernen." Das halte ich für kein echtes Problem. Llama 2 und 3 wurden innerhalb einer Woche entzensiert, und das hat keinen Shitstorm ausgelöst. Eher ist es schlechte Modellqualität, die den Ruf eines Unternehmens wirklich schädigt. Das Scheitern von Llama 4 hat Meta's KI-Ruf deutlich mehr beschädigt.
Wenn ich an Llama denke, fällt mir zuerst ein entzensiertes Modell ein. Ich habe keines selbst ausprobiert, aber mir standen bessere Modelle zur Verfügung als ein zensiertes Modell.
Ich finde die Aussage, Forscher stünden mit dem Ziel da, Sicherheitsmaßnahmen zu entfernen, nur eine Ausrede. Das eigentliche Risiko ist eher, dass man durch falsche Zensur selbst zum Meme wird. Es wäre genauso absurd, wenn Bill Gates 1985 MS Paint nicht veröffentlicht hätte, weil „jemand ein anstößiges Bild malen könnte".
Ich habe zu Hause Phi-4 recht gut genutzt, und GPT-OSS 20B war im Vergleich zu mehreren Modellen (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B) äußerst beeindruckend. GPT-OSS trifft die Punkte, bei denen alle anderen Modelle versagen, und zieht plausible Schlüsse. Es erklärt Code deutlich ausführlicher und deckt auch Details ab, die oft übersehen werden. Mit entsprechendem GPU-Setup wäre es fast perfekt.
Mit Strix Point oder Strix Halo plus 128 GB DDR5-RAM kann man GPT-OSS 120B mit 10–20+ TPS betreiben.
Ich frage mich, welche SQL-Aufgabe zugrunde liegt, oder ob sie absichtlich versteckt wird, um einen Trainingsdaten-Leak zu vermeiden.
Ich frage mich, wie synthetische Daten erzeugt werden. Ob man einfach blind startet und Samples zieht oder ob man automatische Prompt-Generierung, Filtertechniken und Feedback-Mechanismen während des Trainings einsetzt.
Bei Phi-5 weiß ich es nicht; bei früheren Phi-Modellen war ich der Meinung, dass sie – ähnlich wie die OpenAI-GPT-Reihe – Story-Daten auf Basis echter Daten als Trainingsmaterial benutzt haben.
Ich habe das direkt bei meta/FAIR getestet, und im Llama-3-Paper steht es ebenfalls detailliert. Als Seed dienen zufällig ausgewählte Website-/Code-/Bild-/Inhaltsverzeichnis-/Nutzerdaten, und das Modell erzeugt dazugehörige Daten. Danach durchläuft das generierte Material mehrere Prüfschritte (Verifier), um die Qualität zu validieren.
Eine Methode, um zufällige Samples zu erzeugen, ist, ein Template wie „PP macht GG in XX" mit Mensch/Aktion/Ort zu füllen und als Prompt zu schicken. Selbst mit demselben Prompt entstehen die Ausgaben jedoch nicht vollständig zufällig, und selbst ein höheres Temperature brachte kaum Unterschiede. Letztlich sind die Daten und Verfahren die Faktoren, die den eigentlichen Modellunterschied ausmachen, weshalb die genaue Methode der Datensynthese weitgehend geheim gehalten wird.
Üblicherweise wird Rejection Sampling genutzt: Das Modell erzeugt mehrere Samples, und alles, was festgelegte Kriterien (korrekte Antwort, Bewertungsmodell etc.) nicht erfüllt, wird verworfen.
Die Einschätzung „Breites Wissen in Wissenschaft, schwach bei Popkultur" klingt für mich grundsätzlich sinnvoll. Weil sich zuletzt veröffentlichte Informationen über Nacht ändern können, ist es sinnvoller, nicht auf Popkultur-Listen auswendig zu lernen, sondern auf generelles Verständnis, die Fähigkeit zur schnellen Informationsbeschaffung und auf Tool-Nutzung zu setzen.
Ich bin unsicher, ob es einen Grund gibt, die Inhalte zu ändern. Selbst wenn man fast alle Texte der Welt gelernt hat, bleibt "Popkultur 2025" nicht einfach mit einem Jahr-Wechsel zu "Popkultur 2026"; das ist ähnlich wie 1980er Popkultur, die mit der Zeit weitgehend gleich bleibt.
Es ist schon ein bisschen traurig, dass KI-Modellkapazität für enzyklopädisches, populärkulturelles Wissen über Harry Potter, Pokémon, Reddit-Memes usw. aufgewendet wird.
Das Ziel von Phi3 mini war On-Device-Tauglichkeit und Geschwindigkeit, und mit 128K Kontext und 3B Parametern war es ziemlich brauchbar. Letztes Jahr habe ich es in einem Projekt direkt verwendet, aber letztlich habe ich mich für ein Mistral-Modell entschieden, das damals unter den Open-Weights-Modellen für Leistung bekannt war.
Ich frage mich, ob solche Ergebnisse auch mit rein synthetischem Training entstehen könnten.
Grundsätzlich kann ein Modell nicht behaupten, etwas zu wissen, wenn die Information irgendwo nicht im Trainingssatz enthalten ist. Natürlich kann es mit Tools externe Informationen abrufen, aber in der Praxis ist es für gute Leistung nötig, die überwiegende Mehrheit der öffentlich verfügbaren Texte im Training zu haben.
Das ist theoretisch möglich. Referenzlink. In synthetischen Daten ist die Wahrscheinlichkeit, dass spezifische, sensible Daten wie LSD- oder VX-Herstellungsrezepte enthalten sind, zwar gering, aber es ist möglich, dass unerwünschte Informationen dennoch hineingeraten.
Laut Tabelle 9 (GPT-OSS-Model-Card) liegt die Trefferquote von GPT-OSS-20B/120B bei 0.067/0.168, die Halluzinationsrate bei 0.914/0.782. o4-mini liegt bei 0.234 Trefferquote und 0.750 Halluzinationsrate. Kurz gesagt: GPT-OSS hat nur sehr wenig Weltwissen und eine starke Halluzinationsneigung. Das ist ebenfalls ein Merkmal der gesamten Phi-LLM-Familie. In Tabelle 4 (OpenAI o3/o4-mini) liegt o3 bei 0.49 Trefferquote, 0.51 Halluzinationsrate; o4-mini bei 0.20 und 0,79. Kurz gesagt ist der tatsächliche Wissensabstand zwischen o3 und o4-mini sowie zwischen o4-mini und GPT-OSS groß. Dass GPT-OSS wenig reales Wissen hat, ist eher ein Merkmal dieser Serie oder ein Sicherheitslayer für große Unternehmen beziehungsweise „Zensur“ aus Nutzersicht.
Modellkarten-Referenz 1
Modellkarten-Referenz 2
Die Aussage, dass der wichtigste Bedarf für das Fine-Tuning kleiner LLMs erotisches RP sei und in kleinen Communities etwa die Hälfte daran interessiert sei, überrascht mich wirklich.