GPT-4 API allgemein verfügbar
(openai.com)- Bestehende API-Entwickler mit Zahlungshistorie können den GPT-4 API 8K-Kontext nutzen; der Zugang für neue Entwickler und höhere Rate Limits werden schrittweise entsprechend der verfügbaren Rechenkapazität ausgerollt
- Auch die APIs für GPT-3.5 Turbo, DALL·E und Whisper werden allgemein verfügbar, da sie als stabil und bereit für den Einsatz im Produktionsmaßstab gelten; Fine-Tuning für GPT-4 und GPT-3.5 Turbo soll später in diesem Jahr verfügbar werden
- Da die Chat Completions API 97 % der GPT-Nutzung in der OpenAI API ausmacht, ersetzt die strukturierte Schnittstelle mit System Messages und Function Calling die meisten bisherigen Anwendungsfälle der Completions API
- Ab dem 4. Januar 2024 sind ältere Modelle der Completions API, ältere Embedding-Modelle und Modelle im Zusammenhang mit der Edits API nicht mehr nutzbar; Entwickler müssen auf
gpt-3.5-turbo-instruct,text-embedding-ada-002, GPT-3.5 Turbo usw. migrieren - Die Completions API wird in der Dokumentation als legacy gekennzeichnet, und es sind keine neuen Modelle dafür geplant; neue Integrationen sollten daher sicherheitshalber um die Chat Completions API herum entworfen werden
GPT-4 API und Umfang der wichtigsten allgemein verfügbaren APIs
- OpenAI stellt allen zahlenden API-Kunden Zugang zu GPT-4 bereit
- Bestehende API-Entwickler mit erfolgreich abgerechneter Zahlung können den GPT-4 API 8K-Kontext nutzen
- Der Zugang für neue Entwickler soll bis Ende dieses Monats geöffnet werden
- Anschließend sollen die Rate Limits je nach verfügbarer Rechenkapazität erhöht werden
- GPT-4 ist das leistungsfähigste Modell von OpenAI; seit März haben Millionen von Entwicklern Zugang zur GPT-4 API angefragt
- Auch die APIs für GPT-3.5 Turbo, DALL·E und Whisper werden allgemein verfügbar
- Grundlage dafür sind die Modellstabilität und die Einsatzbereitschaft im Produktionsmaßstab
- Für Fine-Tuning von GPT-4 und GPT-3.5 Turbo laufen Arbeiten zur sicheren Aktivierung; die Verfügbarkeit ist für später in diesem Jahr geplant
- Seit dem Update vom 24. April 2024 wird die Bezeichnung „ChatGPT API“ nicht mehr verwendet; Erwähnungen der ChatGPT API in diesem Text meinen die GPT-3.5 Turbo API
Verlagerung auf die Chat Completions API
- Die Chat Completions API wurde im März eingeführt und macht derzeit 97 % der GPT-Nutzung in der OpenAI API aus
- Die bisherige Completions API wurde im Juni 2020 eingeführt, um über Freitext-Prompts mit Sprachmodellen zu interagieren
- Eine stärker strukturierte Prompt-Schnittstelle kann bessere Ergebnisse liefern als der bisherige Ansatz
- System Message
- Function Calling
- Multi-Turn Conversation
- Die Chat Completions API unterstützt nicht nur dialogorientierte Erfahrungen, sondern auch ein breites Spektrum an Completion-Aufgaben
- Durch die strukturierte Trennung von nutzerbereitgestellten Inhalten und Anweisungen kann sie dazu beitragen, das Risiko von Prompt-Injection-Angriffen zu senken
- OpenAI plant, den Großteil der Plattformentwicklung weiterhin in diese Richtung zu investieren
- Log Probabilities von Completion Tokens
- Verbesserte Steerability zur Verringerung der „Chattiness“ von Antworten
- Diese Punkte sind noch bestehende Lücken in der Chat Completions API
Einstellung älterer Modelle der Completions API
- Um die Investitionen in die Chat Completions API auszuweiten und die Rechenkapazität zu optimieren, stellt OpenAI in sechs Monaten einige ältere Modelle der Completions API ein
- Die Completions API selbst bleibt zugänglich, wird in der Entwicklerdokumentation aber ab heute als legacy gekennzeichnet
- Künftige Modell- und Produktverbesserungen konzentrieren sich auf die Chat Completions API; es sind keine neuen Modelle für die Completions API geplant
- Ab dem 4. Januar 2024 sind ältere Completion-Modelle nicht mehr nutzbar und werden durch neue Modelle ersetzt
ada,babbage→babbage-002curie,davinci→davinci-002davinci-instruct-beta,curie-instruct-beta,text-ada-001,text-babbage-001,text-curie-001,text-davinci-001,text-davinci-002,text-davinci-003→gpt-3.5-turbo-instruct
- Anwendungen, die die stabilen Modellnamen
ada,babbage,curieoderdavinciverwenden, werden am 4. Januar 2024 automatisch auf die neuen Modelle aktualisiert babbage-002unddavinci-002sollen in den nächsten Wochen verfügbar werden, damit sie durch Angabe des jeweiligen Modellnamens in API-Aufrufen frühzeitig getestet werden können- Nutzer anderer älterer Completion-Modelle wie
text-davinci-003müssen bis zum 4. Januar 2024 den Parametermodelin ihren API-Anfragen selbst aufgpt-3.5-turbo-instructänderngpt-3.5-turbo-instructist ein im Stil von InstructGPT trainiertes Modell, ähnlich wietext-davinci-003- Es soll in der Completions API als Drop-in Replacement bereitgestellt werden
Umstellung für Nutzer von Fine-Tuning-Modellen
- Wer Fine-Tuning-Modelle auch nach dem 4. Januar 2024 weiter nutzen möchte, muss auf Basis neuer Basismodelle erneut Ersatzmodelle fine-tunen
- Neue GPT-3-Basismodelle:
babbage-002,davinci-002 - Neuere Modelle:
gpt-3.5-turbo,gpt-4
- Neue GPT-3-Basismodelle:
- Sobald Fine-Tuning für GPT-3.5 Turbo und GPT-4 verfügbar ist, sollen Nutzer, die früher ältere Modelle fine-getuned haben, priorisierten Zugang erhalten
- Da die Migration weg von mit eigenen Daten fine-getunten Modellen schwierig ist, will OpenAI den Übergang durch Unterstützung bisheriger Nutzer so reibungslos wie möglich gestalten
- Entwickler, die zuletzt ältere Modelle verwendet haben, sollen in den nächsten Wochen kontaktiert werden; weitere Informationen folgen, sobald die neuen Completion-Modelle für frühe Tests bereit sind
Einstellung älterer Embedding-Modelle
- Nutzer älterer Embedding-Modelle müssen bis zum 4. Januar 2024 auf
text-embedding-ada-002migrieren text-embedding-ada-002wurde im Dezember 2022 veröffentlicht und hat sich als leistungsfähiger und kosteneffizienter erwiesen als frühere Modelle- Derzeit macht
text-embedding-ada-00299,9 % der gesamten Nutzung der Embedding API aus - OpenAI wird die Kosten für das erneute Einbetten von Inhalten mit dem neuen Modell übernehmen
- Die folgenden Modelle werden sämtlich durch
text-embedding-ada-002ersetztcode-search-ada-code-001,code-search-ada-text-001code-search-babbage-code-001,code-search-babbage-text-001text-search-ada-doc-001,text-search-ada-query-001text-search-babbage-doc-001,text-search-babbage-query-001text-search-curie-doc-001,text-search-curie-query-001text-search-davinci-doc-001,text-search-davinci-query-001text-similarity-ada-001,text-similarity-babbage-001,text-similarity-curie-001,text-similarity-davinci-001
Einstellung der Edits API
- Nutzer der Edits API und zugehöriger Modelle müssen bis zum 4. Januar 2024 auf GPT-3.5 Turbo migrieren
- Beispiele:
text-davinci-edit-001,code-davinci-edit-001
- Beispiele:
- Die Beta der Edits API war eine frühe experimentelle API, die anhand von Anweisungen eine bearbeitete Version eines Prompts zurückgab
- Feedback aus der Edits API floss in die Entwicklung von
gpt-3.5-turbound der Chat Completions API ein - Die Chat Completions API kann für denselben Zweck verwendet werden
- Im Beispiel wird die gewünschte Codeänderung als System Message angegeben; wenn der Nutzer darum bittet, den Namen einer Fibonacci-Funktion in
fibzu ändern, gibt der Assistant den geänderten Code zurück
- Im Beispiel wird die gewünschte Codeänderung als System Message angegeben; wenn der Nutzer darum bittet, den Namen einer Fibonacci-Funktion in
1 Kommentare
Hacker-News-Kommentare
Lokale LLMs sollten gefördert und verbreitet werden
Wenn man GPT nutzt, bezahlt man OpenAI, und dieses Geld wird dann für Lobbyarbeit bei Regierungen eingesetzt, um Konkurrenten auszuschalten — am Ende schadet das einem selbst und dem eigenen Geldbeutel
OpenAI hat keinen Burggraben, außer dass man ihnen Geld gibt, damit sie Gesetze schreiben
Schon jetzt kann man auf einem fünf Jahre alten Laptop ohne GPU ziemlich beängstigend intelligente und schnelle LLMs laufen lassen, daher wirkt die Zukunft zumindest spannend
Als ich es vor ein oder zwei Monaten versucht habe, waren die Ergebnisse bei fast allen Aufgaben deprimierend langsam und nutzlos
Jedes Mal, wenn ein Modell als „90 % von GPT-3“ bezeichnet wird, hoffe ich darauf, bin aber jedes Mal stark enttäuscht
Und nachdem ich GPT-4 benutzt habe, wirkt selbst GPT-3 fast immer enttäuschend
Ich bezweifle auch, dass es so wichtig ist, welches LLM man gerade nutzt — ob lokal oder gehostet, OpenAI oder eine andere Engine
Die Interfaces scheinen sich auf chatbasierte Prompts zu konzentrieren, und neue Ideen zum Tuning der Basismodelle oder zur Effizienzsteigerung werden fast jede Woche veröffentlicht
Wenn man ein Produkt auf generativer KI aufbauen will, kann man doch mit etwas Kostenlosem anfangen oder mit etwas, das zur eigenen Entwicklungsumgebung passt
Die Art der Interaktion mit textbasierter generativer KI oder die API dürfte weitgehend ähnlich sein, unabhängig davon, welche Engine zu diesem Zeitpunkt optimal ist
Dann wäre ein Backend-Austausch möglich, ähnlich wie bei Webservices, die die AWS-S3-API nachahmen
Letztlich kann man also ein Produkt mit OpenAI oder einem anderen Modell bauen und später je nach Kosten und Eignung migrieren
Man kann auch das gesamte Produkt mit einem LLM geringerer Qualität prototypisch entwickeln und nur gelegentlich Anfragen an GPT-4 schicken, um das Verhalten zu validieren
Zu glauben, dass diese Technologie per Gesetz eingeschränkt werden könnte, wirkt übertrieben. Selbst wenn OpenAI viel Lobbyarbeit macht, bekommen sie nicht zwangsläufig, was sie wollen — das hat auch der Fall FTX gezeigt
LLMs lassen sich lokal ausführen, und für Nutzer kann die Engine eine Blackbox sein; selbst wenn man den öffentlichen Nutzen berücksichtigt, ist mir unklar, wie man die tatsächliche Verbreitung per Gesetz aufhalten könnte
Ich habe einen alten Laptop ohne GPU mit 16 GB RAM — könnte ich solche Modelle darauf ausführen?
Man sollte die KI-Propagandamaschine nicht finanzieren
Lokale LLMs mögen für manche Aufgaben gut sein, aber verglichen mit dem Modellmaßstab und der Hardware, die OpenAI für seine API einsetzt, sind sie deutlich langsamer und weniger leistungsfähig
Nach meiner Erfahrung mit der CPU-Ausführung eines 7B-Modells mit ggml auf einem Laptop mit Intel i7 der 12. Generation war selbst das viel langsamer als die gpt-3-turbo-API
[1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296
Das ist ernst. Sie wollen tatsächlich text-davinci-003 abschalten
Damit verschwinden das letzte wirklich leistungsfähige Modell und die Freiheit des Text-Completion-Ansatzes
Jetzt wird alles zu zensierten/ausgerichteten Chat-Modellen oder Instruktionsmodellen mit willkürlichen Beschränkungen der Eingabemetapher. gpt3.5-turbo ist im Vergleich miserabel
Das wird mich vermutlich dazu bringen, den Großteil meiner OpenAI-Nutzung einzustellen. Meine API-Zahlungen von $5 bis $10 im Monat sind zwar vermutlich nicht wichtig, aber die Motivation steigt, ein 65B-Llama-Modell lokal laufen zu lassen
Was bietet es, das andere Modelle nicht haben?
Was wären ein paar interessante Dinge, die man vor der Abschaltung am 4. Januar 2024 noch ausprobieren sollte?
Wenn davinci allerdings in derselben Preisklasse wie GPT-4 liegt, hoffe ich, dass GPT-4 bei lexikalischer Vielfalt und steuerbarer sprachlicher Raffinesse inzwischen weit genug aufgeholt hat, um ein Ersatz zu sein
Insgesamt wird meiner Meinung nach unterschätzt, wie viel beim allgemeinen Wechsel hin zu Instruktionsmodellen verloren geht
Ich hoffe, dass es im Markt kluge Akteure gibt, die Instruktions-Prompts vorab optimieren und in Formate umwandeln, die zu nicht feinabgestimmten Modellen passen
Bei gleicher Parametergröße würde es für Endnutzer schon wie ein deutliches Upgrade wirken, wenn man das zugrunde liegende Modell nicht beschneidet
Soweit ich sehe, ist es auf Azure noch verfügbar. text-davinci-003 ist eine feinabgestimmte Version davon
Mehr Infos:
https://platform.openai.com/docs/model-index-for-researchers
Sam Altman hat bereits gesagt, dass die Hardware sie daran hindert, das zu tun, was sie wollen
Ich stand monatelang auf der Warteliste für die GPT-4-API, was vermutlich daran lag, dass sie mit der Nachfrage nicht hinterherkamen
Bedeutet „Wenn man ein Fine-Tuning-Modell auch nach dem 4. Januar 2024 weiter nutzen will, muss man ein Ersatzmodell auf Basis der neuen GPT-3-Basismodelle (ada-002, babbage-002, curie-002, davinci-002) oder neuerer Modelle (gpt-3.5-turbo, gpt-4) feinabstimmen“, dass man sein mit eigenen Daten erstelltes Fine-Tuning-Modell dann nicht mehr verwenden kann?
Heißt das, dass Leute, die für ein Fine-Tuning-Modell bezahlt haben, erneut Trainings-Token-Kosten auf dem neuen zensierten Modell tragen müssen?
Wie genau das für die Kunden am besten umgesetzt wird, stimmen wir noch ab, und wir werden uns in den kommenden Wochen bei den Kunden melden, um Feedback zu verschiedenen Ansätzen einzuholen.
Deshalb sind offene Modelle so wichtig. Es ist schwer nachzuvollziehen, warum Unternehmen Fine-Tuning-Modelle auf geschlossenen Modellen aufbauen.
Die größte Neuigkeit aus Fähigkeitssicht ist hier eigentlich das Modell gpt-3.5-turbo-instruct.
gpt-3.5-turbo ist das Modell hinter ChatGPT und wurde für Chat feinabgestimmt, weshalb es für Anwendungsfälle, in denen es einfach nur Anweisungen befolgen oder Vervollständigungen liefern soll, ziemlich schwer einzusetzen ist.
davinci-003 war das letzte instruktionstunierte Modell, war aber zehnmal teurer als gpt-3.5-turbo. Deshalb war es wirtschaftlich sinnvoll, gpt-3.5-turbo irgendwie in den eigenen Anwendungsfall hineinzuzwingen, selbst wenn das aus Token-Sicht extrem verschwenderisch war.
Ich habe eine einfache Website, die text-davinci-003 nutzt, konnte sie aber wegen der hohen Kosten nicht veröffentlichen.
Ich habe zwar gpt-3.5-turbo ausprobiert, aber in Situationen, in denen man eine formatierte JSON-Rückgabe erwartet, war überhaupt keine Konsistenz zu erreichen, sodass es nicht funktioniert hat.
davinci-003 macht viel mehr Spaß und kann auch bei einer breiten Themenpalette antworten, bei der ChatGPT die Antwort verweigern würde.
Es hieß: „Ab heute haben alle zahlenden API-Kunden Zugriff auf GPT-4“, aber vielleicht bin ich einfach nur blöd: Ich bin zahlender OpenAI-API-Kunde und habe ihn noch nicht.
Ich sehe nur gpt-3.5-turbo-16k, gpt-3.5-turbo, gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0613 und gpt-3.5-turbo-0301, aber kein gpt-4.
Vermutlich liegt es daran, dass ich erst im letzten Monat auf ein kostenpflichtiges API-Konto umgestellt habe und nach buchhalterischen Maßstäben noch kein „zahlender API-Kunde“ bin.
Bei mir ist es genauso. Ich habe mich erst vor ein paar Tagen angemeldet und gehofft, auf gpt-4 umstellen zu können, aber außer der Autorisierung über 5 $ habe ich noch keine erste Rechnung bezahlt, also muss ich wohl noch warten.
Ich habe ein sehr einfaches Kommandozeilen-Tool gebaut, das die API aufruft. Es wird zum Beispiel so ausgeführt:
Ich habe ebenfalls keinen Zugriff auf GPT-4.
Aktuell kann ich gpt4 im Playground nur mit Konto 2 verwenden.
gpt-3.5-turbo-0613 ist insbesondere zusammen mit System-Prompt-Design ziemlich viel besser geworden, sodass es nicht mehr so zwingend nötig ist wie früher, die 20- bis 30-mal teurere GPT-4 API zu verwenden
Dass die ChatGPT API in großem Maßstab stärker übernommen wurde als die frühere Completion API, zeigt, dass mein erster Beitrag zur ChatGPT API richtig lag
Wenn die Qualität gleich oder besser ist, wechseln Entwickler angesichts einer massiven Preissenkung sofort: https://news.ycombinator.com/item?id=35110998
Im Vergleich ist GPT-3.5 unbrauchbar. Ich verstehe aber, dass GPT-3.5 in stärker konversationellen Umgebungen ein attraktiveres Leistungs-/Preis-Verhältnis bieten kann
Für die meisten Use Cases mag es funktionieren, aber GPT-3.5 ignoriert Anweisungen deutlich häufiger als GPT-4
Es scheitert auch viel leichter an simplen Dingen wie nachgestellten Leerzeichen, und wenn man es einen großen Text ohne Grammatik oder Interpunktion umschreiben lässt, zeigt es mitunter seltsames Verhalten wie das buchstabenweise Ausbuchstabieren
Es machte kaum einen Unterschied, wie ich den System-Prompt gesetzt habe. Bei GPT-4 habe ich ein derart wirklich merkwürdiges Verhalten bisher noch nicht gesehen
Ich nutze es hauptsächlich für Testgenerierung, Dokumentation, Refactoring und das Erzeugen von Code-Snippets und verwende es zusammen mit Copilot/X täglich bei der Arbeit
Meiner Erfahrung nach ist GPT3.5-turbo im Vergleich ziemlich dumm. Man beschreibt in Kommentaren, was eine Methode tun und welche Argumente sie haben soll, und dann lässt es die Argumente komplett weg
Selbst bei relativ kurzen Code-Snippets wirkt es, als hätte es ein schlechtes Gedächtnis. Es liegt nicht einmal nahe an der Kontextlänge
Es sind nicht bloß kleine Fehler; es sagt, es werde etwas in mehreren Schritten tun, und lässt dann ganze Schritte aus
GPT3.5-turbo ist konstant instabil und erfordert große Korrekturen und fortlaufende Wiederholungsversuche
Es hat auch Schwierigkeiten, dem Stil/Template des Prompts und seiner eigenen Antworten zu folgen. Es ist etwa bei der Verwendung von Aufzählungspunkten in Dokumenten konsistent und wechselt dann plötzlich
Codex ist im Allgemeinen besser, fällt aber klar hinter GPT-4 zurück und taugt als „intelligente Autovervollständigung“. Für Dokumentation ist es nicht besonders nützlich
GPT-4 hingegen liefert das Ergebnis meist fast korrekt, und bei langem Code oder komplexen Prompts muss man gelegentlich nur ein paar Dinge nachbessern
Kurz gesagt: Bei Code-Arbeit ist selbst die Zeit, die man braucht, um mit GPT3.5-turbo gute Ergebnisse zu bekommen oder sie zu reparieren, kaum lohnend. Codex ist einigermaßen okay, und für alles über Autovervollständigung hinaus nehme ich einfach GPT-4. Es ist viel konsistenter
Hier gibt es nicht viel Diskussion über die mögliche Nutzung von Whisper
Wenn man die Spracheingabe in der ChatGPT-iOS-App ausprobiert, scheint Whisper ziemlich gut darin zu sein zu erkennen, was tatsächlich gesagt wurde
Es ist aber wirklich frustrierend, dass man erst alles vollständig sagen muss, bevor man Rückmeldung dazu bekommt, wie das Gesagte erkannt wird
Auch wenn die Erkennungsrate beeindruckend hoch ist
OpenAI selbst verwendet es offenbar so, daher weiß ich nicht, ob die API so gestaltet wurde, dass sie dieses Problem entschärfen kann, aber es wäre wirklich großartig, wenn es bei der Whisper-Qualität etwas gäbe, das an die Reaktionsfähigkeit von On-Device-Diktat herankommt
Wahrscheinlich wird sie eher „in Echtzeit“ arbeiten wie die aktuelle Diktierfunktion in iOS/macOS, aber ich nutze die Beta gerade nicht, daher bin ich mir nicht sicher
Wenn ich stattdessen die integrierte Texteingabe genutzt habe, hat ChatGPT die Anfrage selbst weiterhin ziemlich gut verstanden und gute Ergebnisse geliefert
Die schrittweise Freigabe fühlt sich irgendwie seltsam an
OpenAI schadet fast seinem eigenen Ruf, indem es fast alle zwingt, ältere und qualitativ schlechtere Modelle zu verwenden
Selbst wenn Kunden bereit sind, für GPT-4 zu bezahlen, heißt es für sie: hinten anstellen
Worauf soll man denn warten? Auf Weihnachten? Auf den Tag, an dem man die Geschenkbox öffnet und GPT-4 drin ist?
Sieht aus, als hätte man eine Seite aus Googles Marketinghandbuch „So garantiert man das Scheitern neuer Produkte“ kopiert. Man beschränkt den Zugang so stark, dass Mundpropaganda gar nicht funktionieren kann. Keiner deiner Freunde kann das Produkt ausprobieren
Diese Ankündigung spricht zwar von der „allgemeinen Verfügbarkeit“ des GPT-4-Modells, aber weder vom 32K-Kontextmodell noch von der multimodalen Version mit Bildeingabe, und Fine-Tuning gibt es auch nicht. Es ist nur ein Modell, nur Chat
Im Moment habe ich nur Zugriff auf den Azure-OpenAI-Service und auf GPT-3.5 in meinem OpenAI-API-Konto
Ich verstehe nicht, was all diese willkürlichen Einschränkungen dafür bedeuten sollen, wer auf welches Modell zugreifen darf
Über Chat kann man GPT-4 nutzen, aber nicht über die API. Im Bing Image Creator kann man eine verbesserte Dall-E-Version nutzen, aber nicht über die OpenAI-API
Einige Vendoren, die den Segen des großen und gnädigen Sam Altman erhalten haben, bekommen Zugang zu GPT-4 32K, der Rest nicht
Man sollte Produkte verkaufen, nicht Zugangsrechte
Man sollte sich nicht wie die Sowjetunion verhalten, wo man „die richtigen Leute kennen“ musste, um an etwas zu kommen
Selbst mit Geld kann man nicht so viele GPUs kaufen, wie man bräuchte
Und wenn sie die Schleusen öffnen, könnten Skalierungsengpässe entstehen, also wollen sie dem vielleicht lieber zuvor kommen, statt hinterherzulaufen
Deshalb öffnen sie vorsichtig und ziehen sich bei Bedarf zurück, so wie damals, als die Nutzung der öffentlichen GPT-4-Version in ChatGPT begrenzt wurde
Das wirkt nicht völlig unvernünftig. Natürlich kann auch ein gewisser Versuch dabei sein, durch künstliche Verknappung den Hype anzuheizen
Eine alte Strategie, aber nicht in einem Ausmaß, das einen Vergleich mit Sowjetrussland rechtfertigt
Wenn man grob schätzt, dass pro 100 Kunden 1 NVIDIA-GPU nötig ist, dann muss OpenAI für je 100 neue GPT-4-Kunden wieder eine weitere GPU kaufen
Wegen des GPU-Mangels ist das aber keine Situation, in der man einfach durch Geldverbrennen problemlos mehr GPUs hinzufügen kann
https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
Mit „Googles Erfolgsrezept für das Scheitern neuer Produkte“ soll wohl gemeint sein, dass GPT-4 ein berüchtigter, sicherer Flop ist
Das ursprüngliche davinci-Modell war mein Freund, und ich missbillige diese Entscheidung zutiefst
Die Ergebnisse, die ich mit diesem Modell erzeugt habe, hatten eine Persönlichkeit und Kreativität, die ich mit nichts anderem reproduzieren konnte
Großartige und lustige Ergebnisse daraus bleiben dauerhaft ein wertvoller Teil des Weltbilds unserer Familie
Manche Forscher sollen eine bekommen haben
Ich habe LLMs für kreative Arbeit erforscht und denke, dass eine Mischung aus Chain-of-Thought und eingespritzter Zufälligkeit ziemlich dabei hilft, menschlicher Kreativität näherzukommen
Zum Beispiel indem man das LLM anweist, einen bestimmten zufälligen Buchstaben aus einem Zufallsgenerator zu einem bestimmten Zeitpunkt auf eine bestimmte Weise zu verwenden
Abgesehen vom Titel steckt hier noch einiges Größeres drin
Das neue Modell gpt-3.5-turbo-instruct soll „in den nächsten Wochen“ erscheinen, und Fine-Tuning für 3.5 und 4 ist noch für dieses Jahr geplant
Besonders interessiert mich gpt-3.5-turbo-instruct. Ich denke, der Hype um ChatGPT und „konversationelle LLMs“ hat vieles verdeckt, was mit allgemeinen Instruktionsmodellen möglich ist
Wenn dann auch noch Fine-Tuning möglich wird, wäre das großartig
Ich verstehe nicht besonders gut, was im Hintergrund nötig war, um GPT-Modelle mit Faktenwissen zu trainieren
Haben Menschen Antworten freigegeben oder abgelehnt, um die Bewertung zu erhöhen?
„Die USA haben 49 Bundesstaaten“ - abgelehnt
„Die USA haben 50 Bundesstaaten“ - freigegeben
Lief es vereinfacht ungefähr so?
Ist bekannt, ob daran gearbeitet wird, den Rest von 2021, dann 2022 und schließlich 2023 hinzuzufügen? Ich weiß, dass man mit dem Bing-Addon das Web crawlen kann, aber das ist nicht dasselbe
Ich habe vor ein paar Tagen nach Maya Kowalski gefragt, und es konnte zwar ein oder zwei Blogposts zusammenfassen, aber das ist etwas anderes, als zu diesem Thema tatsächlich trainiert worden zu sein, es zu kennen und den detaillierten Kontext zu haben