OpenAI DevDay: Neue Modelle und Entwicklerprodukte
(openai.com)- OpenAI hat auf dem DevDay das zentrale Modell seiner API-Plattform um GPT‑4 Turbo erweitert und zugleich die Assistants API, multimodale Funktionen und Preissenkungen vorgestellt, wodurch das Entwicklerportfolio deutlich ausgebaut wird
- GPT‑4 Turbo bietet ein 128K-Kontextfenster und Wissen bis April 2023; im Vergleich zu GPT‑4 sind Eingabe-Tokens dreimal und Ausgabe-Tokens zweimal günstiger
- Die neue Assistants API bündelt Code Interpreter, Retrieval, Funktionsaufrufe und persistente Threads ohne Längenbegrenzung, damit sich zweckorientierte AI Assistants in Apps erstellen lassen
- Die API erhält Vision-Eingaben, DALL·E 3 und Text-to-Speech (TTS); GPT‑3.5 Turbo unterstützt standardmäßig 16K Kontext sowie JSON mode und parallele Funktionsaufrufe
- Für zahlende GPT‑4-Kunden wird das Token-Limit pro Minute verdoppelt; Copyright Shield bietet für ChatGPT Enterprise und allgemein verfügbare Funktionen der Entwicklerplattform Schutz vor Urheberrechtsklagen sowie Kostenübernahme
Updates für GPT‑4 Turbo und GPT‑3.5 Turbo
- GPT‑4 Turbo erscheint als Preview des Modells der nächsten Generation von GPT‑4
- Alle zahlenden Entwickler können es in der API nutzen, indem sie
gpt-4-1106-previewübergeben - Ein stabiles, produktionsreifes Modell soll in einigen Wochen erscheinen
- Mit einem 128K-Kontextfenster passen mehr als 300 Seiten Text in einen einzigen Prompt
- Das Weltwissen reicht bis April 2023
- Alle zahlenden Entwickler können es in der API nutzen, indem sie
- Die Preise liegen unter denen von GPT‑4
- GPT‑4 Turbo Eingabe-Tokens: $0.01/1,000 tokens
- GPT‑4 Turbo Ausgabe-Tokens: $0.03/1,000 tokens
- Eingaben sind dreimal, Ausgaben zweimal günstiger als bei GPT‑4
- Function calling kann mehrere Funktionen in einer Nachricht aufrufen
- Eine Anfrage wie „Öffne die Autofenster und schalte die Klimaanlage aus“ lässt sich beispielsweise in einer einzigen Nachricht verarbeiten, statt wie bisher mehrere Roundtrips zu benötigen
- GPT‑4 Turbo gibt mit höherer Wahrscheinlichkeit die richtigen Funktionsparameter zurück
- JSON mode beschränkt Modellantworten auf gültiges JSON
- Mit dem neuen API-Parameter
response_formatkann die Erzeugung syntaktisch korrekter JSON-Objekte erzwungen werden - Das ist nützlich für Entwickler, die außerhalb von Function Calling mit der Chat Completions API JSON erzeugen
- GPT‑4 Turbo ist bei Aufgaben, die bestimmten Formatvorgaben wie „immer in XML antworten“ folgen, leistungsfähiger als frühere Modelle
- Mit dem neuen API-Parameter
- Reproduzierbare Ausgaben und Log-Wahrscheinlichkeiten werden ebenfalls hinzugefügt
- Der Parameter
seedunterstützt reproduzierbare Ausgaben, indem er in den meisten Fällen konsistente Completions zurückgibt - Das lässt sich für Debugging durch Replay von Requests, umfassendere Unit-Tests und die Steuerung des Modellverhaltens nutzen
- Die Rückgabe von Log-Wahrscheinlichkeiten für die wahrscheinlichsten Ausgabe-Tokens von GPT‑4 Turbo und GPT‑3.5 Turbo soll in einigen Wochen erscheinen
- Das ist nützlich, um Funktionen wie Autocomplete in Sucherlebnissen zu bauen
- Der Parameter
- Das neue GPT‑3.5 Turbo unterstützt standardmäßig ein 16K-Kontextfenster
- In der API ist es über
gpt-3.5-turbo-1106erreichbar - Es unterstützt verbesserte Befolgung von Anweisungen, JSON mode und parallele Funktionsaufrufe
- In internen Evaluationen verbesserten sich Aufgaben zur Einhaltung von Formaten wie JSON-, XML- und YAML-Erzeugung um 38 %
- Das bisherige Modell
gpt-3.5-turbo-0613bleibt bis zum 13. Juni 2024 zugänglich - Für Anwendungen, die den Namen
gpt-3.5-turboverwenden, erfolgt kein automatisches Upgrade mehr
- In der API ist es über
Assistants API, Retrieval, Code Interpreter
- Die Assistants API erscheint als erster Schritt, damit Entwickler agentenartige Erlebnisse in Anwendungen bauen können
- Ein Assistant ist eine zweckorientierte KI mit bestimmten Anweisungen, die zusätzliches Wissen nutzt und Modelle sowie Tools aufruft, um Aufgaben auszuführen
- Zielanwendungsfälle sind unter anderem Apps für Datenanalyse in natürlicher Sprache, Coding Assistants, KI-Reiseplaner, sprachgesteuerte DJs und intelligente visuelle Canvases
- Sie baut auf Funktionen wie Custom Instructions, Code Interpreter, Retrieval und Function Calling auf, die OpenAIs neues GPTs-Produkt ermöglichen
- Die zentrale Änderung sind persistente Threads ohne Längenbegrenzung
- Entwickler können die Verwaltung des Thread-Zustands an OpenAI übergeben
- Um Beschränkungen des Kontextfensters zu umgehen, funktioniert dies, indem neue Nachrichten zu einem bestehenden
threadhinzugefügt werden
- Die Assistants API kann mehrere Tools aufrufen
- Code Interpreter: schreibt und führt Python-Code in einer Sandbox-Umgebung aus, erstellt Graphen und Diagramme und verarbeitet Dateien mit unterschiedlichen Daten und Formaten
- Retrieval: erweitert den Assistant mit Wissen außerhalb des Modells, etwa proprietären Domänendaten, Produktinformationen oder von Nutzern bereitgestellten Dokumenten
- Mit Retrieval müssen Entwickler Dokument-Embeddings, Chunking und Suchalgorithmen nicht selbst implementieren
- Function calling: Der Assistant kann von Entwicklern definierte Funktionen aufrufen und die Funktionsantworten in Nachrichten einfließen lassen
- Über die API übermittelte Daten und Dateien werden nicht zum Training von OpenAI-Modellen verwendet und können gelöscht werden, wenn Entwickler dies für angemessen halten
- Die Assistants API steht allen Entwicklern als Beta zur Verfügung und kann ohne Code im Assistants playground ausprobiert werden
- Preise für die Assistants API und die Tools sind auf der Preisseite von OpenAI verfügbar
Vision-, Bild- und Sprachfunktionen in der API
- GPT‑4 Turbo with vision kann in der Chat Completions API Bilder als Eingabe verarbeiten
- Unterstützt werden Anwendungsfälle wie das Erstellen von Bildunterschriften, die detaillierte Analyse realer Bilder und das Lesen von Dokumenten mit Abbildungen
- BeMyEyes nutzt diese Technologie, um blinde und sehbehinderte Nutzer bei Alltagsaufgaben wie der Produkterkennung und der Navigation in Geschäften zu unterstützen
- Entwickler können über
gpt-4-vision-previewdarauf zugreifen - Vision-Unterstützung soll als Teil des stabilen Releases in das Hauptmodell GPT‑4 Turbo aufgenommen werden
- Der Preis hängt von der Größe des Eingabebildes ab; die Übergabe eines 1080×1080-Bildes an GPT‑4 Turbo kostet $0.00765
- DALL·E 3 kann über das Modell
dall-e-3in der Images API in Apps und Produkte integriert werden- Snap, Coca-Cola und Shutterstock nutzen DALL·E 3, um programmatisch Bilder und Designs für Kunden und Kampagnen zu erzeugen
- Ähnlich wie bei früheren DALL·E-Versionen enthält die API integrierte Moderation, um Missbrauch vorzubeugen
- Format- und Qualitätsoptionen sind verfügbar; die Preise beginnen bei $0.04 pro generiertem Bild
- Die Text-to-Speech (TTS) API erzeugt aus Text Sprache auf menschlichem Niveau
- Das neue TTS-Modell bietet sechs voreingestellte Stimmen
- Es gibt zwei Modellvarianten:
tts-1undtts-1-hd tts-1ist für Echtzeit-Anwendungsfälle optimiert,tts-1-hdfür Qualität- Die Preise beginnen bei $0.015 pro 1.000 eingegebenen Zeichen
Modellanpassung
- OpenAI baut ein experimentelles Zugangsprogramm für GPT‑4 fine-tuning auf
- Vorläufige Ergebnisse zeigen, dass GPT‑4 fine-tuning – anders als die großen Verbesserungen durch GPT‑3.5 fine-tuning – mehr Arbeit erfordert, um gegenüber dem Basismodell nennenswerte Verbesserungen zu erzielen
- Sobald Qualität und Sicherheit von GPT‑4 fine-tuning verbessert sind, erhalten Entwickler, die GPT‑3.5 fine-tuning aktiv nutzen, in der Fine-tuning Console die Option, sich für das GPT‑4-Programm zu bewerben
- Das Custom Models program richtet sich an Organisationen, die stärkere Anpassungen benötigen als Fine-tuning
- Es gilt insbesondere für Domänen mit sehr großen proprietären Datensätzen im Umfang von mindestens mehreren Milliarden Tokens
- Ausgewählte Organisationen können gemeinsam mit einer dedizierten Gruppe von OpenAI-Forschern ein custom GPT‑4 für eine bestimmte Domäne trainieren
- Alle Schritte des Modelltrainingsprozesses können angepasst werden, von zusätzlichem domänenspezifischem Pre-training bis hin zu custom RL Post-training für eine bestimmte Domäne
- Organisationen erhalten exklusiven Zugriff auf ihr custom model
- Das custom model wird anderen Kunden nicht bereitgestellt oder mit ihnen geteilt und auch nicht zum Training anderer Modelle verwendet
- Proprietäre Daten, die für das Training des custom model bereitgestellt wurden, werden in keinem anderen Kontext wiederverwendet
- Zu Beginn handelt es sich um ein sehr begrenztes und kostspieliges Programm
Preissenkungen und höhere Rate Limits
- OpenAI senkt die Preise in mehreren Bereichen der Plattform
- Alle Preise beziehen sich auf 1.000 tokens
- Preise für GPT‑4 Turbo
- GPT‑4 8K: Eingabe $0.03, Ausgabe $0.06
- GPT‑4 32K: Eingabe $0.06, Ausgabe $0.12
- GPT‑4 Turbo 128K: Eingabe $0.01, Ausgabe $0.03
- Preise für GPT‑3.5 Turbo
- Bisheriges GPT‑3.5 Turbo 4K: Eingabe $0.0015, Ausgabe $0.002
- Bisheriges GPT‑3.5 Turbo 16K: Eingabe $0.003, Ausgabe $0.004
- Neues GPT‑3.5 Turbo 16K: Eingabe $0.001, Ausgabe $0.002
- Der neue Preis gilt nur für das heute vorgestellte neue GPT‑3.5 Turbo
- Für Nutzer des bisherigen GPT‑3.5 Turbo 4K sinkt der Preis für Eingabe-Tokens um 33 %
- Preise für GPT‑3.5 Turbo fine-tuning
- Bisheriges GPT‑3.5 Turbo 4K fine-tuning: Training $0.008, Eingabe $0.012, Ausgabe $0.016
- Neues GPT‑3.5 Turbo 4K/16K fine-tuning: Training $0.008, Eingabe $0.003, Ausgabe $0.006
- Eingabe-Tokens werden viermal, Ausgabe-Tokens 2,7-mal günstiger
- Bei den neuen GPT‑3.5 Turbo-Modellen wird Fine-tuning mit 16K Kontext zum gleichen Preis wie 4K unterstützt
- Der neue Preis gilt auch für fine-tuned
gpt-3.5-turbo-0613-Modelle
- Auch das rate limit wird erhöht
- Für alle zahlenden GPT‑4-Kunden wird das Token-Limit pro Minute verdoppelt
- Das neue rate limit ist auf der rate limit page einsehbar
- Usage Tiers, die automatische Erhöhungen des rate limit bestimmen, werden veröffentlicht
- In den Kontoeinstellungen kann eine Erhöhung des Nutzungslimits beantragt werden
Copyright Shield und Open-Source-Releases
- Copyright Shield ist ein Programm, bei dem OpenAI die Verteidigung übernimmt und entstehende Kosten trägt, falls Kunden mit rechtlichen Ansprüchen wegen Urheberrechtsverletzungen konfrontiert werden
- Es gilt für ChatGPT Enterprise und allgemein verfügbare Funktionen der Entwicklerplattform
- OpenAI hält an der Position fest, Kunden durch in die Systeme integrierte Urheberrechtsschutzmaßnahmen zu schützen
- Whisper large-v3 wurde veröffentlicht
- Es ist die nächste Version von OpenAIs Open-Source-Modell für automatische Spracherkennung (ASR)
- Die Leistung wurde in mehreren Sprachen verbessert
- OpenAI plant, Whisper v3 in naher Zukunft in der API zu unterstützen
- Auch der Consistency Decoder wurde als Open Source veröffentlicht
- Er ist ein Drop-in Replacement für den Stable Diffusion VAE Decoder
- Er verbessert alle Bilder, die mit Stable Diffusion 1.0+ VAE kompatibel sind
- Er bietet deutliche Verbesserungen bei Text, Gesichtern und geraden Linien
1 Kommentare
Meinungen auf Hacker News
Die meisten vorgestellten Produkte und die Preissenkungen wirken eher so, als sollten sie die Abhängigkeit von der OpenAI-API-Plattform erhöhen; angesichts des intensiver gewordenen Wettbewerbs ist das nicht überraschend
Insbesondere die Demos zu GPTs/GPT Agents und Assistants wirkten wie eine Blackbox in der Blackbox, die sich nicht anderswohin verlagern lässt
Die Einschätzungen zur Ankündigung gehen auseinander, und man wird sich wohl die Details der gerade aktualisierten API-Dokumentation genauer ansehen müssen: https://platform.openai.com/docs/api-reference
Auch die Preisseite wurde aktualisiert: https://openai.com/pricing
Besonders die DALL-E-3-API kostet mit 0,04 $ pro Bild etwa eine Größenordnung mehr als andere Dienste in diesem Bereich
Interessant an der neuen Preisstruktur, die in der Keynote nicht erwähnt wurde: Feinabgestimmtes ChatGPT 3.5 ist jetzt auf das Dreifache der Kosten des normalen ChatGPT 3.5 gesunken. Von zuvor dem Achtfachen ist das niedriger geworden, wodurch Fine-Tuning zu einer überzeugenderen Option wird
Nach eigener Recherche ist die realistischste End-to-End-Konfiguration, um mein LLM vollständig selbst zu besitzen, ungefähr: ein paar 3090-Karten in ein Consumer-Mainboard stecken und 24/7 laufen lassen; die Betriebskosten sind erheblich, die Leistung reicht nicht wirklich aus, und es ist ziemlich teuer
Gibt man etwas mehr aus, kann man eine 128-GB-/192-GB-Apple-Silicon-Konfiguration kaufen und damit Qualität und Betriebskosten verbessern, aber sie ist viel, viel langsamer als OpenAIs „Turbo“-Dienst
Der wichtigste Grund, der mich von OpenAI weggetrieben hat, war das Gefühl, dass das Chat-Erlebnis deutlich stärker subventioniert wird als die API; diese Ankündigung scheint diese Lücke ziemlich gut zu schließen
Kurz gesagt: OpenAI bietet so attraktive Konditionen, dass man sie kaum ignorieren kann, und das ist ein massiv subventionierter Dienst. Ich glaube nicht, dass die späteren Wechselkosten die heutigen Vorteile übersteigen werden
Ohne neue Regulierung sehe ich nicht, was einen daran hindert, von OpenAI zu etwas wie Anthropic zu wechseln, abgesehen von den Kosten, zu lernen, wie man Anthropic für einen bestimmten Use Case effektiv nutzt
OpenAI hat ja keinen separaten Export-Feed, mit dem man Daten aus einer Datenbank herausziehen müsste
Das neue Threads-Interface im OpenAI-Adminbereich zeigt genau, wie Eingaben und Ausgaben interpretiert werden, und soll den Blackbox-Effekt reduzieren
Quelle: Unter https://platform.openai.com/docs/api-reference/runs/listRunS... sieht man genau, welche Schritte die Chain durchläuft. Es gibt mehr Sichtbarkeit als früher
Claude hält ungefähr in jeder zweiten Antwort eine Ethikvorlesung, was jedes Mal Kosten verursacht und es schwer macht, ihn in ein Produkt einbetten zu wollen
Wenn man seit dem 29. November 2022, laut Wikipedia dem Tag vor der Veröffentlichung von ChatGPT, keinen Kontakt mehr zur Gesellschaft gehabt hätte und heute zurückkäme, um die OpenAI-Keynote zu sehen, würde man wohl den Verstand verlieren
Das Entwicklungstempo und der Nutzen dieser Produkte sind wirklich erstaunlich
Zufällig hatte ich gerade zum zweiten Mal The Singularity is Near fertig gelesen
Code Interpreter und Function Calling waren bereits möglich, wenn ein fortgeschrittenes LLM Anweisungen gut genug befolgt, um Tokens in einem streng parsebaren Format auszugeben. Man musste diese Ausgabe nur in einen Parser geben und das Ergebnis wieder ins LLM einspeisen. Mit einer Online-API wie ChatGPT war das holprig, aber durchaus möglich
Maßgeschneiderte Chatbots waren auch schon vorher leicht zu bauen, und Dienste zum Erstellen wie Poe.com gab es bereits
JSON-Ausgabe braucht ebenfalls nur eine KI, die Token-Wahrscheinlichkeiten ausgeben und Anweisungen gut befolgen kann, sowie einen Schema-Validator, der die Tokens so auswählt, dass schema-konformes JSON entsteht
GPT-4 128k wirkt revolutionär, aber Claude 100k gab es bereits, und da LLM-Evaluierung mit der Kontextgröße quadratisch wächst, nutzen sie vermutlich irgendeinen Trick zur Kontexterweiterung. Es sind wahrscheinlich keine „vollständigen“ Tokens. Wenn ich falschliege, gebe ich das gern zu
Großer Kontext ist nützlich, aber beim Programmieren kommt man mit 8k Kontext ein Stück weit zurecht, wenn man den richtigen Kontext liefert, etwa indem man für ein bestimmtes Symbol die Ergebnisse von 2 bis 3 rekursiven „Go to definition“-Schritten in den Kontext füllt
DALL-E 3 wirkt am innovativsten, aber beim Ausprobieren zeigte sich: Die Kompositionsfähigkeit ist zwar deutlich besser als bei SD, bricht aber immer noch gelegentlich zusammen
Insgesamt fühlt sich die heutige Ankündigung eher wie Politur und Verfeinerung auf Basis des bombastischen Durchbruchs vom letzten Jahr an
Ich dachte: „Ach, schon wieder so ein Chatbot-Hype, den man fünf Minuten ausprobiert und dann lässt.“ Ich lag völlig falsch
Whisper V3 ist erschienen: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
Scheint ein neuer Checkpoint für das large-Modell zu sein. Es wäre schön, wenn auch die kleineren Modelle aktualisiert würden, aber in Dinge, die Whisper V2 verwenden, dürfte sich das leicht integrieren lassen.
Ich will es auch in meine lokale Sprach-KI einbauen, darauf freue ich mich: https://www.microsoft.com/store/apps/9NC624PBFGB7
Ich vermute, dass die ChatGPT-Stimme bereits Whisper V3 genutzt hat, aber man sah immer noch die typische Whisper-Halluzination „Thank you for watching!“. Es wirkt eher wie eine schrittweise Verbesserung als wie eine Revolution.
In den Trainingsdaten gab es viele Videos mit Untertiteln, bei einigen wurden Video/Audio abgeschnitten, während in den Untertiteln die Schlussformel stehen blieb. Vielleicht erkennt es Stille deshalb jetzt wie eine Verabschiedung am Ende einer TV-Sendung.
Persönlich sehe ich den Engpass bei Sprachsystemen derzeit in der umgebenden Infrastruktur: wie man erkennt, wann eine Äußerung beginnt und endet, und wie man den Nutzer sprechbereit hält, während Ton oder Sprache wiedergegeben wird.
Das sind unverzichtbare Bausteine, aber insgesamt funktionieren sie nicht gut; dafür braucht es wirklich eine Hardware-/Software-Integration.
Insgesamt gab es ziemlich viele Ankündigungen: 128.000 Token Kontext, Assistants API, JSON-Modus, Wissensstand April 2023, GPT-4 Turbo, niedrigere Preise und sogar maßgeschneiderte GPTs.
https://openai.com/pricing
Jetzt kann man [1] für das Vortraining eines maßgeschneiderten gpt-n-Modells 2 bis 3 Millionen Dollar bezahlen. Das hat nicht viel Aufmerksamkeit bekommen, sieht aber ziemlich spannend aus.
Wenn ein Startup so viel Geld ausgeben kann, dürfte das sicher einen Wettbewerbsvorteil bringen.
[1] https://openai.com/form/custom-models
Link vergessen, daher ergänzt.
Selbst bei etwa 3 Millionen Dollar könnte das eine attraktive Option sein.
Wenn man aber ein OpenAI-Zwischenhändler ist, der gpt-n-Modelle für andere Kunden vortrainiert, verstehe ich nicht, warum man glauben sollte, dass OpenAI einen am Ende nicht umgeht.
Schaut euch Startups an, die auf APIs und Plattformen aufgebaut wurden: Auf jede Erfolgsgeschichte kommt ein ganzer Friedhof, der durch Änderungen an API- und Plattformregeln entstanden ist.
An die Skeptiker in den Kommentaren: Der Elefant im Raum, den niemand gern zugeben möchte, ist, dass GPT-4 immer noch allem anderen weit überlegen ist.
Im Durchschnitt mag es besser sein, aber ich sehe es nicht bei allen Aufgaben vorn.
Die anderen Modelle werden auch weiter besser werden.
Ist Crowdsourcing-Training immer noch nicht machbar?
Ich erinnere mich, wie schnell sich die Welt der Diffusion Models im ersten Jahr bewegt hat; nach Midjourney wirkt es im Vergleich zu DALL-E 3 etwas stagnierend. Ist es bei Textmodellen genauso?
Das Playbook, dem OpenAI folgt, ähnelt AWS: Man beginnt mit Rohfunktionen wie Textgenerierung und Bilderzeugung, schafft eine Grundlage wie EC2, S3 und RDS und baut darauf Value-added Services wie die Assistants API auf.
In dieser Hinsicht sind sie AWS und anderen Wettbewerbern weit voraus.
AWS hatte praktisch sieben Jahre lang keine Konkurrenz, und die anderen großen Clouds von heute haben damals alle die Realität ignoriert.
OpenAI hat bereits viele Wettbewerber. Sie mögen auf den Ranglisten derzeit schlechter abschneiden, aber sie haben das Feld nicht jahrelang ignoriert, um dann verspätet aufzuholen.
Hat die Nutzung solcher Tools deiner Erfahrung nach auch bei der Wartung von Codebases geholfen? Mich würde interessieren, ob direkt oder indirekt durch besser lesbaren und besser organisierten Code.
Diese Tools scheinen hervorragend darin zu sein, neuen Code zu schreiben. Meiner Erfahrung nach gibt es eine Obergrenze dafür, wie viel Code ein Entwickler warten kann. Irgendwann kann man nicht mehr alles im Kopf behalten, muss anhalten, um etwas zu verstehen, und die Wartung wird dadurch schwieriger.
Wenn solche Tools dabei helfen, mehr Code zu schreiben, aber nicht bei der Wartung helfen, frage ich mich, ob wir in eine Situation geraten, in der sehr schnell massenhaft neuer Code entsteht, den niemand wirklich tief versteht, und dann alles zum Stillstand kommt.
https://github.com/paul-gauthier/aider
Es analysiert den abstrakten Syntaxbaum des gesamten Codes im Repository und erstellt daraus eine „Repository Map“, die GPT dabei hilft, größere Codebases zu verstehen.
Das Ganze basiert auf tree-sitter, demselben Tool, das auch die Codesuche und Navigation in GitHub und vielen beliebten IDEs antreibt.
https://aider.chat/docs/repomap.html
Verbraucher werden es vermutlich sofort merken, und im B2B-Bereich könnten Kunden ein paar Jahre lang darauf hereinfallen, dann aber schließlich abspringen und zu qualitativ besseren, traditionellen Wettbewerbern wechseln, die Senior-Talente einstellen.
Allerdings könnte auch ein Modell entstehen, das gut darin ist, eine konsistente Codebase wachsen zu lassen und zu warten. Ausgehend davon, wo wir heute stehen, wirkt das nicht wie eine unmögliche Aufgabe. Aber wie gesagt: Wir sind noch ziemlich weit davon entfernt.
Erstens könnte die Ära des klassischen Software Engineers enden und die Ära der Debugger beginnen. Menschliche Debugger würden den ganzen Tag Breakpoints setzen und in einem Meer von LLM-generiertem Code Bugs aufspüren.
Zweitens wird sich Recruiting von Leetcode-Aufgaben hin zu „Holen Sie den Debugger heraus und finden Sie heraus, was an diesem Code falsch ist“ verschieben.
Größerer Kontext bedeutet potenziell, dass man die gesamte Codebase einspeisen kann. Die meisten haben schon Schwierigkeiten, selbst die Details kleiner Codebases im Kopf zu behalten.
Der nächste Schritt ist eine tiefere Integration in die Tools, sodass bei jeder Änderung sichergestellt ist, dass die Tests durchlaufen und der Code kompiliert. Tests zu schreiben ist ebenfalls eines der Dinge, die dieses Tool leisten kann.
Dadurch könnte es möglich werden, Legacy-Codebases, die wirtschaftlich sonst schwer zu handhaben wären, mit KI-Unterstützung zu retten.
Ich rechne damit, dass die Produktivität KI-unterstützter Entwickler in den nächsten Jahren deutlich steigen wird. Persönlich glaube ich, dass das in statisch typisierten Sprachen besser funktionieren wird, weil es für die Tools viel leichter ist, darüber zu schlussfolgern.
https://ai.stepci.com
„In den kommenden Wochen werden wir außerdem eine Funktion veröffentlichen, die die Log-Wahrscheinlichkeiten der wahrscheinlichsten von GPT-4 Turbo und GPT-3.5 Turbo generierten Ausgabe-Tokens zurückgibt; das wird nützlich sein, um Funktionen wie Autocomplete für Sucherlebnisse zu bauen.“
Das ist ziemlich erstaunlich. Sorgen sie sich nicht nur nicht darum, dass Leute anhand von GPT-4-Ausgaben trainieren und so die Fähigkeiten des Modells stehlen, sondern auch nicht darum, dass Leute ernsthafte Logit Knowledge Distillation betreiben?
Alle dachten doch, dass genau das der Grund war, warum der Zugriff auf Logits überhaupt blockiert wurde.
„Wahrscheinlichste“ könnte wörtlich nur ein paar Tokens bedeuten und damit nur einen sehr kleinen Teil der Gesamtverteilung abdecken.
Vielleicht haben sie mit dieser Einschätzung sogar recht.