GPTs unter der Lupe: ChatGPT im Trenchcoat?

Wie GPTs aufgebaut sind

• GPTs sind benannte Konfigurationen von ChatGPT und enthalten einen Namen, ein Logo und eine kurze Beschreibung.
• Sie enthalten benutzerdefinierte Anweisungen, die das Verhalten des GPT steuern und einem „System Prompt“ entsprechen.
• Optional können bis zu vier Beispiel-Prompts angegeben werden, um eine Unterhaltung zu starten.
• Es können mehrere Dateien hochgeladen werden, um zusätzlichen Kontext bereitzustellen und bei der Generierung von Antworten zu helfen.
• Code Interpreter, der Browse-Modus und DALL-E 3 können aktiviert oder deaktiviert werden.
• Es können optionale „Actions“ eingerichtet werden, also API-Endpunkte, die das GPT aufrufen kann.

Wie der GPT Builder funktioniert

• Der GPT Builder ist ein Chatbot, der durch ein Gespräch mit dem Nutzer automatisch ein GPT erstellt.
• Der Tab „Create“ ermöglicht es Nutzern, ein GPT per Unterhaltung zu erstellen, füllt in Wirklichkeit aber nur automatisch das Formular unter „Configure“ aus.
• Viele empfehlen, den Tab „Create“ nach dem ersten erstellten GPT zu meiden.

Interessante Beispiele für GPTs

• Dejargonizer: ein GPT, das Fachjargon erklärt, indem es Text analysiert und Fachbegriffe definiert.
• JavaScript Code Interpreter: ein GPT, das JavaScript-Code ausführen kann und dafür eine Deno-Laufzeitumgebung anhängt.
• Dependency Chat: analysiert die Abhängigkeitsdokumentation eines GitHub-Projekts und beantwortet dazu Fragen.
• Add a walrus: ein GPT, das einem Bild ein Walross hinzufügt und dafür GPT-Vision und DALL-E nutzt.
• Animal Chefs: ein GPT, bei dem Tierköche Rezepte zusammen mit persönlichen Geschichten liefern.
• Talk to the datasette.io database: ein GPT, das SQL-Abfragen ausführt, um Fragen zu beantworten.
• Just GPT-4: ein GPT, das alle Zusatzfunktionen deaktiviert und ein reines GPT-4-Erlebnis bietet.

Die Wissensfunktion von GPTs

• Wenn Dateien an ein GPT angehängt werden, versucht es mithilfe dieser Dateien Fragen zu beantworten.
• Das wirkt wie eine Implementierung von Retrieval Augmented Generation (RAG).
• OpenAI teilt zu dieser Funktion keine Details, was es für Nutzer schwierig macht, sie effektiv einzusetzen.

Das Bezahlmodell von GPTs

• GPTs können nur von Abonnenten von ChatGPT Plus für 20 US-Dollar pro Monat genutzt werden, was die Verbreitung einschränkt.
• Dadurch lassen sich Projekte auf Basis der OpenAI-Plattform veröffentlichen, ohne dass Nutzer ihren eigenen API-Schlüssel angeben müssen.

Prompt-Sicherheit und die Bedeutung von Offenheit

• Wenn Nutzer sich genug Mühe geben, können Dokumente und Prompts, die zu einem GPT hinzugefügt wurden, offengelegt werden.
• Deshalb sollte man davon ausgehen, dass Prompts leaken werden, und sie lieber offenlegen.

Erwartungen an die Zukunft von GPTs

• Erwartet werden Verbesserungen wie bessere Dokumentation der Wissensfunktion, API-Zugänglichkeit, Möglichkeiten zur Bereitstellung von GPTs für Nicht-Abonnenten und das Setzen von Budgetgrenzen.

Meinung von GN⁺

Das Wichtigste an diesem Artikel ist die Erkundung der neuen Funktionen und Möglichkeiten von GPTs, ein spannendes Thema für Menschen aus Software Engineering und Künstlicher Intelligenz. Die Möglichkeit, eigene GPTs zu erstellen und mit anderen Nutzern interagieren zu lassen, eröffnet neue Wege zum Aufbau maßgeschneiderter dialogbasierter Interfaces. Außerdem zeigt sich das Potenzial, die Nutzererfahrung durch die Integration verschiedenster Funktionen wie Code-Ausführung, Dokumentensuche und Bilderzeugung zu verbessern.

[GN⁺]

Hacker-News-Meinungen

• Als GPT-Nutzer habe ich erkannt: Wenn ich den Prompt nicht sehen kann, möchte ich das GPT nicht verwenden. Ich möchte kein ChatGPT benutzen, bei dem ein Fremder ohne mein Wissen seltsames Verhalten hineininjizieren kann.
  • Ich möchte, dass OpenAI für GPTs eine Option „Quelltext anzeigen“ hinzufügt. Meiner Meinung nach sollte sie standardmäßig „eingeschaltet“ sein, auch wenn ich mir vorstellen kann, dass das keine populäre Entscheidung wäre.
• Ich neige dazu, GPT-basierte Chatbots zu meiden. Ich möchte nicht subtil von benutzerdefinierten Anweisungen manipuliert werden, die ich nicht kenne.
  • Eine Option „Quelltext anzeigen“ würde diese Funktion von „eher nicht“ zu „das ist es wert, dafür zu bezahlen“ machen.
  • Ich verbringe die meiste Zeit mit Kagi und überlege deshalb, GPT Plus zu kündigen, aber so eine Änderung würde mich mein Abo behalten lassen.
• So erfahre ich von neuen OpenAI-Funktionen:
  1. Ich überfliege auf Twitter Überschriften, die irgendetwas Neues überdreht ankündigen
  2. Ich bekomme eine überwältigende Zahl von Tweets von Twitter-Influencern dazu
  3. Ich ignoriere es und warte, bis simonw es erklärt
  4. Ich lese den Blogpost, in dem simonw die Funktion bereits auf verschiedene Arten getestet und eine klare Erklärung samt Kritik geschrieben hat. Sofort ergibt alles Sinn.
• Es stimmt, dass es „nur ChatGPT mit einem vorgeschalteten Prompt“ ist.
  • Es stimmt auch, dass es „nur Custom Instructions mit einer guten UI“ ist.
  • Aber unterschätzt niemals die weltverändernde Wirkung einer „guten UI“. GPT-3 war jahrelang verfügbar, aber bevor es eine gute UI gab, wusste fast niemand davon oder es war den Leuten egal.
  • Das wirkt wie eine „kleine Anpassung“ der Nutzbarkeit, hat aber einen Effekt auf dem Niveau eines ähnlichen „Quantensprungs“.
• Es gibt Leute, die mich oft nach meiner Meinung zu GPT/AI fragen. Ich frage sie, ob sie es benutzt haben. „Nein.“ „Wissen Sie, dass es kostenlos ist?“ „Ja.“ Diese Haltung ist schwer zu verstehen. Ist es Angst vor dem Unbekannten? Faulheit? Das Bedürfnis nach sozialem Beweis, bevor man etwas ausprobiert?
• Ich kann den Prompt von OpenAI nicht sehen, und wahrscheinlich kann ihn auch der Autor nicht sehen, aber ich möchte OpenAIs GPT trotzdem verwenden.
  • Da ist ein ziemlicher Vertrauenssprung dabei. Ich frage mich, ob OpenAI eine konkrete Roadmap für Vertrauenswürdigkeit oder Konsistenz hat.
• Ich habe den vollständigen Prompt des Custom GPT Builder: [GitHub-Link angegeben]
• Dank an simonw dafür, all das in Echtzeit zu dokumentieren und verständliche, zugängliche Tools zu bauen (llm-Kommandozeile usw.).
  • Ich hatte den Eindruck, dass die Search API etwas falsch macht, weil sie keine ordentlichen Zitate liefert, also ist es gut zu wissen, dass ich damit nicht allein bin.
• Ich würde gern mehr darüber wissen, wie OpenAI die RAG-„Knowledge Base“-Funktion implementiert hat. Aber es fehlen Details.
  • Ich konnte den gesamten Text von grugbrain.dev hochladen und mich mit einem sehr vernünftigen grug brain unterhalten: [OpenAI-Chat-Link angegeben]
• Ich baue gerade „synbiogpt“ und habe dabei die Grenzen von Custom GPTs erkannt.
  • Biologische Sequenzdaten sind normalerweise sehr lang. Daten in Dateien sind in Ordnung, aber wenn man für fortgeschrittene Funktionen (z. B. Codon-Optimierung) mit einer API interagieren muss, müssen diese Daten über das Netzwerk gesendet werden. Dann ist das Kontextfenster des API-Calls mit Sequenzdaten voll und es scheitert.
  • Man kann keine Abhängigkeiten injizieren. Manchmal versucht das GPT, eine eigene Implementierung zu basteln, aber die ist oft falsch.
  • Wenn GPT-4 glaubt zu wissen, wovon es spricht, kann die Search API Dateien oft nicht öffnen. Wenn ich über Gen-Teile spreche, möchte ich sehr spezifisch über einen bestimmten Teil meiner Bibliothek sprechen, nicht über den Teil, den GPT-4 dafür hält.
  • Ich habe die meisten Probleme gelöst, indem ich eine eigene Lua-Scripting-Umgebung gebaut habe (die biologischen Funktionen liegen in Golang, und ich nutze gopher-lua, um die Lua-Umgebung auszuführen). Ich injiziere Beispiel-Lua dafür, wie man die Scripting-Funktionen benutzt, sowie meine derzeit kleine Bibliothek mit Gen-Teilen, und bitte dann darum, Lua zu erzeugen, das bestimmte Aufgaben für die bereitgestellten Dateien ausführt. GPT-4 sieht sich die Dateien dabei überhaupt nicht an, und meine interne Golang-App führt das geskriptete Lua aus. Das funktioniert hervorragend und ist viel schneller als ein Custom GPT.
  • Das aktuell größte Problem ist der Frontend-Teil. Ich hätte gern einen Open-Source-ChatGPT-Klon, bei dem ich Anhänge herausziehen und die anfängliche Benutzereingabe anpassen kann. Bisher habe ich keine gute Option gefunden.
• Darüber, wie man mit RAG bessere Ergebnisse erzielt.
  • Ich hatte damit einigen Erfolg.
  • Ich verwende die Assistant API, von der ich glaube, dass sie nicht dasselbe ist wie GPT. Ich habe das über die Weboberfläche ausprobiert.
  • Ich habe mehr als 100 PDF-Dateien, die mit Tesseract per OCR verarbeitet wurden. Danach habe ich ChatGPT gebeten, ein Skript zu schreiben, das alle Dateien unter Beibehaltung des Layouts zu einer einzigen txt-Datei zusammenführt.
  • Ich habe die Datei hochgeladen und angefangen, Fragen zu stellen. Die Datei enthält sehr technische Daten zu Bauvorschriften in einer nicht-englischen Sprache, daher dürfte das Modell an diese Art von Sprache nicht gewöhnt sein.
  • Trotzdem waren die Ergebnisse überraschend gut. Es konnte Fragen beantworten und die Antworten waren gut. Es sollte die Herkunft der Antworten annotieren, aber das hat nicht richtig funktioniert.
  • Ich habe PDFs, JSON-Dateien, CSVs usw. hochgeladen. Bisher funktioniert reiner Text am besten.
• Die Anmerkung zur „Knowledge“-RAG-Funktion ist interessant.
  • In Gesprächen und aus Erfahrung haben die Leute festgestellt, dass RAG-Abruf sehr spezifisch für Geschäftslogik und Datenmodell ist. Hier gibt es keine Einheitslösung. Der nächste Schritt eines Kunden in einem CMS ist etwas anderes, als auf Basis eines Schemas SQL zu erzeugen. Und das ist wieder etwas anderes, als in einem E-Commerce-Katalog einzukaufen.
  • Im Grunde ist es ein Search-Problem. In Wirklichkeit ist es noch schwieriger. Diese Probleme sind berüchtigt schwer.