GN⁺: GPT-Prompt-Engineer - GPT Prompt Engineer

• Prompt Engineering ist ein wenig wie Alchemie: Es gibt keine klare Methode, mit der sich vorhersagen ließe, was am effektivsten sein wird
• Um den passendsten Prompt zu finden, bleibt nichts anderes übrig, als immer weiter zu experimentieren
• gpt-prompt-engineer ist ein Tool, das diese Experimente deutlich einfacher macht
• Wenn man die Aufgabe beschreibt und einfache Testfälle vorgibt, erzeugt, testet und bewertet das System mehrere Prompts und findet so den besten Prompt
• Gebotene Funktionen
  • Prompt-Erstellung: Erzeugt mit GPT-4 und GPT-3.5-Turbo verschiedene Prompts
  • Prompt-Testing: Testet jeden Prompt auf Basis von Testfällen, leitet die Leistung ab und ordnet sie mithilfe des ELO-Rating-Systems ein
  • ELO-Rating-System: Jeder Prompt startet mit einer ELO-Bewertung von 1200 und verändert sich im Wettbewerb mit anderen je nach Leistung. So lässt sich erkennen, welcher Prompt am besten ist
  • Classification-Version: Ein für Klassifizierungsaufgaben entwickeltes Notebook. Bewertet die Genauigkeit jedes Testfalls und zeigt die Punktzahl jedes Prompts in einer Tabelle an
  • Weights & Biases Logging: Unterstützt das Logging von Werten wie Temperatur, maximale Tokenzahl, System-/Benutzer-Prompts, Testfällen und finaler ELO-Bewertung

Von GN⁺ zusammengefasste Inhalte

• Prompt Engineering ist wie Alchemie, bei der Experimente im Mittelpunkt stehen.
• gpt-prompt-engineer ist ein Tool, das Prompt Engineering auf ein neues Niveau hebt.
• Mit GPT-4 und GPT-3.5-Turbo werden Prompts auf Basis von Anwendungsfällen und Testfällen erzeugt.
• Das System testet und rankt Prompts mithilfe eines ELO-Bewertungssystems.
• Über das ELO-Bewertungssystem lässt sich leicht erkennen, welche Prompts am effektivsten sind.
• gpt-prompt-engineer enthält auch eine Klassifizierungsvariante zur Verarbeitung von Klassifizierungsaufgaben.
• Sie bewertet die Genauigkeit der Testfälle und liefert für jeden Prompt eine Punktzahl.
• Durch optionales Logging für Weights & Biases lassen sich Konfigurationen und Rankings nachverfolgen.
• Um gpt-prompt-engineer zu verwenden, muss das Notebook in Google Colab oder in einem lokalen Jupyter-Notebook geöffnet werden.
• Füge den OpenAI-API-Schlüssel hinzu und wähle die passende Modellversion aus.
• Definiere die Anwendungsfälle und Testfälle.
• Wähle die Anzahl der zu erzeugenden Prompts.
• Rufe die passenden Funktionen auf, um Prompts zu erzeugen und zu testen.
• Die finale ELO-Bewertung oder Punktzahl wird in einer Tabelle angezeigt.
• Beiträge zum Projekt sind willkommen.
• Das Projekt steht unter der MIT-Lizenz.
• Für weitere Informationen wende dich an Matt Shumer.

[GN⁺]

Hacker-News-Kommentare

• Das Ranking erfolgt nicht auf Basis von Benchmarks mit tatsächlichen Modellantworten, sondern danach, wie gut GPT-4 sich die Leistungsfähigkeit eines Prompts vorstellen kann.
• Die Beliebtheit dieses Tools unter AI-Entwicklern könnte von der Faszination herrühren, LLMs mit LLMs zu bewerten, aber für die Leistungsbewertung in realen Anwendungen gibt es keine Abkürzungen.
• Prompt Engineering wird nicht als exakte Wissenschaft wie traditionelle Ingenieurdisziplinen angesehen.
• Es gibt Bedenken hinsichtlich der Kosten und der Schwierigkeit bei der Nutzung von GPT-4 und dieses Tools sowie der Frage, ob es sich lohnt, Prompts zu ändern, nachdem man den optimalen Prompt gefunden hat.
• Das Erstellen von Prompts für Prompt Engineering kann als eine Form von Meta-Engineering betrachtet werden.
• Es gibt Bedenken bezüglich der Erfassung von Nutzerdaten durch GPT-Engineer und der dahinterstehenden Motivation.
• Einige schlagen vor, GPT zum Erstellen von Prompts zu verwenden, um den menschlichen Input noch weiter zu reduzieren.
• Im Artikel wird nicht erklärt, wie die Prompts gerankt werden.