Anthropic veröffentlicht den "System Prompt", der Claude antreibt

 (techcrunch.com)
19 Punkte von GN⁺ 2024-08-28 | 1 Kommentare | Auf WhatsApp teilen
  • Anthropic hat die System Prompts seiner neuesten Modelle veröffentlicht (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)
    • Ein System Prompt ist die anfängliche Anweisung, die die grundlegenden Eigenschaften und Verhaltensrichtlinien eines Modells festlegt
  • Alle Anbieter von generativer KI verwenden System Prompts, damit sich Modelle nicht unangemessen verhalten
  • Anthropic betont Transparenz und Ethik und plant, die System Prompts regelmäßig zu aktualisieren

System Prompts der Claude-Modelle: https://docs.anthropic.com/en/release-notes/system-prompts

  • Claude-Modelle können keine URLs, Links oder Videos öffnen
  • Gesichtserkennung ist verboten, und das Modell soll sich stets so verhalten, als könne es keine Gesichter erkennen
  • Claude 3 Opus hat eine starke intellektuelle Neugier und diskutiert gern mit Menschen über verschiedenste Themen
  • Bei kontroversen Themen soll fair und objektiv reagiert werden
  • Beim Beginn einer Antwort wird angewiesen, keine Wörter wie "certainly" oder "absolutely" zu verwenden

Warum System Prompts wichtig sind

  • Die Veröffentlichung der System Prompts von Anthropic setzt auch Wettbewerber unter Druck
  • Der System Prompt von GPT-4o kann nur durch Prompt-Injection-Angriffe offengelegt werden
  • Die Transparenzbemühungen von Anthropic fördern die ethische Nutzung von KI-Modellen

Zusammenfassung von GN⁺

  • Die Veröffentlichung der System Prompts durch Anthropic unterstreicht Transparenz und Ethik bei KI-Modellen
  • Durch die klare Darstellung der Eigenschaften und Einschränkungen der Claude-Modelle wird das Vertrauen der Nutzer gestärkt
  • Sie setzt auch Wettbewerber unter Druck, eine Veröffentlichung ihrer System Prompts in Betracht zu ziehen
  • TechCrunch Disrupt 2024 ist eine wichtige Veranstaltung für Startup- und Venture-Capital-Führungskräfte

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-08-28
Hacker-News-Kommentare

  • Claude räumt „Halluzinationen“ offiziell ein

    • Wenn Claude zu sehr seltenen Themen befragt wird, weist es Nutzer darauf hin, dass es zwar um Genauigkeit bemüht ist, aber halluzinieren kann
    • Wenn es bestimmte Artikel, wissenschaftliche Arbeiten oder Bücher erwähnt, weist es darauf hin, dass es keinen Zugriff auf Suche oder Datenbanken hat, und empfiehlt, Zitate zu überprüfen

  • Claude ist sehr gut

    • Kürzlich habe ich einen „automatischen Skriptschreiber“ eingerichtet, der Python-Skripte und Testergebnisse wiederholt an GPT-4 oder Claude schickt
    • Erst nach 10–20 Iterationen funktioniert es richtig
    • Claude liefert deutlich bessere Ergebnisse als GPT-4
    • GPT-4 neigt dazu, das Ziel zu verändern oder fehlerhafte Ausgaben zu wiederholen
    • Claude liefert konstant gute Ausgaben

  • Es ist erstaunlich, dass wir in einer Zeit leben, in der man Computersystemen per Text Anweisungen geben kann

  • Claude versucht, unnötig positive Formulierungen zu vermeiden, verwendet sie aber tatsächlich immer noch

    • Es versucht, Ausdrücke wie „Certainly!“, „Of course!“, „Absolutely!“ zu vermeiden, verwendet sie aber weiterhin
    • Es versucht, Antworten zu vermeiden, die mit „I’m sorry“ oder „I apologize“ beginnen, verwendet sie aber weiterhin

  • Halluzinationen bei LLMs lassen sich beseitigen

    • Ich hoffe, dass die nächste Modellgeneration bei wichtigen Fakten nicht halluziniert
    • Ich wünsche mir LLMs wie Wikipedia
    • Ich habe eine Arbeit darüber geschrieben, wie man Halluzinationen analysieren und lösen kann

  • Es braucht eine Funktion, um in Gesprächen bestimmte Inhalte auszuklammern oder sie in zwei Teile zu teilen

    • Das könnte ein einfacher Hack sein, um Leistung und Genauigkeit in langen Gesprächen zu verbessern

  • Claude führt standardmäßig keine Gesichtserkennung durch

    • Wenn man ein Bild teilt, erkennt es keine menschlichen Gesichter und bittet den Nutzer zu sagen, wer darauf zu sehen ist
    • Auf Basis der vom Nutzer gegebenen Informationen diskutiert es darüber, identifiziert Personen aber nicht per Gesichtserkennung

  • Das große Problem bei Claude ist, dass es Credits zu schnell verbraucht

    • Es löst etwa die Hälfte eines Problems, dann sind die Credits aufgebraucht
    • Es ist enttäuschend, dass schon mit ein paar Fragen die AI-Credits aufgebraucht sind
    • Deshalb habe ich das Abo gekündigt

  • Mir gefällt Claudes direkte Art zu antworten

    • Es verwendet keine unnötig positiven Formulierungen