Was ist in diesem GPT-3-Gespräch passiert?

[GN⁺]

Hacker-News-Kommentar

• Eine Unterhaltung, in der GPT-3 seltsam reagiert, weil es wiederholt ein einzelnes Zeichen wie „a a a a“ spammt.
• Ein Teil der Unterhaltung stimmt mit einem Kommentar überein, der vor 17 Stunden auf Reddit gepostet wurde, was darauf hindeutet, dass der Nutzer ihn kopiert haben könnte.
• Vor einem Monat gab es einen ähnlichen Vorfall: Auf die Aufforderung, in Rust einen Wort-Tokenizer zu erstellen, begann GPT-3 mit einer irrelevanten Antwort über Molekularbiologie.
• Es wird vermutet, dass Token mit sehr geringer Wahrscheinlichkeit gesampelt wurden, wodurch sich der Kontext in einen unvertrauten Bereich verschob und die Wahrscheinlichkeit noch ungewöhnlicherer Token erhöhte.
• Auf die Frage, ob es sich um ChatGPT handle, blieb es kurz daran hängen, was darauf hindeutet, dass die KI hartkodiert darauf antwortet: „Nein, ich bin GPT-3, eine von OpenAI entwickelte KI. Wie kann ich Ihnen helfen?“
• Die KI gibt die Zeichenfolge " aus.