Ich habe GPT-NeoX-20B nach Grundrechenarten gefragt

• Mit GPT-NeoX, einem als Open Source veröffentlichten Modell in der Größenordnung von GPT-3, wurden einfache Fragen zu den vier Grundrechenarten getestet

• Von 100 Aufgaben wurden nur 10 richtig beantwortet. Allerdings lagen die meisten Antworten nahe an der richtigen Lösung

Q: "What is 2653 * 30641?"

A: 82356113 (falsch)

Die richtige Antwort ist 81290573

• Es ist bekannt, dass „Sprachmodelle“ grundsätzlich nicht besonders gut in Mathematik sind (möglicherweise teilweise wegen der Art und Weise, wie Zahlen tokenisiert werden)

[louie]

Ist die tatsächliche richtige Antwort nicht 81290573 und die Antwort von GPT-NeoX 82356113?

Ich habe es selbst im Kopf nachgerechnet und auch einen Taschenrechner benutzt, und es scheint mir, dass die richtige Antwort 81290573 ist!

(Auch auf dem Bild im Link ist zu sehen, dass bei Correct „No“ steht.

Falls nicht, korrigieren Sie mich bitte!)

[xguru]

Oh schnief schnief Ich habe beim Schreiben wohl vorne und hinten vertauscht. Ich habe es korrigiert schnief

[budlebee]

Es ist eher noch überraschender, wie menschlich das wirkt, weil es statt der exakten Antwort sogar einen Näherungswert als richtige Lösung ausgibt.

[xguru]

Dazu gibt es viele ausführliche Diskussionen in den HN-Kommentaren: https://news.ycombinator.com/item?id=30299360

• GPT-Neo: ein Projekt, das ein Modell in der Größenordnung von GPT-3 als Open Source/kostenlos verfügbar machen will https://de.news.hada.io/topic?id=3599