21 Punkte von xguru 2022-10-21 | 8 Kommentare | Auf WhatsApp teilen
  • Die tatsächlich verwendete Alltagssprache ist nicht regelmäßig, sondern unordentlich
  • Linguisten gingen davon aus, dass eine Art „Klebstoff“ in Form von „Grammatik“ nötig sei, um diese eigensinnigen Eigenschaften zu bändigen
  • Doch große KI-Sprachmodelle beherrschen Sprache auf Basis riesiger Mengen an Sprachdaten, und überraschenderweise gelingt das größtenteils ohne die Hilfe von Grammatik
  • Die Wortwahl in den erzeugten Sätzen ist manchmal seltsam oder bedeutungslos, aber meistens grammatikalisch korrekt
  • Bei der Fähigkeit, das nächste Wort vorherzusagen, arbeiten dieses KI-Modell und das menschliche Gehirn auf ähnliche Weise
  • Man könnte denken, das liege daran, dass GPT-3 mit Sprachdaten trainiert wurde, die 20.000 Jahren menschlicher Spracherfahrung entsprechen, aber
    laut Forschung kann auch GPT-2, das mit etwa 100 Millionen Wörtern trainiert wurde, das nächste Wort auf ähnliche Weise wie das menschliche Gehirn vorhersagen
    (100 Millionen Wörter entsprechen ungefähr der Wortmenge, die ein durchschnittliches Kind in 10 Jahren hört)
  • Das zeigt, dass schon bloße Exposition ausreicht, um Sprache gut genug zu lernen, um Sätze mit solider Grammatik zu erzeugen, und dass dies auf eine Weise geschehen kann, die der Verarbeitung im menschlichen Gehirn ähnelt
  • Viele Linguisten glaubten über Jahre hinweg, dass Spracherwerb ohne eine angeborene Grammatikvorlage unmöglich sei
    • Neue KI-Modelle beweisen jedoch das Gegenteil. Sie zeigen, dass die Fähigkeit, grammatikalische Sprache zu erzeugen, aus sprachlicher Erfahrung erlernt werden kann
    • Das heißt: Für Kinder ist beim Sprachenlernen sprachliche Erfahrung wichtiger als Grammatik

8 Kommentare

 
wooseop 2022-10-23

Dass AlphaGo gut Go spielt, heißt nicht, dass es beim Go keine Regeln gibt.

 
jujuhkhkkim 2022-10-22

Stimmt, der genaueste Weg, eine Sprache zu lernen, ist, viel Erfahrung zu sammeln. Aber wie die künstliche Intelligenz zeigt, ist die Grundvoraussetzung „ungeheuer viel Erfahrung“. Gemessen an KI sind das ganze zehn Jahre an Exposition. Beim Menschen muss es vielleicht nicht ganz so viel sein, aber in einem fremden Land, dessen Sprache nicht die eigene ist, ist es schwer, solche Spracherfahrungen zu machen.

Genau, wenn man Englisch am schnellsten, genauesten und effizientesten lernen will, schickt man jemanden einfach für ein paar Jahre zum Auslandsstudium, und dann lernt er dort. Aber für die meisten Menschen ist so etwas aus finanziellen oder anderen Gründen und wegen ihres familiären Umfelds eher nicht möglich. Deshalb lernt man eben Grammatik.

Allerdings frage ich mich, ob man im koreanischen Bildungssystem nicht ändern sollte, dass Grammatik zu stark betont wird und man Grammatik nicht als Werkzeug zum Sprachenlernen nutzt, sondern für Grammatikaufgaben in den Schulnoten lernt.

 
budlebee 2022-10-22

Ich denke eher, dass die Strategie der bloßen Exposition eine ineffiziente Methode ist, die eine Exposition über zehn Jahre hinweg erfordert.

 
bandoche 2022-10-21

| Dass man Sprache so gut lernen kann, dass man allein durch bloße Exposition bereits Sätze mit ausreichend guter Grammatik erzeugen kann
Genau das ist auch der Eindruck, den ich beim Betrachten der GPT-Ergebnisse hatte.

 
humblebee 2022-10-21

Interessant! Ich denke, dass sich in einem ähnlichen Kontext wie hier auch Wissen aus anderen Bereichen, einschließlich Sprachen, anwenden lässt. Umso bedauerlicher ist die Realität, dass sich die Bildung in unserem Land, wie jeder weiß, überwiegend darauf beschränkt, vereinheitlichtes Wissen auswendig zu lernen. Aus Systemsicht ist es schwierig und teuer, den einzelnen Mitgliedern passende Erfahrungen zu bieten, aber ich hoffe, dass wir angesichts der Ergebnisse von KI, die durch die Nachahmung von Gehirnzellen entstanden ist, auf einen besseren Weg blicken können.
Vor allem tun mir die Kinder sehr leid, die durch Erwachsene in einer bedrückenden Weise lernen 😢 Dabei ist das Wesen des Lernens doch etwas Freudiges!

 
tttttaa 2022-10-21

Eigentlich habe ich mich schon gefragt, seit ich als Kind Englischunterricht bekam: Haben wir, als wir Koreanisch gelernt haben, etwa zuerst die Grammatik gelernt?

Auch heute noch wirken die Grammatik-Inhalte, wenn Ausländer Koreanisch lernen, schwer verständlich und unnatürlich. Trotzdem sprechen sie am Ende ganz gut Koreanisch.

 
525hm 2022-10-21

Interessant. Geht Chomskys Ära vielleicht zu Ende?

 
orthonormalist 2022-10-23

Meiner Meinung nach scheint eher die Zeit von Chomsky zu kommen. Für Chomsky ist Grammatik nämlich nichts, was man lernt, sondern vielmehr etwas Angeborenes, genauer gesagt etwas, das aus einer angeborenen Fähigkeit hervorgebracht wird. Und die heutige künstliche Intelligenz ist aus Chomskys Sicht ein luxuriöser Lernansatz, den sich nur Computer leisten können. Chomsky weist darauf hin, dass Kleinkinder Sprache nicht lernen, indem sie Hunderttausende von Wörtern erwerben. Seine Theorie soll die Fähigkeit von Kleinkindern erklären, Sprache schon mit nur 1–2 Jahren sprachlicher Erfahrung zu lernen, also mit deutlich weniger als beim maschinellen Lernen. Das heutige maschinelle Lernen hingegen lässt Computer Sprache anhand von Daten über zehn Jahre hinweg lernen, ganz nach dem Motto: Da Computer keine Menschen sind, müssen sie Sprache ja nicht unbedingt wie Kleinkinder lernen.