Word2Vec erhielt auf der ICLR 2013 viermal die Bewertung „starke Ablehnung“

Effiziente Schätzung von Vektorräumen für Wortrepräsentationen

• Die Forschenden schlagen zwei neue Modellarchitekturen vor, um kontinuierliche Vektorrepräsentationen von Wörtern auf sehr großen Datensätzen zu berechnen.
• Die Qualität dieser Repräsentationen wird anhand von Aufgaben zur Wortähnlichkeit gemessen und mit verschiedenen Typen neuronaler Verfahren verglichen, die zuvor die beste Leistung gezeigt hatten.
• Das Forschungsteam beobachtete eine deutlich verbesserte Genauigkeit bei wesentlich geringeren Rechenkosten. Das heißt, aus einem Datensatz mit 1,6 Milliarden Wörtern lassen sich hochwertige 300-dimensionale Vektoren für einen Wortschatz von 1 Million Wörtern innerhalb eines Tages auf einer einzigen CPU ableiten.
• Außerdem wird gezeigt, dass diese Vektoren auf Testsets zur Messung verschiedener Arten von Wortähnlichkeit Ergebnisse auf dem neuesten Stand der Technik liefern.
• Dieses Testset soll der Forschungsgemeinschaft zur Verfügung gestellt werden.

Meinungen

• Die Reviewer bemängelten, dass eine klare Motivation dafür fehle, wie sich das vorgeschlagene Modell von bestehenden Modellen unterscheidet und warum es überlegen ist.
• Die Beschreibung des Modells ist sehr knapp, sodass schwer zu bestimmen ist, wie es sich von früheren Arbeiten unterscheidet.
• Die Reviewer betonten, dass das Paper inkonsistente Vergleiche zwischen Modellen enthält, die auf verschiedenen Datensätzen und mit unterschiedlichen Dimensionen trainiert wurden, obwohl genau dies nötig wäre, um die Behauptungen des Papers überzeugend zu machen.

Meinung von GN⁺

• Diese Forschung schlägt eine neue Technik zur effizienten Schätzung von Wortvektoren vor, was einen wichtigen Fortschritt im Bereich der natürlichen Sprachverarbeitung darstellt.
• Das vorgeschlagene Modell kann viel schneller trainiert werden als bestehende komplexe neuronale Modelle, was für Forschung an großskaligen Sprachdaten nützlich sein kann.
• Das Paper präsentiert eine neue Methode zur Bewertung der Qualität von Wortvektoren, die sich in künftiger Forschung möglicherweise als Standard zur Messung von Wortähnlichkeit etablieren könnte.

[GN⁺]

Hacker-News-Kommentare

• Im Facebook-Beitrag von Tomas Mikolov finden sich weitere Details zu word2vec.

  • Es ist interessant und aufschlussreich, dass selbst Experten Fehler machen.
  • Es gab verschiedene Reaktionen: Leute wie Geoff Hinton sagten, sie hätten es „schon gewusst, aber vergessen zu veröffentlichen“, während Ian Goodfellow sich auf Twitter darüber empörte.

• Ich denke, die Reviewer haben gute Arbeit geleistet.

  • Reviews betreffen die Qualität einer Arbeit, nicht wie einflussreich sie in Zukunft sein wird.
  • Nicht jede einflussreiche Arbeit ist tatsächlich gut.

• Der Kommentar des Reviewers f5bf ist interessant.

  • Neuere Modelle (GPT, Bild-Diffusionsmodelle usw.) haben die Fähigkeit, mit Doppeldeutigkeiten von Wörtern zu spielen.
  • Das galt früher als ausschließlich menschliche Eigenschaft, gehört nun aber zum Werkzeugkasten generativer Modelle.
  • Es ist nicht sicher, ob die Mehrdeutigkeit von word2vec zu dieser Fähigkeit zum Wortspiel beiträgt, aber für kreative Zwecke kann sie eine Eigenschaft sein, während sie ein Bug sein kann, wenn man den Bedeutungsraum als strengen Vektorraum modellieren will.

• Es gibt die Ansicht, dass der Review-Prozess für neue Ideen nicht effektiv ist.

  • Niemand kann unzählige Stunden darauf verwenden, etwas völlig Neues zu verstehen.

• Eine frühe Version der Arbeit wurde abgelehnt, später wurden auf Grundlage der Reviews jedoch Aktualisierungen und Klarstellungen vorgenommen.

  • Das zeigt, wie der Review-Prozess funktionieren sollte; insbesondere innovative Arbeiten brauchen mehr Erklärung.

• Es gibt vier „starke Ablehnungen“, aber alle scheinen gleichzeitig vom selben Reviewer zu stammen.

  • Es ist fraglich, warum nur die Bewertung dieses Reviewers sichtbar ist.

• Ich frage mich, ob die Leute, die starke Meinungen über den Wert von Peer Review äußern, tatsächlich Erfahrung damit haben, als Autoren, Reviewer oder Editoren an Peer Review teilgenommen zu haben.

  • Es gibt viele Orte, an denen man Forschung oder Ideen auch ohne Peer Review teilen kann (z. B. arXiv/bioRxiv).

• Es wird darauf hingewiesen, dass der Titel irreführend ist.

  • Die vier „starken Ablehnungen“ stammen von einem einzelnen Autor, möglicherweise wegen eines Fehlers in openreview.

• Der Review-Thread liest sich wie ein negativer Show-HN-Thread.

  • Die Arbeit erhielt anfangs einige Fragen bzw. negatives Feedback, und die Autoren baten die Reviewer um einige kleinere Änderungen.

• Während des Studiums baute jemand ein einfaches System zur Textkorrektur und reichte dazu eine Arbeit ein, die jedoch wegen Problemen mit englischer Grammatik abgelehnt wurde.

  • Er bat die Reviewer um Feedback, aber die „Vorher/Nachher“-Beispiele, die das System korrigiert hatte, wurden als Fehler bezeichnet.
  • Nach einigen Versuchen gab er auf.