Interessante Forschung: Es ist interessant, dass diese Studie so schnell nach Anthropics Veröffentlichung "Mapping the Mind of a Large Language Model" erschienen ist. Viele Leute sagen noch immer, „wir wissen nicht, wie LLMs/Deep Learning funktionieren“, aber solche Studien widersprechen dieser Verallgemeinerung.
Fragwürdige Auswahl der Beispiele: Bei den GPT-4-Beispielen gibt es Formulierungen zum Thema Preiserhöhungen, die tatsächlich Preisrückgänge bedeuten, was schwer nachzuvollziehen ist. Ich frage mich, warum solche Beispiele ausgewählt wurden.
Fortgeschrittene semantische Suche: Mir gefällt das Beispiel im Dokument, bei dem Konzepte wie Preiserhöhungen herausgefiltert werden. Das könnte schneller und genauer sein, als ein Modell zu trainieren.
Klassifizierungsfehler: Es gibt einen Fehler, bei dem eine wissenschaftliche Erklärung als erotischer Inhalt klassifiziert wird. Das lässt sich über den Link überprüfen.
Ähnliche Forschung: Das erinnert an die Studie zu Claude 3 Sonnet von Anthropic.
Modellinterpretation: Ich frage mich, wie sehr diese Forschung eine Verbesserung gegenüber dem Einsatz von Tools wie SHAP darstellt. Die Behauptung „wir verstehen die neuronale Aktivität aktueller Sprachmodelle nicht“ ist falsch.
Bitte um einfache Erklärung: Es wird darum gebeten, die Bedeutung dieser Forschung leicht verständlich zu erklären.
Begleitwerkzeug für offene Modelle: Die Veröffentlichung eines Autoencoders, der die Ausgaben neuronaler Netze erklärt, könnte eine gute Praxis sein. Das könnte ein nützliches Begleitwerkzeug für alle offenen Modelle auf Hugging Face sein.
fMRI für neuronale Netze: Das ist ähnlich wie fMRI, bei dem man Bereiche sehen kann, die je nach bestimmtem Thema im neuronalen Netz aktiviert werden. Ich frage mich, ob man ein Bewertungsnetz anschließen könnte, um die aktivierten Bereiche automatisch zu bewerten.
Bezug zu spärlichen Embeddings: Das könnte mit spärlichen Embeddings (Splade usw.) zusammenhängen, und ich frage mich, ob es sich für Hybrid Search nutzen ließe.
1 Kommentare
Hacker-News-Kommentare
Interessante Forschung: Es ist interessant, dass diese Studie so schnell nach Anthropics Veröffentlichung "Mapping the Mind of a Large Language Model" erschienen ist. Viele Leute sagen noch immer, „wir wissen nicht, wie LLMs/Deep Learning funktionieren“, aber solche Studien widersprechen dieser Verallgemeinerung.
Fragwürdige Auswahl der Beispiele: Bei den GPT-4-Beispielen gibt es Formulierungen zum Thema Preiserhöhungen, die tatsächlich Preisrückgänge bedeuten, was schwer nachzuvollziehen ist. Ich frage mich, warum solche Beispiele ausgewählt wurden.
Fortgeschrittene semantische Suche: Mir gefällt das Beispiel im Dokument, bei dem Konzepte wie Preiserhöhungen herausgefiltert werden. Das könnte schneller und genauer sein, als ein Modell zu trainieren.
Klassifizierungsfehler: Es gibt einen Fehler, bei dem eine wissenschaftliche Erklärung als erotischer Inhalt klassifiziert wird. Das lässt sich über den Link überprüfen.
Ähnliche Forschung: Das erinnert an die Studie zu Claude 3 Sonnet von Anthropic.
Modellinterpretation: Ich frage mich, wie sehr diese Forschung eine Verbesserung gegenüber dem Einsatz von Tools wie SHAP darstellt. Die Behauptung „wir verstehen die neuronale Aktivität aktueller Sprachmodelle nicht“ ist falsch.
Bitte um einfache Erklärung: Es wird darum gebeten, die Bedeutung dieser Forschung leicht verständlich zu erklären.
Begleitwerkzeug für offene Modelle: Die Veröffentlichung eines Autoencoders, der die Ausgaben neuronaler Netze erklärt, könnte eine gute Praxis sein. Das könnte ein nützliches Begleitwerkzeug für alle offenen Modelle auf Hugging Face sein.
fMRI für neuronale Netze: Das ist ähnlich wie fMRI, bei dem man Bereiche sehen kann, die je nach bestimmtem Thema im neuronalen Netz aktiviert werden. Ich frage mich, ob man ein Bewertungsnetz anschließen könnte, um die aktivierten Bereiche automatisch zu bewerten.
Bezug zu spärlichen Embeddings: Das könnte mit spärlichen Embeddings (Splade usw.) zusammenhängen, und ich frage mich, ob es sich für Hybrid Search nutzen ließe.