Probabilistische KI-Technologien

Probabilistische KI

• Künstliche Intelligenz bezeichnet die Wissenschaft und Ingenieurkunst künstlicher Systeme, die Aufgaben ausführen können, die menschliche Intelligenz erfordern. In den letzten Jahren gab es spannende Fortschritte bei lernbasierten, datenzentrierten Ansätzen, und Machine Learning sowie Deep Learning haben neue Wege ermöglicht, wie Computersysteme die Welt wahrnehmen. Reinforcement Learning hat Durchbrüche bei komplexen Spielen wie Go und bei Aufgaben in der Robotik ermöglicht.

• Ein zentraler Aspekt von Intelligenz besteht nicht nur darin, Vorhersagen zu treffen, sondern auch die Unsicherheit dieser Vorhersagen zu verstehen und diese Unsicherheit bei Entscheidungen zu berücksichtigen. Dieses Paper behandelt „probabilistische KI“.

Probabilistischer Ansatz

• Der erste Teil behandelt probabilistische Ansätze für Machine Learning. Diskutiert wird der Unterschied zwischen „epistemischer“ Unsicherheit, die aus Datenmangel entsteht, und „aleatorischer“ Unsicherheit, die beispielsweise aus verrauschten Beobachtungen und Ergebnissen resultiert. Außerdem werden konkrete Ansätze für probabilistische Inferenz sowie moderne Ansätze für effiziente approximative Inferenz behandelt.

Berücksichtigung von Unsicherheit bei sequenziellen Entscheidungsaufgaben

• Der zweite Teil behandelt die Berücksichtigung von Unsicherheit bei sequenziellen Entscheidungsaufgaben. Es werden Active Learning und Bayessche Optimierung betrachtet, also Ansätze zur Datenerhebung, bei denen informationsreiche Experimente vorgeschlagen werden, um epistemische Unsicherheit zu verringern. Außerdem werden Reinforcement Learning und moderne Deep-RL-Ansätze mit neuronaler Funktionsapproximation betrachtet. Diskutiert werden moderne Ansätze für modellbasiertes RL, die epistemische und aleatorische Unsicherheit nutzen, um die Exploration zu steuern und Sicherheit zu berücksichtigen.

[GN⁺]

Hacker-News-Kommentare

• Der Text enthält hervorragende Erklärdiagramme und scheint einen hochwertigen Überblick über Machine Learning aus probabilistischer Sicht zu geben

  • Ich war kürzlich tief beeindruckt von Zhaos kostenlosem Lehrbuch und den YouTube-Vorlesungen „Mathematical Foundation of Reinforcement Learning“
  • Wenn man nicht viel Zeit hat, lohnt es sich, Zhaos Übersichtsdiagramm einmal zu überfliegen. Es ist eine gute konzeptionelle Landkarte des gesamten Gebiets
  • Und ich empfehle auch, sich das Einführungsvideo anzusehen

• Ich habe dieses Material vor ein paar Tagen entdeckt und endlich einen Vorwand gefunden, es mir ernsthaft anzusehen, weil Andreas Krause tiefgehende und interessante Forschung zu Gaussian Processes und Bandits betrieben hat

• Die existenzielle Realität ist eine potenzielle Verteilung, kein Array von Zuständen

  • Potenzial existiert, und Wahrscheinlichkeit ist die mathematische Beschreibung seiner Verteilung. Alle Eigenschaften sind Dimensionen (Vektoren)
  • Zustände sind nur momentane Messungen der Auflösung. Potenziale interagieren durch konstruktive und destruktive Interferenz
  • Konstruktive und destruktive Interferenz werden in den Zustand des „Jetzt“ einer momentanen Messung aufgelöst

• Frage dazu, ob ein LLM (also ein neuronales Netz) die Wahrscheinlichkeit der Antwort angeben kann, die es gerade ausgespuckt hat

  • Ich habe solche Dinge vor langer Zeit an der Universität studiert und einen Prolog-Interpreter mit Wahrscheinlichkeiten und Konfidenzkoeffizienten für jeden Term gebaut

• Ich denke, wir brauchen eine GUI, um die Interpretierbarkeit von Modellen zu demokratisieren und auch Gamer zum Erkunden zu befähigen

  • Im Grunde würde man ein weiteres Modell trainieren, das das LLM in eine 3D-Form umwandelt und in einer für Menschen verständlichen 3D-Welt platziert
  • Als einfaches Beispiel könnte man das LLM als grüne Wiese mit Objekten darstellen und den Menschen als einzigen Agenten festlegen

• Ich denke, Gaussian Processes mit dem richtigen Kernel sind selbst mit nur wenigen Datenpunkten und einem kleinen Parametersatz sehr leistungsfähig

  • Ich habe sie in Computer-Vision-Aufgaben als vorhersagbaren nichtlinearen Prozess zur Anpassung der Eingaben verwendet, und die Ergebnisse waren sehr gut

• Scheint eine der besten Referenzen zum Thema zu sein und sich teilweise mit Gareth James et al.s „An Introduction to Statistical Learning“ zu überschneiden

  • Ich frage mich, ob dieses Material zugänglicher ist; R-/Python-Beispiele würden helfen

• Kevin Murphy benennt seine Reihe „Probabilistic Machine Learning“ derzeit um

• Gemini 2.0 Experimental 02-05 hat sich das mit „nur“ 107K Tokens angesehen

  • Falls man Hilfe beim Zerlegen davon braucht, ist es nützlich

• Die Laplace-Approximation ist eine „schnelle und einfache“ Methode, um eine komplexe Wahrscheinlichkeitsverteilung in eine einfache Gauß-Verteilung (Glockenkurve) umzuwandeln

  • Sie funktioniert, indem man den höchsten Punkt findet und dort die Krümmung anpasst
  • Sie ist schnell und einfach, kann aber sehr ungenau und übermäßig selbstsicher sein, wenn die tatsächliche Verteilung nicht der Glockenkurve entspricht

• Ich habe diese Vorlesung an der ETH Zürich besucht, und sie war eine meiner Lieblingsveranstaltungen

  • Besonders beeindruckt hat mich, wie sie zeigt, wie man Unsicherheit quantifiziert und die Grundbausteine für Reinforcement Learning aufbaut
  • Großartige Lektüre für Data Scientists und ML Engineers. Dieses Dokument sind Vorlesungsnotizen