ICML 2023 Outstanding Paper Awards

 (icml.cc)
7 Punkte von ninebow 2023-07-27 | 1 Kommentare | Auf WhatsApp teilen

Einführung

In diesem Jahr wurden sechs Arbeiten mit dem Outstanding Paper Award ausgezeichnet. Der Auswahlprozess war wie folgt.

Zunächst wurden die Arbeiten vorab gefiltert, sodass 32 potenzielle Preisträger ausgewählt wurden. In diesem Prozess wurden Arbeiten mit hohen Durchschnittsbewertungen sowie Arbeiten ausgewählt, die vom Programmkomitee empfohlen wurden. Dadurch umfasste diese Auswahl Arbeiten aus 16 Themenbereichen, die in den Oral Sessions behandelt wurden. Diese Arbeiten wurden dem Outstanding Paper Award Committee vorgelegt.

Das Komitee berücksichtigte diese Arbeiten und wählte die ausgezeichneten Arbeiten anhand ihrer herausragenden Klarheit, Einsicht, Kreativität und nachhaltigen Wirkung aus.

Natürlich gibt es keinen perfekten Prozess zur Auswahl von Preisträgern, aber wir glauben, dass die ICML-Community die sehr starken Beiträge dieser Arbeiten anerkennen wird.

  • Outstanding Paper Award Committee: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang

Die Preisträger sind wie folgt (in Reihenfolge der Paper-IDs):

  1. D-Adaptation durch Lernen ohne Lernrate (Learning-Rate-Free Learning by D-Adaptation)
    Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
    https://openreview.net/forum?id=GXZ6cT5cvY
    Diese Arbeit stellt einen interessanten Ansatz vor, um die Herausforderung anzugehen, lernratenfreie optimale Schranken für stochastische konvexe Optimierung zu erhalten. Die Autoren schlagen eine neue Methode vor, die die Einschränkungen traditioneller Lernratenwahl bei der Optimierung solcher Probleme überwindet. Diese Forschung ist ein wertvoller und praktischer Beitrag zum Bereich der Optimierung.

  2. Ein Watermark für große Sprachmodelle (A Watermark for Large Language Models)
    John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
    https://openreview.net/forum?id=aX8ig9X2a7
    Diese Arbeit schlägt eine Methode vor, um auf die Ausgaben großer Sprachmodelle ein Watermark anzuwenden, also ein Signal in generierten Text einzubetten, das für Menschen unsichtbar, aber algorithmisch erkennbar ist. Das Watermark kann erzeugt werden, ohne das Sprachmodell neu zu trainieren, und kann erkannt werden, ohne Zugriff auf die API oder die Parameter zu haben. Die Arbeit schlägt außerdem einen statistischen Test mit interpretierbarem p-Wert zur Erkennung des Watermarks vor und präsentiert ein informationstheoretisches Framework zur Analyse seiner Sensitivität. Die vorgeschlagene Methode ist einfach und neuartig und bietet eine gründliche theoretische Analyse sowie solide Experimente. Angesichts der wichtigen Herausforderung, von LLMs erzeugten synthetischen Text zu erkennen und zu auditieren, hat diese Arbeit das Potenzial, erheblichen Einfluss auf die Community zu haben.

  3. Generalisierung auf Ungesehenes, logisches Schließen und Degree Curriculum (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
    Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
    https://openreview.net/forum?id=3dqwXb1te4
    Diese Arbeit liefert wichtige Fortschritte beim Lernen boolescher Funktionen, insbesondere in der GOTU-Einstellung (Generalization on the Unseen). Dies ist ein anspruchsvolles Problem, das Fragen der Out-of-Distribution-Generalisierung aufwirft. Die Arbeit behandelt dieses wichtige Thema eingehend und präsentiert einen gut strukturierten Ansatz, der durch theoretische Analyse und umfangreiche Experimente gestützt wird. Diese Forschung verbessert das theoretische Verständnis des Lernens boolescher Funktionen und zeigt, wie dieses auf praktische Algorithmen angewendet werden kann.

  4. Entwurf von Exploration-Exploitation-Strategien mithilfe des algorithmischen Informationsverhältnisses (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
    Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
    https://openreview.net/forum?id=tRhQsHnoFw
    Diese Arbeit behandelt das sehr allgemeine Problem, Bandit- und andere sequenzielle Entscheidungsstrategien zu entwerfen. Sie schlägt vor, mithilfe einer neuen Größe, dem algorithmischen Informationsverhältnis, zu begrenzen, wie groß der Regret einer Strategie sein kann, und leitet daraus ab, wie diese Schranke optimiert werden kann. Diese Schranke ist enger als frühere ähnliche informationstheoretische Größen, und die Methoden funktionieren sowohl in stochastischen als auch in adversarialen Bandit-Settings gut und erreichen in allen Welten Spitzenleistung. Besonders interessant ist, dass diese Arbeit die Möglichkeit aufzeigt, eine ganze neue Linie von Exploration-Exploitation-Strategien jenseits des bekannten Thompson Sampling und UCB für Bandits zu eröffnen. Eine Ausweitung dieses Prinzips auf Reinforcement Learning ist sehr vielversprechend. Diese Arbeit wurde von den Fachreviewern durchgehend stark unterstützt.

Referenzmaterialien

Dies ist die offizielle Website der ICML 2023. Dort können Sie verschiedene Arbeiten und Auszeichnungen einsehen:
https://icml.cc/Conferences/2023

Dies ist eine Plattform, auf der Sie Reviews und Diskussionen zu den Arbeiten einsehen können. Über die Links zu den einzelnen Arbeiten finden Sie weitere Details und Diskussionen:
https://openreview.net/

  • *Dieser Text ist eine automatisch mit GPT-4 erzeugte Beschreibung und kann Fehler enthalten. *
  • Falls Sie Fehler entdecken, teilen Sie uns diese bitte in den Kommentaren mit! ‍♂️

Verwandte Beiträge