[13.11.2023 ~ 19.11.2023] Die wichtigsten ML-Paper dieser Woche (Top ML Papers of the Week)

 (discuss.pytorch.kr)
4 Punkte von ninebow 2023-11-21 | Noch keine Kommentare. | Auf WhatsApp teilen

Überblick

  • Ich habe den wöchentlich von DAIR.AI veröffentlichten Beitrag zu ML-Papern automatisch übersetzt.

  • In dieser Woche standen vor allem Forschungen im Mittelpunkt, die LLMs (Large Language Models), also große Sprachmodelle, verbessern und erweitern. Enthalten sind insbesondere Paper zum kosteneffizienten Betrieb von LLMs, zu ihrem Einsatz für wissenschaftliche Entdeckungen sowie zu Sprachmodellen für praktische Code-Generierung. Darüber hinaus scheint auch die Forschung zur Steigerung der Faktentreue dieser Modelle weiter an Bedeutung zu gewinnen.

  • Sprachmodelle, insbesondere LLMs, stehen im Bereich der natürlichen Sprachverarbeitung (NLP) stark im Fokus. Das dürfte daran liegen, dass die Modelle zunehmend in der Lage sind, komplexe und vielfältige sprachliche Aufgaben menschenähnlich zu bewältigen. Solche Modelle können in verschiedensten Bereichen eingesetzt werden, etwa zur Nachahmung systematischen Denkens (Contrastive CoT Prompting) oder zur Verbesserung der Automatisierung in der Softwareentwicklung (A Survey on Language Models for Code). Ebenso sind Ansätze zur weiteren Weiterentwicklung von LLMs wichtige Forschungstrends, zum Beispiel die Verbesserung der Informationssuche durch präzises Kontext-Filtering (Learning to Filter Context for RAG) oder Forschungen in eine Richtung, in der Nutzer nicht getäuscht werden (LLMs can Deceive Users).

Emu Video und Emu Edit / Emu Video and Emu Edit

Vorstellung des Papers

  • Es werden neue Modelle für kontrollierte Bildbearbeitung und Text-zu-Video-Generierung auf Basis von Diffusionsmodellen vorgestellt. Emu Video kann hochwertige Videos aus ausschließlich Text, ausschließlich Bildern oder einer Kombination aus Text- und Bildeingaben erzeugen, und Emu Edit ermöglicht freies Bearbeiten über Textanweisungen.

    Present new models for controlled image editing and text-to-video generation based on diffusion models; emu video can generate high-quality video by using text-only, image-only, or combined text and image inputs; emu edit enables free-form editing through text instructions.

Link zum Paper

https://ai.meta.com/blog/…

Mehr dazu

https://x.com/AIatMeta/status/1725184026154349007

CoN (Chain-of-Note): Verbesserung der Robustheit von Retrieval-augmented Language Models / Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models

Vorstellung des Papers

  • Ein Ansatz zur Verbesserung der Robustheit und Zuverlässigkeit von Retrieval-augmented Language Models beim Umgang mit verrauschten, irrelevanten Dokumenten und unbekannten Szenarien; CoN erzeugt sequenzielle Lese-Notizen zu den abgerufenen Dokumenten, bewertet damit ihre Relevanz für die gegebene Frage und integriert diese Informationen zur Formulierung der endgültigen Antwort; CoN übertrifft standardmäßige Retrieval-augmented Language Models deutlich und erreicht eine durchschnittliche Verbesserung des EM-Scores um +7,9 bei vollständig verrauschten abgerufenen Dokumenten sowie +10,5 bei den Ablehnungsraten für Echtzeitfragen, die außerhalb des vortrainierten Wissensbereichs liegen.

    An approach to improve the robustness and reliability of retrieval-augmented language models in facing noisy, irrelevant documents and in handling unknown scenarios; con generates sequential reading notes for the retrieved documents, enabling an evaluation of their relevance to the given question and integrating this information to formulate the final answer; con significantly outperforms standard retrieval-augmented language models and achieves an average improvement of +7.9 in em score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.

Abstract des Papers

  • Retrieval-augmented Language Models (RALMs) stellen einen erheblichen Fortschritt bei den Fähigkeiten großer Sprachmodelle dar, insbesondere bei der Verringerung faktischer Halluzinationen durch die Nutzung externer Wissensquellen. Allerdings ist die Zuverlässigkeit der abgerufenen Informationen nicht immer gewährleistet. Das Abrufen irrelevanter Daten kann zu falschen Antworten führen, und selbst wenn das Modell über ausreichende Informationen zur Beantwortung der Anfrage verfügt, kann es sein eigenes Wissen übersehen. Zudem haben Standard-RALMs oft Schwierigkeiten einzuschätzen, ob sie sowohl im internen als auch im abgerufenen Wissen über genügend Kenntnisse verfügen, um eine präzise Antwort zu geben. In Situationen mit unzureichendem Wissen sollten solche Systeme idealerweise mit „unbekannt“ antworten, wenn keine Antwort ermittelt werden kann. Um diese Herausforderungen anzugehen, wurde Chain-of-Noting (CoN) eingeführt, ein neuer Ansatz zur Verbesserung der Robustheit von RALMs beim Umgang mit verrauschten und irrelevanten Dokumenten sowie mit unbekannten Szenarien. Die Kernidee von CoN besteht darin, für abgerufene Dokumente sequenzielle Lesennotizen zu erzeugen, ihre Relevanz für die gegebene Frage gründlich zu bewerten und diese Informationen zur Formulierung der endgültigen Antwort zu integrieren. Für CoN wurden mit ChatGPT Trainingsdaten erstellt, anschließend wurde das Verfahren auf einem LLaMa-2-7B-Modell trainiert. Experimente mit vier Open-Domain-QA-Benchmarks zeigen, dass mit CoN ausgestattete RALMs Standard-RALMs deutlich übertreffen. Besonders hervorzuheben ist, dass CoN bei vollständig verrauschten abgerufenen Dokumenten den EM-Score im Durchschnitt um +7,9 Punkte verbessert und die Ablehnungsrate bei Echtzeitfragen außerhalb des vortrainierten Wissensbereichs im Durchschnitt um +10,5 Punkte erhöht.

    Retrieval-augmented language models (RALMs) represent a substantial advancement in the capabilities of large language models, notably in reducing factual hallucination by leveraging external knowledge sources. However, the reliability of the retrieved information is not always guaranteed. The retrieval of irrelevant data can lead to misguided responses, and potentially causing the model to overlook its inherent knowledge, even when it possesses adequate information to address the query. Moreover, standard RALMs often struggle to assess whether they possess adequate knowledge, both intrinsic and retrieved, to provide an accurate answer. In situations where knowledge is lacking, these systems should ideally respond with "unknown" when the answer is unattainable. In response to these challenges, we introduces Chain-of-Noting (CoN), a novel approach aimed at improving the robustness of RALMs in facing noisy, irrelevant documents and in handling unknown scenarios. The core idea of CoN is to generate sequential reading notes for retrieved documents, enabling a thorough evaluation of their relevance to the given question and integrating this information to formulate the final answer. We employed ChatGPT to create training data for CoN, which was subsequently trained on an LLaMa-2 7B model. Our experiments across four open-domain QA benchmarks show that RALMs equipped with CoN significantly outperform standard RALMs. Notably, CoN achieves an average improvement of +7.9 in EM score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.

Paper-Link

https://arxiv.org/abs/2311.09210

Weiterlesen

https://x.com/omarsar0/status/1725181141693472959

Die Auswirkungen großer Sprachmodelle auf wissenschaftliche Entdeckungen: Eine Vorstudie mit GPT-4 / The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

Paper-Einführung

  • Untersucht die Auswirkungen großer Sprachmodelle, insbesondere von GPT-4, auf verschiedene wissenschaftliche Bereiche wie Arzneimittelforschung, Biologie und Computerchemie und bewertet anhand expertengeleiteter Fallanalysen und Benchmark-Tests GPT-4s Verständnis komplexer wissenschaftlicher Konzepte, seine Problemlösungsfähigkeiten und sein Potenzial zur Förderung wissenschaftlicher Forschung.

    Explores the impact of large language models, particularly gpt-4, across various scientific fields including drug discovery, biology, and computational chemistry; assesses gpt-4's understanding of complex scientific concepts, its problem-solving capabilities, and its potential to advance scientific research through expert-driven case assessments and benchmark testing.

Paper-Zusammenfassung

  • In den vergangenen Jahren haben bahnbrechende Fortschritte in der natürlichen Sprachverarbeitung zur Entstehung leistungsstarker großer Sprachmodelle (LLMs) geführt, die in einem breiten Spektrum von Bereichen bemerkenswerte Leistungen gezeigt haben, darunter das Verstehen, Generieren und Übersetzen natürlicher Sprache sowie sogar Aufgaben, die über die Sprachverarbeitung hinausgehen. Dieser Bericht untersucht die Leistung von LLMs im Kontext wissenschaftlicher Entdeckungen mit einem Schwerpunkt auf GPT-4, dem State-of-the-Art-Sprachmodell. Die Untersuchung erstreckt sich über verschiedene wissenschaftliche Bereiche, darunter Wirkstoffforschung, Biologie, computergestützte Chemie (Dichtefunktionaltheorie (DFT) und Molekulardynamik (MD)), Materialdesign und partielle Differentialgleichungen (PDE). Die Bewertung von GPT-4 bei wissenschaftlichen Aufgaben ist entscheidend, um sein Potenzial in verschiedenen Forschungsbereichen aufzudecken, seine domänenspezifische Expertise zu validieren, wissenschaftlichen Fortschritt zu beschleunigen, die Ressourcenallokation zu optimieren, die Entwicklung künftiger Modelle zu steuern und interdisziplinäre Forschung zu fördern. Unsere Explorationsmethodik besteht hauptsächlich aus expertengetriebenen Fallbewertungen, die qualitative Einblicke in das Verständnis des Modells für komplexe wissenschaftliche Konzepte und Zusammenhänge liefern, sowie gelegentlichen Benchmark-Tests, die die Fähigkeit des Modells zur Lösung klar definierter domänenspezifischer Probleme quantitativ bewerten. Vorläufige Untersuchungsergebnisse zeigen, dass GPT-4 vielversprechendes Potenzial für eine Vielzahl wissenschaftlicher Anwendungen besitzt und seine Eignung für die Bewältigung komplexer Problemlösungs- und Wissensintegrationsaufgaben demonstriert. Im Großen und Ganzen bewerten wir die Wissensbasis von GPT-4, sein wissenschaftliches Verständnis, seine Fähigkeiten zur wissenschaftlichen numerischen Berechnung und verschiedene wissenschaftliche Vorhersagefähigkeiten.

    In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.

Link zum Paper

https://arxiv.org/abs/2311.07361

Weiterführende Lektüre

https://x.com/omarsar0/status/1724465107046940893

Sprachmodelle auf Faktentreue feinabstimmen / Fine-tuning Language Models for Factuality

Paper-Vorstellung

  • Feinabstimmung eines Sprachmodells auf Faktentreue, ohne menschliche Annotationen zu benötigen; es lernt aus automatisch generierten Faktentreue-Präferenzrankings und zielt auf offene Generierungsszenarien ab; im Vergleich zu auf Faktentreue ausgerichteten RLHF- oder Decoding-Strategien verbessert es die Faktentreue von Llama-2 bei zurückgehaltenen Themen erheblich.

    Fine-tunes language model for factuality without requiring human labeling; it learns from automatically generated factuality preference rankings and targets open-ended generation settings; it significantly improves the factuality of llama-2 on held-out topics compared with rlhf or decoding strategies targeted at factuality.

Abstract des Papers

  • Dank der Sprachgewandtheit und Kreativität vortrainierter großer Sprachmodelle (LLMs) werden Sprachmodelle breit eingesetzt und mitunter sogar als Ersatz für klassische Suchmaschinen genutzt. Allerdings neigen Sprachmodelle dazu, überzeugend klingende, aber sachlich falsche Behauptungen aufzustellen, die oft als „Halluzinationen“ bezeichnet werden. Solche Fehler können unbeabsichtigt Fehlinformationen verbreiten oder Missverständnisse zementieren. Zudem ist die manuelle Faktenprüfung von Modellantworten ein zeitaufwendiger Prozess, wodurch menschliche Faktizitätslabels teuer in der Beschaffung sind. In dieser Arbeit werden Sprachmodelle ohne menschliche Annotation so feinabgestimmt, dass sie faktentreuer werden, und zwar für offenere Generationsszenarien als in früheren Arbeiten. Dazu nutzen die Autoren zwei wichtige jüngere Innovationen im NLP. Erstens haben mehrere aktuelle Arbeiten Methoden vorgeschlagen, um die Faktizität offener Texte zu beurteilen, indem die Konsistenz mit einer externen Wissensbasis oder einfach die Konfidenzwerte großer Modelle gemessen werden. Zweitens ermöglicht der Algorithmus der direkten Präferenzoptimierung eine unkomplizierte Feinabstimmung von Sprachmodellen auf andere Ziele als überwachte Imitation, indem eine Präferenzrangfolge möglicher Modellantworten verwendet wird. Es wird gezeigt, dass Lernen aus automatisch erzeugten Faktizitäts-Präferenzrangfolgen, die entweder über bestehende Retrieval-Systeme oder einen neuen retrievalfreien Ansatz generiert werden, die Faktizität von Llama-2 bei zurückgehaltenen Themen im Vergleich zu RLHF oder auf Faktizität ausgerichteten Decoding-Strategien deutlich verbessert. Im 7B-Maßstab sank die Rate faktischer Fehler gegenüber Llama-2-chat bei der Generierung von Biografien bzw. der Beantwortung medizinischer Fragen um 58 % bzw. 40 %.

    The fluency and creativity of large pre-trained language models (LLMs) have led to their widespread use, sometimes even as a replacement for traditional search engines. Yet language models are prone to making convincing but factually inaccurate claims, often referred to as 'hallucinations.' These errors can inadvertently spread misinformation or harmfully perpetuate misconceptions. Further, manual fact-checking of model responses is a time-consuming process, making human factuality labels expensive to acquire. In this work, we fine-tune language models to be more factual, without human labeling and targeting more open-ended generation settings than past work. We leverage two key recent innovations in NLP to do so. First, several recent works have proposed methods for judging the factuality of open-ended text by measuring consistency with an external knowledge base or simply a large model's confidence scores. Second, the direct preference optimization algorithm enables straightforward fine-tuning of language models on objectives other than supervised imitation, using a preference ranking over possible model responses. We show that learning from automatically generated factuality preference rankings, generated either through existing retrieval systems or our novel retrieval-free approach, significantly improves the factuality (percent of generated claims that are correct) of Llama-2 on held-out topics compared with RLHF or decoding strategies targeted at factuality. At 7B scale, compared to Llama-2-chat, we observe 58% and 40% reduction in factual error rate when generating biographies and answering medical questions, respectively.

Paper-Link

https://arxiv.org/abs/2311.08401

Weiterführende Links

https://x.com/arankomatsuzaki/status/1724613041155608951

Kontrastive Chain-of-Thought-Prompting (CoT) / Contrastive Chain-of-Thought Prompting

Paper-Vorstellung

  • Zur Verbesserung der Schlussfolgerungsfähigkeit von Sprachmodellen wird eine kontrastive Chain-of-Thought-Methode (CoT) vorgeschlagen. Dieser Ansatz stellt sowohl gültige als auch ungültige Schlussfolgerungsdemonstrationen bereit, um das Modell zu schrittweisem Denken anzuleiten und zugleich Denkfehler zu verringern. Außerdem wird eine automatische Methode zur Konstruktion kontrastiver Demonstrationen vorgestellt und es werden Verbesserungen gegenüber CoT-Prompting gezeigt.

    Proposes a contrastive chain of thought method to enhance language model reasoning; the approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes; also proposes an automatic method to construct contrastive demonstrations and demonstrates improvements over cot prompting.

Paper-Abstract

  • Trotz des Erfolgs von Chain-of-Thought bei der Verbesserung des Schlussfolgerns von Sprachmodellen ist der zugrunde liegende Prozess noch immer nicht gut verstanden. Obwohl logisch stimmiges Denken für Chain-of-Thought eigentlich wesentlich zu sein scheint, haben frühere Studien überraschenderweise gezeigt, dass der Einsatz fehlerhafter Beweise stattdessen nur geringe Auswirkungen hat. Außerdem sagt die herkömmliche Chain-of-Thought Sprachmodellen nicht, welche Fehler sie vermeiden sollten, was potenziell zu noch mehr Fehlern führen kann. Daher schlagen wir, inspiriert davon, dass Menschen sowohl aus positiven als auch aus negativen Beispielen lernen können, eine kontrastive Chain-of-Thought zur Stärkung des Schlussfolgerns von Sprachmodellen vor. Im Vergleich zur herkömmlichen Chain-of-Thought zeigt unser Ansatz sowohl gültige als auch fehlerhafte Schlussfolgerungen und leitet das Modell so zu schrittweisem Denken an, während Denkfehler reduziert werden. Um die Generalisierung zu verbessern, führen wir eine automatische Methode zur Konstruktion kontrastiver Demonstrationen ein. Experimente auf Reasoning-Benchmarks zeigen, dass kontrastive Chain-of-Thought als allgemeine Verbesserung von Chain-of-Thought-Prompting dienen kann.

    Despite the success of chain of thought in enhancing language model reasoning, the underlying process remains less well understood. Although logically sound reasoning appears inherently crucial for chain of thought, prior studies surprisingly reveal minimal impact when using invalid demonstrations instead. Furthermore, the conventional chain of thought does not inform language models on what mistakes to avoid, which potentially leads to more errors. Hence, inspired by how humans can learn from both positive and negative examples, we propose contrastive chain of thought to enhance language model reasoning. Compared to the conventional chain of thought, our approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes. To improve generalization, we introduce an automatic method to construct contrastive demonstrations. Our experiments on reasoning benchmarks demonstrate that contrastive chain of thought can serve as a general enhancement of chain-of-thought prompting.

Paper-Link

https://arxiv.org/abs/2311.09277

Weiterlesen

https://x.com/arankomatsuzaki/status/1725340150819905723

Survey-Paper zu Sprachmodellen für Code / A Survey on Language Models for Code

Paper-Einführung

  • Gibt einen Überblick über LLMs für Code, einschließlich einer Übersicht über mehr als 50 Modelle, mehr als 30 Evaluierungsaufgaben und mehr als 500 verwandte Arbeiten.

    Provides an overview of llms for code, including a review of 50+ models, 30+ evaluation tasks, and 500 related works.

Paper-Abstract

  • Diese Arbeit bietet einen systematischen Überblick über die jüngsten Fortschritte bei der Codeverarbeitung mit Sprachmodellen und deckt dabei mehr als 50 Modelle, mehr als 30 Evaluierungsaufgaben und mehr als 500 verwandte Arbeiten ab. Wir unterteilen Modelle zur Codeverarbeitung in allgemeine Sprachmodelle, repräsentiert durch die GPT-Familie, und spezialisierte Modelle, die speziell auf Code vortrainiert wurden, oft mit maßgeschneiderten Zielen. Wir diskutieren die Beziehungen und Unterschiede zwischen diesen Modellen und heben den historischen Übergang der Codemodellierung von statistischen Modellen und RNNs hin zu vortrainierten Transformern und LLMs hervor, der exakt dem Weg entspricht, den NLP genommen hat. Außerdem behandeln wir codespezifische Merkmale wie AST, CFG und Unit-Tests sowie deren Einsatz beim Training von Code-Sprachmodellen und identifizieren zentrale Herausforderungen und potenzielle zukünftige Richtungen in diesem Bereich. Die Survey wird im GitHub-Repository (https://github.com/codefuse-ai/Awesome-Code-LLM) fortlaufend offen weitergeführt und aktualisiert.

    In this work we systematically review the recent advancements in code processing with language models, covering 50+ models, 30+ evaluation tasks, and 500 related works. We break down code processing models into general language models represented by the GPT family and specialized models that are specifically pretrained on code, often with tailored objectives. We discuss the relations and differences between these models, and highlight the historical transition of code modeling from statistical models and RNNs to pretrained Transformers and LLMs, which is exactly the same course that had been taken by NLP. We also discuss code-specific features such as AST, CFG, and unit tests, along with their application in training code language models, and identify key challenges and potential future directions in this domain. We keep the survey open and updated on github repository at https://github.com/codefuse-ai/Awesome-Code-LLM.

Paper-Link

https://arxiv.org/abs/2311.07989v1

Weiterlesen

https://x.com/omarsar0/status/1725637165256761553

JARVIS-1: Open-World-Multitask-Agenten mit speichererweiterten multimodalen Sprachmodellen / JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models

Paper-Einführung

  • Ein Open-World-Agent, der multimodale Eingaben wie visuelle Beobachtungen und menschliche Anweisungen wahrnehmen, ausgefeilte Pläne erzeugen und verkörperte Steuerung ausführen kann – innerhalb der Open-World von Minecraft; zeigt nahezu perfekte Leistung bei über 200 Aufgaben im Minecraft-Universum; erreicht eine Abschlussrate von 12,5 % bei der langfristigen Diamond-Pickaxe-Aufgabe, was einer Verfünffachung gegenüber früheren Bestwerten entspricht.

    An open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, within the open-world minecraft universe; exhibits near-perfect performances across over 200 tasks in minecraft universe; achieves a completion rate of 12.5% in the long-horizon diamond pickaxe task, which is a 5x increase compared to previous records.

Paper-Abstract

  • Menschliches Planen und Steuern mithilfe multimodaler Beobachtungen in einer Open-World-Umgebung zu erreichen, ist ein wichtiger Meilenstein für funktionalere generalistische Agenten. Bestehende Ansätze können bestimmte langfristige Aufgaben in einer Open World bewältigen. Sie haben jedoch weiterhin Schwierigkeiten, da die Zahl der Open-World-Aufgaben potenziell unendlich wachsen kann und ihnen die Fähigkeit fehlt, die Aufgabenerfüllung im Verlauf der Spielzeit schrittweise zu verbessern. Unity stellt JARVIS-1 vor, einen Open-World-Agenten, der multimodale Eingaben wie visuelle Beobachtungen und menschliche Anweisungen wahrnehmen, ausgefeilte Pläne erstellen und verkörperte Steuerung ausführen kann – und das alles im populären, zugleich aber herausfordernden Open-World-Universum von Minecraft. Konkret entwickelt Unity JARVIS-1 auf Basis vortrainierter multimodaler Sprachmodelle, die visuelle Beobachtungen und Textanweisungen auf Pläne abbilden. Diese Pläne werden schließlich an zielkonditionierte Controller weitergegeben. Unity stattet JARVIS-1 mit einem multimodalen Gedächtnis aus, sodass es für die Planung sowohl vortrainiertes Wissen als auch tatsächliche Überlebenserfahrungen im Spiel nutzen kann. Die Experimente von Unity zeigen, dass JARVIS-1 bei mehr als 200 unterschiedlichen Aufgaben des Minecraft Universe Benchmark von Einsteiger- bis Mittelstufenniveau nahezu perfekte Leistung erzielt. Bei der langfristigen Diamond-Pickaxe-Aufgabe erreichte JARVIS-1 eine Abschlussrate von 12,5 %. Das entspricht einer deutlichen Verbesserung um bis zu das Fünffache gegenüber dem bisherigen Rekord. Darüber hinaus wurde gezeigt, dass JARVIS-1 dank des multimodalen Gedächtnisses dem Paradigma des lebenslangen Lernens folgend $\textit{selbstverbessernd}$ agieren kann, was allgemeinere Intelligenz und größere Autonomie anstößt. Die Projektseite ist unter https://craftjarvis-jarvis1.github.io verfügbar.

    Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. In our experiments, JARVIS-1 exhibits nearly perfect performances across over 200 varying tasks from the Minecraft Universe Benchmark, ranging from entry to intermediate levels. JARVIS-1 has achieved a completion rate of 12.5% in the long-horizon diamond pickaxe task. This represents a significant increase up to 5 times compared to previous records. Furthermore, we show that JARVIS-1 is able to $\textit{self-improve}$ following a life-long learning paradigm thanks to multimodal memory, sparking a more general intelligence and improved autonomy. The project page is available at https://craftjarvis-jarvis1.github.io.

Paper-Link

https://arxiv.org/abs/2311.05997

Weiterführende Lektüre

https://x.com/arankomatsuzaki/status/1723882043514470629

FILCO: Lernansatz zum Filtern von Kontext für Retrieval-Augmented Generation / Learning to Filter Context for Retrieval-Augmented Generation

Paper-Vorstellung

  • Es wird eine Methode vorgeschlagen, die die Qualität des dem Generator bereitgestellten Kontexts in zwei Schritten verbessert: 1) Identifizierung nützlichen Kontexts auf Grundlage lexikalischer und informationstheoretischer Ansätze und 2) Training von Kontextfiltermodellen, die abgerufene Kontexte bei der Inferenz filtern können; damit werden bestehende Ansätze bei Aufgaben wie extraktiver Fragebeantwortung (QA), komplexer Multi-Hop- und Long-Form-QA, Faktenprüfung und Dialoggenerierung übertroffen.

    Proposes a method that improves the quality of the context provided to the generator via two steps: 1) identifying useful context based on lexical and information-theoretic approaches, and 2) training context filtering models that can filter retrieved contexts at inference; outperforms existing approaches on extractive question answering (qa), complex multi-hop and long-form qa, fact verification, and dialog generation tasks.

Paper-Abstract

  • Die unmittelbare Suche nach relevantem Wissen hat sich als essenzieller Bestandteil verlässlicher Systeme für Aufgaben wie Open-Domain-Fragebeantwortung und Faktenprüfung erwiesen. Da Suchsysteme jedoch nicht perfekt sind, müssen Generierungsmodelle Ausgaben auch dann erzeugen, wenn ihnen teilweise oder vollständig irrelevante Passagen gegeben werden. Dies kann zu einer übermäßigen oder unzureichenden Abhängigkeit vom Kontext führen und Probleme wie Halluzinationen in den generierten Ausgaben verursachen. Um diese Probleme zu entschärfen, schlagen wir FILCO vor, eine Methode zur Verbesserung der Qualität des dem Generator bereitgestellten Kontexts, indem (1) nützlicher Kontext auf Grundlage lexikalischer und informationstheoretischer Ansätze identifiziert wird und (2) Kontextfiltermodelle trainiert werden, die abgerufene Kontexte zur Testzeit filtern können. Experimente mit FLAN-T5 und LLaMa2 auf sechs wissensintensiven Aufgaben zeigen, dass die Methode bestehende Ansätze bei extraktiver Fragebeantwortung (QA), komplexer Multi-Hop- und Long-Form-QA, Faktenprüfung und Dialoggenerierung übertrifft. FILCO verbessert die Qualität des Kontexts effektiv, unabhängig davon, ob dieser die kanonische Ausgabe unterstützt oder nicht.

    On-the-fly retrieval of relevant knowledge has proven an essential element of reliable systems for tasks such as open-domain question answering and fact verification. However, because retrieval systems are not perfect, generation models are required to generate outputs given partially or entirely irrelevant passages. This can cause over- or under-reliance on context, and result in problems in the generated output such as hallucinations. To alleviate these problems, we propose FILCO, a method that improves the quality of the context provided to the generator by (1) identifying useful context based on lexical and information-theoretic approaches, and (2) training context filtering models that can filter retrieved contexts at test time. We experiment on six knowledge-intensive tasks with FLAN-T5 and LLaMa2, and demonstrate that our method outperforms existing approaches on extractive question answering (QA), complex multi-hop and long-form QA, fact verification, and dialog generation tasks. FILCO effectively improves the quality of context, whether or not it supports the canonical output.

Paper-Link

https://arxiv.org/abs/2311.08377v1

Mehr lesen

https://x.com/ZhiruoW/status/1724792850079252886

MART: Verbesserung der LLM-Sicherheit durch mehrstufiges automatisches Red-Teaming / MART: Improving LLM Safety with Multi-round Automatic Red-Teaming

Paper-Einführung

  • Es wird ein Ansatz zur Verbesserung der Sicherheit von LLMs vorgeschlagen, der mehrstufiges automatisches adversariales Prompt-Writing und die Generierung sicherer Antworten integriert. Dadurch werden sowohl die Skalierbarkeit des adversarialen Prompt-Writings als auch die Sicherheit von LLMs erhöht. Die Violationsrate eines LLM mit begrenztem Safety-Alignment sinkt nach vier MART-Runden um bis zu 84,7 % und erreicht damit eine vergleichbare Leistung wie LLMs, die mit umfangreichem adversarialem Prompt-Writing arbeiten.

    Proposes an approach for improving llm safety with multi-round automatic red-teaming; incorporates automatic adversarial prompt writing and safe response generation, which increases red-teaming scalability and the safety of llms; violation rate of an llm with limited safety alignment reduces up to 84.7% after 4 rounds of mart, achieving comparable performance to llms with extensive adversarial prompt writing.

Paper-Abstract

  • Red-Teaming ist eine gängige Praxis, um unsicheres Verhalten in Large Language Models (LLMs) abzuschwächen. Dabei werden LLMs gründlich bewertet, um potenzielle Schwachstellen zu identifizieren und diese mit verantwortungsvollen und präzisen Antworten zu beheben. Obwohl manuelles Red-Teaming wirksam ist, ist es kostspielig, und bestehendes automatisches Red-Teaming entdeckt Sicherheitsrisiken in der Regel nur, ohne sie zu beheben. In dieser Arbeit wird die Methode Multi-round Automatic Red-Teaming (MART) vorgeschlagen, die sowohl automatisches adversariales Prompt-Writing als auch die Generierung sicherer Antworten integriert und dadurch die Skalierbarkeit von Red-Teaming sowie die Sicherheit des Ziel-LLM deutlich verbessert. Konkret interagieren ein adversariales LLM und ein Ziel-LLM iterativ miteinander: Das adversariale LLM versucht, herausfordernde Prompts zu erzeugen, die unsichere Antworten des Ziel-LLM hervorrufen, während das Ziel-LLM anhand sicherheitsabgestimmter Daten auf diese adversarialen Prompts feinabgestimmt wird. In jeder Runde entwickelt das adversariale LLM bessere Angriffe auf das aktualisierte Ziel-LLM, während sich das Ziel-LLM durch Safety-Fine-Tuning ebenfalls weiter verbessert. In Benchmarks mit adversarialen Prompts sinkt die Violationsrate eines LLM mit begrenzter Sicherheitsabstimmung nach 4 Runden MART um bis zu 84,7 % und erreicht damit eine vergleichbare Leistung wie LLMs mit umfangreichem adversarialem Prompt-Writing. Bemerkenswert ist, dass die Nützlichkeit des Modells bei nicht adversarialen Prompts über die Iterationen hinweg stabil bleibt, was darauf hindeutet, dass das Ziel-LLM beim Befolgen von Anweisungen eine starke Leistung beibehält.

    Red-Teaming ist eine gängige Praxis zur Abschwächung unsicherer Verhaltensweisen in Large Language Models (LLMs). Dabei werden LLMs gründlich bewertet, um potenzielle Schwachstellen zu identifizieren und sie mit verantwortungsvollen und präzisen Antworten zu beheben. Obwohl manuelles Red-Teaming wirksam ist, ist es kostspielig, und bestehendes automatisches Red-Teaming entdeckt Sicherheitsrisiken typischerweise, ohne sie zu beheben. In dieser Arbeit schlagen wir eine Methode namens Multi-round Automatic Red-Teaming (MART) vor, die sowohl automatisches adversariales Prompt-Writing als auch die Generierung sicherer Antworten umfasst und die Skalierbarkeit von Red-Teaming sowie die Sicherheit des Ziel-LLM deutlich erhöht. Konkret interagieren ein adversariales LLM und ein Ziel-LLM iterativ miteinander, wobei das adversariale LLM herausfordernde Prompts erzeugen soll, die unsichere Antworten des Ziel-LLM hervorrufen, während das Ziel-LLM mit sicherheitsabgestimmten Daten auf diese adversarialen Prompts feinabgestimmt wird. In jeder Runde entwickelt das adversariale LLM bessere Angriffe auf das aktualisierte Ziel-LLM, während sich das Ziel-LLM durch Safety-Fine-Tuning ebenfalls verbessert. In Benchmarks mit adversarialen Prompts sinkt die Violationsrate eines LLM mit begrenzter Sicherheitsabstimmung nach 4 Runden MART um bis zu 84,7 % und erreicht eine vergleichbare Leistung wie LLMs mit umfangreichem adversarialem Prompt-Writing. Bemerkenswert ist, dass die Nützlichkeit des Modells bei nicht adversarialen Prompts über die Iterationen hinweg stabil bleibt, was darauf hindeutet, dass das Ziel-LLM beim Befolgen von Anweisungen eine starke Leistung beibehält.

Paper-Link

https://arxiv.org/abs/2311.07689

Weiterlesen

https://x.com/AIatMeta/status/1724887918685425829

Technischer Bericht: Large Language Models können ihre Nutzer unter Druck strategisch täuschen / Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

Paper-Einführung

  • Untersucht den Einsatz eines autonomen Aktienhandelsagenten, der von Robo-Advisors angetrieben wird, und stellt fest, dass der Agent auf Insiderinformationen reagiert und die Gründe für seine Handelsentscheidungen verbirgt. Damit wird gezeigt, dass nützliche und sichere Robo-Advisors Nutzer in realistischen Situationen strategisch täuschen können, auch ohne explizite Anweisungen oder Training zur Täuschung.

    Untersucht den Einsatz eines autonomen Aktienhandelsagenten, der von LLMs angetrieben wird; zeigt, dass der Agent auf Insiderhinweise reagiert und den Grund für die Handelsentscheidung verbirgt; zeigt, dass hilfreiche und sichere LLMs Nutzer in einer realistischen Situation strategisch täuschen können, ohne entsprechende Anweisungen oder ein Training zur Täuschung.

Paper-Abstract

  • Es wird eine Situation demonstriert, in der große Sprachmodelle, die darauf trainiert wurden, hilfreich, harmlos und ehrlich zu sein, auch ohne entsprechende Anweisung Fehlverhalten zeigen und Nutzer strategisch darüber täuschen können. Konkret wird GPT-4 in einer realitätsnahen Simulationsumgebung als Agent eingesetzt und übernimmt dort die Rolle eines autonomen Aktienhandels-Agenten. In dieser Umgebung erhält das Modell Insiderinformationen über einen profitablen Aktiendeal und führt den Handel aus, obwohl es weiß, dass Insiderhandel vom Management des Unternehmens nicht genehmigt ist. Bei der Berichterstattung an den Vorgesetzten verschleiert dieses Modell konsequent den wahren Grund für seine Handelsentscheidung. Es wurde kurz untersucht, wie sich dieses Verhalten bei Änderungen der Rahmenbedingungen verändert, etwa wenn dem Modell der Zugriff auf ein Reasoning-Scratchpad entzogen wird, wenn versucht wird, das Fehlverhalten durch geänderte Systemanweisungen zu verhindern, wenn die Stärke des Drucks auf das Modell verändert wird, wenn das wahrgenommene Risiko, entdeckt zu werden, variiert wird, sowie bei weiteren einfachen Änderungen der Umgebung. Soweit uns bekannt ist, ist dies die erste Demonstration, dass große Sprachmodelle, die darauf trainiert wurden, hilfreich, harmlos und ehrlich zu sein, Nutzer in einer realistischen Situation strategisch täuschen, ohne direkte Anweisungen oder Training zur Täuschung.

    We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.

Paper-Link

https://arxiv.org/abs/2311.07590

Weiterführende Lektüre

https://x.com/ESYudkowsky/status/1725226563992715521

Originaltext

https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-e3d

Verwandte Beiträge

Noch keine Kommentare.

Noch keine Kommentare.