Falcon-2-Rakete startklar

Veröffentlichung des Next-Generation-Modells der Falcon-2-Serie

• Das Technology Innovation Institute (TII) hat die Falcon-2-Serie vorgestellt, eine neue Reihe großer Sprachmodelle (LLM)
  • Falcon 2 11B: ein Modell mit 11 Milliarden Parametern, trainiert auf 5,5 Billionen Tokens, mit verbesserter Effizienz und Zugänglichkeit
  • Falcon 2 11B VLM: das erste multimodale Modell mit Vision-to-Language-Funktion, das visuelle Eingaben in Textausgaben umwandelt
• Beide Modelle unterstützen mehrere Sprachen; insbesondere bietet Falcon 2 11B VLM als derzeit einziges Modell auf Spitzenniveau eine Bild-zu-Text-Umwandlungsfunktion

Leistung von Falcon 2 11B

• Laut der Bewertung von Hugging Face zeigte Falcon 2 11B eine bessere Leistung als Meta Llama 3 8B und erreichte ein ähnliches Niveau wie Google Gemma 7B (Falcon 2 11B: 64,28 vs. Gemma 7B: 64,29)
• Falcon 2 11B und 11B VLM sollen beide als Open Source ohne Einschränkungen für Entwickler veröffentlicht werden
• Künftig soll die Falcon-2-Serie auf Modelle unterschiedlicher Größe erweitert werden; außerdem ist der Einsatz von Mixture of Experts (MoE) geplant, um die Leistung weiter zu steigern

Merkmale von Falcon 2 11B VLM

• Verarbeitet mehrere Sprachen, darunter Englisch, Französisch, Spanisch, Deutsch und Portugiesisch
• Ausgestattet mit einer Vision-to-Language-Funktion, die Bilder und visuelle Informationen aus der Umgebung erkennt und interpretiert
  • Einsetzbar in zahlreichen Branchen wie Medizin, Finanzen, E-Commerce, Bildung und Recht
  • Breites Anwendungsspektrum von Dokumentenmanagement, digitaler Archivierung und Kontext-Indexierung bis hin zur Unterstützung sehbehinderter Menschen
• Läuft effizient auf einer einzelnen GPU, bietet hohe Skalierbarkeit und lässt sich leicht in schlanke Infrastrukturen wie Laptops integrieren

Meinung von GN⁺

• Die Falcon-2-Serie ist ein Next-Generation-Modell, das Leistung und Effizienz der bisherigen Falcon-Modelle weiter steigert. Besonders bedeutsam ist Falcon 2 11B VLM als erstes großes mehrsprachiges multimodales Modell mit Vision-to-Language-Funktion. Dadurch können visuelle und sprachliche Daten integriert verarbeitet werden, was voraussichtlich natürlichere, stärker am Menschen orientierte Interaktionen ermöglicht.

• Multimodale AI befindet sich jedoch noch in einem frühen Stadium, und bei Stabilität und Robustheit gibt es weiterhin Verbesserungsbedarf. Für den praktischen Einsatz dürfte es daher notwendig sein, Datenbias, Datenschutz- und Sicherheitsfragen sowie die Anfälligkeit gegenüber fehlerhaften Eingaben sorgfältig zu prüfen und schrittweise zu adressieren.

• Bemerkenswert ist auch, dass die Falcon-2-Serie als Open Source veröffentlicht wird. Das dürfte die aktive Beteiligung der Entwickler-Community fördern und die Verbesserung sowie Erweiterung der Modelle beschleunigen. Zugleich bestehen bei Open-Source-Modellen Bedenken hinsichtlich missbräuchlicher Nutzung, weshalb es sinnvoll erscheint, in die Lizenzpolitik etwa eine Acceptable Use Policy aufzunehmen, um einen verantwortungsvollen Einsatz von AI zu fördern.

• Ebenfalls interessant ist der geplante Einsatz der Mixture-of-Experts-(MoE)-Technologie. MoE kombiniert mehrere spezialisierte kleinere Netzwerke, um durch Zusammenarbeit zwischen Fachdomänen präzisere und stärker angepasste Ergebnisse zu erzielen, und dürfte damit wesentlich zur weiteren Leistungssteigerung der Falcon-2-Serie beitragen. Diese Forschungsrichtung kann als Teil der Bemühungen gesehen werden, nicht nur die Größe von Modellen zu erhöhen, sondern effizientere und intelligentere AI-Systeme zu entwickeln.

[GN⁺]

Hacker-News-Kommentare

• Es wird darauf hingewiesen, dass die Benchmark-Ergebnisse des Modells Falcon 2 11B auf einem ähnlichen Niveau wie Mistral 7B und Llama 3 8B liegen. Wenn man die größere Modellgröße berücksichtigt, wirkt das nicht besonders beeindruckend.

• Es gibt ein Problem mit der Lizenz. Apache 2 wurde verändert und um zusätzliche Klauseln ergänzt, darunter die Anforderung, eine Acceptable-Use-Policy einzuhalten. Das Problem ist, dass unklar ist, wie sich diese Richtlinie künftig ändern wird. Unabhängig vom aktuellen Inhalt könnte sie später beliebig geändert werden, und man müsste sich daran halten. Es wird kritisiert, dass der Trend, solche Lizenzen als „Open Source“ zu bezeichnen, nicht mit der OSI-Definition vereinbar ist.

• Zur Behauptung, „Falcon 2 11B sei Metas Llama 3 8B überlegen und zeige eine gleichwertige Leistung wie Googles Gemma 7B“, wird eingewandt, dass der starke Eindruck bestehe, Llama 3 8B übertreffe Gemma 7B in fast allen Aspekten.

• Zur Formulierung „das einzige KI-Modell mit Vision-to-Language-Funktion“ wird die Frage aufgeworfen, ob sich das überhaupt wesentlich von dem unterscheidet, was GPT-4 Vision oder LLaVA bereits tun.

• Es wird erneut darauf hingewiesen, dass das Falcon-Modell nicht besonders offen ist. Schon das ursprüngliche Falcon habe nicht so gut performt, wie es die Benchmark-Ergebnisse vermuten ließen. Obwohl es als großer Sprung angekündigt wurde, habe es sich nicht so angefühlt, als würde es konkurrierende Modelle übertreffen.

• Die PR, dass das 11B-Modell leistungsfähiger sei als 7B- und 8B-Modelle „derselben Klasse“, wirkt etwas übertrieben. Für lokale Inferenz würde man es zwar ausprobieren, aber die intuitive Einschätzung sei derzeit, dass feinabgestimmtes Llama 3 8B aktuell am besten ist.

• Wenn das Modell größtenteils mit öffentlichen Datensätzen trainiert wurde und AWS-Hardware sowie bekannte Algorithmen und Techniken verwendet, stellt sich die Frage, worin es sich von anderen Modellen unterscheidet, die mit genug Geld jeder trainieren könnte. Es wird auch eine skeptische bzw. kritische Sicht geäußert, wonach das eher wie ein Versuch wirke, Relevanz zu demonstrieren und zu flexen.

• Es wird behauptet, Falcon 2 11B sei besser als Llama 3 8B, aber da es mehr Parameter hat, sei das kein fairer Vergleich. Das beste Open-Source-Modell scheine Llama 3 70B zu sein; daher wird infrage gestellt, warum behauptet wird, Llama 3 zu übertreffen, wenn nicht einmal das beste Modell übertroffen wird.