[LLM]
LLMs (Large Language Models) sind inzwischen etwas, das man ungern missen möchte. Aus Entwicklersicht habe ich GitHub Copilot nun schon seit zwei Jahren sehr gut als Coding-Hilfe genutzt, aber inzwischen liefern ChatGPT und Claude teils noch besseren Code. Außerdem ist Retrieval-Augmented Generation (RAG) in letzter Zeit aus Entwicklersicht zu einem wichtigen Schlagwort geworden, sodass ich gar nicht anders konnte, als mich mit der Struktur und den APIs von LLMs zu beschäftigen. Deshalb habe ich angefangen, das Thema zu lernen.
Ich habe schon immer gedacht, dass der schnellste Weg zu lernen darin besteht, etwas zu lehren oder selbst zu bauen. Wenn ich also etwas lerne, starte ich meist ein neues Projekt und versuche, das Gelernte direkt anzuwenden. Das Projekt, das ich diesmal beim Lernen über LLMs gebaut habe, ist MirrorOn.
[Multi-LLM-Abfragetool MirrorOn]
MirrorOn ist ein Abfragetool, mit dem man eine Frage einmal stellt und Antworten von mehreren LLMs erhält. Der Name ist von „Spieglein, Spieglein …“ inspiriert. ^^ Wenn man den Spiegel einschaltet (On!), sagt er einem, wer die Schönste im ganzen Land ist.

Aktuell (V 0.1.0) können ChatGPT, Claude und Ollama verwendet werden. Für ChatGPT und Claude wird ein API key benötigt. Nutzer können selbst einen API key ausstellen lassen, ihn in den Einstellungen eingeben und dann mit ihren Fragen die Ergebnisse der API-Abfragen abrufen. Das Tool ist so aufgebaut, dass sich der Gesprächskontext fortführen lässt, und über das Menü können Funktionen wie Kopieren, Löschen und Teilen ausgeführt werden.
[Lokales LLM]
Ollama (https://ollama.com) ist ein Programm, das dabei hilft, LLMs auf dem eigenen Computer auszuführen. Über den Link kann man Ollama installieren und anschließend das gewünschte Model einrichten, um kostenlos (!) Fragen zu stellen. Je nach verfügbarer Speicherkapazität des Computers lassen sich verschiedene Models ausführen.
Mit MirrorOn als Ollama-Client kann man die monatlichen Kosten für LLMs sparen.
[RAG – Retrieval-Augmented Generation]
Retrieval-Augmented Generation (RAG) wird aus Sicht von App-Entwicklern künftig vermutlich zu einer unverzichtbaren Funktion werden. Ein LLM kann nicht alles wissen, aber die Anforderungen der Nutzer sind vielfältig – und RAG ist eine Methode, darauf einzugehen.
In MirrorOn V0.1.0 habe ich zunächst grundlegende Funktionen umgesetzt. Derzeit kann man PDF-Dokumente hochladen, zusammenfassen und durchsuchen, später sollen aber noch Funktionen wie Vektorisierung hinzukommen.
Außerdem gibt es besondere Funktionen für die Nutzung von LLMs, etwa das Hochladen von Bildern, um Fragen zu deren Inhalt zu stellen, oder das Bereitstellen von Instructions für das LLM. Weitere Details finden sich unter dem Link. Englisch und Japanisch werden unterstützt, ebenso eine Dokumentation.
[Detaillierte Funktionsbeschreibung]
https://github.com/bipark/MirrorOn
[Download]
Derzeit gibt es nur eine Mac-Version. Ich habe mehrere Wochen versucht, die App in den Mac App Store hochzuladen, aber Apple hat die Freigabe wegen der Funktion zur Eingabe des API key zurückgestellt. Deshalb habe ich sie stattdessen als Git Release zum Download bereitgestellt. Ich hoffe, dass sie nach einer späteren Freigabe durch Apple auch im App Store verfügbar sein wird. Eine Windows-Version ist ebenfalls in Arbeit.
Noch keine Kommentare.