Ailoy: Einfaches Tool zum Erstellen von On-Device-AI-Agenten
(github.com/brekkylab)Das ist eine Bibliothek namens ailoy, mit der sich LLM-Agenten einfach erstellen lassen.
Es gibt zwei Versionen, für Python und JavaScript (Node), und ich behaupte, dass sie von den derzeit verfügbaren Tools am einfachsten ist.
Der Vorteil ist, dass man damit auch ohne Machine-Learning-Expertise etwas bauen kann.
Google, OpenAI und Anthropic wollen am Ende alle vor allem dazu bringen, ihre APIs häufig zu nutzen, und das wirkt wie ein echter Geldfresser. Deshalb habe ich versucht, etwas zu bauen, mit dem sich Agenten als On-Device-AI ausführen lassen.
Wenn ihr über die GitHub- oder Discord-Links dazukommt, helfe ich euch gern bei Problemen. Probiert es bitte einmal aus und ich würde mich über Feedback freuen!
4 Kommentare
Ich bin neugierig, wie hoch die gefühlte Leistung bei der kleinen Modellgröße ist.
Im Vergleich zur GPT-Serie oder zu DeepSeek R1 wirkt es definitiv etwas enttäuschend. Das 30B-Modell ist zwar wirklich ordentlich, aber der Nachteil ist, dass man dafür, wenn man es on-device betreiben will, eine GPU auf dem Niveau einer 5090 braucht....
Deshalb scheint mir ein hybrider Ansatz am besten zu sein: OpenAI zu verwenden, wenn man eine ähnliche Leistung wie bei OpenAI-Modellen erreichen und zugleich Tokens optimieren will, und für einfache Tasks ein lokales Modell einzusetzen.
Ganz unbrauchbar ist es trotzdem nicht, und ich habe den Eindruck, dass der Unterschied bei nicht allzu komplexen Aufgaben wie Übersetzung oder Zusammenfassung gar nicht so groß ist ... haha
Alles klar ^^ Danke für die Antwort.