Menschen, die llama2 feinabstimmen
(news.ycombinator.com)Ein Fall von aus Hacker News, bei dem llama2 feinabgestimmt wurde.
Fine-Tuning bedeutet, ein KI-Modell zusätzlich mit meinen Frage-und-Antwort-Sets anzupassen.
Für das Fine-Tuning heißt es, dass es bereits ab mindestens 50 Beispielen möglich ist, idealerweise aber mehr als 1000 Beispiele vorhanden sein sollten.
Der Autor sagt, dass das feinabgestimmte Llama-7B-Modell mehr als 50-mal günstiger sei als GPT-3.5.
Natürlich ist ein Vergleich zwischen Llama 7B und GPT-3.5 (165B) eigentlich nicht sinnvoll, aber da feinabgestimmte GPT-Modelle nicht günstig sind, könnte es sein, dass die Zahl der Anwendungsfälle zunimmt, in denen Llama per Fine-Tuning eingesetzt wird.
2 Kommentare
„Mit Quantisierung kann man 70B LLAMA auf zwei 4090s/3090s ausführen. Mit zwei 3090s bekommt man ein System, das LLAMA 2 70B mit 12K Kontext für < 2.000 $ ausführen kann.
Ich habe zwei solche Systeme gebaut, nachdem ich in einer Woche so viel für ChatGPT verbrannt hatte.“
https://news.ycombinator.com/item?id=37489601
Der Kommentar ist beeindruckend. Wenn man sich den später hinterlassenen Kommentar ansieht, heißt es dort, dass verschiedene Teams ihre Daten in unterschiedlichen Formaten verwalten, sie diese aber mit ChatGPT normalisiert und die Datenformate in nur einer Woche vereinheitlicht haben. Wenn man das so gut kombiniert?!
Oh, das ist wirklich eine gute Idee. Ich fand es beeindruckend, dass sogar der CEO von Replicate auftauchte und einen Kommentar hinterließ.
Mir ist besonders die Meinung im Gedächtnis geblieben, dass die Kosten von GPT-3.5 (vermutlich turbo) und von Llama 70b ähnlich sein könnten.
Ich denke zwar daran, GPT im praktischen Einsatz zu verwenden, aber da man sieht, dass Startups mit Llama + Fine-Tuning Vorteile nutzen, habe ich es mitgebracht.