11 Punkte von xguru 2023-09-07 | Noch keine Kommentare. | Auf WhatsApp teilen
  • Das ursprünglich in Python implementierte Modell wurde mit der GGML-Bibliothek nach C++ portiert
  • Durch den schlanken Code an vielen Orten einsetzbar
  • GGML, benannt nach dem ursprünglichen Autor Georgi Gerganov, ist eine Tensor-Bibliothek mit Quantisierungsunterstützung, die zur Entwicklung von llama.cpp und whisper.cpp verwendet wurde
    • Eher für CPUs als für GPUs optimiert, insbesondere für Apple Silicon M1/M2

Noch keine Kommentare.

Noch keine Kommentare.