speculative_decoding.c: Auf llama2.c basierender C-Code für Speculative Decoding
(github.com/mscheong01)Ein einfacher in C implementierter Inferenz-Code für Speculative Decoding.
Wie llama2.c, auf dem er basiert, wurde er als einfacher Code zu Lernzwecken geschrieben.
Als Nächstes ist geplant, einige aktuellere Papers zu implementieren.
Noch keine Kommentare.