talk-llama - Mit LLaMA im Terminal chatten

• Demo von Whisper Medium (Whisper.cpp) + LLaMA v2 13B Q8_0 auf einem M2 Ultra
• Spracherkennung mit Whisper, Senden der jeweiligen Frage an LLaMA und Ausgabe der Antwort über die Sprachsynthese von MacOS mit dem Befehl say
• Unterstützt Sitzungsverwaltung, sodass fortlaufende Gespräche auf Basis des bisherigen Gesprächsverlaufs möglich sind

[ragingwind]

13B scheint auf dem Ultra gut zu laufen. Ich frage mich, wie es auf dem M3 Max sein wird.