Phind-70B vorgestellt – ein ausführbares Modell, das die Lücke zur Code-Qualität von GPT-4 Turbo verkleinert und 4x schneller ist

 (phind.com)
6 Punkte von GN⁺ 2024-02-23 | 3 Kommentare | Auf WhatsApp teilen
  • Verarbeitet bis zu 80 Tokens pro Sekunde (GPT-4 Turbo: ~20 Tokens pro Sekunde)
  • Unterstützt ein 32K-Token-Fenster
  • Basierend auf dem Modell CodeLlama-70B und mit zusätzlichen 50B Tokens feinabgestimmt
  • Erreicht 82,3 % bei HumanEval und übertrifft damit GPT-4 Turbo (gpt-3-0125-preview) mit 81 %
  • Liegt bei Metas CRUXEval mit 59 % knapp unter GPT-4 mit 62 %
  • Bei der Codegenerierung nahezu auf dem Niveau von GPT-4 Turbo oder in manchen Aufgaben sogar besser
  • Weniger „lazy“ als GPT-4 Turbo und zögert daher nicht, detaillierte Codebeispiele zu erzeugen

Verwandte Beiträge

3 Kommentare

 
cosine20 2024-02-27

Seit ich Phind vor etwa einem Jahr über GeekNews kennengelernt habe, nutze ich für Code-Fragen fast nur noch Phind. Manchmal merkt man zwar, dass es sich etwas verirrt, aber inzwischen habe ich ein gewisses Know-how aufgebaut und stelle meine Fragen so, dass es sich weniger verrennt.
 
GN⁺ 2024-02-23
Hacker-News-Kommentare

  • Geteilte Erfahrungen mit Phind

    • Phind wurde in den letzten 3–4 Wochen fast täglich genutzt; die erzeugte Codequalität ist gut und der Code läuft auch zuverlässig.
    • Es ist genauer als ChatGPT und weist häufiger in die richtige Richtung.
    • ChatGPT ist seit mehr als 2 Monaten langsamer geworden, eignet sich aber beim Einarbeiten in ein Thema besser, weil es ausführlicher und erklärender ist.

  • Zweifel an der Bewertung der Codequalität

    • Ein Problem beim Aufteilen von Strings wurde mit einem von GPT-4 gelieferten regulären Ausdruck gelöst, die nötigen Unit-Tests wurden ergänzt und der Commit erfolgreich abgeschlossen.
    • Das 70B-Modell konnte selbst nach mehreren Versuchen keine Antwort auf dieses Problem liefern.
    • Jedes Mal, wenn Modelle außer GPT-4 ausprobiert werden, fühlt es sich wie Zeitverschwendung an.

  • Hinweis des Phind-Gründers

    • Das Modell Phind-70B kann kostenlos und ohne Login ausprobiert werden.

  • Eindruck von Antwortgeschwindigkeit und Qualität bei Phind

    • Die Antwortgeschwindigkeit ist beeindruckend, mit der Qualität besteht aber keine große Zufriedenheit.
    • GPT-4 berücksichtigt nach einigen Versuchen auch POST-Requests, während Phind sich meist nur auf GET-Requests konzentriert.

  • Eine interessante Herausforderung für LLMs

    • Ein einfaches Logikrätsel wird einem LLM gegeben, um seine Problemlösungsfähigkeit zu testen.
    • Phind-34B reagiert dabei besonders unterhaltsam und gerät manchmal in eine Schleife.

  • Vergleich von Erfahrungen beim Schreiben eines Wireshark-Plugins

    • Erfahrungen beim Schreiben eines Wireshark-Plugins werden geteilt, wobei Phind und ChatGPT verglichen werden.

  • Frage zur Möglichkeit der API-Integration

    • Es wird gefragt, ob sich die API von Phind in aider.chat integrieren lässt, das für den Einsatz von GPT-4 beim Coding optimiert ist.

  • Geteilte Erfahrungen mit Phind

    • Ein Nutzer, der Phind seit mehr als einem Jahr verwendet, bevorzugt es gegenüber GPT.
    • Nach langen Frage-Threads gab es Probleme mit Wiederholungen oder dem Hängenbleiben in Schleifen.

  • Phinds Reaktion auf Codeübersetzung

    • ChatGPT 3.5/4 übersetzt manchmal eine komplette Go-Datei vollständig nach C#, während Phind die vollständige Übersetzung des Codes verweigert.

  • Geschwindigkeit und Leistung von Phind-70B

    • Phind-70B ist deutlich schneller als GPT-4 Turbo; erreicht wird das durch den Einsatz von NVIDIAs TensorRT-LLM-Bibliothek und H100-GPUs.