DeepSeek R1 liefert vielversprechende Ergebnisse beim Programmieren

• Im Projekt llama.cpp wurde ein PR veröffentlicht, der die „WASM-Geschwindigkeit verdoppelt“
  • Optimierung der Dot-Product-Funktionen qX_K_q8_K und qX_0_q8_0 mithilfe von SIMD-Befehlen
  • Der Großteil des Codes (99 %) wurde automatisch von „DeepSeek-R1“ erzeugt
  • DeepSeek-R1 benötigt 3 bis 5 Minuten, um den Prompt zu verarbeiten

Codegenerierungsleistung von DeepSeek-R1

• Der Autor des PR nutzte DeepSeek-R1, um optimierten Code zu erzeugen und zu verbessern; selbst schrieb er nur den Testcode und die Prompts
• Die verwendeten Prompts sind einsehbar
• DeepSeek-R1 zeigte eine beeindruckende Gedankenkette bei der Optimierung von llm_groq.py

Leistungsvergleich: DeepSeek-R1 vs. OpenAI o1

• Dieselbe Aufgabe wurde auch mit OpenAI o1 durchgeführt, aber das Ergebnis von DeepSeek-R1 war besser
• Gedankengang zur Optimierung von model_map im Beispielcode:
  • Zunächst wurde angenommen, dass model_map notwendig ist
  • Danach wurde überlegt, ob es sich dynamisch auf Basis der API-Antwort aufbauen lässt
  • Schließlich wurde entschieden, dass das Entfernen von model_map die beste Lösung ist

Fazit

• DeepSeek-R1 zeigt hervorragende Leistung bei automatischer Codegenerierung und Optimierung
• Durch die Optimierung mit SIMD in WASM verbessert sich die Leistung von llama.cpp deutlich
• Wenn der PR übernommen wird, dürfte sich die Ausführungsgeschwindigkeit von WebAssembly-basierten Anwendungen erheblich verbessern

[bungker]

Ich habe mit ollama deepseek r1 14b, 30b und 70b laufen lassen; insgesamt ist die Schlussfolgerung gut, aber es gibt viele kleine Fehler. r1 ist wirklich hervorragend.

[yangeok]

Ich habe die 8B-Destillatversion ausprobiert, aber die Leistung auf Koreanisch war eher schwach.

[yangeok]

Scheint bei der Codegenerierung durchaus brauchbare Ergebnisse zu liefern.

[GN⁺]

Hacker-News-Kommentare

• DeekSeek-R1 hat 99 % des Codes für einen llama.cpp-PR geschrieben. Das ist ein Beispiel dafür, dass KI erheblich zum Coding beitragen kann.

  • Aider schreibt in jedem Release etwa 70 % des neuen Codes, und seit Sonnet ist der Anteil KI-generierten Codes auf über 50 % gestiegen.
  • In den letzten Monaten lag der Anteil neuen Codes, den Aider geschrieben hat, bei 70 %, der Rekord liegt bei 82 %.
  • Es wird beim Coding zunehmend von Sonnet zu DeepSeek V3 gewechselt, und R1 wird getestet, wobei es wegen jüngster API-Ausfälle Schwierigkeiten gibt.

• DeepSeek-R1-Distill-Qwen-32B läuft über Ollama auf einem Laptop und benötigt etwa 20 GB RAM.

  • Es ist nützlich für Code-Refactoring und hilft dabei, Fehler im Code zu finden.

• Dass DeekSeek-R1 99 % des Codes für einen llama.cpp-PR geschrieben hat, ist ein bemerkenswerter Meilenstein.

• DeepSeek wurde gebeten, ARM-SIMD-Code in WASM-Code umzuwandeln, was bei der Code-Optimierung hilft.

  • Mit SIMD-Instruktionen umzugehen ist eine schwierigere Aufgabe als fortgeschrittene Code-Optimierung.

• Die Behauptung, dass LLMs für Coding nicht nützlich seien, ist falsch.

  • Die Behauptung, dass KI Entwickler ersetzen könne, ist nicht völlig aus der Luft gegriffen.
  • Wenn es keine steigende Nachfrage nach mehr Anwendungen gibt, könnten Arbeitsplätze wegfallen.

• Mit o1 Pro und Deepseek R1 wurden End-to-End-Tests geschrieben, und Deepseek hat die besseren Tests erstellt.

  • Die Tests haben nicht bestanden.

• Xuan-Son bat nicht nur darum, ARM NEON in SIMD umzuwandeln, sondern auch darum, einen neuen Ansatz zu entwickeln.

  • Er versuchte, wllama als Wochenendprojekt zu optimieren, und konnte die Arbeit mithilfe eines LLM erfolgreich abschließen.

• Mit DeepSeek R1 wurde das Plugin llm_groq.py neu geschrieben; verwendet wurde dabei deepseek-r1-distill-llama-70b, das auf einem Llama-Modell feinabgestimmt wurde.

• Es ist möglich, dass AGI innerhalb weniger Monate kommt, und das Training wird in drei Phasen verlaufen.

  • Es ist wichtig, verschiedene Modelle zu trainieren, um Diversität für das langfristige Überleben zu sichern.