Show HN: Countless.dev – Website zum Vergleich aller AI-Modelle: LLMs, TTSs, STTs

Einführung in den Vergleich von AI-Modellen

• Vergleich von AI-Modellen: Ein Open-Source-Projekt, mit dem sich verschiedene AI-Modelle einfach vergleichen lassen. Es wird kostenlos angeboten, und für jedes Modell lassen sich unter anderem Eingabe- und Ausgabelänge sowie Preise vergleichen.

Preisvergleich

• Preise nach Modell: Enthalten sind Modelle verschiedener Anbieter wie OpenAI, Azure, Anthropic und Google, wobei die Preise je nach Eingabe- und Ausgabelänge des jeweiligen Modells angegeben sind.

Vergleich der Modellfunktionen

• Unterstützte Funktionen: Zu den von den Modellen unterstützten Funktionen gehören Vision, Chat, Embedding, Image generation, Completion, Audio transcription und TTS.

Wichtige Modelle und Preise

• OpenAI: Verschiedene Modelle wie gpt-4, gpt-3.5-turbo und weitere mit unterschiedlichen Eingabe- und Ausgabelängen sowie Preisen.
• Azure: Verschiedene Modelle wie gpt-4o, gpt-4-turbo und weitere; einige Modelle unterstützen die Vision-Funktion.
• Anthropic: Modelle der Claude-Serie mit Unterstützung für verschiedene Eingabe- und Ausgabelängen.
• Google: Verschiedene Modelle wie Gemini, Chat-bison und weitere; einige Modelle unterstützen die Vision-Funktion.

Wichtige Überlegungen bei der Modellauswahl

• Preis: Die Preise je nach Eingabe- und Ausgabelänge des Modells sollten berücksichtigt werden.
• Funktionsunterstützung: Es sollte ein Modell gewählt werden, das die benötigten Funktionen unterstützt.
• Anbieter: Es kann zwischen verschiedenen Anbietern wie OpenAI, Azure, Anthropic und Google gewählt werden.

[GN⁺]

Hacker-News-Kommentare

• Es wird gefragt, ob die Seite von LLM-Vergleichstools inspiriert wurde. Die Tabelle ist sehr ähnlich, aber der zusätzliche benutzerdefinierte Rechner gefällt.

  • Es wäre gut, in der Versus-Comparison ein Kontrollkästchen hinzuzufügen, das die jeweils besten Felder jedes LLM hervorhebt.

• Die Idee des Modellvergleichs gefällt. Es wird gefragt, ob geplant ist, unabhängige Analysen hinzuzufügen, oder ob es sich um eine Sammlung von Input-Beschränkungen handelt.

  • Es wird um eine Einschätzung gebeten, worin der Unterschied zu anderen Analysen liegt bzw. was zusätzlich geboten wird.
  • Die Website lässt sich gut erkunden.

• Gewünscht wird ein guter "bang for the buck"-Wert. Man möchte wissen, welches das günstigste Modell ist, das aus unstrukturiertem Text zuverlässig strukturierte Daten erzeugen kann.

  • Derzeit wird gpt4o-mini verwendet, aber es wird nach noch günstigeren Alternativen gefragt.

• Es wird gefragt, ob es eine bessere Desktop-Anwendung als den Standard-Client von ChatGPT gibt.

  • Bevorzugt wird Kompatibilität mit macOS/Linux.

• UI und Tabellenlayout gefallen. Es wird gefragt, ob erwogen wurde, den VRAM-Bedarf der Modelle anzuzeigen.

• Googles Gemini beansprucht ein Kontextfenster, das mehr als zehnmal so groß ist wie bei den meisten Wettbewerbern.

  • Es wird gefragt, ob das in der Praxis wirklich nützlich ist und ob das jemand ausprobiert hat.
  • In eigenen Tests neigt es dazu, nach etwa zehn Gesprächsrunden den Faden zu verlieren.
  • Es wird gefragt, ob Gemini tatsächlich anders funktioniert oder ob es sich um Marketing-Übertreibung handelt.

• Es gibt nur zwei Audio-Transkriptionsmodelle. Es wird gefragt, ob es keine Open-Source-Transkriptionsmodelle gibt oder ob der Datensatz einfach klein ist.

• Empfohlen wird llmprices.dev. Die Seite wird alle 24 Stunden automatisch mit den neuesten Informationen aktualisiert.

• Während des Builds erzeugte Logs, Testergebnisse und Metriken können Teil des Build-Outputs sein.

  • "Deployment" kann bedeuten, Versionsstrings und Image-Referenzen in einem anderen Repository zu aktualisieren.
  • SSH-Schlüssel sind erforderlich, aber man bevorzugt es, das manuell zu handhaben.

• Es wird großer Beifall dafür ausgesprochen, dass dieses Projekt für einen Hackathon erstellt wurde.