4 Punkte von GN⁺ 2024-12-08 | 1 Kommentare | Auf WhatsApp teilen
  • Countless.dev ist eine Website, die Preise und Funktionen von KI-Modellen verschiedener Anbieter in einer Tabelle vergleichen will; Token-Limits und Stückpreise für die Modellauswahl lassen sich schnell überblicken
  • Die Liste führt Modelle nach Anbietern wie OpenAI, Anthropic, Google, Qwen, DeepSeek und Mistral auf und zeigt dazu Zahlen, die wie Kontextlänge und Ausgabelimit wirken
  • Modellfamilien aus kommerziellen und offenen Modellen wie GPT-5.x, Claude Opus/Sonnet/Haiku, Gemini 2.5/3.x, Qwen3.x, DeepSeek V3/R1, Mistral, Llama und Nemotron sind auf einem Bildschirm gemischt
  • Einige Einträge sind mit (free) gekennzeichnet und haben leere Preisfelder; auch Router wie Auto Router, Free Models Router, Pareto Code Router und Switchpoint Router werden als eigene Einträge behandelt
  • Neuere, ältere, Preview-, Bild-, Audio-, Coding- und Research-Modelle lassen sich nach Anbieter vergleichen; aus dem bereitgestellten Text allein sind jedoch weder die Spaltendefinitionen der Tabelle noch die Preisberechnung ersichtlich

Vergleichstabelle für Preise und Funktionen von KI-Modellen

  • Countless.dev positioniert sich im Titel als Vergleich von LLM-Preisen und -Funktionen
  • Im Hacker-News-Titel wird die Website nicht nur für LLMs, sondern auch für den Vergleich von TTS und STT vorgestellt
  • Der bereitgestellte Text hat die Form einer langen Modellliste; jede Zeile enthält im Großen und Ganzen die folgenden Informationen
    • Anbieter- oder Router-Name
    • Modellname
    • Token-Zahl mit der Kennzeichnung T
    • Zwei Dollar-Preiswerte oder leere Preisfelder
    • Angabe, ob es sich um ein kostenloses Modell mit der Kennzeichnung (free) handelt

Nach Anbietern gemischte Modellgruppen

  • Die OpenAI-Einträge umfassen GPT-5.5, GPT-5.4, GPT-5.3, GPT-5.2, GPT-5.1, GPT-5, GPT-4.1, GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo und weitere
    • Auch hochpreisige Pro-Modelle wie GPT-5 Pro, GPT-5.4 Pro und GPT-5.5 Pro werden als eigene Einträge aufgeführt
    • Audio- und Bildmodelle wie GPT Audio, GPT Audio Mini, GPT-5 Image und GPT-5 Image Mini sind ebenfalls zu sehen
    • Die Reihen o1, o3, o4 Mini und Deep Research sind ebenfalls enthalten
  • Die Anthropic-Einträge bestehen aus den Reihen Claude Opus, Sonnet, Haiku und Fable
    • Aufgeführt werden Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Opus 4.5, Claude Opus 4.1 und Claude Opus 4
    • Ebenfalls enthalten sind Claude Sonnet 5, Sonnet 4.6, Sonnet 4.5, Sonnet 4, Claude Haiku Latest und Claude Haiku 4.5
  • Die Google-Einträge enthalten die Reihen Gemini, Gemma, Nano Banana und Lyria
    • Aufgeführt werden Gemini 3 Flash Preview, Gemini 3.5 Flash, Gemini 3.1 Pro Preview, Gemini 2.5 Pro und Gemini 2.5 Flash
    • Auch Einträge für Bildmodelle wie Nano Banana Pro, Nano Banana 2 und Nano Banana Lite sind enthalten
  • Modelle anderer Anbieter wie Qwen, DeepSeek, Mistral, Meta, NVIDIA, MoonshotAI, MiniMax und Z.ai lassen sich in derselben Liste vergleichen

Preisangaben und kostenlose Modelle

  • Einträge mit Preisen zeigen jeweils zwei Dollar-Stückpreise an
    • Anthropic Claude Opus 4.8: $5, $25
    • OpenAI GPT-5.5: $5, $30
    • Google Gemini 2.5 Pro: $1.25, $10
    • OpenAI o1-pro: $150, $600
  • Einträge mit (free) haben Preisfelder, die mit leer gelassen sind
    • NVIDIA Nemotron 3 Ultra (free)
    • Poolside Laguna M.1 (free)
    • Cohere North Mini Code (free)
    • Google Gemma 4 26B A4B (free)
    • OpenAI gpt-oss-120b (free)
    • Meta Llama 3.3 70B Instruct (free)
  • Bei einigen Modellen existieren kostenlose und kostenpflichtige Versionen als getrennte Zeilen
    • Poolside Laguna XS.2
    • Poolside Laguna M.1
    • NVIDIA Nemotron 3 Super
    • Google Gemma 4 26B A4B
    • OpenAI gpt-oss-120b
    • OpenAI gpt-oss-20b

Modelllimits anhand von Token-Zahlen

  • Viele Modelle zeigen große Werte von rund 1 Million Token an
    • OpenAI GPT-5.5, GPT-5.4, GPT Latest: 1,050,000
    • Anthropic Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5: 1,000,000
    • Google Gemini 3 Flash Preview, Gemini 3.1 Flash Lite, Gemini 2.5 Pro: 1,048,576
    • DeepSeek V4 Pro, DeepSeek V4 Flash: 1,048,576 oder 1,048,575
  • Auch ein zweiter Token-Wert, der wie ein Ausgabelimit wirkt, unterscheidet sich je nach Modell
    • OpenAI GPT-5.5: 128,000
    • Anthropic Claude Opus 4.8: 128,000
    • MoonshotAI Kimi K2.6: 262,144
    • MiniMax MiniMax-01: 1,000,192
  • In einigen Zeilen sind der zweite Wert oder der Preis mit leer gelassen, sodass nicht alle Modelle denselben Informationsumfang bieten

Router und Modelle für spezielle Zwecke

  • Neben allgemeinen Modellen sind auch Router wie eigene Modelle enthalten
    • OpenRouter Fusion
    • Pareto Code Router
    • Free Models Router
    • Switchpoint Router
    • Auto Router
  • Auch Modelle für bestimmte Zwecke wie Sicherheit, Research, Suche und Code-Anwendung sind in der Liste enthalten
    • NVIDIA Nemotron 3.5 Content Safety
    • Meta Llama Guard 4 12B
    • OpenAI o3 Deep Research
    • Perplexity Sonar Deep Research
    • Relace Search
    • Relace Apply 3
  • Aus dem bereitgestellten Text allein lassen sich Details wie Auswahlverfahren, Benchmarks, unterstützte APIs oder Aktualisierungsrhythmus der einzelnen Router oder Spezialmodelle nur schwer nachvollziehen

1 Kommentare

 
GN⁺ 2024-12-08
Meinungen auf Hacker News
  • OP, habt ihr euch vielleicht von diesem LLM-Vergleichstool inspirieren lassen?
    https://whatllm.vercel.app
    Die Tabelle ist ziemlich ähnlich, aber dass ihr hier direkt einen Rechner ergänzt habt, ist ein guter Punkt.
    Für den Versus Comparison wäre es schön, wenn beim Anklicken einer Checkbox die Bestwerte der einzelnen LLMs auf einen Blick hervorgehoben würden.

    • Die Daten dieses Tools stammen von https://artificialanalysis.ai/ mit Stand vom 13. Oktober 2024 und sind daher etwas veraltet.
      Die aktuellen Informationen zu allen Modellen und Anbietern findet ihr auf dieser Seite: https://artificialanalysis.ai/leaderboards/providers
      Andere Seiten behandeln außerdem Spracherkennung, Sprachsynthese, Bilderzeugung und Videoerzeugung.
      Zur Einordnung: Ich bin einer der Macher von Artificial Analysis.
  • Es ist gut, dass es mehr Modellvergleiche gibt. Ich frage mich, ob ihr auch unabhängige Analysen zu diesen Modellen hinzufügen wollt oder ob ihr nur Informationen wie Eingabelimits aggregiert.
    Worin seht ihr im Vergleich zu anderen Analysen wie den folgenden eure Differenzierung oder euren zusätzlichen Nutzen?
    https://artificialanalysis.ai
    https://huggingface.co/spaces/TTS-AGI/TTS-Arena
    https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
    https://huggingface.co/spaces/TIGER-Lab/GenAI-Arena
    Die Aggregationsarbeit ist großartig, und die Website lässt sich gut durchstöbern.

    • Ich habe https://aimodelreview.com/ gebaut, um LLM-Ausgaben über mehrere Prompts und Kategorien hinweg zu vergleichen und nebeneinander ansehen zu können.
      Jeden Prompt habe ich jeweils viermal mit unterschiedlichen Temperature-Werten ausgeführt, und man kann per Toggle zwischen ihnen wechseln.
      Ich wollte auch Reviews zu jedem Modell hinzufügen, aber mir ist die Energie ausgegangen. Trotzdem habe ich Rückmeldungen bekommen, dass der Vergleich weiterhin hilfreich ist, um ein Gefühl dafür zu bekommen, wie unterschiedlich Modelle auf denselben Prompt antworten und welchen Einfluss die Temperature auf die Ausgabe desselben Modells hat.
    • Die Gradio-UI finde ich persönlich hässlich, deshalb habe ich shadcn und Next.js verwendet, damit die Website ansprechend aussieht.
      Ich versuche, sie so nutzerfreundlich wie möglich zu machen. Die meisten Websites sind hässlich oder zu technisch.
    • Stellen Sie sich vor, man ginge noch einen Schritt weiter und würde denselben Prompt tatsächlich auf allen AI-Modellen ausführen und dann die beste Antwort sowie das Modell anzeigen, das sie erzeugt hat.
  • Schön! Es wäre gut, wenn man Werte für Preis-Leistung sehen könnte.
    Ich brauche eine Möglichkeit, das günstigste Modell zu finden, mit dem sich aus unstrukturiertem Text zuverlässig strukturierte Daten erzeugen lassen.
    Im Moment nutze ich das günstige gpt4o-mini, weiß aber nicht, ob noch günstigere Modelle dieselbe Aufgabe erledigen können.

    • Schauen Sie sich einmal Gemini Flash 1.5 an. Ich musste Videos in strukturierte Notizen umwandeln, und die Ergebnisse waren zufriedenstellend; merkwürdigerweise sogar besser als bei Gemini 1.5 Pro.
      https://jampauchoa.substack.com/i/151329856/ai-studio
      Nach dieser Website kostet es halb so viel wie gpt4-o mini: 0,15 gegenüber 0,07 pro 1 Million Tokens.
    • Im Preisbereich von GPT-4o mini habe ich noch kein ähnlich leistungsfähiges Modell gefunden. Den Erwartungen an Llama 3.3 70B nach könnte es dieses Modell sein.
      Bei Deepinfra sind Eingabe-Tokens teurer, Ausgabe-Tokens aber günstiger, daher würde ich den Preis als fast gleich ansehen.
      Allerdings ist die beste Preis-Leistung ziemlich subjektiv. Manche brauchen nur, dass ein einzelner Use Case gut funktioniert, andere wollen, dass es in einem größeren Spektrum gut funktioniert.
    • Wenn es um den Vergleich mehrerer Modelle geht, empfehle ich immer openrouter.ai. Das nutze ich allgemein für diverse Aufgaben.
      Ich bin nicht beteiligt, nur Nutzer.
  • Ich möchte meine persönliche Sicht auf AI und ein wenig Frust teilen. Wie viele andere bin auch ich enorm begeistert vom aktuellen AI-Trend.
    Wir stehen gerade an der Innovationsfront, daher ist der Drang, in dieses Feld einzusteigen und etwas beizutragen, ganz natürlich.
    Aber ich finde, dieser Moment ähnelt einem überhitzten Finanzmarkt. Einer der Ratschläge, die man in volatilen Marktphasen oft hört, lautet: abwarten und beobachten.
    Auch im AI-Bereich rennen herausragende Talente und Organisationen los, um bahnbrechende Innovationen zu schaffen. Was ich mir als nächstes großes Projekt vorstelle, läuft mit hoher Wahrscheinlichkeit schon irgendwo oder kommt bald heraus.
    Deshalb kann eine Strategie des Abwartens und Beobachtens überraschend effektiv sein. Statt sich zu beeilen, wartet man, bis sich der Staub legt, beobachtet die Entwicklung und nutzt dann, was neu entsteht.
    In gewisser Weise schafft das gesamte AI-Ökosystem die Grundlage für meine nächste große Idee.
    Das heißt nicht, dass man die neuesten Technologien nicht in bereits funktionierende Produkte und Dienste integrieren sollte.

    • Der Vorschlag ist ziemlich plausibel. Viele Unternehmen integrieren vermutlich bereits State-of-the-Art-Modelle in ihre Produkte.
      Allerdings gibt es kein kostenloses Mittagessen. So bewegt man sich eher reaktiv als proaktiv.
      Man reduziert zwar das Risiko, verliert aber auch die Chance, Anteile an den wenigen Stellen zu haben, die überleben und sehr wertvoll werden.
      Wenn man so lange weitermacht, versteht man am Ende nicht mehr, worüber die Leute in dem Bereich sprechen. Wenn Sie ein Gefühl dafür bekommen wollen, was ich meine, schauen Sie sich die neueste Folge von Dwarkesh Patel an.
      Mit Anteilen meine ich hier weit gefasst Dinge wie Unternehmensanteile oder Wissen als AI-Forscher.
  • Eine etwas abweichende Frage: Gibt es auf dem Desktop etwas Besseres als den Standard-Client von ChatGPT?
    Die Funktionen zum Organisieren von Chats wirken auf mich zu simpel, aber es gibt ungefähr ein Dutzend Apps, sodass sie schwer zu bewerten sind. Die meisten sehen eher wie eine Verpackung aus, die einen zum API-Service irgendeiner Firma lotsen soll
    Gibt es etwas Empfehlenswertes? macOS/Linux-kompatibel wäre gut

    • Es gibt Telosnex. Läuft nativ auf allen Plattformen, und es gibt auch eine Webversion
      Unterstützt Anthropic, OpenAI, Mistral, Groq, Gemini und lokale LLMs praktisch jeder Plattform
      Man kann seinen eigenen API-Key mitbringen, und die Suche ist ebenfalls die beste. Abgerechnet wird nach Verbrauch; für 10 Dollar im Monat bekommt man alles zum Selbstkostenpreis. Oder es ist kostenlos
      Alle Daten werden als einfaches JSON gespeichert
    • Es gibt https://www.typingmind.com/. Nur lokal, ohne Server, und von einem Indie-Entwickler gebaut
    • Machato habe ich recht gern genutzt: https://untimelyunicorn.gumroad.com/l/machato
  • Es gibt nur zwei Speech-Transcription-Modelle. Ist das normalerweise wirklich so?
    Ich frage mich, ob es keine Open-Source-Modelle wie Llama für Transkription gibt oder ob der Datensatz dieser Seite einfach klein ist

    • Die Seite scheint nicht alle Modelle von Hugging Face, civit.ai usw. aufzulisten, sondern nur die gehosteten Modelle der großen Anbieter
      Auch bei den Listen für Bildgenerierung und Chat gibt es auf Hugging Face deutlich mehr Modelle, die hier fehlen
      Siehe https://huggingface.co/models?pipeline_tag=automatic-speech-...
      Nebenbei: Sprachsynthese und Speech-Transcription-/Automatic-Speech-Recognition-Modelle können mit denselben Daten trainiert werden. Allerdings unterscheiden sich die Modellarchitekturen derzeit, daher müssen sie separat trainiert werden
      Eine der Schwierigkeiten ist die Trainingszeit. Die Daten können auf Hunderte Stunden Audio anwachsen
    • Es gibt wirklich viele Modelle, die verschiedene Anwendungsfälle abdecken. Zum Beispiel On-Device, Streaming/niedrige Latenz, Modelle für bestimmte Sprachen usw.
      Viele tun so, als hätte OpenAI 2022 mit Whisper die Speech Transcription erfunden, aber andere Modelle existieren seit Jahrzehnten und wurden in realen Produktionsumgebungen eingesetzt
      Auf dieser Website ist nur Whisper aufgeführt
  • UI und Tabellenlayout sind gut. Habt ihr auch darüber nachgedacht, die VRAM-Anforderungen je Modell anzuzeigen?

  • Es wäre schön, wenn zusätzlich lmarena-Ranking-Informationen angezeigt würden, damit man Leistung und Kosten vergleichen kann

  • Gute Ressource. Für jemanden, der nicht alle Namen der Unterversionen kennt, ist sie fast schon übermäßig umfassend
    Eine Spalte mit lmarena-Leaderboard-Scores wäre gut. Einige Preise werden als 0.00 angezeigt – gibt es dafür einen Grund?
    Es wäre auch schön, wenn jede Zeile auf eine detailliertere Seite verlinken würde

    • Danke! Einige Modelle erscheinen als N/A oder 0.00; das scheint bei kostenlosen oder nicht verfügbaren Modellen der Fall zu sein
      llmarena werde ich auf jeden Fall hinzufügen. Viele andere haben das ebenfalls empfohlen
      Mit der Zeit werde ich die Website erklärender und detaillierter machen
    • Links zu den Unternehmensseiten, auf denen man das Modell nutzen oder abonnieren kann, wären ebenfalls gut