HN-Frage: Arbeitet jemand an spannenden Projekten mit Tiny Language Models?

 (news.ycombinator.com)
6 Punkte von GN⁺ 2025-01-22 | 1 Kommentare | Auf WhatsApp teilen
  • Es geht um eine Diskussion über Modelle im Bereich von 0,5B bis 3B, die in Ollama verwendet werden können
  • Gefragt wird, ob jemand spannende Tools gebaut hat, die solche Modelle als Teil eines Workflows nutzen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-01-22
Hacker-News-Kommentare

  • Mit ollama so eingerichtet, dass es auf SMS-Spamnachrichten antwortet. Jeder Nummer wird eine Persona wie ein Millennial-Fitnessstudio-Kumpel oder ein britischer Gentleman des 19. Jahrhunderts zugewiesen

  • Verwendet ein Llama-Modell, um Cookie-Hinweise auf Websites zu erkennen und Filterregeln zu EasyList Cookie hinzuzufügen. Die meisten Cookie-Hinweise haben ähnliches HTML/CSS, sodass man innerText abrufen und mit einem kleinen LLM Fehlalarme herausfiltern kann. Ein 3B-Modell zeigt mit ausreichend Prompt Engineering ordentliche Leistung, und 7B hat fast keine False Positives ohne zusätzliche Kosten. Code und Prompts sind auf GitHub verfügbar

  • Verwendet einen Mini-PC mit n100-CPU, um Geschichten in verschiedenen Genres und Stilen zu erzeugen. Der CPU-Lüfter überhitzt nicht, und produktiv ist es zwar nicht, aber es macht Spaß

  • Nutzt ein kleines fish-Skript, um auf Basis des aktuellen git diff drei Commit-Messages zu erzeugen. Testet mehrere Modelle, und es ist nützlich, wenn man Ideen braucht. Skript und Beispiele sind auf GitHub verfügbar

  • Besitzt ein kleines Gerät, das versucht, während eines Gesprächs einen „Gewinner“ auszurufen

  • Empfiehlt Jamie Brews Vortrag "Comedy Writing With Small Generative Models". Es lohnt sich zu warten, bis er zur Gitarre greift und spielt

  • Microsoft hat das FLAME-Modell (60M Parameter) angekündigt. Es übertrifft bei der Reparatur/Vervollständigung von Excel-Formeln deutlich größere Modelle (mehr als 100B Parameter)

  • Micro Wake Word ist eine Sammlung von Bibliotheken und Gerätemodellen für sprachaktiviertes Aufwecken auf ESPs. Wurde kürzlich als vollständig lokale Alexa-Alternative für Home Assistants ausgerollt

  • Gemma 2B feinabgestimmt, um dringende Nachrichten neuer Schwangerer in einer staatlich betriebenen Beratungs-Hotline für Müttergesundheit zu erkennen

  • Ein Modell mit etwa 1m Parametern gebaut, das zufällig Magic-the-Gathering-Karten erzeugt. Basiert auf Karpathys nanogpt und fügt einige Features hinzu. Wenn man einen Apple-Silicon-Mac hat, kann man das Modell direkt über GitHub erzeugen