Das Bildgenerierungsmodell FLUX ist schnell und Open Source

 (replicate.com)
3 Punkte von GN⁺ 2024-10-15 | 1 Kommentare | Auf WhatsApp teilen
  • FLUX läuft auf Replicate schneller, und der optimierte Code ist als Open Source veröffentlicht, sodass ihn jeder prüfen und verbessern kann
  • Das Geheimnis hinter der höheren Geschwindigkeit
    • Das FLUX-Modell wird in Zusammenarbeit mit Black Forest Labs betreut, wobei zwei zentrale Optimierungen vorgenommen wurden
      • Modelloptimierung: Verbesserung der Performance mit torch.compile und CuDNN-Attention-Kernels
      • Durch das Hinzufügen einer neuen synchronen HTTP-API wurde die Geschwindigkeit des Bildmodells deutlich verbessert
    • Die Quantisierung von flux-fp8-api verändert die Ausgabe leicht, hat aber keinen großen Einfluss auf die Qualität
    • Die Optimierungsmethoden werden transparent offengelegt, und Nutzer können die Optimierungen deaktivieren
  • Die Geschwindigkeit von Open Source
    • Open-Source-Modelle sind oft von Haus aus langsamer, und Modellanbieter optimieren sie häufig und bieten sie dann als proprietäre API an
    • Alle Verbesserungen an FLUX werden als Open Source veröffentlicht, um gemeinsam mit der Community noch schnellere Modelle zu entwickeln
  • Einsatzmöglichkeiten von FLUX
    • Neben der Ausführung von FLUX auf Replicate gibt es verschiedene weitere Einsatzmöglichkeiten
      • FLUX kann mit eigenen Nutzerdaten feinabgestimmt werden
      • Der Code kann angepasst werden, um eine benutzerdefinierte Version bereitzustellen
      • Im neuen Playground kann das Modell ausprobiert und die Ausgabe verglichen werden

Zusammenfassung von GN⁺

  • FLUX bietet durch die Performance-Verbesserungen auf Replicate und die Open-Source-Veröffentlichung allen die Möglichkeit, ein optimiertes Modell zu nutzen
  • Die Bemühungen, das Geschwindigkeitsproblem von Open Source zu lösen, ermöglichen in Zusammenarbeit mit der Community die Entwicklung noch schnellerer Modelle
  • Die vielfältigen Einsatzmöglichkeiten von FLUX bieten Nutzern die Chance auf maßgeschneiderte Lösungen
  • Andere Projekte mit ähnlichen Funktionen sind TensorFlow und PyTorch

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-10-15
Hacker-News-Kommentare

  • Es gibt die Meinung, dass Text-zu-Bild-Modelle ineffizient seien und es besser wäre, den Prozess in mehrere Schritte aufzuteilen. Jeder Schritt könnte unabhängig trainiert werden, was Modularität ermöglichen und die Bildbearbeitung erleichtern würde.

    • Zum Beispiel würde es dadurch einfacher werden, ein Bild zu erzeugen, in dem „Objekt x neben Objekt y steht und darüber der Text foo zu sehen ist“.
    • Es wird erwähnt, dass ein finales Rendering-Modell getrennt vom Prompt existieren könnte, sodass sich Kunststil oder Grad des Realismus anpassen ließen.

  • Es wird betont, dass nicht-kommerzielle Software nicht Open Source ist, und erklärt, dass andere nicht weitermachen können oder gratis arbeiten müssten, wenn der ursprüngliche Autor die Wartung einstellt.

    • Open Source bietet eine Lizenz, mit der alle die Entwicklung fortsetzen können, wenn der ursprüngliche Autor die Arbeit einstellt.
    • Nur FLUX.1 [schnell] ist Open Source (Apache2), während FLUX.1 [dev] nicht-kommerziell ist.

  • Um FLUX.schnell einfach zu nutzen, wird vorgeschlagen, einen Prompt in die Pollinations-URL einzugeben.

    • Es wird erwähnt, dass die Geschwindigkeit von FLUX erstaunlich sei und mit nur drei L40S-GPUs alle 30 Minuten 8000 Bilder erzeugt würden.

  • Jemand sagt, dass er FLUX gern nutzt, um Bilder mit weißem Hintergrund für Substack zu erzeugen.

    • Es wird erklärt, dass es gut sei, zusammen mit Text auch visuell etwas vermitteln zu können.

  • Es wird erwähnt, dass FLUX unter lokal gehosteten Generierungssystemen beim Prompt-Following führend sei, aber störend sei, dass ständig eine geringe Tiefenschärfe auftauche.

  • Jemand gibt an, das Midjourney-Abo gekündigt zu haben und nun Replicate und Ideogram in Betracht zu ziehen.

  • Es wird nach den Trainingsdaten von FLUX 1.1 gefragt und erklärt, dass die erzeugten Bilder wie persönliche Fotos wirkten.

    • Es wird die Frage aufgeworfen, ob die Trainingsdaten aus öffentlichen Facebook-Posts, Snapchat, Vkontakte und Ähnlichem stammen.

  • Jemand meint, dass das FLUX-1.1-pro-Modell wahrscheinlich keine wesentlich anderen Trainingsdaten verwendet habe als die früheren offenen Modelle.

  • Es wird auf die Vergleichsseite von FLUX verwiesen und erklärt, dass die schnelle Version völlig andere Bilder als das ursprüngliche Modell zeige.

  • Es wird die Open-Source-Kontroverse um Metas Modell erwähnt und erklärt, dass bei FLUX nur FLUX schnell Open Source sei.

    • Es wird erwähnt, dass Metas Llama-Modell eine großzügigere Lizenz habe und sich leichter anpassen lasse als FLUX schnell.

  • Es wird argumentiert, dass die Open-Source-Community Projekte wie OpenFLUX unterstützen sollte.

  • Es wird infrage gestellt, warum das Problem mit weiterhin seltsam aussehenden Händen noch nicht gelöst wurde.