HN-Vorstellung: Open-Source-, selbst hostbare Plattform für synchronisierte Erzählung bei E-Books

 (smoores.gitlab.io)
3 Punkte von GN⁺ 2023-12-25 | 1 Kommentare | Auf WhatsApp teilen

Storyteller: Plattform zur automatischen Synchronisierung von Hörbüchern und E-Books

  • Storyteller ist eine selbst hostbare Plattform zur automatischen Synchronisierung von Hörbüchern und E-Books.
  • Die Plattform erzeugt E-Book-Dateien, die dem EPUB-3-Standard entsprechen, sodass sie mit jedem E-Book-Reader (Software oder Hardware) gelesen werden können, der EPUB Media Overlays unterstützt, oder alternativ mit der dedizierten mobilen Storyteller-App.
  • Storyteller ist vollständig selbst hostbar, und alle Bücher werden auf der Hardware des Nutzers gespeichert und können bei Bedarf frei verschoben, kopiert und gesichert werden.

Meinung von GN⁺

  • Storyteller ist wichtig, weil es eine Plattform bietet, mit der sich Hörbücher und E-Books einfach synchronisieren lassen, um das Leseerlebnis der Nutzer zu verbessern.
  • Die selbst hostbare Funktion, mit der Nutzer ihre Daten vollständig kontrollieren können, entspricht den heutigen Anliegen rund um Datenschutz und Dateneigentum.
  • Die Einhaltung des EPUB-3-Standards trägt zu höherer Kompatibilität und Zugänglichkeit bei, da Nutzer ihre Bücher auf verschiedenen Geräten und in unterschiedlicher Software lesen können.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-12-25
Hacker-News-Kommentare

  • Erstaunlich. Ich habe vor einigen Jahren ein ähnliches Tool zur E-Book-/Hörbuch-Synchronisierung gebaut: https://github.com/r4victor/syncabook
    Damals hielt ich textbasierte Alignment-Verfahren, auch solche mit Machine Learning, für zu rechenintensiv und bei langen Texten für unzureichend, daher habe ich stattdessen zwei Audiosequenzen synchronisiert, nachdem der Text per Sprachsynthese in Audio umgewandelt wurde
    Storyteller scheint Text zu synchronisieren, daher würde mich interessieren, wie lange die Synchronisierung eines ganzen Buchs dauert
    Außerdem unterscheiden sich Audio- und Textversion oft stark. Zum Beispiel enthält das Audio manchmal eine Einleitung, die im Text nicht vorkommt. Mich würde interessieren, wie gut Storyteller mit solchen Fällen umgeht und ob man Audio/Text manuell bearbeiten muss oder ob Unterschiede automatisch behandelt werden

    • syncabook ist großartig, und Storyteller wählt beim forced alignment fast den entgegengesetzten Ansatz
      Ich habe den Synchronisierungsalgorithmus in der Dokumentation ausführlich beschrieben, aber grob läuft es so: Storyteller transkribiert das Audio mit Whisper zu Text, und dieser Schritt ist rechnerisch am teuersten
      Danach wird per Fuzzy Search auf Basis der Levenshtein-Distanz jedes Kapitel im Text gefunden. Dieser Teil soll Unterschiede zwischen Audio- und Textversion berücksichtigen
      Für jedes Kapitel wird dann erneut eine Fuzzy Search über die gesamte Transkription ausgeführt, um Start-/Endzeitstempel pro Satz zu finden
      Insgesamt funktioniert das ziemlich gut, aber weil das E-Book als Referenzdatenbasis dient, werden Einleitungen oder Endabschnitte des Hörbuchs derzeit manchmal verpasst. Unterstützung, um solche Teile explizit auszulösen, steht auf der Roadmap
    • In der Dokumentation steht, dass es je nach Buch und Hardware normalerweise 1–4 Stunden dauert: https://smoores.gitlab.io/storyteller/docs/syncing-books
      Dort wird auch der Algorithmus beschrieben, der Unterschiede zwischen Audio und Text automatisch behandelt

  • Wirklich cool. Daran hatte ich vorher nie gedacht
    Auf dem Arbeitsweg habe ich angefangen, Hörbücher zu hören, und abends lese ich Bücher. Aktuell höre ich E-Books mit audiobookshelf[0], das auch E-Books unterstützt
    Ich habe in der Diskussion einen Kommentar[1] hinterlassen und gefragt, ob audiobookshelf die von Storyteller erzeugten EPUBs lesen kann
    [0]: https://www.audiobookshelf.org/
    [1]: https://github.com/advplyr/audiobookshelf/issues/189#issueco...

    • Dass du auf dem Arbeitsweg Hörbücher hörst und nachts liest, ist fast genau der Grund, warum ich dieses Projekt vor über zwei Jahren begonnen habe
      Ich wollte frei zwischen dem Hörbuch und seiner Textversion wechseln können. Danke, dass du Storyteller in der Diskussion erwähnt hast; ich schaue dort mal rein

  • Gefällt mir wirklich sehr. Meine Frau und meine Kinder lesen allerdings alle auf Kobo-E-Readern EPUBs, daher wäre es toll, wenn sich die zuletzt gelesene Seite von Kobo zu Storyteller synchronisieren ließe, damit man später im Hörbuch weiterhören kann
    Falls es für die Synchronisierung nötig ist, wäre es auch okay, auf allen Kobos KOReader zu installieren. KOReader scheint EPUB3 Media Overlays zwar nicht zu unterstützen, hat aber Synchronisierungsfunktionen

    • Die serverseitige Synchronisierung der Leseposition und die Integration mit KOReader stehen beide tatsächlich auf der Roadmap. Das wurde schon mehrfach nachgefragt
    • Amazon hat jetzt sowohl Textbücher als auch Audible-Hörbücher, und dass es keinerlei Synchronisierungsfunktion gibt, ist absurd
      Damit könnten sie die Leute eher dazu bringen, ein Buch in beiden Formaten zu kaufen. Ich habe wirklich oft den Moment, in dem ich ein E-Book lese und beim Fahren weitermachen möchte, und mir dann eine nahtlose „Handoff“-Übergabe zur Audioversion wünsche

  • Als ich kurz nicht hingeschaut habe, ist die Resonanz ja riesig geworden. Wenn jemand versucht, es einzurichten, wäre es schön, im Gitter-Kanal (https://smoores.gitlab.io/storyteller/docs/say-hi) vorbeizuschauen, Hallo zu sagen, Unterstützung zu erfragen oder Feedback zu hinterlassen

  • Ich hätte gern mehr Informationen. Zum Beispiel einen iOS-App-Link, Screenshots oder welche Funktionen das Projekt bietet
    Ich frage mich, ob es wie audiobookshelf eine E-Book-/Hörbuch-Bibliothek mit Synchronisierung ist oder nur ein Tool zur Synchronisierung: https://www.audiobookshelf.org/

    • Guter Punkt, deshalb werde ich mehr solcher Informationen ergänzen. Ich wollte in der Doku auf die App-Store-Seite verlinken und habe das gerade aktualisiert, damit sie jetzt enthalten ist
      Storyteller ist eine vollständige E-Book-/Hörbuch-Bibliothek mit Synchronisierung. Bisher lag der Fokus allerdings viel stärker auf dem Leseerlebnis als auf der Bibliotheksverwaltung
      An Verbesserungen bei der Bibliotheksverwaltung werde ich bald arbeiten
    • Die App zu finden war nicht ganz einfach. Es wäre gut, sie auf der mobilen App-Seite zu verlinken
      https://apps.apple.com/us/app/storyteller-reader/id647446772...

  • Wirklich ein tolles Projekt
    Wenn ohnehin schon KI zur Transkription verwendet wird, wäre es großartig, wenn man per TTS auch KI-generierte Stimmen erzeugen könnte
    Ich habe Audible ein paar Mal abonniert und dann wieder gekündigt, weil es zu wenige hochwertige Hörbücher gab. Selbst von Autorinnen und Autoren selbst gelesene Bücher sind oft nicht besonders gut, und die meisten sind keine professionellen Sprecher
    Mit guter KI könnte das hervorragend sein, weil sie über Stunden hinweg die gleiche Energie, Intonation und Geschwindigkeit ohne Ermüdung halten kann

  • Ziemlich interessant.
    Ich habe früher einmal etwas Ähnliches gebaut: mit einer E-Book-/Hörbuch-Kombination ein benutzerdefiniertes LJSPEECH-Dataset erstellen, mit coqui-tts und dem VITS-Modell die Stimme eines Lieblingssprechers synthetisieren und so Bücher „veröffentlichen“, die nie als Hörbuch erschienen sind.
    Ich konnte den Buchinhalt mit Zeitstempeln synchronisieren, die Audiospur in einzelne Sätze aufteilen und aus dieser Kombination ein LJSPEECH-Dataset erstellen.
    Ich habe aeneas[1] verwendet, und die Einrichtung war etwas knifflig, aber mit der Zeit konnte es auch bei nicht englischen Sprachen — in meinem Fall Deutsch — mit über 80 % Genauigkeit zuordnen.
    Es funktionierte ziemlich gut, und auch das LJSPEECH-Dataset war brauchbar, aber die damalige TTS-Technik war noch nicht weit genug. Vielleicht ist es an der Zeit, das mit neueren Modellierungsansätzen wie XTTS wiederzubeleben.
    [1]: https://www.readbeyond.it/aeneas/

    • Genau daran habe ich vor ein paar Jahren gedacht, hatte aber nicht die technischen Fähigkeiten, es umzusetzen.
      Wie du sagst, gibt es viele gute Bücher, aber noch gravierender sind großartige Bücher mit mittelmäßiger Erzähl-/Produktionsqualität. Zum Beispiel ist A Song of Ice and Fire bei Audible wirklich schrecklich, während Andy Weirs The Martian großartig ist.
      Könnte man Will Wheaton oder Greg Tremblay auf GOT übertragen? Könnte man verschiedene Figuren von unterschiedlichen Stimmen lesen lassen? Falls ja, würde ich das gern noch einmal ausprobieren.

  • Der Link fehlt: https://smoores.gitlab.io/storyteller/
    Sieht sehr gut aus, und der nächste Schritt ist, ein vollständig synchronisiertes Ökosystem für die Buchverwaltung zu schaffen.

    • Meinst du ein System wie Audiobookshelf[0]? Ich kann es persönlich sehr empfehlen. Es lief stabiler als jeder bezahlte Dienst, den ich bisher verwendet habe.
      [0] https://www.audiobookshelf.org/
    • Genau, das ist das Ziel. Bibliotheksverwaltung und Reader-App gibt es bereits, aber besonders auf der Seite der Bibliotheksverwaltung gibt es noch viel zu tun.

  • Was ich im neuen Zeitalter des Machine Learning wirklich haben möchte, ist selbst hostbares TTS und STT auf menschlichem Niveau.
    Es wäre großartig, Text-E-Books anhören zu können und große Podcasts oder Video-/Audio-Kursreihen in Text umzuwandeln, damit Suche und Zitieren einfacher werden.
    Ich frage mich, ob das so etwas ist. Alles, was ich bisher gefunden habe, war entweder deutlich schlechter als Menschen oder ein teurer Online-Dienst.

  • Großartig. Ich wollte so etwas seit Jahren. Es wäre toll, wenn Libby es integrieren würde, sodass man es auch für ausgeliehene Bücher nutzen könnte.
    Es wäre auch gut, einen App-Link für den App Store hinzuzufügen.