- oTranscribe ist eine kostenlose Web-App, die die Unbequemlichkeit reduziert, beim Transkribieren aufgezeichneter Interviews zwischen Media-Player und Dokumenteneditor hin- und herwechseln zu müssen
- Wiedergabe und Eingabe erfolgen auf einem Bildschirm, und Pause, Zurückspulen und Vorspulen lassen sich allein per Tastatur steuern
- In das Transkript können interaktive Zeitstempel eingefügt werden, um direkt zu einer bestimmten Stelle zu springen, und der Arbeitsstand wird jede Sekunde automatisch im Browser-Speicher gesichert
- Audiodateien und Transkripte verlassen den Computer nicht und werden privat verarbeitet; exportiert werden kann als Markdown, Klartext und Google Docs
- Unterstützt werden mp3/ogg/webm/wav-Audio sowie mp4/ogg/webm-Video, wobei der Nutzungsablauf auf den Einsatz an Desktop-Computern ausgelegt ist
Ein Transkriptions-Workflow auf einem Bildschirm
- oTranscribe ist eine kostenlose Web-App für die Transkription aufgezeichneter Interviews
- Kann nur auf Desktop-Computern verwendet werden
- Damit man nicht zwischen QuickTime und Word wechseln muss, erfolgen Transkriptionseingabe und Medienwiedergabe auf demselben Bildschirm
- Wiedergabe und Formatierung lassen sich per Tastaturkürzel steuern
- ESC für Wiedergabe/Pause
- Per Tastatur Pause, Zurückspulen, Vorspulen und Geschwindigkeitsanpassung
- Ctrl+J fügt den aktuellen Zeitstempel ein
- Ctrl+I für Kursivschrift, Ctrl+B für Fettschrift
- Durch Anklicken interaktiver Zeitstempel im Transkript kann zur entsprechenden Stelle gesprungen werden
Dateiverarbeitung, Speichern und Export
- Audiodateien und Transkripte werden privat verarbeitet und verlassen den Computer nicht
- Der Arbeitsstand wird jede Sekunde automatisch im Browser-Speicher gesichert
- Der Transkriptionsverlauf wird alle 5 Minuten als Kopie gespeichert, bis zu 100 Backups bleiben erhalten
- Mit Ctrl+S kann jederzeit manuell gespeichert werden
-
Unterstützte Formate
- Audio: mp3, ogg, webm, wav
- Video: mp4, ogg, webm
- Videodateien können im integrierten Player abgespielt werden
- Es gibt eine Funktion zum Eingeben von YouTube-Video-URLs
-
Export
- Markdown
.md - Klartext
.txt - oTranscribe-Format
- Google Docs
- oTranscribe ist ein Open-Source-Projekt unter der MIT-Lizenz
- Hilfe gibt es unter Help
- Markdown
3 Kommentare
Hm? Ich habe mich gefragt, wie das im Browser möglich sein soll … aber offenbar ist es einfach nur ein Tool zum Anhören und manuellen Transkribieren, ganz ohne AI.
Heutzutage erkennt sogar Whisper Koreanisch ziemlich gut, daher frage ich mich, warum man so etwas unbedingt nutzen sollte …
Wenn es viele Sprecher gibt, die Aussprache unklar ist oder die Aufnahmequalität schlecht ist, lässt sich KI oft nur schwer nutzen. Und nicht selten braucht man auch eine Qualität, die über bloßes „gut genug“ funktionierend hinausgeht.
Meinungen auf Hacker News
Ich musste diese Woche ein Interview mit mehreren Sprechern per Sprechertrennung transkribieren und habe https://github.com/MahmoudAshraf97/whisper-diarization ausprobiert; es funktioniert sehr gut.
Es erzeugt sowohl eine Datei, in der jeder zusammenhängenden Äußerung eine Sprechernummer zugewiesen ist, als auch eine Datei mit Zeitstempeln, die sich wohl für Untertitel verwenden ließe.
Es war günstiger, viel einfacher und schneller, als whisper-diarization auf einem M1 einzurichten und zu verwenden. Audiogest [2] ist ein Webservice, der auf Spectropic aufsetzt, aber den habe ich noch nicht ausprobiert.
Ich bin nicht beteiligt, nur ein zufriedener Kunde, und hatte nach einem Bugreport einen netten E-Mail-Austausch mit der Person, die diese Tools entwickelt hat und offenbar ein Ein-Personen-Entwickler ist.
[1] https://spectropic.ai/
[2] https://audiogest.app/
Zusammen mit GPT für die Übersetzung funktioniert das ziemlich gut.
Wenn genügend (V)RAM vorhanden ist, geht das auch lokal, aber meist fehlt mir der Spielraum, daher bevorzuge ich die OpenAI API. Mehrere Llama-Varianten reichen nicht an die Qualität von GPT-4 heran.
Wenn man nur Whisper braucht und keine Übersetzung, ist die lokale Ausführung durchaus praktikabel; selbst hochwertiges Whisper passt in 4 GB (V)RAM.
Whisper.CPP ist im Vergleich zu Whisper sehr schnell, daher hoffe ich, dass darauf bessere Funktionen zur Sprechertrennung entstehen.
Dinge wie Transkription, maschinelle Übersetzung, OCR und Bilderkennung gehören dazu.
Es ist vielleicht etwas unklar, aber OTranscribe ist kein automatisches Speech-to-Text-Tool, sondern eine UI, die bei manueller Transkription hilft.
Hier steckt also keine AI drin.
Gibt es eine Open-Source-/Bezahl-App/Shareware/Freeware, die während der Aufnahme wortweise Echtzeit-Transkription bietet, vollständig lokal läuft und ein relativ aktuelles Open-Source-Modell lokal nutzt?
Aktuell nutze ich otter.ai für Echtzeit-Meeting-Transkriptionen. Wenn ich multitaskend unterwegs bin und eine Frage bekomme, kann ich die Transkription der letzten Sekunden überfliegen und sofort wieder aufholen, was gut ist; perfekt ist es aber nicht, manchmal ist die Verzögerung der Echtzeit-Transkription des Dienstes ziemlich groß, und eine Internetverbindung ist ebenfalls nötig.
Dagegen mussten die meisten Whisper-basierten Apps sowie der Demo-Code von whisper.cpp, als ich zuletzt nachgesehen habe, die gesamte Aufnahme auf einmal verarbeiten. Es gibt auch andere Lösungen, die etwa auf Apples Diktier-Frameworks setzen, aber deren aktueller Funktionsumfang wirkt etwas veraltet.
Mich würde interessieren, ob jemand so etwas tatsächlich verwendet.
Ich nutze sie täglich, um Meetings, Interviews usw. zu transkribieren. Da alle Daten auf meiner Maschine bleiben, muss ich mir auch beim Transkribieren von Arbeitsmeetings keine Datenschutzsorgen machen.
Sie ist so schnell wie Otter.ai, aber bei User Experience und Geschwindigkeit gibt es definitiv noch Verbesserungsmöglichkeiten. Sie läuft allerdings nur auf MacBooks mit Apple Silicon.
Bei Interesse können wir per E-Mail sprechen (siehe HN-Profil).
Es ist freie Open-Source-Software und läuft komplett lokal. Es ist zwar keine wortweise Echtzeit-Transkription, aber man muss nicht warten, bis das gesamte Audio hochgeladen ist, um mit der Arbeit zu beginnen. Ich nutze es auf einem Pixel 5a, also keiner besonders starken Hardware.
Es funktioniert gut genug, dass ich es auch verwende, um Nachrichten per Telegram an eine Linux-Maschine zu schicken, wenn ich nicht tippen will. Ein uneleganter Hack, aber er erledigt die Aufgabe.
Ich habe ein paar Stunden damit verbracht, nach einer nativen Linux-Alternative zu suchen oder es unter Waydroid zum Laufen zu bringen, aber nichts gefunden, das so gut funktioniert; also habe ich beschlossen, dass „glatt poliert“ nicht der Feind von „gut genug nutzbar“ sein soll.
[0] https://github.com/soupslurpr/Transcribro
Es ist eine Desktop-App mit ElectronJS und der damaligen Version von oTranscribe; außerdem gibt es eine Webversion und eine PWA [1].
Das Sprachmodell war damals ein Modell des BSC (Barcelona Supercomputing Center), und die Transkription basiert auf Vosk [2] und läuft in WASM.
[0] https://github.com/projecte-aina/oTranscribe-plus
[1] https://otranscribe.bsc.es/
[2] https://github.com/alphacep/vosk-api
Sprechertrennung wäre auch schön, aber wir warten darauf, dass sie in upstream Whisper hinzugefügt wird: https://github.com/argmaxinc/WhisperKit/issues/31
Dass es keine AI-Integration gibt, ist etwas überraschend
Wenn man Ergebnisse in Veröffentlichungsqualität will, müssen auch AI-Ergebnisse weiterhin gegengelesen und qualitätsgeprüft werden. Man muss kennzeichnen, wer wann gesprochen hat, oder zumindest Sprechererkennung leisten, die Whisper nicht kann, und ungewöhnliche Nachnamen usw. korrigieren
Daher brauchen auch Leute, die AI nutzen, ein gutes Tool für Nachbearbeitung/Finalisierung/Korrektur, und das dürfte einem nicht unterstützten Transkriptionstool ähneln
Inzwischen wird es von Muckrock betrieben, und eine Zeit lang gab es keine Änderungen
Deshalb gibt es solche Integrationen nicht. Damals gab es die Technik selbst noch nicht
Laut FAQ lautet die Antwort auf „Konvertiert oTranscribe Audio automatisch in Text?“: „Nein“
oTranscribe macht die manuelle Arbeit der Audiotranskription deutlich weniger schmerzhaft, aber die Transkription selbst muss man selbst erledigen
Ich nutze derzeit die kostenlose iOS-App Aiko, die mit OpenAIs Whisper-Modell offline transkribiert
Bisher hat das ziemlich gut funktioniert, und man kann in Formaten wie SRT, TXT, CSV, JSON oder Text mit Zeitstempeln exportieren
https://sindresorhus.com/aiko
Wenn ihr Transkripte von Audio-/Videodateien braucht, könnt ihr auch jederzeit meinen Dienst TurboScribe https://turboscribe.ai/ ausprobieren
Bis zu 3 Dateien pro Tag, mit einem Limit von 30 Minuten pro Datei, sind 100 % kostenlos; der kostenpflichtige Plan ist unbegrenzt und transkribiert bis zu 10 Stunden pro Datei
Unterstützt werden Sprechererkennung, gängige Exportformate (TXT, DOCX, PDF, SRT, CSV) sowie AI-Tools für die Arbeit mit Transkripten
Ich nutze es meist für 2- bis 3-stündige Videoaufzeichnungen mit mehreren Sprechern, und die Bearbeitungstools, mit denen man vor dem Export aufräumen kann, sind hilfreich
Ich war neugierig, wie gut Gemini-1.5-Pro-Experiment-0801, derzeit vielleicht das beste multimodale LLM, transkribieren kann, und habe es 5 Minuten des heute erschienenen Interviews von Ezra Klein mit Nancy Pelosi transkribieren lassen
Das Ergebnis ist hier: https://www.gally.net/temp/20240809geminitranscription/index...
Abgesehen von kleineren Problemen bei Zeichensetzung und Groß-/Kleinschreibung wirkte Geminis Transkription nahezu perfekt. Es gab nur ein oder zwei Wörter, die es offenbar falsch verstanden hatte, und ich glaube, ich hätte bei einer manuellen Transkription mehr Fehler gemacht
Besonders auffällig war die Stelle „And then he comes up with "weird," which becomes viral and the rest, and here he is.“
Wie hat Gemini „weird“ in Anführungszeichen gesetzt und damit korrekt markiert, dass die Sprecherin sich auf das Wort selbst bezieht, das Walz verwendet hat? Laut Politico verwendete Walz dieses Wort in diesem Kontext erstmals am 23. Juli in den Medien
https://www.politico.com/news/2024/07/26/trump-vance-weird-0...
Nur eine Vermutung, aber LLMs oder andere Spracherkennungssysteme müssen wahrscheinlich den Satzkontext nutzen, um einzelne Wörter und Satzzeichen zu erkennen, und das scheint ein Beispiel zu sein, bei dem das gut zusammengepasst hat
Beim menschlichen Hören ist es ähnlich. Mit Kontext kann man Wörter auch dann verstehen, wenn jemand stark nuschelt oder sehr schnell spricht
Letztlich hören wir also nicht Wörter, sondern Phrasen
Wenn es eine Audio- oder Videodatei gibt, würde ich sie gern in unseren AI-Videoeditor laden und sehen, wie er im Transkript die Satzzeichen setzt
Es gibt auch ein Transkriptionstool, mit dem man Video-/Audiodateien im Browser mit Whisper und WASM transkribieren und .txt-, .srt- und .vtt-Dateien erhalten kann
Vielleicht kommt später auch Unterstützung für Whisper Turbo dazu
https://video2srt.ccextractor.org/
Zur Info: Ich arbeite an diesem Projekt
Ich nutze das oft. Es ist gut, schlicht und hat genau die nötigen Werkzeuge, nämlich Steuerung der Wiedergabegeschwindigkeit sowie einfaches Pausieren/Abspielen, und nicht mehr
Ich ziehe es automatischen Transkriptionstools deutlich vor, die aus „ähm“ und „äh“ 40 Seiten erzeugen, die man anschließend wieder filtern und bearbeiten muss