- Tibetische Texte passen wegen ihrer Struktur mit sehr langen Fließtexten nicht zu der Annahme kurzer Absätze in gewöhnlichen Textverarbeitungen und waren daher in digitalen Bearbeitungs- und Publishing-Tools lange praktisch eingeschränkt
- BDRC treibt technische Verbesserungen voran, damit Tibetisch in digitalen Umgebungen angemessen behandelt wird; diesmal ist die Unterstützung für sehr lange Absätze in LibreOffice ein zentraler Fortschritt
- Lange Textflüsse ohne erzwungene Zeilenumbrüche und mit wenigen Leerzeichen unterscheiden sich von der englischsprachigen Dokumentverarbeitung, wodurch beim Öffnen oder Konvertieren langer tibetischer Texte leicht Leistungsprobleme entstanden
- Durch die Änderung von Jonathan Clark lässt sich nun selbst ein 153-seitiger Text, der aus einem einzigen „Absatz“ besteht, wie Longchenpas Yishindzö schnell öffnen und bearbeiten; die Umwandlung von RDF in PDF, die zuvor über 45 Minuten hängen blieb, ist nun in 13 Sekunden abgeschlossen
- Die Unterstützung für sehr lange Absätze wurde in LibreOffice 24.8.2, veröffentlicht am 27. September 2024, integriert, sodass tibetische Nutzer kostenlose Open-Source-Publishing-Tools deutlich realistischer einsetzen können
Warum digitale Unterstützung für Tibetisch wichtig ist
- Eine der wichtigen Aufgaben von BDRC ist technologische Innovation, um Tibetisch in der digitalen Welt zu einem Bürger erster Klasse zu machen
- Seit der Einführung des Buddhismus im 8. Jahrhundert haben Tibeter große Energie und Ressourcen in Schreiben, Innovation und Technologie investiert
- Die tibetische Schrift und die klassische Sprache wurden geschaffen, um buddhistische Texte aus dem Sanskrit und Chinesischen in eine Sprache zu übersetzen, die Tibeter verstehen konnten
- Im 14. Jahrhundert wurde der Holzblockdruck breit übernommen, um Übersetzungen von Schriften und Tausende Bände tibetischsprachiger buddhistischer Literatur von Autoren aus dem Himalaya in großer Zahl zu produzieren
- Das Aufkommen tibetischer Computer-Schriftarten und die Aufnahme in den Unicode Standard waren ein großer Sprung bei der Integration des Tibetischen in die digitale Welt
Eine Textstruktur, die nicht zu gewöhnlichen Textverarbeitungen passt
- Tibetische Literatur hat weiterhin Eigenschaften, die noch nicht von allen Tools und Anwendungen ausreichend unterstützt werden
- Insbesondere lässt sich das europäische Konzept des Absatzes nicht auf dieselbe Weise anwenden
- Tibetische Texte müssen oft als lange zusammenhängende Flüsse ohne erzwungene Zeilenumbrüche verarbeitet werden
- Dieser Fluss kann sich manchmal über Hunderte oder Tausende Seiten erstrecken
- Gewöhnliche Textverarbeitungen wurden ursprünglich mit Blick auf englische Texte entworfen
- Sie setzen relativ kurze Absätze voraus
- Sie gehen davon aus, dass es Leerzeichen zwischen Wörtern gibt und deren Breite flexibel angepasst werden kann
- Tibetische Texte kollidieren mit diesen Annahmen, weil ihre Absatzlänge praktisch unbegrenzt ist und sie sehr wenige Leerzeichen enthalten
- Dadurch konnten Textverarbeitungen beim Öffnen langer tibetischer Texte extrem langsam werden oder überhaupt nicht funktionieren, was sie für ernsthafte Publishing-Projekte schwer nutzbar machte
LibreOffice-Änderung und reale Leistungsverbesserung
- LibreOffice ist eine der ausgereiften und stabilen Open-Source-Textverarbeitungen, inspiriert von MS Word, und kann auf verschiedenen Plattformen einschließlich Linux kostenlos genutzt werden
- Kommerzielle Software wie Word oder InDesign kann lange tibetische Texte verarbeiten, ist aber teuer und wird in vielen Teilen Asiens häufig in raubkopierter Form genutzt
- Solange LibreOffice keine langen Absätze verarbeiten konnte, gab es praktisch kein kostenloses Werkzeug für tibetisches Publishing
- Elie Roux, CTO von BDRC, meldete dieses Problem 2015 bei LibreOffice
- Eingriffe in den LibreOffice-Code waren ein großes Projekt, das mehrere Wochen Forschung und Entwicklung erforderte, und lange Zeit gab es keine Fortschritte
- Vor einigen Wochen nahm sich Jonathan Clark des Problems an und behob es
- Longchenpas Yishindzö ist ein langer Text, der aus einem einzigen 153-seitigen „Absatz“ besteht
- Er lässt sich jetzt in LibreOffice schnell öffnen und bearbeiten
- Der betreffende Text ist im BDRC-Archiv unter yid bzhin mdzod zu sehen
- Die Umwandlung der RDF-Datei dieses konkreten Textes in PDF blieb früher selbst nach 45 Minuten noch stehen, ist jetzt aber in 13 Sekunden abgeschlossen
- Die Unterstützung für sehr lange Absätze wurde in LibreOffice 24.8.2, veröffentlicht am 27. September 2024, integriert
- BDRC bittet um Feedback zu Defiziten und Nutzungserfahrungen mit tibetischer Bearbeitungssoftware und möchte die digitalen Werkzeuge für Tibetisch durch Zusammenarbeit mit der Community weiter verbessern
2 Kommentare
Meinungen auf Hacker News
Jim Woolsey, ein Hippie aus New Hope, Pennsylvania, und früher Computer-Hacker, war eine der wichtigen frühen Figuren bei der Digitalisierung des Tibetischen.
Das Interview von 1993 https://www.mcall.com/1993/10/08/new-hope-man-computer-guru-... ist eine interessante Zeitkapsel und schon für sich lesenswert.
Er war ein Bekannter der Familie, und ich habe seine einzigartige Hingabe an diese wichtige, aber unterschätzte Arbeit immer bewundert.
„Dokumente haben einigermaßen kurze Absätze“ sollte wohl auch auf die Liste der falschen Annahmen, die Programmierer über Text glauben.
OpenOffice hatte ein hartes Limit von 65534 Zeichen pro Absatz, und es war ziemlich viel Arbeit nötig, damit LibreOffice dieses Limit beseitigt: https://bugs.documentfoundation.org/show_bug.cgi?id=30668
Textrichtung, diakritische Zeichen und Zeichensetzung kamen mir natürlich in den Sinn, aber Chunking hielt ich für universell.
War es aber nicht: „Das typografische Konzept des Absatzes in europäischen Sprachen existiert in tibetischen Texten tatsächlich nicht in derselben Weise. Daher müssen tibetische Texte oft als lange, ununterbrochene Textflüsse ohne erzwungene Zeilenumbrüche behandelt werden, manchmal über Hunderte oder Tausende von Seiten hinweg.“
'\n'gesucht – und gegen Tibetisch verloren.Mit allem Respekt: Der Innovationsgeist der Tibeter wird auch in The Nine Billion Names of God anerkannt: https://en.wikipedia.org/wiki/The_Nine_Billion_Names_of_God
Und ihre Innovationen gehen weit über dieses Buch hinaus, zumindest über die Zusammenfassung der Handlung bei Wikipedia.
Formulierungen wie „relativ kurze Absätze, vielleicht bis zu ein paar Seiten“ gefallen mir, weil sie zeigen, wie sehr ich die Welt aus einer bestimmten Perspektive sehe.
Ich glaube, ich habe noch nie einen Absatz geschrieben, der eine ganze Seite lang war.
Der nächstliegende Fall, der mir einfällt, war ein Autor, dessen Namen ich vergessen habe, der mehrere Seiten Bewusstseinsstrom ohne Absätze und Satzzeichen schrieb.
Beispiele sind James Joyce und David Foster Wallace.
An dieser Arbeit wird schon seit ziemlich langer Zeit gearbeitet.
Es gibt auch einen alten HyperCard-Stack zum Erlernen der tibetischen Aussprache, sogar mit 16-Bit-Sound: https://hcsimulator.com/Learn-Tibetan
Viele Bewusstseinsstrom-Texte und verwandte Stile vermeiden ebenfalls Absätze, manchmal sogar andere traditionelle Strukturen; daher überrascht es mich etwas, dass Textverarbeitungen mit langen Absätzen Probleme haben.
Selbst wenn es nicht sehr häufig ist, kommt es doch vor, und ich hätte gedacht, dass Autoren und Verlage irgendwie damit umgehen.
Ein aktuelles Zufallsbeispiel: https://en.wikipedia.org/wiki/Ducks,_Newburyport
Ich bin neugierig auf die Details, wie die Unterstützung für extrem lange Absätze umgesetzt wurde – oder wie das Fehlen davon gelöst wurde.
Weiß jemand etwas dazu?
Eine ziemlich kurze Änderung, die die O(n^2)-Auswirkungen per Cache reduziert.
Diese Änderung enthält Skalierbarkeitsverbesserungen für Dokumente mit extrem großen Absätzen.
Sie reduziert die Größe des Layout-Kontexts, um LF-Steuerzeichen zu berücksichtigen, und stellt um auf die Nutzung des bestehenden globalen LRU-Caches, wodurch ein erheblicher Overhead vermieden wird, der dadurch entstand, dass VCL wegen des typischen Zugriffsmusters während des Absatzlayouts
vcl::ScriptRun::next()in O(n^2) aufrief.Ich habe gehört, dass Bengali und Assamese die tibetische Schrift verwenden; weiß jemand, wie ähnlich sie der Schrift ist, die Tibeter für ihre eigene Sprache verwenden?
Bengali und Assamese gehören zum indoarischen Zweig, während Tibetisch zu einer völlig anderen Sprachfamilie gehört, der sinotibetischen.
Als Bengali-Sprecher war ich in Bhutan, wo eine Sprache gesprochen wird, die zu 50 % gegenseitig mit Tibetisch verständlich sein soll, und ich habe nichts verstanden.
Ich hatte mit einigen buddhistischen Lehnwörtern gerechnet, war aber überrascht, dass selbst Wörter wie dharma und karma im Tibetischen völlig anders klingen.
https://en.wikipedia.org/wiki/Tibetan_script
Sprachen sind wirklich faszinierende Gebilde.
Manche sind leicht zu lernen und dienen über große Regionen hinweg als Medium der Verständigung; andere sind schwer zu erlernen, ermöglichen aber sehr komplexe Strukturen und Gedanken und vermitteln diese zwischen ihren Sprechern.
Wo auf diesem Spektrum liegt wohl Tibetisch?
Hochgradig technische Themen haben naturgemäß hochgradig technische Fachbegriffe.
Aber ich bin nicht überzeugt, dass die Menge an feinen Nuancen, die eine Sprache besitzt, mit der Komplexität der Gedanken zusammenhängt, die sich in dieser Sprache ausdrücken lassen.
Ich bin Eyal, Freiwilliger im LibreOffice-Projekt, und ich mache viel Qualitätssicherung im Zusammenhang mit von rechts nach links geschriebenen Schriften und Complex Text Layout-Scripts.
Danke an thunderbong3 für den Link zu dem Artikel, und ein herzliches Dankeschön an Jonathan Clark, den neuen RTL-CTL-CJK-Entwickler der The Document Foundation, der die Performance-Verbesserungen für Tibetisch umgesetzt hat.
Die meisten Bugs, auf die ich in LibreOffice stoße und die ich melde, sind allgemeine Probleme, die nicht auf ein bestimmtes Schriftsystem beschränkt sind.
Zum Beispiel verhält sich Code falsch, wenn er vergisst, dass Inhalte von rechts nach links laufen können.
Viele der schriftsystemspezifischen Bugs betreffen die am häufigsten verwendete arabische Schrift, die auch für Farsi, Urdu, Javanisch und andere Sprachen genutzt wird.
Dennoch gibt es auch Issues zu weniger weit verbreiteten Schriftsystemen wie Tibetisch oder Mongolisch: https://bugs.documentfoundation.org/show_bug.cgi?id=115607
Dieser Meta-Bug verfolgt Issues zu Mongolisch, Tibetisch, Uigurisch, Zhuang, Kasachisch, Xibo, Dai, Yi, Miao, Jingpo, Lisu, Lahu, Wa und anderen.
Ob es wirklich nur wenige spezifische Probleme in solchen Sprachen gibt oder ob sie einfach wenig genutzt werden und Nutzer nicht genügend Motivation haben, Bugs einzureichen, lässt sich nicht sagen.
Trotzdem zeigt Jonathans jüngster Fix, dass es durchaus Interesse gibt, solche Probleme zu lösen, wenn Entwicklerzeit verfügbar ist.
Wer sich für Fairness bei der Dokumentbearbeitung über Schriftsysteme, Länder und Kulturen hinweg interessiert, sollte LibreOffice in einer Sprache verwenden, die er oder sie beherrscht, und gefundene Bugs in BugZilla melden: https://bugs.documentfoundation.org/
Bitte erwägt auch, The Document Foundation, die das LibreOffice-Projekt verwaltet, finanziell zu unterstützen: https://www.libreoffice.org/donate/
Wir sind eines der großen freien Open-Source-Projekte weltweit, mit zig Millionen, vielleicht über 100 Millionen regelmäßigen Nutzern und einem Vorstand mit Mitgliedern aus Dutzenden Ländern.
Aber es gibt kein großes Unternehmen, das in erheblichem Umfang Geld oder Zeit in das Projekt investiert.
Einige kommerzielle Firmen wie Collabora und Allotropia leisten zwar Beiträge, doch viele grundlegende Issues liegen nicht nah genug an den Anforderungen ihrer Kunden.
Deshalb haben wir beschlossen, Jonathan direkt einzustellen, um die RTL-CTL-CJK-Unterstützung zu stärken, und solche Arbeit wird durch Spenden einzelner Nutzer möglich.
Ohne die Wortabstände im Koreanischen wäre es schwierig geworden.