Paged Out Ausgabe 6 [PDF]

 (pagedout.institute)
4 Punkte von GN⁺ 2025-03-31 | 1 Kommentare | Auf WhatsApp teilen
  • Zeigt Beispiele, wie Foundation Models in einer UNIX-ähnlichen Umgebung mit bestehenden und neuen UNIX-Utilities sowie Pipes verbunden werden, um die Verarbeitung von Musik, Videos, Aufgabenlisten und Bilddateien zu automatisieren
  • Eine Musiksammlung wird mit CLAP in einem 512-dimensionalen Embedding-Raum platziert; mit llm-clap und llm-interpolate wird ein Pfad zwischen Start- und Endsong gefunden und als .m3u-Playlist erstellt
  • Videonotizen lassen sich mit einer 2-zeiligen Pipeline erzeugen, indem Untertitel mit yt-dlp heruntergeladen, mit llm zusammengefasst und anschließend an zk new -i übergeben werden
  • Arbeitsberichte exportieren die in den letzten 7 Tagen abgeschlossenen Aufgaben aus taskwarrior als JSON, extrahieren mit jq nur .description und überlassen dem LLM die Berichtserstellung
  • Das Umbenennen von Bilddateien kombiniert find, xargs, ollama, moondream, tr und sed, um anhand des Bildinhalts plausible Dateinamen zu erzeugen

UNIX-Pipes und Foundation Models kombinieren

  • Foundation Models sind Modelle, die mit sehr großen und vielfältigen Datensätzen trainiert wurden und sich direkt für verschiedene Downstream-Aufgaben nutzen oder fine-tunen lassen
  • Der Fokus der Zielaufgaben liegt auf Workflows, die Modelle nutzen, die Text und Bilder erzeugen und verstehen können
  • Der Ansatz gliedert sich in zwei Schritte
    • Klassische UNIX-Utilities und neue Utilities werden gemeinsam verwendet, um verschiedene Teile einer Pipeline zu verbinden
    • Foundation Models werden auf Aufgaben angewandt, die sich mit klar definierten Lösungen allein nur schwer bewältigen lassen; Utilities korrigieren die Modellausgabe und bringen sie in eine nützliche Form

Beispiel-Pipelines

  • Playlist-Erstellung

    • Ein Musikverständnis-Modell wandelt jeden Song in einen Punkt in einem Raum um und interpoliert zwischen den Punkten, um automatisch eine natürlich ineinander übergehende Playlist zu erstellen
    • Modelle wie CLAP betten die Musiksammlung $MC in einen 512-dimensionalen Raum ein, wobei ähnliche Songs näher beieinander liegen
    • Verwendet werden llm sowie die Plugins llm-clap und llm-interpolate
    • Der Beispielbefehl erzeugt mit llm embed-multi -m clap songs --files $MC '*' Embeddings und erstellt mit llm interpolate songs "PacifyHer.wav" "redrum.wav" -n 3 | jq .[] > playlist.m3u eine .m3u-Playlist mit 3 Songs

  • Videonotizen erstellen

    • Vorträge und Tutorial-Videos sind nützlich, aber während des Anschauens Notizen zu machen ist umständlich
    • Mit yt-dlp werden die Videountertitel heruntergeladen, mit llm -s "Create notes" zusammengefasst und anschließend mit zk new -i von zk ein neues Notizobjekt erstellt
    • Die Beispiel-Pipeline führt nach yt-dlp --no-download --write-subs --output "$OUT" "$URL" den Befehl cat "$OUT" | llm -s "Create notes" | zk new -i aus

  • Arbeitsberichte erstellen

    • Monatliche, wöchentliche und tägliche Meeting-Berichte erfordern ein Gleichgewicht zwischen einem Abstraktionsniveau, das Teammitglieder verstehen, und der Konkretheit, die sinnvolles Feedback ermöglicht
    • Man kann ein digitales Aufgabenlisten-Tool wie taskwarrior abfragen und die Ergebnisse an ein LLM übergeben, um einen Bericht zu erstellen
    • Die Beispiel-Pipeline exportiert die in den letzten 7 Tagen abgeschlossenen Aufgaben als JSON, extrahiert mit jq .description und übergibt das Ergebnis an llm -s 'Generate a report based on these tasks.'

  • Fotos umbenennen

    • Aus dem Internet heruntergeladene oder selbst aufgenommene Bilddateien können mehrdeutige oder nutzlose Namen wie 1672714705640839.png, 1689964585834142.png oder 2.jpg haben
    • ollama ist ein Tool zum Abrufen von Modellen und für Inferenz; zusammen mit dem Vision-Modell moondream ermöglicht es schnelle Inferenz auf aktuellen Notebooks
    • Die Beispiel-Pipeline sucht .jpg-Dateien im aktuellen Verzeichnis, erhält mit ollama run moondream "Title for this: {}" einen bildbasierten Titel und formt ihn mit tr und sed zu einem Dateinamen
    • Beispielausgaben haben die Form A green dragon with wings and a tail.jpg, A painting of a serene landscape.jpg, urns of stone red car in foreground.jpg

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-03-31
Meinungen auf Hacker News

  • Wer direkt zum Inhaltsverzeichnis springen will, kann https://pagedout.institute/download/PagedOut_006.pdf#page=3 aufrufen

  • Das Beispiel „How to use a Python variable in an external Javascript (Django)“ dürfte potenziell für XSS-Angriffe anfällig sein, wenn die Variable Nutzereingaben enthält
    Wichtig ist, die Ausgabe passend zum jeweiligen Kontext zu kodieren. Django kodiert Template-Variablen standardmäßig für den HTML-Kontext; gibt man sie innerhalb eines script-Tags oder in einer JavaScript-Datei aus, kann dadurch XSS möglich werden

    • Wenn ich in die Django-Dokumentation schaue, scheint das zu stimmen, und besonders Strings wirken wie das Kernproblem
      Das standardmäßige Auto-Escaping wandelt ' und " in HTML-Entities um, kodiert aber keinen Backslash. Dadurch kann ein \ am Ende eines Strings das schließende Anführungszeichen escapen. Wenn ein Angreifer zwei aufeinanderfolgende Strings desselben „Typs“ kontrollieren kann, wird das ausnutzbar
      Richtig scheint es so zu gehen: https://docs.djangoproject.com/en/5.1/ref/templates/builtins...
    • Es ist mir fast peinlich, dass ich mir schon vorstellen kann, wie der Angriff funktionieren würde, aber zum Glück lässt sich die Schwachstelle beheben, indem man den Template-Filter escapejs verwendet

  • Gefällt mir wirklich sehr. Es hat etwas vom alten ezine/webzine-Gefühl
    Allerdings frage ich mich, wie Computernutzer mit sehr schlechter Sehkraft es bequem lesen können. Um dem Inhalt zu folgen, muss man ständig nach oben und unten scrollen, und wenn man eine ganze Seite betrachtet, muss man die Augen zusammenkneifen, um den Text zu lesen

    • Stimmt, und eine der bedauerlichen Grenzen dieses Formats ist, dass man ständig durch ein PDF scrollen muss. Letztlich haben uns die frühen Entscheidungen in dieses Format eingeschlossen, also trage auch ich dafür Verantwortung
      Durch PDF können wir den Autoren völlige Freiheit beim Seitenlayout geben, was zu so kreativen Ergebnissen wie in dieser Ausgabe führt. Aber ein A4-PDF ist auf Telefonen, Computerbildschirmen und Tablets nicht angenehm zu lesen, und für Screenreader-Nutzer ist es noch schwieriger. PDFs in der Form, wie wir sie erhalten, screenreader-kompatibel zu machen, ist mindestens komplex, daher unterstützen wir das bisher nicht
      Andererseits hat heutzutage jeder einen PDF-Reader, die Artikel sehen überall gleich aus und lassen sich fast sofort drucken. Am Ende ist es eine Frage von Vor- und Nachteilen. Es scheint keine einfache Möglichkeit zu geben, dieses Problem zu lösen, ohne das zu zerstören, weswegen Paged Out! geschätzt wird
      Was ich verbessern möchte, ist die Zugänglichkeit gedruckter Ausgaben zu erhöhen und irgendwann ordentliche Screenreader-Unterstützung einzubauen. Abgesehen davon wird das Scroll-Problem wohl Teil des Zines bleiben
      Zusätzlich wäre es schön, auch eine „Vorlese“-Funktion für Artikel zu ermöglichen. Von Anfang an haben wir in die Lizenzen der meisten Autoren eine Klausel aufgenommen, mit der sie der Aufnahme ihrer Texte als Audio zustimmen können. Das wäre gut für Leute, die Inhalte gern wie ein Hörbuch oder einen Podcast konsumieren; und wenn man in Kauf nimmt, Illustrationen nicht anzusehen, sondern beschrieben zu bekommen, kann man auch das Scrollen vermeiden
    • Wenn man vollständig auf LaTeX setzen würde, könnte man es vielleicht in beide Richtungen bauen, ähnlich wie arxiv seit Kurzem LaTeX als HTML5 rendert
    • Man kann einfach einen vertikalen Monitor verwenden

  • Das Aussehen ist wirklich toll und erinnert an das Crash magazine der 1980er

  • Ein großartiges Magazin, aber es hat auch Grenzen. Durch die Beschränkung auf eine Seite werden die einzelnen Artikel oft eher zu einem minimalen Anker zum Thema, manchmal fast zu Werbung des Autors, und es wird nicht besonders viel Inhalt vermittelt
    Inhaltlich halte ich PoC || GTFO und Phrack für besser. Die Variabilität im Satz ist für mich persönlich ebenfalls ein Nachteil und ermüdend. Jede Seite ist visuell eine völlig eigene Welt, das ist anstrengend
    Ich verstehe, dass LaTeX weniger zugänglich ist und manche Autoren ausschließen könnte, aber gäbe es keinen Weg, die Vorteile beider Ansätze zu kombinieren? Ich frage mich, ob ihr schon einmal ein lokal gehostetes Overleaf in Betracht gezogen habt

    • Die Ein-Seiten-Beschränkung und die individuellen Layouts von Paged Out! sind bewusste Entscheidungen. Natürlich haben sie, wie du sagst, Nachteile
      Aber Publikationen ohne Seitenbeschränkung und mit strengem Layout haben ebenfalls Nachteile. So sehe ich das nach 15 Jahren Arbeit als Reviewer/Editor und Autor für verschiedene Technikmagazine
      In gewöhnlichen Magazinen spüren Autoren den Druck, lange Artikel zu schreiben, die alles abdecken, und fühlen sich nicht wohl dabei, kurze, nette Trick-Notizen einzureichen. Paged Out! ist genau für diese einseitige Nische gedacht, in der solche kurzen Notizen Platz haben
      Ist dieses Format einschränkend? Ja. Kann man alles in diesem Format schreiben? Unmöglich. Aber das ist in Ordnung
      Wir versuchen nicht, PoC || GTFO oder Phrack zu sein. Beide sind großartig, und ich mag sie persönlich sehr, aber wir haben unseren eigenen Platz mit kurzen Artikeln gefunden. In der Zine-Community gibt es auch viel gegenseitige Wertschätzung. Man kann sich zum Beispiel die DNS-TXT-Records von pagedout.phrack.org und phrack.pagedout.institute ansehen
      Auch was das Layout-Chaos angeht, verstehe ich, was gemeint ist. Gleichzeitig ist genau das eine weitere Nische, in die ich PO! bewusst gestellt habe. Ich scherze manchmal, es sei eine Art Therapie nach Situationen, in denen ich meine Ideen in exakt das vom Verlag gewünschte Layout pressen musste, oder nachdem ich zu viele überlange Artikel anderer Magazine reviewt hatte
      Ich erkenne an, dass die Kritik zutrifft, bin aber zugleich ziemlich zufrieden mit dieser kleinen, fehlerhaften Nische
      Zwei passende Links: https://pagedout.institute/?page=faq.php#why-one-page
      & https://pagedout.institute/?page=faq.php#layout

  • Ich wurde eingeladen, etwas beizutragen, hatte damals aber keine Zeit, etwas vorzubereiten. Das Ergebnis sieht trotzdem wirklich toll aus, also sollte ich mir fürs nächste Mal ein gutes Thema suchen

  • Gefällt mir wirklich sehr. Besonders „Spotting Quacks with Puzzles“
    Der Ansatz zur Medienkompetenz ist sehr ungewöhnlich und kommt genau zur richtigen Zeit, nachdem das neue 4o-Update zur Bilderzeugung erschienen ist

    • Den Artikel habe ich geschrieben. Ich hoffe, er bringt die kreativen Problemlöser bei PO!/HN dazu, über die Schwierigkeiten der Medienkompetenzbildung nachzudenken

  • Ich frage mich, ob man das als gedrucktes Magazin per Versand bestellen kann. Oder geht es nur darum, es herunterzuladen und zu Hause auszudrucken? Ich würde so ein Magazin gern per Post bekommen

    • Noch ist das nicht möglich, aber wir arbeiten daran, es über einen digitalen Druckdienst wie lulu.com anzubieten
      Es gibt keinen festen Termin, aber wir drängen darauf, es vor der nächsten Ausgabe möglich zu machen, die ungefähr für Juni bis Juli geplant ist

  • Als ich beim Abschnitt über den USB-Fußschalter angekommen war, hatte ich schon viel zu lange hineingestarrt und musste aufhören. Ein schönes kleines Zine; ich werde mir diese und frühere Ausgaben später noch genauer ansehen

  • Ich mag das Magazinformat und besonders die Illustrationen. Dass es von Menschen gemachte Illustrationen und keine KI-Bilder sind, schafft wirklich eine gute Atmosphäre
    Allerdings finde ich die Entscheidung nicht besonders überzeugend, bei so vielen möglichen Künstlern Illustrationen eines russischen Künstlers zu verwenden, der derzeit in Russland lebt, dort Steuern zahlt und damit entsprechende Folgen mitverursacht

    • Die kleinen Steuern, die ein Russe dafür zahlt, sind verschwindend gering im Vergleich zu dem Geld, das Russland mit Ölverkäufen nach Europa verdient. Sollte man dann auch ganz Europa boykottieren?
    • Bitte diskriminiert Menschen nicht wegen der Dinge, die ihre Regierung tut
      Nachdenkliche und intelligente Menschen verdienen es, einbezogen zu werden, ganz gleich, unter welchem System sie leben