Funktionen sind Vektoren

 (thenumb.at)
2 Punkte von GN⁺ 2023-07-31 | 1 Kommentare | Auf WhatsApp teilen
  • Wenn man Funktionen wie unendlichdimensionale Vektoren behandelt, lassen sich Probleme aus Bild- und Geometrieverarbeitung, Kurvenanpassung und Machine Learning in der Sprache der linearen Algebra beschreiben
  • Der Raum reeller Funktionen erfüllt die Vektorraumaxiome, weil man Funktionswerte addieren und Ausgaben mit Skalaren multiplizieren kann; Polynome lassen sich mit Basen wie (1,x,x^2,\dots) darstellen
  • Da die Ableitung lineare Kombinationen erhält, ist sie ein linearer Operator und kann in der Polynom-Basis wie eine unendliche Matrix wirken, die auf Koeffizientenvektoren angewendet wird
  • Definiert man das Skalarprodukt über ein Integral, lassen sich auch in Funktionenräumen Länge, Orthogonalität und orthonormale Basen behandeln; selbstadjungierte Operatoren sind mit dem Spektralsatz verknüpft
  • Die Perspektive, den Laplace-Operator zu diagonalisieren, erklärt Basiswechsel und Kompression für Fourier-Reihen, 2D-Bildkompression, spherical harmonics und geometrische Verarbeitung auf Basis des Mesh-Laplacians in einem gemeinsamen Rahmen

Wie man Funktionen als Vektoren betrachtet

  • Vektoren beginnen meist als Listen reeller Zahlen, aber zu Vektorräumen können auch andere Objekte gehören, etwa Listen komplexer Zahlen, Zyklen in Graphen oder magische Quadrate
  • Ein (N)-dimensionaler Vektor ist eine Liste der Länge (N) und kann als Abbildung von Indizes auf Werte interpretiert werden
  • Bei einem abzählbar unendlichen Definitionsbereich wie den natürlichen Zahlen kann man eine Funktion als unendlich lange Liste darstellen
    • Beispiel: (\mathbf{v}_i=i) kann (f(x)=x) für (x\in\mathbb{N}) darstellen
  • Bei einem überabzählbar unendlichen Definitionsbereich wie den reellen Zahlen kann man den Elementen keine ganzzahligen Indizes zuweisen, daher ist eine Listendarstellung unmöglich
    • In diesem Fall nähert sich ein Vektor einer beliebigen Funktion an
    • Die Funktionalanalysis behandelt die präzisen Definitionen, mit denen Funktionen als unendlichdimensionale Vektoren dargestellt werden
  • Das Ziel ist weniger, Resultate im Unendlichdimensionalen streng zu beweisen, sondern eher Intuition über die Analogie zur endlichdimensionalen linearen Algebra aufzubauen

Wie Funktionenräume zu Vektorräumen werden

  • Im Raum reeller Funktionen ist der Skalarkörper (\mathbb{R}), die Vektormenge besteht aus Funktionen (\mathbb{R}\to\mathbb{R}), und der Nullvektor ist die Funktion, die für jede Eingabe 0 zurückgibt
  • Funktionsaddition addiert die Werte zweier Funktionen beim selben Argument
    • ((f+g)[x]=f[x]+g[x])
    • Das ist eine Verallgemeinerung der komponentenweisen Vektoraddition aus der Perspektive von Funktionsindizes
  • Skalarmultiplikation skaliert das Ergebnis einer Funktion
    • ((\alpha f)[x]=\alpha f[x])
    • Das entspricht der Vektoroperation, bei der jeder Indexwert skaliert wird
  • Mit diesen Definitionen lassen sich Kommutativität und Assoziativität der Addition, der Nullvektor, additive Inversen sowie neutrales Element, Assoziativität und Distributivität der Skalarmultiplikation beweisen
  • Die Standardbasis von Funktionen kann man sich als Basisfunktionen (\mathbf{e}_\alpha) vorstellen, die nur am Index (\alpha) den Wert 1 und sonst 0 haben
    • Für die Gesamtheit der reellen Zahlen gibt es überabzählbar viele Basisfunktionen, daher ist eine Darstellung als einfache Summe schwierig, aber die Intuition bleibt, dass bei einer bestimmten Eingabe (x) nur (\mathbf{e}_x) übrig bleibt

Lineare Operatoren und Differentiation

  • Matrizen kodieren lineare Transformationen, die lineare Kombinationen erhalten, und ihre Spaltenvektoren lassen sich als Definition einer neuen Basis interpretieren
  • Betrachtet man Funktionen als Vektoren, kann man sich ein unendlichdimensionales Gegenstück zu Matrizen vorstellen, notiert als linearer Operator (\mathcal{L})
    • In der Praxis lassen sich Operatoren auf überabzählbar unendlichen Räumen nicht vollständig als Matrix hinschreiben
    • Dennoch bleibt die Struktur nützlich, dass jede „Spalte“ eine neue Basisfunktion im Funktionenraum repräsentiert
  • Differentiation erfüllt die Linearität
    • (\frac{\partial}{\partial x}(\alpha f[x]+\beta g[x])=\alpha\frac{\partial f}{\partial x}+\beta\frac{\partial g}{\partial x})
  • Im Raum der Polynome (\mathcal{P}) bildet (1,x,x^2,x^3,\dots) eine abzählbar unendliche Basis
    • (p[x]=a+bx+cx^2+dx^3+\cdots) lässt sich als Koeffizientenvektor ([a,b,c,d,\dots]^T) schreiben
    • Die Ableitung lässt sich als unendliche Matrix darstellen, die den Koeffizientenvektor in ([b,2c,3d,\dots]^T) überführt
  • Analytische Funktionen lassen sich in der Umgebung von 0 durch eine Taylor series darstellen und somit als lineare Kombination der Polynom-Basis ausdrücken
    • Eine Taylor expansion entspricht einem Basiswechsel in die Potenzbasis

Diagonalisierung und Eigenfunktionen

  • Im Endlichdimensionalen ist eine Matrix (\mathbf{A}) diagonalisierbar, wenn sie genügend linear unabhängige Eigenvektoren und reelle Eigenwerte besitzt
    • (\mathbf{A}=\mathbf{U\Lambda U^{-1}})
    • Das entspricht dem Wechsel in eine Eigenbasis, der Skalierung durch Eigenwerte und dem Rückwechsel in die Standardbasis
  • Auch in Funktionenräumen kann man für einen linearen Operator (\mathcal{L}) Eigenfunktionen betrachten, die (\mathcal{L}f=\psi f) erfüllen
  • Eigenfunktionen des Ableitungsoperators haben die Form (p_0e^{\psi x})
    • Aus der Koeffizientenbedingung (p_i=\frac{\psi^i}{i!}p_0) ergibt sich die Reihenentwicklung der Exponentialfunktion
  • Dennoch lässt sich die Ableitung nicht im gesamten Raum reell-analytischer Funktionen durch eine Exponentialbasis diagonalisieren
    • Nimmt man an, (f[x]=x) ließe sich als lineare Kombination von Exponentialfunktionen darstellen, entsteht nach zweimaligem Ableiten ein Widerspruch
    • Ähnliche Probleme treten bei nichtkonstanten Funktionen auf, deren (n)-te Ableitung 0 wird, oder bei periodischen Funktionen wie sine und cosine
  • Erweitert man auf komplexwertige Funktionenräume, lassen sich mehr Operatoren diagonalisieren
    • Die Ableitung kann im Raum der Funktionen (\mathbb{C}\to\mathbb{C}) mit der Laplace transform diagonalisiert werden
    • Die Laplace transform ist nützlich zum Lösen von Differentialgleichungen, wird hier aber nicht weiter behandelt, da die Inversion nicht einfach ist

Funktionsskalarprodukt und Spektralsatz

  • Das euklidische Skalarprodukt misst, wie stark ein Vektor in Richtung eines anderen zeigt; das Skalarprodukt eines Vektors mit sich selbst liefert das Quadrat seiner Länge
  • In Funktionenräumen definiert man das Skalarprodukt, indem man endliche Summen durch ihr kontinuierliches Gegenstück, das Integral, ersetzt
    • Reelle Funktionen: (\langle f,g\rangle=\int_a^b f[x]g[x]\,dx)
    • Komplexe Funktionen: (\langle f,g\rangle=\int_a^b f[x]\overline{g[x]}\,dx)
  • Nicht jede Funktion ist integrierbar, daher beschränkt man den Skalarproduktraum auf quadratintegrierbare Funktionen auf dem Intervall ([a,b])
    • ([a,b]) kann auch ([-\infty,\infty]) sein
  • Das Skalarprodukt komplexer Funktionen muss konjugiert-symmetrisch sein, im ersten Argument linear und positiv definit
    • Für eine strenge Behandlung der positiven Definitheit verwendet man Äquivalenzklassen von Funktionen, die „fast überall“ 0 sind
  • Der Spektralsatz verallgemeinert sich auf Funktionenräume; selbstadjungierte Operatoren besitzen reelle Eigenwerte und eine orthonormale Eigenbasis
    • Im Endlichdimensionalen haben symmetrische Matrizen eine orthonormale Eigenbasis, und umgekehrt gilt dies ebenfalls
    • Im Unendlichdimensionalen sind die strengen Voraussetzungen und Beweise komplexer

Diagonalisierung des Laplace-Operators

  • Für eindimensionale Funktionen ist der Laplace-Operator die zweite Ableitung
    • (\Delta f=\frac{\partial^2 f}{\partial x^2})
  • Mit zweimaliger partieller Integration kann man zeigen, dass der Laplace-Operator eine Eigenschaft nahe an Selbstadjungiertheit hat
    • Der Randterm ((f^\prime[x]g[x]-f[x]g^\prime[x])|_a^b) muss 0 sein
    • Dazu beschränkt man den Definitionsbereich auf periodische Funktionen mit Periode (b-a)
    • Zur Vereinfachung wird das Intervall als ([0,1]) gewählt
  • Die periodischen Eigenfunktionen des Laplace-Operators sind (e^{2\pi \xi i x}), wobei (\xi) ganzzahlig ist
    • Nach der Euler-Formel entsprechen diese der Sichtweise mit sine und cosine oder mit komplexen Exponentialfunktionen
    • Die Eigenwerte sind (-(2\pi\xi)^2)
  • Diese Eigenfunktionen sind auf ([0,1]) paarweise orthogonal und haben Norm 1
    • Ist (\xi_1-\xi_2) eine von 0 verschiedene ganze Zahl, dann ist das Skalarprodukt 0
    • Das Skalarprodukt einer Funktion mit sich selbst ist 1
  • Der Wechsel in die orthonormale Eigenbasis des Laplace-Operators ist gleichbedeutend mit der Berechnung von Fourier-Koeffizienten
    • (\hat{f}[\xi]=\int_0^1 f[x]e^{-2\pi\xi i x}\,dx)
    • Die inverse Transformation ist (f[x]=\sum_{\xi=-\infty}^{\infty}\hat{f}[\xi]e^{2\pi\xi i x})
    • Der gesamte Laplace-Operator bildet reelle Funktionen auf reelle Funktionen ab, aber die Zwischenrepräsentation kann komplexe Werte annehmen

Fourier-Reihen und Anwendungen in der Signalverarbeitung

  • Die Fourier transform ist ein Basiswechsel in die Eigenbasis des Laplace-Operators
  • (\hat{f}[\xi]) misst, wie stark die Funktion (f) durch eine Welle mit ganzzahliger Frequenz (\xi) dargestellt wird
    • Diese Darstellung überführt die Funktion in den Frequenzbereich
  • Wegen der orthonormalen Basis lässt sich die Fourier series leicht invertieren, indem man die Koeffizienten wieder mit den Wellen kombiniert
  • Verwirft man Fourier-Koeffizienten oberhalb eines bestimmten Schwellenwerts, erhält man eine glatte Rekonstruktion der Funktion
    • Diese Technik heißt Tiefpassfilter (low-pass filter)
  • Da sich eine Funktion durch Speicherung nur weniger Fourier-Koeffizienten approximativ rekonstruieren lässt, ist das rechnerisch nützlich für Kompression

Bildkompression und Kugelflächenfunktionen

  • Überall dort, wo sich ein Laplace-Operator definieren lässt, kann man auch eine entsprechende Fourier transform finden
  • In 2D ist der Laplace-Operator die Summe der zweiten partiellen Ableitungen
    • (\Delta f[x,y]=\frac{\partial^2 f}{\partial x^2}+\frac{\partial^2 f}{\partial y^2})
  • Auf ([0,1]\times[0,1]) haben die Eigenfunktionen die Form (e^{2\pi i(nx+my)}), wobei (n,m) ganze Zahlen sind
    • So wie man eine 1D-Funktion in 1D-Wellen zerlegt, wird ein 2D-Bild in 2D-Wellen zerlegt
  • Eine Variante der 2D Fourier transform steht im Zentrum vieler Bildkompressionsalgorithmen, darunter JPEG
  • Auch auf der Einheitssphäre lässt sich ein Laplace-Operator definieren; seine orthonormale Eigenbasis sind die spherical harmonics
    • (Y_\ell^m[\theta,\phi]=N_\ell^mP_\ell^m[\cos[\theta]]e^{im\phi})
    • (\ell\ge0), (m\in[-\ell,\ell])
    • In Game-Engines werden sie häufig verwendet, um diffuse Environment Maps und Global-Illumination-Probes zu komprimieren
    • Spherical harmonics lassen sich auch als Elektronenorbitale betrachten, und die Quantenmechanik beschäftigt sich überwiegend mit Eigenfunktionen linearer Operatoren

Geometrieverarbeitung und weitere Erkundung

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-07-31
Meinungen auf Hacker News

  • Ich würde diesem Beitrag am liebsten zweimal ein Upvote geben; er ist die beste Einführung in die Grundbegriffe der Funktionalanalysis, die ich bisher gesehen habe.
    Als guter Überblick, der mathematisch tiefer geht, gibt es auch https://arxiv.org/abs/1904.02539
    Eine hervorragende Anwendung, die die Website nicht erwähnt, sind Koopman-Operatoren. In der Regelungstechnik werden reale Systeme wie autonome Drohnen, Autos oder Roboterarme meist durch schwer handhabbare nichtlineare Dynamiken beschrieben; Koopman-Operatoren liefern für nichtlineare Systeme eine global nützliche lineare Approximation.
    Das heißt, man kann nichtlineare Systeme mit recht hoher Genauigkeit wie lineare Systeme behandeln, was Steuerung und Schätzung aus rechnerischer Sicht stark vereinfacht. Eine solche Linearisierung kann auch aus Daten gelernt werden.
    Steve Bruntons Materialien zur Koopman-Theorie sind gut: https://youtube.com/playlist?list=PLMrJAkhIeNNSVXUvppZTYNHKQ..., https://arxiv.org/abs/2102.12086; außerdem gibt es Anwendungen wie die Steuerung weicher Roboter https://arxiv.org/abs/1902.02827

    • Das Erste, was mir in den Sinn kam, war, wie überraschend ähnlich das konzeptionell der Fourier-Transformation ist. Wirklich interessant; ich werde mich damit noch näher beschäftigen.
    • Für Steve Bruntons Inhalte bin ich wirklich dankbar. Hätte ich solche Materialien vor zehn Jahren während meines Masters gehabt, wäre ich wegen seiner Begeisterung für das Fach und der Qualität seiner Erklärungen vielleicht bis zur Promotion weitergegangen.
      Damals war ich es leid, nach Forschungsgeldern zu suchen, und nachdem ich wieder einmal allein ein trockenes Buch gelesen hatte, hatte ich genug von der Wissenschaft und bin gegangen.
      Gute YouTube-Lehrende schaffen enorme Zukunftschancen, und am Ende werden alle davon profitieren. Regelungstechnik zeigt Verbindungen zwischen vielen Bereichen; für Menschen, die gern überall Muster und Strukturen sehen, kann das eine große Freude sein. Ich meine mich zu erinnern, dass Steve kürzlich auch ein Video über Regelungstechnik für soziale Modelle hochgeladen hat.

  • Die Erkenntnis, dass man Funktionen als Elemente eines unendlichdimensionalen abstrakten Vektorraums behandeln kann, war ein Wendepunkt in der Geschichte der Mathematik und führte zur Entstehung des Teilgebiets Funktionalanalysis.
    Die Bedeutung dieses Perspektivwechsels liegt darin, dass geometrische Intuitionen aus der Untersuchung endlichdimensionaler Räume wie des dreidimensionalen euklidischen Raums auf schwierige funktionsbezogene Probleme angewendet werden konnten, etwa die Existenz von Lösungen bestimmter Differentialgleichungen.
    Die Geschichte dieses Wandels reicht bis ins späte 19. und frühe 20. Jahrhundert zurück und ist sehr interessant. Die damalige Arbeit an den axiomatischen Grundlagen der Mathematik brachte eine Entwicklung in Gang, mathematische Objekte zu systematisieren, indem man ihre Struktur in knappen Axiomen erfasste.
    So entstand zum Beispiel auch der Begriff des abstrakten Vektorraums, der nicht nur euklidische Räume, sondern auch unendlichdimensionale Funktionenräume umfasst.
    Ein Werk, das diesen Perspektivwechsel zumindest in früher Form bereits zeigt, ist Vito Volterras Memoir von 1889 https://projecteuclid.org/journals/acta-mathematica/volume-1...
    Maurice Fréchets Dissertation von 1906 https://zenodo.org/record/1428464/files/article.pdf kristallisierte dieses neue Paradigma heraus und präsentierte es in moderner Form; man kann sie als eine der einflussreichsten Arbeiten sehen, die in der ersten Hälfte des 20. Jahrhunderts zu zentralen Referenzen wurden.
    Natürlich sind das nur zwei von zahlreichen Arbeiten jener Zeit; mit Blick auf die weitere Entwicklung darf man auch Stefan Banachs Buch von 1932 nicht übergehen http://kielich.amu.edu.pl/Stefan_Banach/pdf/teoria-operacji-...

    • Um Funktionalanalysis zu betreiben, muss es nicht zwingend ein Vektorraum sein; was man wirklich braucht, ist meiner Ansicht nach ein Skalarprodukt. Allerdings gestehe ich zu, dass man letztlich in einem Vektorraum sein muss, weil das Skalarprodukt linear sein muss.
    • Damit will ich nicht sagen, dass der Vektorraum-Aspekt nicht schön wäre; aber der Grund, warum es Funktionalanalysis heißt, ist, dass man dort mit verschiedenen Formen von Grenzwerten, Halbstetigkeit, Vervollständigung von Räumen usw. umgehen kann und diese gute Eigenschaften haben.
      Deshalb liegt der Kern meiner Meinung nach darin, dass diese Vektorräume tatsächlich topologisch sind.

  • Diese Perspektive hat mir immer sehr gefallen. Ich lese gerade mit Vergnügen Vito Volterras Vorlesungen in Madrid über Differentialgleichungen und Integro-Differentialgleichungen; zugleich hat er auch zur Entstehung der Funktionalanalysis beigetragen.
    Hier entsprechen Funktionale dem Konzept dualer Vektoren. Volterra nutzt immer wieder Analogien, um von Konstruktionen mit endlich vielen Variablen zu unendlich vielen, ja sogar überabzählbar vielen Variablen überzugehen.
    Es gibt sogar eine Stelle, an der es ihm selbst peinlich ist, dass er dieselbe Idee vielleicht zu oft wiederholt. Wer lehrt, sollte da einmal gemeinsam hineinschauen.
    https://searchworks.stanford.edu/view/526111

    • Auch Givental verwendet diese Perspektive in seinen Vorlesungsnotizen zu Differentialgleichungen. Sie kann Studierenden helfen, die einen Bruch zwischen der linearen Unabhängigkeit von Funktionen und der linearen Unabhängigkeit von Vektoren empfinden.

  • Ich habe noch nie gesehen, dass solche Indexfunktionen als transfinite Basis eines Vektorraums verwendet werden. Die betreffende Funktion wirkt weniger wie ein Grenzpunkt einer endlichen Folge von Basisfunktionen, sondern eher wie eine seltsame transfinite Summe aus Einträgen, die größtenteils 0 sind
    Es scheint auch kaum möglich, dass für alle Funktionen eine Fourier-Transformation existiert. Mit einem Diagonalisierungsargument ließe sich wohl leicht widerlegen, dass daraus nützliche Ergebnisse entstehen
    Selbst Hilbert-Räume sind üblicherweise nur über ganze Zahlen indiziert. Eine solche Basis liefert keinerlei Bedingungen für Stetigkeit oder Differenzierbarkeit
    Die Funktionalanalysis, die ich gesehen habe, verwendete immer irgendeine Stetigkeitsbedingung und eine abzählbare Basis. Abgesehen davon ist es eine sehr nützliche Sicht auf Funktionen und kommt einem Ausgangspunkt zum Verständnis der Formulierung der Quantenmechanik recht nahe

    • Genau dieser Punkt stört mich an dem Text am meisten. Für die Intuition ist es nützlich, aber das „...“ hinter der Summe hat mathematisch keine Bedeutung
      Das ist selbst in einführend gelehrter Quantenmechanik ein häufiges Problem. Allerdings scheint auch dieser Text, ähnlich wie eine einführende Quantenmechanik-Vorlesung, darauf ausgerichtet zu sein, Begriffe der Funktionalanalysis zu motivieren; auch wenn er nicht streng ist, ist er zur Erklärung nützlich
    • Der Text ist eher eine Zusammenfassung eines mehrbändigen Buchs. An einer Stelle wird der Raum auf einen Unterraum periodischer Funktionen eingeschränkt, und die Basis wird von Dirac-Deltas auf Sinusfunktionen mit Frequenz 2pi*k/(b-a), wobei k eine natürliche Zahl ist, umgestellt
      Alle Funktionen in diesem Unterraum besitzen eine Fourier-Transformation
    • Um eine Basis zu sein, muss jedes Element als endliche Linearkombination darstellbar sein. Natürlich gibt es bei anderen Arten der Basiswahl auch Konzepte, die abzählbare Linearkombinationen zulassen
      Der Text ignoriert vermutlich aus gutem Grund vollständig die in der Funktionalanalysis normalerweise ziemlich schwierige Frage: „Welchen Vektorraum verwendet man?“
      Ein Vektorraum von punktweise definierten Funktionen wie hier ist fast immer die nutzloseste Wahl. Wenn es aber darum ging, den Gesamtumriss des Themas zu vermitteln, ist das an sich durchaus wertvoll
      Zu „Es kann kaum für alle Funktionen eine Fourier-Transformation geben“: In solchen Räumen ist es schon schwer, überhaupt einen nützlichen Abstandsbegriff zu bekommen
    • Ein seltsamer Trick, den Mathematiker hassen: eine Basis des Vektorraums reeller Funktionen ohne Auswahlaxiom konstruieren

  • Das berührt die eigentliche Definition einer Funktion. Eine Funktion ist eine Abbildung zwischen Mengen, bei der jedes Element der ersten Menge auf genau ein Element der zweiten Menge geht
    Das Problem an der Verwendung von Vektoren ist, dass Vektoren nicht so allgemein sind wie Mengen und es daher Funktionen gibt, die sich nicht als Vektoren darstellen lassen
    Zum Beispiel können Vektoren keine undefinierten Werte oder nichtnumerischen Elemente behandeln

    • Auch Funktionen können keine undefinierten Werte behandeln. Eine Funktion f ist eine Abbildung von einer Menge in eine andere, und jedes Element der Ausgangsmenge muss genau einem Element der Zielmenge zugeordnet sein
      Per Definition muss jeder Wert der Ausgangsmenge auf etwas in der Zielmenge abgebildet werden; in diesem Sinn gibt es also keine undefinierten Werte
      Der Grund, warum man einen Funktionsraum nicht immer als Vektorraum betrachten kann, ist, dass es möglicherweise keinen Begriff der Addition von Funktionen oder der Skalarmultiplikation gibt, oder dass diese, selbst wenn sie existieren, nicht gut zur von den Funktionen erfüllten additiven Struktur passen
    • Das ist nicht die Definition einer Funktion, sondern eher die einer bijektiven Funktion. Ein einfaches Beispiel, das nicht bijektiv ist und auf zwei verschiedene Werte gehen kann, ist sqrt(x)

  • Das gilt nur, wenn der Wertebereich die für Vektoroperationen nötige Struktur besitzt. Funktionen sind allgemeiner als Vektoren

    • Stimmt. Genauer gesagt muss der Wertebereich eine abelsche Gruppe sein. Und selbst das reicht noch nicht aus; der Skalarkörper muss mit passenden Eigenschaften auf diesen Wertebereich wirken

  • Das sieht wirklich großartig aus, und ich würde es später gern genauer lesen. In einem typischen Physikstudium dürfte das meiste davon behandelt werden
    Trotzdem ist es wie bei einem guten Film oder Buch: Das Konzept selbst ist interessant genug, um es mehr als einmal wieder aufzugreifen
    Aus Sicht eines Programmierers wirken einige dieser Techniken ziemlich wie Hacks. Man beginnt zunächst mit ganz vernünftigen ganzzahligen Indizes, merkt dann, dass sich die Indizes verallgemeinern lassen, und stopft am Ende viel mehr Information in den Index, als ursprünglich beabsichtigt war
    Das wirklich Erstaunliche ist, dass solche dumm und missbräuchlich wirkenden Ideen später immer zu etwas Einsichtsreichem und Nützlichem führen. Es wirkt ein bisschen wie Magie

  • Ich möchte die Bibliothek Funsor vorstellen, die ich zusammen mit Eli Bingham für den Einsatz in den probabilistischen Programmiersprachen Pyro und NumPyro entwickelt habe
    Wir haben die Perspektive „Funktionen sind Tensoren“ übernommen und versucht, eine NumPy-ähnliche Bibliothek für Funktionen zu bauen, hauptsächlich für Log-Dichtefunktionen von Wahrscheinlichkeitsverteilungen
    Paper: "Functional Tensors for Probabilistic Programming" (2019) https://arxiv.org/abs/1910.10775
    Code: https://github.com/pyro-ppl/funsor

  • Ich finde, dieser Text gibt eine schlechte Intuition, weil er die Richtung umkehrt. Was Funktionen zu einem Vektorraum macht, sind nicht die Eingaben, sondern die Ausgaben
    Funktionen von einer Menge X in einen Körper F können einen Vektorraum bilden, auch wenn X keine Ordnung hat

    • Weder die Eingaben noch die Ausgaben, sondern die Zuordnung, die Eingaben auf Ausgaben abbildet, also die Funktion selbst

  • Soweit ich folgen kann, ist das eine sehr interessante Perspektive, aber leider kann ich nicht sehr weit folgen
    Ich frage mich, ob eine solche formale Logik dabei hilft, Funktionen herzuleiten, die Vektoren beschreiben
    Bei Big-Data-Analysen, etwa beim Training neuronaler Netze, scheinen die größten Ineffizienzen und Engpässe immer noch darauf hinauszulaufen, eine Funktion zu finden, die eine Ausgabe ähnlich einem erwarteten Vektor approximiert
    Ob diese Methode nun symbolische Regression oder viele Transformationsschichten ist, macht keinen Unterschied. Wenn man, ohne die Beziehung zwischen Eingabe und Ausgabe irgendwie zu extrahieren oder zu komprimieren, nur mit Vektoren als Funktionen operieren könnte, wäre das „Magie“

    • Das ist möglich. Man kann eine Fourier-Transformation auf einen Vektor anwenden, einige Terme mit geringem Beitrag, also Frequenzen, verwerfen und nur die verbleibenden Koeffizienten speichern
      Das ist im Wesentlichen die Grundidee hinter MP3- und JPEG-Kompression. Natürlich tauscht man dabei Speicherplatz gegen Zeit ein: Um eine Approximation des ursprünglichen Vektors zu erhalten, muss man zuerst die inverse Fourier-Transformation anwenden
    • Möglicherweise denkst du bei den hier gemeinten Vektoren an eine konkrete Sammlung von Werten wie [x y z] in R^3
      Der Text behandelt abstrakte Vektorräume und ihre Eigenschaften wie Vektoraddition und Skalarmultiplikation, und insbesondere den Punkt, dass Funktionen diese Definition erfüllen und so einen Vektorraum von Funktionen bilden, also einen Funktionsraum
      Wenn man zum Beispiel zwei Funktionen f, g und einen Skalar b hat, kann man sie so behandeln
      f + g = g + f
      b(f + g) = bf + bg
      Außerdem existiert (-f), sodass f + (-f) = 0 gilt; dabei ist 0 die Nullfunktion, und auch diese Nullfunktion muss im Funktionsraum existieren