- Die stochastische Analysis nähert sich unregelmäßigen realen Systemen wie der Brown’schen Bewegung eher über physikalische Intuition und Herleitungen als über Formalismus
- Die diskrete Binomialverteilung und der symmetrische Random Walk führen bei wachsender Anzahl von Versuchen und geeigneter Skalierung über den zentralen Grenzwertsatz zur Normalverteilung und zu kontinuierlichen stochastischen Prozessen
- Die Brown’sche Bewegung (W(t)) besitzt unabhängige Inkremente und (W(t)\sim N(0,t)); ihre Pfade sind stetig, aber fast sicher nirgends differenzierbar
- In der Itô-Analysis kommt wegen der Regeln (dW=\sqrt{dt}N(0,1)), ((dW)^2\approx dt) zum üblichen Kettenregel-Term ein Term zweiter Ordnung hinzu
- Stochastische Differentialgleichungen modellieren mit Drift und Diffusion gleichzeitig Trend und Zufälligkeit; die Stratonovich-Formulierung erhält durch Auswertung im Mittelpunkt die gewöhnliche Kettenregel und wird in Physik, Regelungstechnik, biologischer Diffusion und numerischer Simulation eingesetzt
Welche Probleme die stochastische Analysis behandelt
- Die stochastische Analysis ist ein Werkzeug, das auf Brown’scher Bewegung und Itô-Analysis basiert, um unregelmäßige reale Systeme als berechenbare Modelle zu behandeln
- Die Anwendungsfelder reichen von Physik und Finanzwesen bis zu Biologie und Machine Learning
- Physik: Einstein zeigte anhand der Tatsache, dass die Schwankungen der Brown’schen Bewegung mit Molekülstößen übereinstimmen, die Existenz von Atomen
- Finanzwesen: Optionspreismodelle wie die Black-Scholes-Gleichung beruhen auf stochastischen Differentialgleichungen der Form (dS=\mu Sdt+\sigma SdW)
- Biologie: Random Walks modellieren die Ausbreitung von Arten oder das Feuern von Neuronen
- Machine Learning: Song et al. (2021) modellieren mit auf Itô-Analysis basierenden stochastischen Differentialgleichungen die zeitliche Entwicklung von Rauschen und nutzen dies in umgekehrter Richtung zur Erzeugung neuer Samples
Von der Binomialverteilung zum kontinuierlichen stochastischen Prozess
- Pascalsches Dreieck zählt die Anzahl der Wege, die in jedem Schritt nach links oder rechts führen; die Anzahl der Möglichkeiten, in der (n)-ten Zeile die (k)-te Position zu erreichen, ist (\binom{n}{k}=\frac{n!}{k!(n-k)!})
- Die Wahrscheinlichkeit, bei unabhängigen Versuchen (k)-mal Erfolg und (n-k)-mal Misserfolg zu haben, ist wie folgt
[ P(k \text{ wins in } n \text{ trials})=\binom{n}{k}p^kq^{n-k} ]
- Die Unabhängigkeitsannahme ist eine starke Bedingung; in der Realität, etwa bei Siegesserien im Sport oder bei Aktienkursen, wo Psychologie und Momentum hineinspielen, kann das Modell ungenau werden
- Kontinuierlich veränderliche Phänomene wie Fallbewegung, Gasdiffusion, Kursschwankungen oder Molekülkollisionen in Flüssigkeiten lassen sich schwer allein mit Punkten und Summen behandeln und erfordern Intervalle und Integrale
Random Walk und zentraler Grenzwertsatz
- Beim symmetrischen Random Walk mit (p=0.5) wird die Verschiebung eines einzelnen Schritts wie folgt gesetzt
[ X(t)= \begin{cases} 1 & \text{with probability } \frac{1}{2}\ -1 & \text{with probability } \frac{1}{2} \end{cases} ]
- Jedes (X(t)) hat Erwartungswert 0 und Varianz 1, und es wird angenommen, dass die Schritte zu verschiedenen Zeiten unabhängig sind
- Die Gesamtverschiebung lässt sich als Summe unabhängiger Zufallsvariablen ausdrücken
[ S(n)=X(1)+X(2)+\dots+X(n)=\sum_{t=1}^{n}X(t) ]
- Nach dem zentralen Grenzwertsatz nähert sich die Summe unabhängig identisch verteilter Zufallsvariablen (X_1,\dots,X_n) für (n\to\infty) einer Normalverteilung an
[ X_1+\dots+X_n\sim N(n\mu,n\sigma^2) ]
- Für diesen Random Walk gilt daher
[ S(n)\sim N(0,n) ]
[ \lim_{n\to\infty}\frac{1}{\sqrt{n}}S(n)=N(0,1) ]
- Damit führt eine „kontinuierliche Binomialverteilung“ zur Normalverteilung
Definition der Brown’schen Bewegung
- Die Bewegung kleiner Teilchen oder von Blütenstaub auf Wasser, die Robert Brown in den 1820er Jahren beobachtete, war äußerst unregelmäßig; auf kleiner Skala reagiert die tatsächliche Bewegung so empfindlich auf äußere Kräfte, dass sie frühere Bewegungen überlagert
- In einem vereinfachten mathematischen Modell betrachtet man Ereignisse zu verschiedenen Zeiten als unabhängig, und wegen der Orts-Symmetrie liegt die mittlere Position des Teilchens zur Zeit (t) in der Nähe des Ursprungs
- Ein kontinuierlicher Random Walk sollte die folgenden Eigenschaften haben
- Der Startpunkt wird der mathematischen Einfachheit halber auf 0 gesetzt
- Es gibt keine Richtungsbevorzugung, daher sind die erwartete Verschiebung jedes Schritts und die gesamte erwartete Verschiebung 0
- Die Verschiebungen auf verschiedenen Zeitintervallen sind unabhängig
- Der Pfad ist ohne Sprünge oder Lücken stetig
- Die Positionsverteilung zu einem bestimmten Zeitpunkt soll eine Normalverteilung sein
- Die Brown’sche Bewegung wird meist mit (B_t), der Wiener-Prozess mit (W_t) bezeichnet; hier wird zur Betonung der Zeitabhängigkeit (W(t)) verwendet
- Die wichtigsten Eigenschaften sind wie folgt
[ W(0)=0 \quad \text{almost surely} ]
[ W(t)\sim N(0,t) ]
[ \Delta W(s,t)\sim N(0,t-s) ]
- Die Inkremente (\Delta W(t_1,t_2)) und (\Delta W(t_2,t_3)) auf verschiedenen Intervallen sind für (t_1<t_2\le t_3) unabhängig
- Daraus folgen (E[W(t)]=0) und (Var(W(t))=t)
- Der Stichprobenpfad (t\mapsto W(t)) ist fast sicher für alle Exponenten (\gamma<\frac12) gleichmäßig Hölder-stetig, aber für (\gamma\ge\frac12) nirgends Hölder-stetig und insbesondere nirgends differenzierbar
Zentrale Regeln der Itô-Analysis
- Die Brown’sche Bewegung ist stetig, aber so unregelmäßig, dass sie keine gewöhnliche Ableitung besitzen kann
- Für ein kleines Intervall (dt) gilt
[ \Delta W(t,t+dt)\sim N(0,dt)=\sqrt{dt}N(0,1) ]
[ \frac{\Delta W(t,t+dt)}{dt}=\frac{1}{\sqrt{dt}}N(0,1) ]
- Da (\frac{1}{\sqrt{dt}}) für (dt\to0) unendlich groß wird, konvergiert dies nicht zu einer endlichen Ableitung
- Kiyosi Itô entwickelte in den 1940er Jahren die Itô-Analysis, abgestimmt auf die Zufälligkeit der Brown’schen Bewegung; sie bildet die Grundlage der stochastischen Analysis
-
(dW) und ((dW)^2)
- Die kleine Änderung der Brown’schen Bewegung wird wie folgt definiert
- [
- dW:=W(t+dt)-W(t)
- ]
- [
- dW=\sqrt{dt}N(0,1)
- ]
- Anders als das deterministische (dx) der gewöhnlichen Analysis ist (dW) zufällig; seine Größe ist proportional zu (\sqrt{dt}), und sein Vorzeichen hängt von der Standardnormalverteilung ab
- Erwartungswert und Varianz sind wie folgt
- [
- E[dW]=0
- ]
- [
- Var(dW)=E[(dW)^2]=dt
- ]
- Der Erwartungswert von ((dW)^2) ist (dt), die Varianz ist (2dt^2); da die Schwankung für (dt\to0) vernachlässigbar wird, behandelt die Itô-Analysis ((dW)^2\approx dt)
- In der gewöhnlichen Analysis ist ((dx)^2) so klein, dass es verschwindet; in der stochastischen Analysis liegt ((dW)^2) jedoch auf derselben Skala wie (dt), weshalb sich die Rechenregeln ändern
-
Itô-Integral
- So wie das gewöhnliche Integral (\int_a^b f(x)dx) als Grenzwert von Riemann-Summen definiert ist, betrachtet man für die Brown’sche Bewegung (\int_0^t f(s)dW(s))
- Für eine Zerlegung (s_0,\dots,s_n) nähert man dies durch die folgende Summe an
- [
- \int_0^t f(s)dW(s)\approx \sum_{i=0}^{n-1}f(s_i)\Delta W(s_i,s_{i+1})
- ]
- Das Ergebnis dieses Integrals ist eine Zufallsvariable, die die Zufälligkeit von (W(t)) widerspiegelt
- Wenn man (f(s_i)) am linken Endpunkt auswertet, wird nur Information bis zur Zeit (s_i) verwendet; damit besitzt das Integral die non-anticipating-Eigenschaft, also keine Nutzung zukünftiger Information
-
Itô-Lemma
- Die Kettenregel der gewöhnlichen Analysis lautet für (f(t,W(t))) wie folgt
- [
- df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW
- ]
- Wegen der rauen Eigenschaften der Brown’schen Bewegung verschwindet der Term zweiter Ordnung in der Taylor-Entwicklung nicht
- [
- df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW+\frac{1}{2}\frac{\partial^2 f}{\partial W^2}(dW)^2+\text{smaller terms}
- ]
- (dt^2) und (dt,dW) verschwinden, aber ((dW)^2\approx dt) bleibt bestehen
- Daher nimmt das Itô-Lemma die folgende Form an
- [
- df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW+\frac{1}{2}\frac{\partial^2 f}{\partial W^2}dt
- ]
- Der zusätzliche Term (\frac12\frac{\partial^2 f}{\partial W^2}dt) entsteht aufgrund des Effekts zweiter Ordnung der Brown’schen Bewegung
- Für (f(W)=W^2) ergibt sich die Rechnung
- [
- d(W^2)=2W,dW+dt
- ]
- [
- W(t)^2=\int_0^t2W(s)dW(s)+t
- ]
- Der Term (t) stimmt mit (E[W(t)^2]=t) überein, und der Integralterm ist eine zufällige Komponente mit Mittelwert 0
Modellierung mit stochastischen Differentialgleichungen
- Die Itô-Analysis liefert Integral und Kettenregel für die Brown’sche Bewegung, sodass sich Systeme mit Zufälligkeit und Trend gemeinsam durch stochastische Differentialgleichungen (SDEs) modellieren lassen
- Eine allgemeine SDE hat die Form
[ dX(t)=a(t,X(t))dt+b(t,X(t))dW(t) ]
- Die Bedeutung der einzelnen Terme ist wie folgt
- (X(t)): eine zeitabhängige Größe
- (a(t,X(t))dt): Drift, der systematische Anteil
- (b(t,X(t))dW(t)): Diffusion, die von der Brown’schen Bewegung kommende zufällige Störung
- Die Lösung einer SDE ist keine feste Kurve, sondern ein zufälliger Pfad, der bei jeder Ausführung anders ausfällt; analysierbar sind statistische Muster
-
Allgemeine Form des Itô-Lemmas
- Für (dX=b(t,X(t))dt+\sigma(t,X(t))dW) lautet das Itô-Lemma für (f(t,X(t))) wie folgt
- [
- df=(f_t+bf_X+\frac{1}{2}\sigma^2f_{XX})dt+\sigma f_XdW
- ]
- Es wird hergeleitet, indem man berücksichtigt, dass (dX=O(dW)) und auch (dX^2=O(dW^2))
-
Drift und Diffusion
- Die Drift (a(t,X)) bestimmt die mittlere Richtung, die Diffusion (b(t,X)) die Stärke der zufälligen Schwankungen
- Ist (b=0), erhält man eine gewöhnliche Differentialgleichung; ist (a=0), ergibt sich eine skalierte Brown’sche Bewegung
- Im einfachen Fall kann man schreiben
- [
- dX(t)=\mu dt+\sigma dW(t)
- ]
- Für (X(0)=0) erhält man die Lösung
- [
- X(t)=\mu t+\sigma W(t)
- ]
- Da (W(t)\sim N(0,t)), ergibt sich die Verteilung
- [
- X(t)\sim N(\mu t,\sigma^2t)
- ]
- Dies ist ein Prozess mit linearer Drift in der Zeit und sich ausbreitendem Rauschen, also eine Grundform für Modelle wie Aktien mit stetigem Wachstum und Volatilität
-
Geometrische Brown’sche Bewegung
- Für Systeme, deren Änderung proportional zur Größe ist, verwendet man die geometrische Brown’sche Bewegung (GBM)
- [
- dS(t)=\mu S(t)dt+\sigma S(t)dW(t)
- ]
- (\mu S(t)) ist die proportionale Drift, (\sigma S(t)) das proportionale Rauschen
- (\frac{dS}{S}=\mu dt+\sigma dW) beschreibt eine proportionale Änderung mit Trend und Zufälligkeit
- Setzt man (f=\ln S) und wendet das Itô-Lemma an, erhält man
- [
- d(\ln S)=\left(\mu-\frac12\sigma^2\right)dt+\sigma dW
- ]
- Durch Integration erhält man die Lösung
- [
- S(t)=S(0)\exp\left(\left(\mu-\frac12\sigma^2\right)t+\sigma W(t)\right)
- ]
- Dass die Drift um (-\frac12\sigma^2) korrigiert wird, liegt am Effekt zweiter Ordnung des Rauschens; diese Form ist die Grundlage des Black-Scholes-Modells im Finanzwesen
- Analytische Lösungen wie bei der GBM sind die Ausnahme; die meisten SDEs erfordern numerische Simulation oder statistische Analyse über Gleichungen wie die Fokker-Planck-Gleichung
Stratonovich-Analysis
- Da das Itô-Lemma einen Term mit zweiter Ableitung enthält, können die Rechnungen umständlich werden
- Die Stratonovich-Analysis ändert den Auswertungspunkt des stochastischen Integrals und erhält dadurch die gewöhnliche Kettenregel
- Das Itô-Integral verwendet den linken Endpunkt jedes Intervalls, das Stratonovich-Integral dagegen eine Auswertungsregel im Mittelpunkt
- Ein verallgemeinerter Auswertungspunkt lässt sich wie folgt schreiben
[ \int_0^T f(X(t))\diamond dW
\lim_{n\to\infty}\sum_{i=0}^{n-1} f(X(t_i)+\lambda\Delta X(t_i,t_{i+1})) \Delta W(t_i,t_{i+1}) ]
- In der deterministischen Analysis gilt (O(dX^2)\to0), daher ist die Wahl des Auswertungspunkts nicht wichtig; in der stochastischen Analysis aber gilt (O(dW^2)\to O(dt)), daher ist sie entscheidend
- Um die Kettenregel (df=f_X\circ dX) zu erhalten, ist beim Vergleich von Taylor-Entwicklungen (\lambda=\frac12) erforderlich
- Daher wird das Stratonovich-Integral wie folgt definiert
[ \int_0^T f(X(t))\circ dW
\lim_{n\to\infty}\sum_{i=0}^{n-1} f\left(\frac{X(t_i)+X(t_{i+1})}{2}\right) \Delta W(t_i,t_{i+1}) ]
-
Umrechnung zwischen Itô und Stratonovich
- Sei derselbe stochastische Prozess in den beiden folgenden Formen gegeben
- [
- dX=adt+bdW=\tilde a dt+b\circ dW
- ]
- Für den Driftterm gilt die Beziehung
- [
- a=\tilde a+\frac12 b_Xb
- ]
- Der Diffusionskoeffizient (b) bleibt gleich, aber zwischen der Itô- und der Stratonovich-Darstellung unterscheidet sich die Driftfunktion
Kontexte für die Stratonovich-Formulierung
- Die Stratonovich-Analysis erzeugt mit ihrer Auswertung im Mittelpunkt ein anderes stochastisches Integral als die Itô-Auswertung am linken Endpunkt und passt zu bestimmten physikalischen Systemen oder zu vereinfachter Rechnung
- Bei multiplikativem Rauschen in der Physik kann ein gedämpfter Oszillator mit zustandsabhängigem Rauschen wie folgt geschrieben werden
[ dX=-kXdt+\sigma X\circ dW ]
- Wendet man die Stratonovich-Kettenregel auf (f(X)=\ln X) an, ergibt sich
[ d(\ln X)=-kdt+\sigma\circ dW ]
[ X(t)=X(0)e^{-kt+\sigma W(t)} ]
- Das Wong-Zakai-Theorem besagt, dass beim Übergang von leicht geglättetem realem Rauschen zum Weißrausch-Grenzfall eine Stratonovich-SDE entsteht
- In der stochastischen Regelung passt die Stratonovich-Regel bei Systemen wie (dX=(aX+u)dt+\sigma X\circ dW) zur klassischen Regelungsintuition und kann die Auslegung des Steuereingangs (u(t)) vereinfachen
- Bei biologischer Diffusion spiegelt Stratonovich in Modellen mit ortsabhängigem Rauschen wie (\sigma(X)=\sqrt{2D(1+kX^2)}) physikalische Erhaltungssätze wider
- In numerischen Simulationen passt Stratonovich gut zur Mittelpunktmethode und kann in Modellen wie der chemischen Reaktionskinetik numerische Artefakte verringern
- Die Wahl hängt vom Kontext ab
- Stratonovich eignet sich für Systeme, bei denen das Rauschen mit physikalischer Stetigkeit oder Symmetrie verknüpft ist
- Itô wird wegen seiner non-anticipating-Eigenschaft, also der Nichtverwendung zukünftiger Information, im Finanzwesen überwiegend genutzt
- Mit der Umrechnungsformel (a=\tilde a+\frac12bb_X) kann man zwischen beiden Darstellungen wechseln
1 Kommentare
Hacker-News-Meinungen
Für Leser mit Mathematikkenntnissen auf fortgeschrittenem Bachelor- oder Master-Niveau war diese Einführung in die stochastische Analysis hilfreich: https://almostsuremath.com/stochastic-calculus/
Ein inspirierendes Lehrbuch, das sich mit verwandten Themen stark überschneidet, ist auch dieses: https://www.amazon.com/Stochastic-Integration-Differential-E...
Ich frage mich, ob die stochastische Analysis ein Gebiet ist, in dem man Computer braucht, um viele mögliche Ereignisverläufe zu simulieren, oder ob man, wenn man die Verteilung von dW kennt, wichtige Endausgaben und Wahrscheinlichkeitsverteilungen auf elegantere mathematische Weise lösen kann.
Der Artikel war hervorragend; ich hatte stochastische Analysis früher schon gesehen, hatte aber diesmal zum ersten Mal das Gefühl, sie wirklich zu verstehen.
Wenn das Problem kompliziert ist, die Verteilung kompliziert ist oder beides, braucht man numerische Verfahren. Das heißt nicht zwingend, dass man wie bei Monte Carlo viele Simulationen laufen lassen muss, auch wenn diese Methode sinnvoll, aber teuer ist.
Direktere Fragen zu bestimmten Wahrscheinlichkeiten lassen sich auch ohne Monte Carlo beantworten. Die Fokker-Planck-Gleichung ist eine partielle Differentialgleichung, die sich mit verschiedenen Nicht-Monte-Carlo-Methoden lösen lässt, und auch Quasipotenziale und Kommittor-Funktionen aus der Simulation seltener Ereignisse lassen sich „direkt“ berechnen. Die zentrale Schwierigkeit ist, dass man beim Anwenden standardmäßiger numerischer Verfahren auf solche Objekte vom Fluch der Dimensionalität getroffen wird. Gute Methoden, um das in hohen, sogar unendlichdimensionalen Räumen zu berechnen, sind ein sehr heißes Forschungsfeld der angewandten Mathematik. Persönlich halte ich solche Dinge meist eher für Zeitverschwendung, sofern die Mathematik nicht sauber zu realen physikalischen Anwendungen passt.
Physiker nennen sie Fokker-Planck-Gleichung, Mathematiker Kolmogorov-Vorwärtsgleichung. Abgesehen von speziellen Ausnahmen gibt es keine exakte analytische Lösung, und man braucht numerische Lösungen. In hohen Dimensionen ist das Lösen der partiellen Differentialgleichung jedoch sehr teuer, sodass es günstiger ist, die SDE zu lösen und Monte-Carlo-Sampling zu betreiben.
Es kann auch andere Arten von Fragen geben, etwa nach der Lösung, wenn ein bestimmtes zufälliges Ereignis eintritt; ähnliche Überlegungen gelten dort ebenfalls. Außerdem ist stochastische Analysis sehr nützlich für den Umgang mit SDEs, aber wenn man sich für andere Arten von Markov-Prozessen oder Nicht-Markov-Prozessen interessiert, braucht man möglicherweise andere Werkzeuge.
Wie in einem anderen Kommentar erwähnt, können in Spezialfällen auch die SDEs selbst exakte Lösungen haben, im Allgemeinen aber nicht.
Diese Erklärung beschränkt sich auf SDEs, also Differentialgleichungen, in die gaußsches weißes Rauschen als Anregung eingeht. Bei anderen stochastischen Prozessen wie Markov-Sprungprozessen hat die Evolutionsgleichung der Verteilung eine andere Form, auch wenn einige allgemeine Prinzipien wie die Chapman-Kolmogorov-Gleichung geteilt werden.
Komplexere Gleichungen lassen sich normalerweise nicht so lösen. Häufig möchte man den Erwartungswert einer Funktion eines stochastischen Prozesses zu einem bestimmten Zeitpunkt, und man kann zeigen, dass dieser Erwartungswert einer bestimmten deterministischen partiellen Differentialgleichung folgt. Danach löst man sie mit einem numerischen PDE-Solver.
Wenn die Dimension hoch ist oder der Prozess stark pfadabhängig und daher nicht Markovsch ist, landet man am Ende bei Monte-Carlo-Simulationen, bei denen man tatsächlich „mehrere mögliche Ereignisverläufe“ simuliert.
Bei einem Random Walk weiß man zum Beispiel, dass er zu einer Normalverteilung wird und dass Mittelwert und Varianz gegen unendlich gehen; daher verstehe ich das als einen Fall, in dem man allein aus der Eingabe eine Varianzfunktion über die Zeit bestimmen kann, was zu einer eleganten analytischen Lösung führt.
In vielen Fällen gibt es aber keine analytische Lösung, sodass man stochastische Algorithmen ausführen muss. In der einfachen stochastischen chemischen Kinetik ist der Gillespie-Algorithmus ein solches Beispiel.
Wenn man nur die Statistik der Pfade kennen will, kann man in vielen Fällen die Fokker-Planck-Gleichung, eine partielle Differentialgleichung, aufstellen und lösen, um die Pfaddichte zu erhalten.
Als nächsten Schritt gibt es Langevin Dynamics, bei der das System gedämpften Impuls hat und das Rauschen in den Impuls eingeht.
Das wird auch in Molekulardynamik-Simulationen verwendet und kann auch für Bayesian MCMC Sampling genutzt werden.
Merkwürdigerweise habe ich im Zusammenhang mit AI oft gesehen, dass bei Erwähnungen von Langevin Dynamics die Verwendung von Impuls weggelassen wird. Und das, obwohl Gradientenabstieg mit Impuls in der AI weit verbreitet ist. Noch verwirrender ist, dass „stochastisch“ auch bedeuten kann, dass der Gradient in jedem Schritt durch eine Stichprobe eines Teils der Daten approximiert wird. Wenn man möchte, kann man beide Arten von Zufälligkeit gleichzeitig anwenden.
Ich weiß nicht genau, warum es in der AI weniger verwendet wird, aber ich vermute, dass die Nichtkonvexität von AI-Anwendungen Probleme verursacht. Schon in log-konkaven Settings ist Sampling ein ausreichend schwieriges Problem.
Meine persönliche Lieblingsquelle zur stochastischen Analysis ist Eugene Wongs Stochastic Processes in Information and Dynamical Systems, McGraw-Hill, New York, 1971.
Ich erinnere mich noch daran, wie ich stochastische Analysis gelernt habe.
Ich weiß auch noch, dass ich mir notiert hatte, dass die Standardabweichung in der gewöhnlichen Statistik und die quadratische Variation sich in der Berechnung der Varianz leicht unterscheiden. Irgendetwas mit einer Differenz von 1 oder einem anderen Quadrat; ich hatte mir vorgenommen, irgendwann nachzuschauen, warum das so ist. Vielleicht liegt es an der stochastischen Volatilität.
sum i=1..N (x_i - mu)^2 / NDabei ist der Mittelwert
mu := sum x_i / Nder tatsächliche Mittelwert der Grundgesamtheit.Wenn man dagegen aus einer Verteilung n unabhängig identisch verteilte Stichproben erhält, ist der beste Schätzer für die Varianz der Verteilung
sum i=1..n (x_i - a )^2 / (n-1).Hier ersetzt man den Mittelwert
mudurch den Stichprobenmittelwerta := sum x_i / nund teilt statt durch N durch n-1. „Bester“ bedeutet hier ein erwartungstreuer Schätzer, und dass der Erwartungswert der zweiten Formel die Varianz der Grundgesamtheit ist, lässt sich mit einer langweiligen, aber nicht schwierigen Rechnung überprüfen.Erstens hängt die Stichprobenvarianz vom Stichprobenmittelwert
sum(x_i) / nab. Wenn man von n Stichproben die ersten n-1 kennt und auch den Stichprobenmittelwert kennt, ist der letzte Wert festgelegt; insofern kann man n-1 zumindest als Freiheitsgrade verstehen. Höhere Stichprobenmomente lassen sich mit einer ähnlichen Freiheitsgrad-Logik grob verstehen, auch wenn das falsch sein kann.Zweitens, auf mathematischere Weise:
biased_sample_variance = sum((x_i - sum(x_i) / n)^2) / n. Über viele Stichprobenmengen hinweg ist der Mittelwert dieser verzerrten Stichprobenvarianz nicht die Varianz der Grundgesamtheit, sondern(n - 1) / n * population_variance. Multipliziert man daher mitn / (n - 1), erhält man die erwartungstreue Stichprobenvarianzsum((x_i - sum(x_i) / n)^2) / (n - 1). Wenn man einmal im Fluss ist, macht diese Mathematik ziemlich Spaß.Kürzlich bin ich auf folgendes Beispiel gestoßen. Angenommen, man spielt ein „Spiel“: Man zieht eine Zufallszahl A gleichverteilt zwischen 0 und 1 und dann eine zweite Zahl B aus derselben Verteilung.
Wenn A > B ist, zieht man B erneut, während A unverändert bleibt. Wie viele Ziehungen braucht man im Mittel, also wie lang ist die durchschnittliche „Siegesserie“ von A?
Die Antwort ist unendlich. Denn manchmal fällt A extrem hoch aus, und dann kann es Millionen von Ziehungen dauern, bis es übertroffen wird.
(1-p).Daher folgt die Wahrscheinlichkeit, dass B nach n Ziehungen kleiner oder gleich A wird, einer geometrischen Verteilung mit
p^(n-1) (1-p). Die erwartete Zahl der Ziehungen ist1/p, undE[draws] = E[E[draws|A=p]] = \int_0^1 E[draws|A=p] dp = \int_0^1 (1/p) dp, was wie gesagt gegen unendlich divergiert.Ich habe das nicht angezweifelt, ich wollte nur die Rechnung sehen.
1/(1-A)ist.Frage an die HN-Leserschaft. Wir haben etwa 50 Positionen (loci) im Mausgenom definiert, die DNA-Unterschiede enthalten, welche die Sterblichkeit beeinflussen, und die meisten haben komplexe altersabhängige versicherungsmathematische Effekte.
Ich möchte das Sterbealter vorhersagen; wäre stochastische Analysis ein sinnvoller Ansatz für versicherungsmathematische Prognosen der Lebenserwartung von Mäusen? Deshalb freue ich mich, dass dieser Beitrag auf HN nach oben gekommen ist.
Die Zahl der Fragen, also die Zahl der loci, scheint ungefähr der Zahl der Intervalle zu entsprechen, in die man die Zeit sinnvoll aufteilen kann. Ein Effekt, der den Todeszeitpunkt um 1/50 der Lebensspanne einer Maus verschiebt, dürfte, wenn ich mich nicht irre, schwer nachzuweisen sein. Da es nicht viele Zeitintervalle gibt und auch kein Modell für Interaktionen der Zustandsvariablen, wird man wohl modellfreie statistische Methoden verwenden; damit dürfte man fast den gesamten Nutzen erzielen, den diskrete Methoden bieten können.
Da das Ziel das Alter ist, würde ich keine zugrunde liegende gaußsche Verteilung annehmen. Diese Änderung ist weniger schwierig, als man denkt: https://en.wikipedia.org/wiki/Generalized_linear_model
Wie immer ist es eine gute Idee, eine Statistikexpertin oder einen Statistikexperten in der Nähe zu konsultieren.
Wenn man aber Überleben/Tod über die Zeit betrachtet, ist die Ausgabe binär, und die tatsächlich erhaltene Information ist nur der Todeszeitpunkt; daher scheint ein Random-Walk-Modell unnötig oder unerwünscht zu sein, und ein allgemeineres statistisches Modell wirkt passender. Wenn außer dem Sterbestatus noch andere Variablen gemessen werden, könnte ein stochastisches Modell hilfreich sein.
Wenn außerdem gemeint ist, dass alle 50×X Byte an Information die Lebenserwartung beeinflussen, ist das ein schwieriges Problem; aber da es viele diskrete Eingaben und eine glatte Ausgabe gibt, passt es recht gut zu neuronalen Netzen. Man könnte sowohl ein neuronales Netz als auch ein lineares Modell ausprobieren und sehen, wie viel besser das neuronale Netz ist; daran ließe sich abschätzen, ob komplexere Interaktionen als lineare stattfinden.
Praktisch würde ich die Zeit diskretisieren und klassische Machine-Learning-Verfahren darauf ansetzen, die Daten so zu fitten, dass sie „die Wahrscheinlichkeit, im Monat X zu sterben, unter der Bedingung, bis dahin überlebt zu haben“ vorhersagen. Damit lassen sich Datenfehler und potenzielle Probleme viel leichter finden.
Stochastische Analysis oder vollwertige Survival Analysis würde ich nur wählen, wenn ich Verbindungen zwischen vorhandenen mathematischen Eigenschaften wie Gedächtnislosigkeit und physikalisch-biologischen Eigenschaften wie dem Verhalten eines bestimmten Proteins beweisen oder herleiten wollte. Das wäre sehr cool, aber ziemlich schwierig, besonders bei begrenzten Daten. So verstehe ich auch ungefähr den Einsatz stochastischer Analysis in Finanz-Papern: Man nimmt bestimmte universelle mathematische Eigenschaften eines Systems an und beweist dann, dass sie zu den realen Daten passen.
Mein Verständnis der Itô-Analysis ist folgendes: Anfangs ist der einzige Zufallsprozess, den wir verstehen, die Brownian motion, und glücklicherweise können wir die Koordinaten wechseln.
Ein wirklich gutes Modell dafür, wie man eine einsteigerfreundliche Einführung schreibt.
Besonders gut ist die Motivation des Itô-Lemmas über den Punkt, dass der Term
dW^2, der in der gewöhnlichen Analysis verschwindet, weiterhin wichtig bleibt, sowie der Abschnitt zur Umrechnung in Stratonovich.Ich bitte um Hilfe, wie dieser Satz zu lesen ist: „Brownian motion and Itô calculare a notable example of fairly high-level mathematics that are applied to model the real world“
Ich weiß nicht, was „Itô calculare“ hätte sein sollen. „Its calculation“?
calcularesieht vermutlich wie ein Tippfehler aus, bei demcalculus arezusammengezogen wurde.calcularehätte calculus are sein sollen.