Markovo procesas

Márkovo procèsas, tikimybinis procesas X = {X_t, t ≥0}, kurio bet kuriems laiko momentams s ir t (0 ≤ s < t) atsitiktinio dydžio X_t sąlyginis skirstinys priklauso tik nuo proceso reikšmės X_s laiko momentu s ir nepriklauso nuo proceso X reikšmių iki laiko momento s (ateitis nepriklauso nuo praeities, kai žinoma dabartis). Kiekvieno Markovo proceso tikimybinę elgseną visiškai apibrėžia proceso pradžios reikšmės X₀ skirstinys ir perėjimo tikimybių pasiskirstymo funkcija F(s, x, t, y) = P{X_t < y|X_s = x}. Jei ši funkcija turi tankį p(s, x, t, y), jis vadinamas Markovo proceso perėjimo tankiu. Markovo procesas vadinamas homogeniniu, jei perėjimo tikimybių pasiskirstymo funkcija priklauso tik nuo skirtumo t – s, t. y. F(s, x, t, y) = F(t – s, x, y). Vienas svarbiausių Markovo procesų yra Browno judesys. Panašūs į Browno judesį Markovo procesai vadinami difuziniais procesais. Jų perėjimo tankis p(t, x, s, y) tenkina tiesioginę Kolmogorovo (arba Fokkerio‑Plancko) ir atgalinę Kolmogorovo diferencialines lygtis: $\frac{\partial }{\partial t}p(t,x,s,y)=-\frac{\partial }{\partial y}[a(y)p(s,x,t,y)]+\frac{1}{2}\frac{{\partial }^2}{\partial y^2}[b^2(y)p(s,x,t,y)]$ ir $-\frac{\partial }{\partial s}p(t,x,s,y)=a(x)\frac{\partial }{\partial x}p(t,x,s,y)+\frac{1}{2}{b}^2(x)\frac{{\partial }^2}{\partial x^2}p(t,x,s,y)$. Funkcijos a ir b šiose lygtyse vadinamos difuzinio Markovo proceso poslinkio ir difuzijos koeficientais. Kolmogorovo lygtys rodo Markovo procesų teorijos ryšį su diferencialinių lygčių teorija, todėl tikimybiniai metodai plačiai taikomi diferencialinių lygčių teorijoje sprendžiant ir tiriant dalinių išvestinių diferencialines lygtis, ir atvirkščiai – diferencialinių lygčių teorija taikoma konstruojant ir tiriant Markovo procesus. Šiuolaikinėje tikimybių teorijoje žinomi ir kiti Markovo procesų konstravimo ir tyrimo metodai, kuriuose Kolmogorovo lygtys nenaudojamos, tai visų pirma stochastinių diferencialinių lygčių teorija, besiremianti stochastinio integralo sąvoka.

1690