Markov zəncirinin keçid hallarının matrisi. Daimi Markov zəncirləri. Onun bəzi xüsusiyyətlərini qeyd edək

öz-özünə və qismən biz bunu ona görə hesab edirik ki, onun təqdimatı çoxlu sayda yeni terminlərin daxil edilməsini tələb etmir.

İki ot tayasının arasında duran eşşəyin problemini nəzərdən keçirək: çovdar samanı və buğda samanı (şək. 10.5).

Eşşək iki ot tayasının arasında dayanır: “Çovdar” və “Buğda” (şək. 10.5). Hər dəqiqə ya on metr birinci ot tayasına (ehtimalla), ya da ikinci ot tayasına doğru (ehtimalla) hərəkət edir, ya da durduğu yerdə qalır (ehtimalla); bu davranış birölçülü adlanır təsadüfi gəzinti. Ehtimal edəcəyik ki, hər iki ot tayası o mənada “udur” ki, eşşək ot tayalarından birinə yaxınlaşsa, orada qalacaq. İki ot tayası arasındakı məsafəni və eşşəyin ilkin mövqeyini bilərək, bir neçə sual verə bilərsiniz, məsələn: o, ən çox hansı ot tayasına düşəcək və ora çatması üçün ən çox nə vaxt lazımdır?

düyü. 10.5.

Bu problemi daha ətraflı araşdırmaq üçün fərz edək ki, zərbələr arasındakı məsafə əlli metr, eşşəyimiz isə “Buğda” zərbəsindən iyirmi metrdir. Əgər dayana biləcəyiniz yerlər ilə göstərilir (- zərbələrin özləri), onda onun ilkin mövqeyi, onun ilkin olaraq yerləşdiyi ehtimalına bərabər olan vektorla təyin edilə bilər. Bundan əlavə, bir dəqiqədən sonra onun yerləşmə ehtimalları vektorla, iki dəqiqədən sonra isə vektorla təsvir olunur. Aydındır ki, dəqiqələr keçdikdən sonra onun müəyyən bir yerdə olma ehtimalını birbaşa hesablamaq çətinləşir. Məlum oldu ki, bunun üçün ən əlverişli yol daxil olmaqdır keçid matrisi.

Bir dəqiqədən sonra hərəkət etmə ehtimalı olsun. Məsələn, və. Bu ehtimallar deyilir keçid ehtimalları, və -matris adlanır keçid matrisi. Qeyd edək ki, matrisin hər bir elementi mənfi deyil və hər hansı bir sətirin elementlərinin cəmi birə bərabərdir. Bütün bunlardan belə nəticə çıxır ki - yuxarıda müəyyən edilmiş ilkin sıra vektoru, bir dəqiqədən sonra eşşəyin yeri sıra vektoru ilə, dəqiqələrdən sonra isə vektorla təsvir olunur. Başqa sözlə desək, vektorun --ci komponenti dəqiqələrdən sonra eşşəyin --da bitməsi ehtimalını müəyyən edir.

Bu anlayışları ümumiləşdirmək olar. zəng edək ehtimallar vektoru bütün komponentləri mənfi olmayan və bir qədər toplayan sıra vektoru. Sonra keçid matrisi hər bir cərgənin ehtimallar vektoru olduğu kvadrat matris kimi müəyyən edilir. İndi Markov zəncirini (və ya sadəcə bir zəncir) bir cüt kimi təyin edə bilərik, burada - keçid matrisi, və bir sıra vektoru var. Hər bir element mövqedən mövqeyə keçid ehtimalı və - ehtimalların ilkin vektoru kimi qəbul edilirsə, onda klassik anlayışa gəlirik. diskret stasionar Markov zənciri, buna ehtimal nəzəriyyəsi üzrə kitablarda rast gəlmək olar (bax. Feller V. Introduction to theory of probability and its applications. Vol. 1. M.: Mir. 1967) mövqe adətən zəncirin vəziyyəti adlanır. təsvir edək müxtəlif yollarla onların təsnifatları.

Bizi aşağıdakılar maraqlandıracaq: bir vəziyyətdən digərinə keçmək mümkündürmü və əgər belədirsə, ən qısa müddətdə. Məsələn, eşşək problemində üç dəqiqədən bir yerə çata bilərsiniz, amma heç bir yerə çata bilməzsiniz. Ona görə də bizi, əsasən, ehtimalların özləri deyil, onların müsbət olub-olmaması maraqlandıracaq. Onda ümid yaranır ki, bütün bu məlumatlar diqraf şəklində göstərilə bilər, onların təpələri vəziyyətlərə uyğundur və qövslər bir dəqiqə ərzində bir vəziyyətdən digərinə keçməyin mümkün olub-olmadığını göstərir. Daha dəqiq desək, əgər hər bir dövlət onun müvafiq təpəsi ilə təmsil olunarsa).

Diskret vəziyyətləri və diskret vaxtı olan Markov təsadüfi prosesi Markov zənciri adlanır . Belə bir proses üçün anlar t 1, t 2 sistem olduqda S vəziyyətini dəyişə bilər, prosesin ardıcıl addımları hesab olunur və prosesin asılı olduğu arqument zaman deyil t, və addım nömrəsi 1, 2, k, Bu halda təsadüfi proses halların ardıcıllığı ilə xarakterizə olunur S(0), S(1), S(2), S(k), Harada S(0)- sistemin ilkin vəziyyəti (birinci addımdan əvvəl); S(1)- ilk addımdan sonra sistemin vəziyyəti; S(k)- sistemin sonrakı vəziyyəti k ci addım...

Tədbir ( S(k) = S i), dərhal sonra olmasından ibarətdir k ci pillədə sistem vəziyyətdədir S i (i= 1, 2,), təsadüfi hadisədir. Dövlətlərin ardıcıllığı S(0), S(1), S(k), təsadüfi hadisələrin ardıcıllığı kimi qəbul edilə bilər. Bu təsadüfi hadisələr ardıcıllığı adlanır Markov zənciri , əgər hər addım üçün hər hansı S i vəziyyətindən istənilən S j vəziyyətinə keçid ehtimalı sistemin S i vəziyyətinə nə vaxt və necə gəldiyindən asılı deyilsə.İlkin vəziyyət S(0)əvvəlcədən təyin edilmiş və ya təsadüfi ola bilər.

Markov zəncirinin hallarının ehtimalları ehtimallar deyilir P i (k) sonra nə gəlir k ci addım (və qədər ( k+ 1)-ci) sistem S olacaq S i (i = 1, 2, n). Aydındır ki, hər hansı biri üçün k.

Markov zəncirinin ilkin ehtimal paylanması prosesin əvvəlində vəziyyətlərin ehtimal paylanması adlanır:

P 1 (0), P 2 (0), P i (0), P n (0).

Xüsusi halda, əgər sistemin ilkin vəziyyəti S dəqiq məlumdur S(0) = S i, sonra ilkin ehtimal Р i (0)= 1, qalanları isə sıfıra bərabərdir.

keçid ehtimalı (keçid ehtimalı). k-dövlətdən addım S i bir vəziyyətdə S j sistemin şərti ehtimalı adlanır S sonra k ci addım bacaracaq S j bir şərtlə ki, dərhal əvvəl (sonra k- 1 addım) vəziyyətdə idi S i.

Çünki sistem birində ola bilər n dövlətlər, sonra hər an üçün t təyin edilməlidir n 2 keçid ehtimalları P ij, onlar rahat şəkildə aşağıdakı matris şəklində təmsil olunur:

Harada Р ij- dövlətdən bir addımda keçid ehtimalı S i bir vəziyyətdə S j;

P ii- sistemin vəziyyətində gecikmə ehtimalı S i.

Belə bir matris keçid matrisi və ya keçid ehtimalı matrisi adlanır.

Əgər keçid ehtimalları addım sayından (vaxtında) asılı deyilsə, yalnız keçidin hansı vəziyyətə edildiyindən asılıdırsa, onda müvafiq Markov zənciri adlanır homojen .

Homojen Markov zəncirinin keçid ehtimalları Р ijölçülü kvadrat matris əmələ gətirir n m.

Onun bəzi xüsusiyyətlərini qeyd edək:

1. Hər bir xətt sistemin seçilmiş vəziyyətini xarakterizə edir və onun elementləri seçilmişdən bir addımda bütün mümkün keçidlərin ehtimallarını təmsil edir (dan i th) dövlət, o cümlədən özünə keçid.

2. Sütunların elementləri sistemin bir addımda verilənə bütün mümkün keçidlərinin ehtimallarını göstərir ( j-f) vəziyyət (başqa sözlə, sətir sistemin vəziyyətdən, sütun - vəziyyətə keçməsi ehtimalını xarakterizə edir).

3. Keçidlər bir araya sığmayan hadisələrin tam qrupunu təşkil etdiyi üçün hər bir sıranın ehtimallarının cəmi birə bərabərdir:

4. Keçid ehtimalı matrisinin əsas diaqonalı boyunca ehtimallar var P ii sistemin dövlətdən çıxmayacağını S i, amma içində qalacaq.

Bircins Markov zənciri üçün ilkin ehtimal paylanması və keçid ehtimallarının matrisi verilirsə, sistemin ehtimalları P i (k) (i, j= 1, 2, n) təkrarlanan düsturla müəyyən edilir:

Misal 1. Sistemin - avtomobilin işləmə prosesini nəzərdən keçirək. Bir növbə (gün) ərzində avtomobil (sistem) iki vəziyyətdən birində olsun: istismara yararlı ( S 1) və nasaz ( S 2). Sistem vəziyyətinin qrafiki Şəkildə göstərilmişdir. 3.2.

düyü. 3.2.Avtomobilin vəziyyəti qrafiki

Nəqliyyat vasitələrinin istismarının kütləvi müşahidələri nəticəsində aşağıdakı keçid ehtimalları matrisi tərtib edilmişdir:

Harada S 11= 0,8 - avtomobilin yaxşı vəziyyətdə qalma ehtimalı;

S 12= 0.2 - avtomobilin "yaxşı" vəziyyətdən "nöqsanlı" vəziyyətə keçməsi ehtimalı;

S 21= 0,9 - avtomobilin "nöqsanlı" vəziyyətdən "yaxşı" vəziyyətə keçməsi ehtimalı;

S 22= 0.1 - avtomobilin "nöqsanlı" vəziyyətdə qalma ehtimalı.

Avtomobil vəziyyətlərinin ilkin ehtimallarının vektoru verilir, yəni. P 1 (0)= 0 və R 2 (0)=1.

Üç gündən sonra avtomobilin vəziyyətlərinin ehtimallarını müəyyən etmək tələb olunur.

Keçid ehtimalları matrisindən və (3.1) düsturundan istifadə edərək vəziyyətlərin ehtimallarını təyin edirik. P i (k) ilk addımdan sonra (birinci gündən sonra):

P 1 (1) = P 1 (0)×P 11 + P 2 (0)×P 21 = 0?0,8 + 1?0,9 = 0,9;

P 2 (1) = P 1 (0)×P 12 + P 2 (0)×P 22 = 0?0,2 + 1?0,1 = 0,2.

İkinci addımdan sonra (ikinci gündən sonra) dövlətlərin ehtimalları belədir:

P 1 (2) = P 1 (1)×P 11 + P 2 (1)×P 21= 0,9×0,8 + 0,1×0,9 = 0,81;

= 0,9×0,2 + 0,1×0,1 = 0,19.

Üçüncü addımdan sonra (üçüncü gündən sonra) dövlətlərin ehtimalları bərabərdir:

P 1 (3) = P 1 (2) × P 11 + P 2 (2) × P 21= 0,81×0,8 + 0,19×0,9 = 0,819;

= 0,81×0,2 + 0,19×0,1 = 0,181.

Beləliklə, üçüncü gündən sonra avtomobil 0,819 ehtimalı ilə yaxşı vəziyyətdə və 0,181 ehtimalı ilə “nöqsanlı” vəziyyətdə olacaq.

Misal 2.Əməliyyat zamanı kompüteri fiziki sistem hesab etmək olar S, yoxlama nəticəsində aşağıdakı vəziyyətlərdən birində başa çata bilər: S 1- Kompyuter tam işlək vəziyyətdədir; S 2- kompüterin operativ yaddaşında nasazlıqlar var, o, problemləri həll edə bilir; S 3- Kompüterdə əhəmiyyətli nasazlıqlar var və məhdud sinif problemləri həll edə bilər; S 4- Kompüter tamamilə sıradan çıxıb.

İlkin vaxtda kompüter tam işləyir (vəziyyət S 1). Kompüter müəyyən vaxtlarda yoxlanılır t 1, t 2, t 3. Sistemdə baş verən proses S, homojen hesab edilə bilər Markov zənciriüç addımla (birinci, ikinci, üçüncü kompüter yoxlamaları). Keçid ehtimalı matrisi formaya malikdir

Üç yoxlamadan sonra kompüterin vəziyyətlərinin ehtimalını müəyyənləşdirin.

Həll. Dövlət qrafiki Şəkildə göstərilən formaya malikdir. 3.3. Hər oxun yanında müvafiq keçid ehtimalı var. İlkin vəziyyət ehtimalları P 1 (0) = 1, P2(0) = P 3 (0) = P 4 (0) = 0.

düyü. 3.3. Kompüter vəziyyəti qrafiki

(3.1) düsturundan istifadə edərək, ehtimalların cəmində yalnız müəyyən bir vəziyyətə birbaşa keçidin mümkün olduğu vəziyyətləri nəzərə alaraq tapırıq:

P 1 (1) = P 1 (0)×P 11= 1×0,3 = 0,3;

P 2 (1) = P 1 (0)×P 12= 1×0,4 = 0,4;

P 3 (1) = P 1 (0)×P 13= 1×0,1 = 0,1;

P 4 (1) = P 1 (0)×P 14= 1×0,2 = 0,2;

P 1 (2) = P 1 (1)×P 11= 0,3×0,3 = 0,09;

P 2 (2) = P 1 (1)×P 12 + P 2 (1)×P 22= 0,3×0,4 + 0,4×0,2 = 0,20;

P 3 (2) = P 1 (1)×P 13 + P 2 (1)×P 23 + P 3 (1)×P 33 = 0,27;

P 4 (2) = P 1 (1)×P 14 + P 2 (1)×P 24 + P 3 (1)×P 34 + P 4 (1)×P 44 = 0,44;

P 1 (3) = P 1 (2)×P 11= 0,09×0,3 = 0,027;

P 2 (3) = P 1 (2) × P 12 + P 2 (2) × P 22= 0,09×0,4 + 0,20×0,2 = 0,076;

P 3 (3) = P 1 (2)×P 13 + P 2 (2)×P 23 + P 3 (2)×P 33 = 0,217;

P 4 (3) = P 1 (2)×P 14 + P 2 (2)×P 24 + P 3 (2)×P 34 + P 4 (2)×P 44 = 0,680.

Beləliklə, üç yoxlamadan sonra kompüter vəziyyətlərinin ehtimalları aşağıdakı kimidir: P 1 (3) = 0,027; P 2 (3) = 0,076; P 3 (3) = 0,217; P 4 (3) = 0,680.

Tapşırıq 1. Müəyyən bir hədəf eyni anda dörd atəşlə vurulur t 1, t 2, t 3, t 4.

Mümkün sistem bildirir: S 1- hədəf zərərsizdir; S 2- hədəf bir qədər zədələnmişdir; S 3- hədəfə ciddi ziyan dəyib; S 4- hədəf tamamilə vuruldu. İlkin anda hədəf bir vəziyyətdədir S 1. Keçid ehtimallarının matrisi formaya malikdirsə, dörd atışdan sonra hədəf vəziyyətlərinin ehtimallarını müəyyən edin.

Markov zəncirləri

Giriş

§ 1. Markov zənciri

§ 2. Bircinsli Markov zənciri. Keçid ehtimalları. Keçid matrisi

§3. Markov bərabərliyi

§4. Stasionar paylama. Limit Ehtimal Teoremi

§5. Markov zəncirində ehtimalların məhdudlaşdırılması teoreminin sübutu

§6. Markov zəncirlərinin tətbiqi

Nəticə

İstifadə olunmuş ədəbiyyatın siyahısı

Giriş

Mövzumuz kurs işi Markov zəncirləri. Markov zəncirləri təsadüfi proseslər üzərində geniş işləmiş və bu sahənin inkişafına böyük töhfə vermiş görkəmli rus riyaziyyatçısı Andrey Andreeviç Markovun adını daşıyır. Bu yaxınlarda Markov zəncirlərinin müxtəlif sahələrdə istifadəsi haqqında eşitmək olar: müasir veb texnologiyaları, bədii mətnləri təhlil edərkən və ya hətta bir futbol komandası üçün taktika hazırlayarkən. Markov zəncirlərinin nə olduğunu bilməyənlər bunun çox mürəkkəb və demək olar ki, anlaşılmaz bir şey olduğunu hiss edə bilərlər.

Xeyr, əksinədir. Markov zənciri təsadüfi hadisələrin ardıcıllığının ən sadə hallarından biridir. Ancaq sadəliyinə baxmayaraq, olduqca mürəkkəb hadisələri təsvir edərkən çox vaxt faydalı ola bilər. Markov zənciri hər bir hadisənin ehtimalının yalnız əvvəlkindən asılı olduğu, lakin əvvəlki hadisələrdən asılı olmadığı təsadüfi hadisələrin ardıcıllığıdır.

Daha dərinə getməzdən əvvəl, ümumiyyətlə məlum olan, lakin sonrakı ekspozisiya üçün mütləq zəruri olan bir neçə köməkçi məsələni nəzərdən keçirməliyik.

Kurs işimin məqsədi Markov zəncirlərinin tətbiqlərini, problemin ifadəsini və Markov problemlərini daha ətraflı öyrənməkdir.

§1. Markov zənciri

Təsəvvür edək ki, bir sıra testlər aparılır.

Tərif. Markov zənciri hər birində tam qrupun bir-birinə uyğun gəlməyən hadisələrindən yalnız birinin göründüyü sınaqlar ardıcıllığıdır və hadisənin sınaqda baş verməsinin şərti ehtimalı , hadisənin meydana gəlməsi şərtiylə ci duruşmada , əvvəlki testlərin nəticələrindən asılı deyil.

Məsələn, sınaqların ardıcıllığı Markov zəncirini təşkil edirsə və tam qrup dörd uyğunsuz hadisədən ibarətdirsə və hadisənin altıncı məhkəmədə baş verdiyi məlumdursa, o zaman hadisənin yeddinci sınaqda baş verməsinin şərti ehtimalı ondan asılı deyildir. birinci, ikinci, ..., beşinci testlərdə hansı hadisələrin meydana çıxdığı haqqında.

Qeyd edək ki, müstəqil testlər Markov zəncirinin xüsusi halıdır. Həqiqətən, testlər müstəqildirsə, hər hansı bir testdə müəyyən bir hadisənin baş verməsi əvvəllər aparılmış testlərin nəticələrindən asılı deyildir. Buradan belə nəticə çıxır ki, Markov zənciri konsepsiyası müstəqil sınaqlar konsepsiyasının ümumiləşdirilməsidir.

Çox vaxt Markov zəncirləri nəzəriyyəsini təqdim edərkən fərqli bir terminologiyaya riayət edirlər və hər an vəziyyətlərdən birində olan müəyyən bir fiziki sistemdən danışırlar: , və yalnız zamanın ayrı-ayrı anlarında vəziyyətini dəyişir, yəni. sistem bir vəziyyətdən digər vəziyyətə keçir (məsələn, -dən -ə). Markov zəncirləri üçün hər hansı bir dövlətə getmək ehtimalı var hal-hazırda yalnız sistemin bu an hansı vəziyyətdə olmasından asılıdır və dəyişmir, çünki onun əvvəlki anlardakı vəziyyətləri məlum olur. Həmçinin, xüsusən də sınaqdan sonra sistem eyni vəziyyətdə qala bilər (“dövlətdən vəziyyətə keçə”).

Nümunə üçün bir misala nəzər salaq.

Misal 1. Təsəvvür edək ki, düz xətt üzərində yerləşən hissəcik anlarda baş verən təsadüfi zərbələrin təsiri altında bu düz xətt boyunca hərəkət edir. Bir hissəcik tam koordinatları olan nöqtələrdə yerləşə bilər: ; Yansıtıcı divarlar nöqtələrdə yerləşir. Hər bir təkan hissəciyi ehtimalla sağa, ehtimalla isə sola aparır, əgər hissəcik divara yaxın deyilsə. Əgər hissəcik divarın yaxınlığındadırsa, hər hansı bir təkan onu divarlar arasındakı boşluq içərisində bir vahid hərəkət etdirir. Burada görürük ki, bir hissəcik yerişinin bu nümunəsi tipik bir Markov zənciridir.

Beləliklə, hadisələr sistemin vəziyyətləri adlanır, testlər isə vəziyyətlərində dəyişikliklər adlanır.

İndi yeni terminologiyadan istifadə edərək Markov zəncirini təyin edək.

Diskret zamanlı Markov zənciri müəyyən sabit vaxtlarda vəziyyətləri dəyişən dövrədir.

Davamlı zaman Markov zənciri, vəziyyətləri zamanın istənilən təsadüfi mümkün anlarında dəyişən bir zəncirdir.

§2. Homojen Markov zənciri. Keçid ehtimalları. Keçid matrisi

Tərif.Əgər şərti ehtimal (haldan vəziyyətə keçid) sınaq sayından asılı deyilsə, Markov zənciri homojen adlanır. Buna görə də sadə yazmaq əvəzinə.

Misal 1. Təsadüfi gəzinti. Tam koordinatlı bir nöqtədə düz xətt üzərində maddi hissəcik olsun. Müəyyən anlarda hissəcik zərbələr yaşayır. Təkanın təsiri altında hissəcik ehtimalla bir vahid sağa və bir vahid sola doğru hərəkət edir. Aydındır ki, zərrəciyin zərbədən sonrakı vəziyyəti (koordinatı) hissəciyin dərhal əvvəlki zərbədən sonra harada olmasından asılıdır və digər əvvəlki zərbələrin təsiri altında necə hərəkət etməsindən asılı deyildir.

Beləliklə, təsadüfi gediş diskret vaxta malik homojen Markov zəncirinin nümunəsidir.

Keçid ehtimalı şərti ehtimaldır (sistemin hansısa test nəticəsində özünü tapdığı vəziyyətdən, hansı rəqəmdən asılı olmayaraq) növbəti sınaq nəticəsində sistemin vəziyyətə keçməsi.

Beləliklə, təyinatda birinci indeks əvvəlki vəziyyətin sayını, ikincisi isə sonrakı vəziyyətin sayını göstərir. Məsələn, ikinci vəziyyətdən üçüncü vəziyyətə keçid ehtimalıdır.

Vəziyyətlərin sayı sonlu və bərabər olsun.

Bir sistemin keçid matrisi bu sistemin bütün keçid ehtimallarını ehtiva edən bir matrisdir:

Matrisin hər sətirində tam qrup təşkil edən hadisələrin (eyni vəziyyətdən hər hansı mümkün vəziyyətə keçid) ehtimalları olduğu üçün bu hadisələrin ehtimallarının cəmi birə bərabərdir. Başqa sözlə, keçid matrisinin hər bir sırasının keçid ehtimallarının cəmi birinə bərabərdir:

Üç vəziyyətdə ola bilən sistemin keçid matrisinə misal verək; vəziyyətdən vəziyyətə keçid homojen Markov zəncirinin sxeminə uyğun olaraq baş verir; keçid ehtimalları matrislə verilir:

Burada görürük ki, əgər sistem vəziyyətdə idisə, bir addımda vəziyyəti dəyişdikdən sonra 0,5 ehtimalla eyni vəziyyətdə qalacaq, 0,5 ehtimalla eyni vəziyyətdə qalacaq, 0,2 ehtimalı ilə vəziyyətə keçəcək, onda keçiddən sonra ştatlarda bitə bilər; əyalətdən başqa yerə keçə bilməz. Matrisin son cərgəsi göstərir ki, bir vəziyyətdən 0,1 eyni ehtimalla mümkün vəziyyətlərdən hər hansı birinə getmək.

Sistemin keçid matrisinə əsaslanaraq, sistemin sözdə vəziyyət qrafikini qura bilərsiniz; ona etiketli vəziyyət qrafiki də deyilir. Bu dövrənin vizual təsviri üçün əlverişlidir. Nümunədən istifadə edərək qrafiklərin qurulması qaydasına baxaq.

Misal 2. Verilmiş keçid matrisindən istifadə edərək vəziyyət qrafikini qurun.

Çünki dördüncü dərəcəli matris, onda müvafiq olaraq sistemin 4 mümkün vəziyyəti var.

Qrafik sistemin bir vəziyyətdən eyni vəziyyətə keçməsi ehtimalını göstərmir. Xüsusi sistemləri nəzərdən keçirərkən, əvvəlcə bir vəziyyət qrafikini qurmaq, sonra sistemin bir vəziyyətdən eyni vəziyyətə keçid ehtimalını təyin etmək rahatdır (matrisanın cərgələrinin elementlərinin cəminin bərabər olması tələbi əsasında bir) və sonra sistemin keçid matrisini qurun.

§3. Markov bərabərliyi

Tərif. Addımlar (sınaqlar) nəticəsində sistemin vəziyyətdən vəziyyətə keçməsi ehtimalı ilə işarə edək. Məsələn, ikinci vəziyyətdən beşinci vəziyyətə 10 addımda keçid ehtimalıdır.

Biz keçid ehtimallarını əldə etdiyimizi vurğulayırıq

Gəlin özümüzə bir vəzifə qoyaq: keçid ehtimallarını bilərək, sistemin vəziyyətdən vəziyyətə keçid ehtimallarını addımlarla tapın.

Bu məqsədlə aralıq vəziyyəti (və arasında) nəzərə alırıq. Başqa sözlə, güman edəcəyik ki, ilkin vəziyyətdən addımlarla sistem ehtimalla ara vəziyyətə keçəcək, bundan sonra aralıq vəziyyətdən qalan addımlarda ehtimalla son vəziyyətə keçəcəkdir.

Ümumi ehtimal düsturundan istifadə edərək əldə edirik

. (1)

Bu düstur Markovun bərabərliyi adlanır.

İzah. Aşağıdakı qeydi təqdim edək:

– bizi maraqlandıran hadisə (addımlarla sistem ilkin vəziyyətdən son vəziyyətə keçəcək), buna görə də, ; − fərziyyələr (addımlarla sistem ilkin vəziyyətdən aralıq vəziyyətə keçəcək), buna görə də, − fərziyyə baş tutmaq şərti ilə baş vermənin şərti ehtimalı (addımlarla sistem aralıq vəziyyətdən son vəziyyətə keçəcək), buna görə də,

Ümumi ehtimal düsturuna əsasən,

()

Yaxud qəbul etdiyimiz notlarda

Markovun (1) düsturu ilə üst-üstə düşür.

Bütün keçid ehtimallarını bilməklə, yəni bir addımda vəziyyətdən vəziyyətə keçid matrisini bilməklə, iki addımda vəziyyətdən vəziyyətə keçid ehtimallarını və buna görə də keçid matrisinin özünü tapmaq olar; məlum matrisdən istifadə edərək, üç addımda vəziyyətdən vəziyyətə keçid matrisini tapa bilərsiniz və s.

Həqiqətən, Markov bərabərliyini qoyur

işarələr zənciri təsadüfi ehtimal

(2)

Beləliklə, (2) düsturundan istifadə edərək bütün ehtimalları və deməli, matrisin özünü tapa bilərsiniz. (2) düsturunun birbaşa istifadəsi yorucu olduğu və matris hesabı məqsədə daha tez apardığı üçün (2)-dən yaranan əlaqələri matris şəklində yazacağam:

(1) qoyaraq, biz də eyni şəkildə əldə edirik

Ümumiyyətlə

Teorem 1. Hər hansı s üçün, t

(3)

Sübut. Gəlin ehtimalı hesablayaq ümumi ehtimal düsturundan istifadə edərək (), qoyulması

Bərabərlikdən

Beləliklə, bərabərliklərdən (4) və

teoremin ifadəsini alırıq.

Matrisi təyin edək.Matrisin qeydində (3) forması var

O vaxtdan bəri keçid ehtimalı matrisi haradadır. (5) dən belə gəlir

(6)

Matrislər nəzəriyyəsində əldə edilmiş nəticələr onların davranışını hesablamaq və öyrənmək üçün (6) düsturundan istifadə etməyə imkan verir

Misal 1. Keçid matrisi müəyyən edildi Keçid matrisini tapın

Həll. Düsturdan istifadə edək

Matrisləri vuraraq nəhayət əldə edirik:

§4. Stasionar paylama. Limit Ehtimal Teoremi

Zamanın ixtiyari nöqtəsində ehtimal paylanması ümumi ehtimal düsturundan istifadə etməklə tapıla bilər

(7)

Zamandan asılı olmadığı ortaya çıxa bilər. zəng edək stasionar paylama vektor , şərtləri təmin edir

keçid ehtimalları haradadır.

Markov zəncirində olarsa sonra hər hansı biri üçün

Bu ifadə (7) və (8) induksiyasından sonra gəlir.

Markov zəncirlərinin bir mühüm sinfi üçün ehtimalların məhdudlaşdırılması teoreminin tərtibini təqdim edək.

Teorem 1. Əgər bəzi >0 üçün matrisin bütün elementləri müsbətdirsə, onda hər hansı , üçün

, (9)

Harada 0 bərabərsizliyini təmin edən müəyyən sabitlə stasionar paylanma< h <1.

olduğundan, onda teorem şərtlərinə görə istənilən vəziyyətdən müsbət ehtimalla istənilən vəziyyətə vaxtında gələ bilərsiniz. Teorem şərtləri müəyyən mənada dövri olan zəncirləri istisna edir.

Teorem 1-in şərtləri yerinə yetirilərsə, sistemin limitdə müəyyən vəziyyətdə olması ehtimalı ilkin paylanmadan asılı deyildir. Həqiqətən, (9) və (7)-dən belə nəticə çıxır ki, hər hansı ilkin paylanma üçün ,

Teorem 1-in şərtlərinin yerinə yetirilmədiyi Markov zəncirlərinin bir neçə nümunəsini nəzərdən keçirək. Bu cür nümunələrin nümunə olduğunu yoxlamaq çətin deyil. Nümunədə keçid ehtimallarının hədləri var, lakin bu limitlər ilkin vəziyyətdən asılıdır. Xüsusilə, nə vaxt

Digər nümunələrdə ehtimal diapazonları açıq şəkildə mövcud deyil.

1-ci misalda stasionar paylanmanı tapaq.Vektoru tapmaq lazımdır qaneedici şərtlər (8):

;

Beləliklə, stasionar paylanma mövcuddur, lakin bütün koordinat vektorları müsbət deyil.

Polinom sxemi üçün müəyyən bir növün nəticələrinin sayına bərabər təsadüfi dəyişənlər təqdim edilmişdir. Markov zəncirləri üçün oxşar miqdarları təqdim edək. Sistemin vaxtında vəziyyətə daxil olmasının sayı olsun. Daha sonra sistemin vəziyyəti tezliyi vurur. (9) düsturlarından istifadə edərək, yaxınlaşdıqda sübut edə bilərik. Bunu etmək üçün Çebışev bərabərsizliyi üçün asimptotik düsturlar əldə etməli və ondan istifadə etməlisiniz. üçün düsturun törəməsi budur. Onu formada təmsil edək

(10)

harada, əgər və başqa cür. Çünki

sonra riyazi gözləmənin xassəsindən və (9) düsturundan istifadə edərək əldə edirik

Teorem 1-ə əsasən, bu bərabərliyin sağ tərəfindəki üçlü termin yaxınlaşan sıranın qismən cəmidir. qoymaq , alırıq

Çünki

Xüsusilə (11) düsturundan belə çıxır ki

saat

Siz həmçinin fərqi hesablamaq üçün istifadə olunan bir düstur əldə edə bilərsiniz.

§5. Markov zəncirində ehtimalların məhdudlaşdırılması teoreminin sübutu

Əvvəlcə iki lemmanı sübut edək. qoyaq

Lemma 1. Hər hansı bir məhdudiyyət var

Sübut. (3) tənliyindən istifadə edərək əldə edirik

Beləliklə, ardıcıllıqlar həm monoton, həm də məhduddur. Bu, Lemma 1-in ifadəsini nəzərdə tutur.

Lemma 2. Teorem 2-nin şərtləri yerinə yetirilərsə, sabitlər var, belə

İstənilən üçün

burada , müsbət olan hər şey üzərində cəmləmə, qalanlar üzərində cəmləmə deməkdir. Buradan

. (12)

Çünki Teorem 1-in şərtlərinə əsasən hamı üçün, sonra hər hansı üçün keçid ehtimalları

Və ştatların sonlu sayına görə

İndi fərqi qiymətləndirək . , ilə (3) tənliyindən istifadə edərək əldə edirik

Buradan (8)-(10) istifadə edərək tapırıq

Bu əlaqəni (14) bərabərsizliklə birləşdirərək lemmanın ifadəsini alırıq.

Teoremin sübutuna keçin. Ardıcıllıqlar monoton olduğundan, deməli

0<. (15)

Bundan və Lemma 1-dən tapırıq

Buna görə də, aldığınız zaman və

Müsbətlik bərabərsizlikdən irəli gəlir (15). (3) tənliyində limitə keçərək (12) tənliyini təmin edən alırıq. Teorem sübut edilmişdir.

§6. Markov zəncirlərinin tətbiqi

Markov zəncirləri təsadüfi proseslər nəzəriyyəsinə yaxşı bir giriş kimi xidmət edir, yəni. təsadüfi dəyişənlər ailəsinin sadə ardıcıllıqları nəzəriyyəsi, adətən, əksər tətbiqlərdə zaman rolunu oynayan parametrdən asılıdır. Bu, ilk növbədə prosesin həm uzunmüddətli, həm də yerli davranışını tam təsvir etmək üçün nəzərdə tutulub. Bununla bağlı ən çox öyrənilən məsələlərdən bəzilərini təqdim edirik.

Broun hərəkəti və onun ümumiləşdirilməsi - diffuziya prosesləri və müstəqil artımlarla proseslər . Təsadüfi proseslər nəzəriyyəsi, ehtimal nəzəriyyəsi, operatorlar nəzəriyyəsi və diferensial tənliklər nəzəriyyəsi arasındakı əlaqənin dərinləşməsinə kömək etdi, bu da başqa şeylər arasında fizika və digər tətbiqlər üçün vacib idi. Tətbiqlərə aktuar (sığorta) riyaziyyatı, növbə nəzəriyyəsi, genetika, yol hərəkətinə nəzarət, elektrik dövrə nəzəriyyəsi və inventar nəzəriyyəsi üçün maraq doğuran proseslər daxildir.

Martingales . Bu proseslər Markov zəncirlərinin kifayət qədər xassələrini qoruyur ki, mühüm erqodik teoremlər onlar üçün etibarlı qalır. Martingales Markov zəncirlərindən onunla fərqlənir ki, indiki vəziyyət məlum olduqda, yalnız gələcəyin riyazi gözləntiləri, lakin ehtimal paylanmasının özü mütləq deyil, keçmişdən asılı deyil. Martinqale nəzəriyyəsinin tədqiqat üçün mühüm alət olması ilə yanaşı, o, statistikada yaranan təsadüfi proseslər nəzəriyyəsini, nüvə parçalanması nəzəriyyəsini, genetika və informasiya nəzəriyyəsini yeni limit teoremləri ilə zənginləşdirmişdir.

Stasionar proseslər . Ən qədim məlum olan erqodik teorem, yuxarıda qeyd edildiyi kimi, stasionar təsadüfi prosesin məhdudlaşdırıcı davranışını təsvir edən nəticə kimi şərh edilə bilər. Belə bir prosesin təmin etdiyi bütün ehtimal qanunlarının zamanın dəyişməsi ilə bağlı dəyişməz qalması xüsusiyyəti var. Fiziklər tərəfindən ilk dəfə fərziyyə kimi formalaşdırılan erqodik teorem, müəyyən şərtlər altında ansambl ortasının vaxt ortası ilə üst-üstə düşdüyü ifadəsi kimi təqdim edilə bilər. Bu o deməkdir ki, eyni məlumat bir sistemin uzunmüddətli müşahidəsindən və eyni sistemin bir çox müstəqil nüsxələrinin eyni vaxtda (və ani) müşahidəsindən əldə edilə bilər. Böyük ədədlər qanunu Birkhoffun erqodik teoreminin xüsusi halından başqa bir şey deyil. Geniş mənada başa düşülən stasionar Qauss proseslərinin davranışının interpolyasiyası və proqnozlaşdırılması klassik ən kiçik kvadratlar nəzəriyyəsinin mühüm ümumiləşdirilməsi kimi xidmət edir. Stasionar proseslər nəzəriyyəsi bir çox sahələrdə, məsələn, səs-küy və ya təsadüfi müdaxilənin mövcudluğunda mesajları ötürən sistemlərin öyrənilməsi və yaradılması ilə məşğul olan rabitə nəzəriyyəsində zəruri tədqiqat vasitəsidir.

Markov prosesləri (sonrakı təsirsiz proseslər) növbə sistemlərinin (QS) modelləşdirilməsində, həmçinin cəmiyyətdə baş verən sosial-iqtisadi proseslərin idarə olunması strategiyasının modelləşdirilməsində və seçilməsində böyük rol oynayır.

Markov zəncirindən mətnlər yaratmaq üçün də istifadə edilə bilər. Giriş kimi bir neçə mətn verilir, sonra bir sözün digərini izləyən ehtimalları ilə Markov zənciri qurulur və nəticədə mətn bu zəncir əsasında yaradılır. Oyuncaq çox əyləncəli olur!

Nəticə

Beləliklə, kurs işimizdə Markov zəncirinin dövrəsindən danışdıq. Onun hansı sahələrdə və necə istifadə olunduğunu öyrəndik, müstəqil testlər Markov zəncirində ehtimalların məhdudlaşdırılması teoremini sübut etdi, tipik və bircinsli Markov zəncirinə, eləcə də keçid matrisinin tapılmasına dair nümunələr verdik.

Biz gördük ki, Markov zəncirinin dizaynı müstəqil sınaq dizaynının birbaşa ümumiləşdirilməsidir.

İstifadə olunmuş ədəbiyyatın siyahısı

1. Çistyakov V.P. Ehtimal nəzəriyyəsi kursu. 6-cı nəşr, rev. − Sankt-Peterburq: Lan nəşriyyatı, 2003. − 272 s. − (Universitetlər üçün dərslik. Xüsusi ədəbiyyat).

2. Qnedenko B.V. Ehtimal nəzəriyyəsi kursu.

3. Gmurman V.E. Ehtimal nəzəriyyəsi və riyazi statistika.

4. Ventzel E.S. Ehtimal nəzəriyyəsi və onun mühəndislik tətbiqləri.

5. Kolmoqorov A.N., Zhurbenko İ.G., Proxorov A.V. Ehtimal nəzəriyyəsinə giriş. − Moskva-İjevsk: Kompüter Tədqiqatları İnstitutu, 2003, 188 s.

6. Katz M. Fizikada ehtimal və əlaqəli məsələlər.

(Andrey Andreeviç Markov (1856-1922) - rus riyaziyyatçısı, akademik)

Tərif. Fiziki sistemdə baş verən prosesə deyilir Markovski, əgər zamanın hər hansı bir anında sistemin hər hansı vəziyyətinin gələcəkdə baş vermə ehtimalı yalnız sistemin indiki andakı vəziyyətindən asılıdırsa və sistemin bu vəziyyətə necə gəldiyindən asılı deyilsə.

Tərif. Markov zənciri hər birində yalnız bir sınaq ardıcıllığı adlanır K uyğunsuz hadisələr Ai tam qrupdan. Bu halda şərti ehtimal Pij(S) nə var S-ci test hadisəsi gələcək Aj bir şərtlə ki, ( S – 1 ) – hadisə sınaq zamanı baş verdi Ai, əvvəlki testlərin nəticələrindən asılı deyil.

Müstəqil məhkəmələr Markov zəncirinin xüsusi halıdır. Hadisələr adlanır Sistem vəziyyətləri, və testlər - Sistem vəziyyətlərində dəyişikliklər.

Dövlətlərdə baş verən dəyişikliklərin xarakterindən asılı olaraq Markov zəncirlərini iki qrupa bölmək olar.

Tərif. Diskret-zaman Markov zənciri Zamanın müəyyən sabit anlarında vəziyyətləri dəyişən dövrə adlanır. Davamlı zaman Markov zənciri Zamanın istənilən təsadüfi anlarında vəziyyətləri dəyişə bilən dövrə deyilir.

Tərif. HomojenŞərti ehtimal olarsa, Markov zənciri adlanır Pij sistemin dövlətdən keçidi I Vəziyyətdə J test nömrəsindən asılı deyil. Ehtimal Pijçağırdı Keçid ehtimalı.

Fərz edək ki, vəziyyətlərin sayı sonlu və bərabərdir K.

Onda şərti keçid ehtimallarından ibarət matris belə görünəcək:

Bu matris deyilir Sistem keçid matrisi.

Hər bir cərgədə tam bir qrup meydana gətirən hadisələrin ehtimalları olduğundan, matrisin hər sətirinin elementlərinin cəminin birinə bərabər olduğu aydındır.

Sistemin keçid matrisinə əsaslanaraq, sözdə olanı qurmaq olar Sistem vəziyyəti qrafiki, buna da deyilir Etiketli Dövlət Qrafiki. Bu dövrənin vizual təsviri üçün əlverişlidir. Nümunədən istifadə edərək qrafiklərin qurulması qaydasına baxaq.

Misal. Verilmiş keçid matrisindən istifadə edərək vəziyyət qrafikini qurun.

Matris dördüncü dərəcəli olduğundan, müvafiq olaraq sistemin 4 mümkün vəziyyəti var.

Qoy Pij(N) - nəticədə olma ehtimalı N Testlər sistem dövlətdən gedəcək I bir vəziyyətdə J, R – dövlətlər arasında bəzi aralıq vəziyyət I VƏ J. Bir vəziyyətdən digərinə keçid ehtimalları Pij(1) = Pij.

Sonra ehtimal Pij(N) adlı düsturdan istifadə etməklə tapmaq olar Markov bərabərliyi:

Burada T– sistemin vəziyyətdən keçdiyi addımların (sınaqların) sayı I Vəziyyətdə R.

Prinsipcə, Markovun bərabərliyi ümumi ehtimal üçün bir qədər dəyişdirilmiş düsturdan başqa bir şey deyil.

Keçid ehtimallarını bilmək (yəni keçid matrisini bilmək P1), vəziyyətdən vəziyyətə keçid ehtimallarını iki addımda tapa bilərik Pij(2) , yəni matris P2, bunu bilmək - matrisi tapın P3 və s.

Yuxarıda alınan düsturun birbaşa tətbiqi çox rahat deyil, buna görə də matris hesablama üsullarından istifadə edə bilərsiniz (hər şeydən sonra, bu düstur mahiyyətcə iki matrisi vurmaq üçün bir düsturdan başqa bir şey deyil).

Sonra ümumi formada yaza bilərik:

Ümumiyyətlə, bu fakt adətən teorem şəklində tərtib edilir, lakin onun sübutu olduqca sadədir, ona görə də verməyəcəyəm.

Misal. Keçid matrisi müəyyən edildi P1. Matris tapın P3.

Tərif. Bütün sətirlərin elementlərinin cəmi birə bərabər olan matrislər adlanır Stokastik. Bəziləri üçünsə P bütün matrisin elementləri Rp sıfıra bərabər deyilsə, belə bir keçid matrisi adlanır Daimi.

Başqa sözlə, müntəzəm keçid matrisləri hər bir vəziyyətin keçə biləcəyi Markov zəncirini təyin edir P istənilən dövlətdən addımlar. Belə Markov zəncirləri də adlanır Daimi.

Teorem. (məhdud ehtimal teoremi) N hallı müntəzəm Markov zənciri verilsin və P onun keçid ehtimalı matrisi olsun. Onda limit və P matrisi var (¥ ) formaya malikdir:

Markov prosesi- sistemdə baş verən təsadüfi proses, o xüsusiyyətə malikdir: hər bir zaman anı üçün t 0, gələcəkdə sistemin hər hansı bir vəziyyətinin ehtimalı (t>t 0-da) yalnız indiki vəziyyətindən asılıdır (da). t = t 0) və sistemin bu vəziyyətə nə vaxt və necə gəldiyindən (yəni prosesin keçmişdə necə inkişaf etdiyindən) asılı deyil.

Təcrübədə biz tez-tez təsadüfi proseslərlə qarşılaşırıq ki, müxtəlif dərəcədə yaxınlaşma Markovian hesab edilə bilər.

İstənilən Markov prosesi vəziyyət ehtimalları və keçid ehtimallarından istifadə etməklə təsvir edilir.

Markov prosesinin P k (t) hallarının ehtimalları t zamanı təsadüfi prosesin (sistemin) S k vəziyyətində olması ehtimallarıdır:

Markov prosesinin keçid ehtimalları prosesin (sistemin) bir vəziyyətdən digərinə keçid ehtimallarıdır:

Markov prosesi adlanır homojen, zaman vahidi üçün keçid ehtimalları keçidin zaman oxunda harada baş verməsindən asılı deyilsə.

Ən sadə prosesdir Markov zənciri– Diskret vaxt və diskret sonlu vəziyyətlər dəsti ilə Markov təsadüfi prosesi.

Təhlil edildikdə, Markov zəncirləri dövlət qrafiki, zəncirin (sistemin) bütün hallarının və sıfırdan fərqli ehtimalların bir addımda qeyd olunduğu.

Markov zəncirini elə düşünmək olar ki, sanki sistemi təmsil edən bir nöqtə vəziyyət qrafiki vasitəsilə təsadüfi hərəkət edir, bir addımda vəziyyətdən vəziyyətə sürüklənir və ya bir neçə addım eyni vəziyyətdə qalır.

Markov zəncirinin bir addımda keçid ehtimalları P=||P ij || matrisi şəklində yazılır ki, bu da keçid ehtimalı matrisi və ya sadəcə keçid matrisi adlanır.

Nümunə: ixtisasın tələbələrinin vəziyyətlərinin çoxluğu aşağıdakı kimidir:

S 1 – birinci kurs tələbəsi;

S 2 – ikinci kurs…;

S 5 – 5-ci kurs tələbəsi;

S 6 – ali məktəbi bitirmiş mütəxəssis;

S 7 – universitetdə oxumuş, lakin məzun olmayan şəxs.

Bir il ərzində S 1 vəziyyətindən S 2 vəziyyətinə keçidlər r 1 ehtimalı ilə mümkündür; q 1 ehtimalı ilə S 1 və p 1 ehtimalı ilə S 7 və:

r 1 +q 1 +p 1 =1.

Bu Markov zənciri üçün vəziyyət qrafiki quraq və onu keçid ehtimalları ilə (sıfırdan fərqli) qeyd edək.

Keçid ehtimallarının matrisini yaradaq:

Keçid matrisləri aşağıdakı xüsusiyyətlərə malikdir:

Onların bütün elementləri mənfi deyil;

Onların sıra cəmi birə bərabərdir.

Bu xüsusiyyətə malik matrislər stoxastik adlanır.

Keçid matrisləri, ehtimal vurma teoremindən istifadə edərək istənilən Markov zəncirinin trayektoriyasının ehtimalını hesablamağa imkan verir.

Homojen Markov zəncirləri üçün keçid matrisləri zamandan asılı deyil.

Markov zəncirlərini öyrənərkən ən çox maraq göstərənlər:

m addımlarla keçid ehtimalları;

m→∞ addımında dövlətlər üzrə paylanma;

Müəyyən bir vəziyyətdə sərf olunan orta vaxt;

Bu vəziyyətə qayıtmaq üçün orta vaxt.

N vəziyyəti olan bircins Markov zəncirini nəzərdən keçirək. S i vəziyyətindən S j vəziyyətinə m addımlarla keçid ehtimalını əldə etmək üçün ümumi ehtimal düsturuna uyğun olaraq Si vəziyyətindən Sk aralıq vəziyyətinə keçid ehtimalının hasillərini l addımlarda ehtimalla toplamaq lazımdır. qalan m-l addımlarda Sk-dən Sj-ə keçidin, yəni.

Bu əlaqə bütün i=1, …, n üçün; j=1, …,n matrislərin hasili kimi təqdim edilə bilər:

P(m)=P(l)*P(m-l).

Beləliklə, bizdə:

P(2)=P(1)*P(1)=P 2

P(3)=P(2)*P(1)=P(1)*P(2)=P 3 və s.

P(m)=P(m-1)*P(1)=P(1)*P(M-1)=P m ,

bu, bir addımda keçid matrisini bilməklə istənilən sayda addımda vəziyyətlər arasında keçid ehtimallarını tapmağa imkan verir, yəni P ij (m) - matrisin elementi P(m) S vəziyyətindən hərəkət etmə ehtimalıdır. i m addımlarla S j ifadə etmək.

Misal: Müəyyən bir bölgədə hava uzun müddət ərzində yağışlı və quru hava arasında dəyişir. Yağış yağarsa, 0,7 ehtimalı ilə ertəsi gün yağış yağacaq; Müəyyən bir gündə hava quru olarsa, 0,6 ehtimalı ilə növbəti gün də davam edəcək. Çərşənbə günü havanın yağışlı olduğu məlum olub. Gələn cümə günü yağışlı olacağı ehtimalı nədir?

Bu məsələdə Markov zəncirinin bütün hallarını yazaq: D – yağışlı hava, C – quru hava.

Gəlin bir vəziyyət qrafiki quraq:

Cavab: p 11 = p (D daban | D orta) = 0,61.

m→∞ üçün р 1 (m), р 2 (m),…, р n (m) ehtimal hədləri, əgər varsa, adlanır. dövlətlərin ehtimallarını məhdudlaşdırır.

Aşağıdakı teorem isbat edilə bilər: əgər Markov zəncirində hər bir vəziyyətdən (müəyyən sayda addımda) bir-birinə keçə bilsəniz, vəziyyətlərin məhdudlaşdırıcı ehtimalları mövcuddur və sistemin ilkin vəziyyətindən asılı deyildir. .

Beləliklə, m→∞ olaraq, vəziyyətlərin hər birinin müəyyən sabit ehtimalla baş verdiyi sistemdə müəyyən məhdudlaşdırıcı stasionar rejim qurulur.

Marjinal ehtimallardan ibarət olan p vektoru aşağıdakı əlaqəni təmin etməlidir: p=p*P.

Ştatda sərf olunan orta vaxt T vaxtı üçün S i p i *T-ə bərabərdir, burada p i - dövlətin marjinal ehtimalı S i . Dövlətə qayıtmaq üçün orta vaxt S i bərabərdir.

Misal.

Bir çox iqtisadi problemlər üçün illik çay axınının müəyyən dəyərləri ilə illərin növbəsini bilmək lazımdır. Təbii ki, bu növbəni tamamilə dəqiq müəyyən etmək olmaz. Dəyişmə (keçid) ehtimallarını müəyyən etmək üçün axınları dörd gradasiya (sistemin vəziyyətləri) tətbiq etməklə bölürük: birinci (ən aşağı axın), ikinci, üçüncü, dördüncü (ən yüksək axın). Müəyyənlik üçün güman edəcəyik ki, birinci dərəcənin ardınca heç vaxt dördüncü, dördüncüsü isə nəmin (torpaqda, su anbarında və s.) yığılması səbəbindən birincinin ardınca getmir. Müşahidələr göstərdi ki, müəyyən bir bölgədə digər keçidlər mümkündür və:

a) birinci dərəcədən ortaların hər birinə yenidən birinciyə nisbətən iki dəfə tez keçə bilərsiniz, yəni.

p 11 =0,2; səh 12 =0,4; səh 13 =0,4; p 14 =0;

b) dördüncü gradasiyadan ikinci və üçüncü dərəcələrə keçidlər ikincidəki kimi qayıdışlardan dörd və beş dəfə tez-tez baş verir, yəni.

çətin, yəni.

dördüncüdə, yəni.

p 41 =0; səh 42 =0,4; səh 43 =0,5; səh 44 =0,1;

c) ikincidən digər dərəcələrə qədər yalnız daha az tez-tez ola bilər: birincidə - iki dəfə az, üçüncüdə 25%, dördüncüdə - ikinciyə keçiddən dörd dəfə az, yəni.

p 21 =0,2;s 22 =0,4; səh 23 =0,3; səh 24 =0,1;

d) üçüncü dərəcədən ikinci dərəcəyə keçid üçüncü dərəcəyə qayıdış kimi, birinci və dördüncü dərəcələrə keçid isə dörd dəfə azdır, yəni.

səh 31 =0,1; səh 32 =0,4; səh 33 =0,4; səh 34 =0,1;

Gəlin bir qrafik quraq:

Keçid ehtimallarının matrisini yaradaq:

Quraqlıq və yüksək sulu illər arasındakı orta vaxtı tapaq. Bunun üçün limit paylanmasını tapmaq lazımdır. Çünki mövcuddur teoremin şərti təmin edilir (P2 matrisində sıfır element yoxdur, yəni iki addımda sistemin istənilən vəziyyətindən digərinə keçə bilərsiniz).

Burada p 4 =0,08; p 3 =; p 2 =; p 1 =0,15

S i vəziyyətinə qayıtma tezliyi -ə bərabərdir.

Nəticədə, quraqlıq illərinin tezliyi orta hesabla 6,85-dir, yəni. 6-7 yaş, yağışlı illər isə 12.