Markov zanjirining o'tish holatlari matritsasi. Muntazam Markov zanjirlari. Keling, uning ba'zi xususiyatlariga e'tibor qaratamiz

o'z-o'zidan va qisman biz uni taqdimoti ko'p sonli yangi atamalarni kiritishni talab qilmasligi bilan bog'liq deb hisoblaymiz.

Ikki pichan uyasi orasida turgan eshak muammosini ko'rib chiqaylik: javdar somoni va bug'doy somoni (10.5-rasm).

Eshak ikkita pichan o'rtasida turadi: "Javdar" va "Bug'doy" (10.5-rasm). Har daqiqada u birinchi pichanzor tomon (ehtimol bilan) o'n metr yoki ikkinchi pichanzor tomon (ehtimol bilan) harakat qiladi yoki turgan joyida qoladi (ehtimol bilan); bu xatti-harakat bir o'lchovli deb ataladi tasodifiy yurish. Ikkala pichan uyasi ham “so‘riladi”, ya’ni eshak pichanlardan biriga yaqinlashsa, u yerda qoladi, deb taxmin qilamiz. Ikki pichan uyasi orasidagi masofani va eshakning dastlabki holatini bilib, siz bir nechta savollarni berishingiz mumkin, masalan: u qaysi pichanga tushishi mumkin va u erga borish uchun eng ko'p vaqt kerakmi?

Guruch. 10.5.

Bu muammoni batafsil o‘rganish uchun zarbalar orasidagi masofa ellik metr, eshagimiz esa “Bug‘doy” zarbasidan yigirma metr masofada bo‘lsin, deb faraz qilaylik. Agar to'xtashingiz mumkin bo'lgan joylar tomonidan ko'rsatilgan bo'lsa (- zarbalarning o'zi), keyin uning boshlang'ich holati vektor tomonidan belgilanishi mumkin, uning th komponenti dastlab joylashgan bo'lish ehtimoliga teng. Bundan tashqari, bir daqiqadan so'ng uning joylashish ehtimoli vektor, ikki daqiqadan so'ng - vektor bilan tavsiflanadi. Ma'lumki, daqiqalar o'tgandan keyin uning ma'lum bir joyda bo'lish ehtimolini to'g'ridan-to'g'ri hisoblash qiyinlashadi. Ma'lum bo'lishicha, buning eng qulay usuli - kirish o'tish matritsasi.

Uning bir daqiqadan keyin o'tish ehtimoli bo'lsin. Masalan, va. Bu ehtimollar deyiladi o'tish ehtimoli, va -matritsa deyiladi o'tish matritsasi. E'tibor bering, matritsaning har bir elementi manfiy emas va har qanday satr elementlarining yig'indisi bittaga teng. Bularning barchasidan kelib chiqadiki - yuqorida aniqlangan boshlang'ich qator vektori, eshakning bir daqiqadan so'ng joylashishi qator vektori bilan, daqiqalardan keyin esa - vektor bilan tavsiflanadi. Boshqacha qilib aytadigan bo'lsak, vektorning --chi komponenti bir necha daqiqadan so'ng eshakning ichida bo'lish ehtimolini aniqlaydi.

Bu tushunchalarni umumlashtirish mumkin. Qo'ng'iroq qilaylik ehtimollar vektori qator vektori, uning barcha komponentlari manfiy bo'lmagan va qo'shilishi bittaga. Keyin o'tish matritsasi har bir satr ehtimollar vektori bo'lgan kvadrat matritsa sifatida aniqlanadi. Endi biz Markov zanjirini (yoki shunchaki zanjirni) juftlik sifatida belgilashimiz mumkin, bu erda - o'tish matritsasi, va qator vektor mavjud. Agar ning har bir elementi pozitsiyadan pozitsiyaga o'tish ehtimoli sifatida va - ehtimollarning boshlang'ich vektori sifatida qaralsa, biz klassik tushunchaga kelamiz. diskret statsionar Markov zanjiri, ehtimollar nazariyasiga oid kitoblarda topish mumkin (qarang Feller V. Ehtimollar nazariyasiga kirish va uning qo'llanilishi. 1-jild. M.: Mir. 1967) Pozitsiya odatda zanjirning holati deb ataladi. Keling, tasvirlab beraylik turli yo'llar bilan ularning tasniflari.

Bizni quyidagilar qiziqtiradi: bir holatdan ikkinchisiga o'tish mumkinmi va agar shunday bo'lsa, eng qisqa vaqt ichida. Misol uchun, eshak muammosida siz uch daqiqadan so'nggacha borishingiz mumkin, ammo bu erga umuman borolmaysiz. Shuning uchun bizni asosan ehtimolliklarning o'zi emas, balki ularning ijobiy yoki yo'qligi qiziqtiradi. Keyin bu ma'lumotlarning barchasini digraf shaklida tasvirlash mumkin degan umid bor, ularning uchlari holatlarga mos keladi va yoylar bir daqiqada bir holatdan ikkinchisiga o'tish mumkinligini ko'rsatadi. Aniqroq qilib aytadigan bo'lsak, agar har bir holat o'zining tegishli cho'qqisi bilan ifodalangan bo'lsa).

Diskret holatlar va diskret vaqtli Markov tasodifiy jarayon Markov zanjiri deb ataladi . Bunday jarayon uchun daqiqalar t 1, t 2 tizim qachon S uning holatini o'zgartirishi mumkin, jarayonning ketma-ket bosqichlari sifatida qaraladi va jarayon bog'liq bo'lgan argument vaqt emas. t, va qadam raqami 1, 2, k, Bu holda tasodifiy jarayon holatlar ketma-ketligi bilan tavsiflanadi S(0), S(1), S(2), S(k), Qayerda S(0)- tizimning dastlabki holati (birinchi bosqichdan oldingi); S(1)- tizimning birinchi qadamdan keyingi holati; S(k)- tizimning keyingi holati k chi qadam...

Tadbir ( S(k) = S i), darhol keyin ekanligidan iborat k chi bosqichda tizim holatidadir S i (i= 1, 2,), tasodifiy hodisadir. Holatlar ketma-ketligi S(0), S(1), S(k), tasodifiy hodisalar ketma-ketligi sifatida qaralishi mumkin. Ushbu tasodifiy hodisalar ketma-ketligi deyiladi Markov zanjiri , agar har bir qadam uchun har qanday S i holatdan istalgan S j holatga o'tish ehtimoli tizim qachon va qanday S i holatga kelganiga bog'liq bo'lmasa. Dastlabki holat S(0) oldindan belgilangan yoki tasodifiy bo'lishi mumkin.

Markov zanjiri holatlarining ehtimolliklari ehtimollar deyiladi P i (k) keyin nima keladi k qadam (va gacha ( k+ 1)-chi) tizim S qila oladi S i (i = 1, 2, n). Shubhasiz, har qanday kishi uchun k.

Markov zanjirining dastlabki ehtimollik taqsimoti jarayon boshida holatlarning ehtimollik taqsimoti deyiladi:

P 1 (0), P 2 (0), P i (0), P n (0).

Maxsus holatda, agar tizimning dastlabki holati S aniq ma'lum S(0) = S i, keyin boshlang'ich ehtimollik R i (0)= 1, qolganlari esa nolga teng.

ga o'tish ehtimoli (o'tish ehtimoli). k-davlatdan qadam S i bir holatda Sj sistemaning shartli ehtimolligi deyiladi S keyin k chi qadam mumkin bo'ladi Sj darhol oldin (keyin k- 1 qadam) u ahvolda edi S i.

Chunki tizim ulardan birida bo'lishi mumkin n davlatlar, keyin har bir vaqt uchun t sozlanishi kerak n 2 o'tish ehtimoli P ij, ular qulay tarzda quyidagi matritsa shaklida ifodalanadi:

Qayerda R ij- davlatdan bir qadamda o'tish ehtimoli S i bir holatda Sj;

P ii- tizim holatida kechikish ehtimoli S i.

Bunday matritsa o'tish matritsasi yoki o'tish ehtimoli matritsasi deb ataladi.

Agar o'tish ehtimoli qadam raqamiga (vaqt bo'yicha) bog'liq bo'lmasa, faqat qaysi holatga o'tish amalga oshirilganiga bog'liq bo'lsa, u holda tegishli Markov zanjiri deyiladi bir hil .

Bir jinsli Markov zanjirining o'tish ehtimoli R ij kattalikdagi kvadrat matritsa hosil qiladi n m.

Keling, uning ba'zi xususiyatlarini ta'kidlaymiz:

1. Har bir chiziq tizimning tanlangan holatini tavsiflaydi va uning elementlari tanlanganidan bir qadamda barcha mumkin bo'lgan o'tishlar ehtimolini ifodalaydi (dan i th) davlat, shu jumladan o'ziga o'tish.

2. Ustunlar elementlari tizimning bir qadamda berilganiga barcha mumkin bo'lgan o'tishlari ehtimolini ko'rsatadi ( j-f) holat (boshqacha aytganda, satr tizimning holatdan, ustun - holatga o'tish ehtimolini tavsiflaydi).

3. Har bir qatorning ehtimollik yig'indisi birga teng, chunki o'tishlar mos kelmaydigan hodisalarning to'liq guruhini tashkil qiladi:

4. O'tish ehtimoli matritsasining asosiy diagonali bo'ylab ehtimollar joylashgan P ii tizim davlatdan chiqmaydi S i, lekin unda qoladi.

Agar bir hil Markov zanjiri uchun boshlang'ich ehtimollik taqsimoti va o'tish ehtimoli matritsasi berilgan bo'lsa, u holda tizimning ehtimolliklari P i (k) (i, j= 1, 2, n) takroriy formula bilan aniqlanadi:

1-misol. Keling, tizimning ishlash jarayonini ko'rib chiqaylik - avtomobil. Avtomobil (tizim) bir smenada (kun) ikkita holatda bo'lsin: xizmat ko'rsatishga yaroqli ( S 1) va noto'g'ri ( S 2). Tizim holati grafigi rasmda ko'rsatilgan. 3.2.

Guruch. 3.2.Avtomobil holati grafigi

Avtotransport vositalarining ishlashini ommaviy kuzatishlar natijasida quyidagi o'tish ehtimoli matritsasi tuzildi:

Qayerda P 11= 0,8 - avtomobilning yaxshi holatda qolishi ehtimoli;

P 12= 0,2 - avtomobilning "yaxshi" holatdan "nosoz" holatiga o'tish ehtimoli;

P 21= 0,9 - avtomobilning "noto'g'ri" holatidan "yaxshi" holatga o'tish ehtimoli;

P 22= 0,1 - avtomobilning "noto'g'ri" holatda qolish ehtimoli.

Avtomobil holatlarining dastlabki ehtimolliklari vektori berilgan, ya'ni. P 1 (0)= 0 va R 2 (0)=1.

Uch kundan keyin mashinaning holati ehtimolini aniqlash talab qilinadi.

O'tish ehtimoli matritsasi va formuladan (3.1) foydalanib, biz holatlarning ehtimolligini aniqlaymiz. P i (k) birinchi qadamdan keyin (birinchi kundan keyin):

P 1 (1) = P 1 (0) × P 11 + P 2 (0) × P 21 = 0?0,8 + 1?0,9 = 0,9;

P 2 (1) = P 1 (0) × P 12 + P 2 (0) × P 22 = 0?0,2 + 1?0,1 = 0,2.

Ikkinchi bosqichdan keyin (ikkinchi kundan keyin) holatlarning ehtimoli quyidagicha:

P 1 (2) = P 1 (1) × P 11 + P 2 (1) × P 21= 0,9×0,8 + 0,1×0,9 = 0,81;

= 0,9 × 0,2 + 0,1 × 0,1 = 0,19.

Uchinchi bosqichdan keyin (uchinchi kundan keyin) shtatlarning ehtimoli teng:

P 1 (3) = P 1 (2) × P 11 + P 2 (2) × P 21= 0,81×0,8 + 0,19×0,9 = 0,819;

= 0,81 × 0,2 + 0,19 × 0,1 = 0,181.

Shunday qilib, uchinchi kundan keyin mashina 0,819 ehtimollik bilan yaxshi holatda va 0,181 ehtimollik bilan "nosoz" holatda bo'ladi.

2-misol. Ishlash jarayonida kompyuterni jismoniy tizim deb hisoblash mumkin S, tekshirish natijasida quyidagi holatlardan birida tugashi mumkin: S 1- kompyuter to'liq ishlamoqda; S 2- kompyuterning operativ xotirasida nosozliklar mavjud bo'lib, ularda muammolarni hal qila oladi; S 3- kompyuterda sezilarli nosozliklar mavjud va cheklangan sinfdagi muammolarni hal qila oladi; S 4- Kompyuter butunlay ishdan chiqqan.

Dastlabki vaqtda kompyuter to'liq ishlaydi (holat S 1). Kompyuter belgilangan vaqtda tekshiriladi t 1, t 2, t 3. Tizimda sodir bo'ladigan jarayon S, bir hil deb hisoblash mumkin Markov zanjiri uch bosqichli (birinchi, ikkinchi, uchinchi kompyuter tekshiruvlari). O'tish ehtimoli matritsasi shaklga ega

Uchta tekshiruvdan so'ng kompyuter holatining ehtimolini aniqlang.

Yechim. Davlat grafigi rasmda ko'rsatilgan shaklga ega. 3.3. Har bir o'qning yonida tegishli o'tish ehtimoli mavjud. Dastlabki holat ehtimoli P 1 (0) = 1, P2(0) = P 3 (0) = P 4 (0) = 0.

Guruch. 3.3. Kompyuter holati grafigi

(3.1) formuladan foydalanib, ehtimollar yig'indisida faqat ma'lum bir holatga to'g'ridan-to'g'ri o'tish mumkin bo'lgan holatlarni hisobga olgan holda, biz quyidagilarni topamiz:

P 1 (1) = P 1 (0) × P 11= 1×0,3 = 0,3;

P 2 (1) = P 1 (0) × P 12= 1×0,4 = 0,4;

P 3 (1) = P 1 (0) × P 13= 1×0,1 = 0,1;

P 4 (1) = P 1 (0) × P 14= 1×0,2 = 0,2;

P 1 (2) = P 1 (1) × P 11= 0,3×0,3 = 0,09;

P 2 (2) = P 1 (1) × P 12 + P 2 (1) × P 22= 0,3×0,4 + 0,4×0,2 = 0,20;

P 3 (2) = P 1 (1) × P 13 + P 2 (1) × P 23 + P 3 (1) × P 33 = 0,27;

P 4 (2) = P 1 (1) × P 14 + P 2 (1) × P 24 + P 3 (1) × P 34 + P 4 (1) × P 44 = 0,44;

P 1 (3) = P 1 (2) × P 11= 0,09×0,3 = 0,027;

P 2 (3) = P 1 (2) × P 12 + P 2 (2) × P 22= 0,09×0,4 + 0,20×0,2 = 0,076;

P 3 (3) = P 1 (2) × P 13 + P 2 (2) × P 23 + P 3 (2) × P 33 = 0,217;

P 4 (3) = P 1 (2) × P 14 + P 2 (2) × P 24 + P 3 (2) × P 34 + P 4 (2) × P 44 = 0,680.

Shunday qilib, uchta tekshiruvdan so'ng kompyuter holatining ehtimoli quyidagicha: P 1 (3) = 0,027; P 2 (3) = 0,076; P 3 (3) = 0,217; P 4 (3) = 0,680.

Vazifa 1. Muayyan nishon bir vaqtning o'zida to'rtta o'q bilan otiladi t 1, t 2, t 3, t 4.

Mumkin tizim holatlari: S 1- nishon zararsiz; S 2- nishon biroz shikastlangan; S 3- nishonga katta zarar yetkazilgan; S 4- nishon to'liq urilgan. Dastlabki vaqtda maqsad bir holatda S 1. Agar o'tish ehtimoli matritsasi shaklga ega bo'lsa, to'rtta o'qdan keyin maqsadli holatlar ehtimolini aniqlang.

Markov zanjirlari

Kirish

§ 1. Markov zanjiri

§ 2. Bir jinsli Markov zanjiri. O'tish ehtimoli. O'tish matritsasi

§3. Markov tengligi

§4. Statsionar taqsimot. Limit ehtimollik teoremasi

§5. Markov zanjirida ehtimollikni cheklash teoremasining isboti

§6. Markov zanjirlarining qo'llanilishi

Xulosa

Foydalanilgan adabiyotlar ro'yxati

Kirish

Bizning mavzu kurs ishi Markov zanjirlari. Markov zanjirlari tasodifiy jarayonlar ustida ko'p ishlagan va ushbu sohaning rivojlanishiga katta hissa qo'shgan taniqli rus matematigi Andrey Andreevich Markov sharafiga nomlangan. Yaqinda Markov zanjirlarini turli sohalarda qo'llash haqida eshitishingiz mumkin: zamonaviy veb-texnologiyalar, adabiy matnlarni tahlil qilishda yoki hatto futbol jamoasi uchun taktikani ishlab chiqishda. Markov zanjirlari nima ekanligini bilmaganlar, bu juda murakkab va deyarli tushunarsiz narsa ekanligini his qilishlari mumkin.

Yo'q, buning aksi. Markov zanjiri tasodifiy hodisalar ketma-ketligining eng oddiy holatlaridan biridir. Ammo, soddaligiga qaramay, u juda murakkab hodisalarni tasvirlashda ham foydali bo'lishi mumkin. Markov zanjiri tasodifiy hodisalar ketma-ketligi bo'lib, unda har bir hodisaning ehtimoli faqat oldingisiga bog'liq, lekin oldingi voqealarga bog'liq emas.

Biz chuqurroq o'rganishdan oldin, biz odatda ma'lum bo'lgan, ammo keyingi ekspozitsiya uchun mutlaqo zarur bo'lgan bir nechta yordamchi masalalarni ko'rib chiqishimiz kerak.

Mening kurs ishimning maqsadi Markov zanjirlarining qo'llanilishini, masalaning qo'yilishi va Markov muammolarini batafsilroq o'rganishdir.

§1. Markov zanjiri

Tasavvur qilaylik, bir qator sinovlar o'tkazilmoqda.

Ta'rif. Markov zanjiri sinovlar ketma-ketligi bo'lib, ularning har birida to'liq guruhning bir-biriga mos kelmaydigan hodisalaridan faqat bittasi paydo bo'ladi va hodisaning sinovda sodir bo'lishining shartli ehtimolligi. , agar voqea th sud jarayonida sodir bo'lgan bo'lsa , oldingi testlar natijalariga bog'liq emas.

Misol uchun, agar sinovlar ketma-ketligi Markov zanjirini tashkil qilsa va to'liq guruh to'rtta mos kelmaydigan hodisadan iborat bo'lsa va bu hodisa oltinchi sud jarayonida sodir bo'lganligi ma'lum bo'lsa, unda voqeaning ettinchi sud jarayonida sodir bo'lishining shartli ehtimoli bog'liq emas. birinchi, ikkinchi, ..., beshinchi testlarda qanday hodisalar paydo bo'lganligi haqida.

E'tibor bering, mustaqil testlar Markov zanjirining alohida holatidir. Haqiqatan ham, agar testlar mustaqil bo'lsa, unda har qanday testda ma'lum bir hodisaning paydo bo'lishi ilgari o'tkazilgan testlar natijalariga bog'liq emas. Bundan kelib chiqadiki, Markov zanjiri kontseptsiyasi mustaqil sinovlar kontseptsiyasini umumlashtirishdir.

Ko'pincha, Markov zanjirlari nazariyasini taqdim etayotganda, ular boshqa terminologiyaga amal qilishadi va har bir vaqtning har bir daqiqasida quyidagi holatlardan birida bo'lgan ma'lum bir jismoniy tizim haqida gapirishadi: va o'z holatini faqat vaqtning alohida daqiqalarida o'zgartiradi, bu ya'ni, tizim bir holatdan ikkinchi holatga o'tadi (masalan, dan ga). Markov zanjirlari uchun har qanday davlatga borish ehtimoli hozirgi vaqtda faqat tizim ayni paytda qanday holatda bo'lganiga bog'liq va o'zgarmaydi, chunki uning oldingi daqiqalardagi holatlari ma'lum bo'ladi. Bundan tashqari, xususan, testdan so'ng tizim bir xil holatda qolishi mumkin (davlatdan shtatga o'tish).

Tasavvur qilish uchun bir misolni ko'rib chiqing.

1-misol. Tasavvur qilaylik, to'g'ri chiziqda joylashgan zarracha momentlarda sodir bo'ladigan tasodifiy zarbalar ta'sirida ushbu to'g'ri chiziq bo'ylab harakatlanadi. Zarracha butun koordinatali nuqtalarda joylashgan bo'lishi mumkin: ; Ko'zgu devorlari nuqtalarda joylashgan. Har bir surish zarrachani ehtimol bilan o'ngga va ehtimol bilan chapga siljitadi, agar zarracha devorga yaqin bo'lmasa. Agar zarracha devorga yaqin bo'lsa, unda har qanday surish uni devorlar orasidagi bo'shliqqa bir birlik ichiga siljitadi. Bu erda biz zarracha yurishining bu namunasi odatiy Markov zanjiri ekanligini ko'ramiz.

Shunday qilib, hodisalar tizimning holatlari, testlar esa uning holatlaridagi o'zgarishlar deb ataladi.

Keling, yangi terminologiyadan foydalangan holda Markov zanjirini aniqlaylik.

Diskret vaqtli Markov zanjiri - bu holatlar ma'lum vaqtlarda o'zgarib turadigan sxema.

Uzluksiz vaqtli Markov zanjiri - bu holatlar vaqtning har qanday tasodifiy mumkin bo'lgan momentlarida o'zgarib turadigan zanjir.

§2. Bir hil Markov zanjiri. O'tish ehtimoli. O'tish matritsasi

Ta'rif. Agar shartli ehtimollik (holdan holatga o'tish) sinov soniga bog'liq bo'lmasa, Markov zanjiri bir hil deb ataladi. Shuning uchun oddiy yozish o'rniga.

1-misol. Tasodifiy yurish. Butun son koordinatali nuqtada to‘g‘ri chiziqda moddiy zarracha bo‘lsin. Muayyan vaqtlarda zarracha zarbalarni boshdan kechiradi. Surish ta'sirida zarracha ehtimol bilan bir birlik o'ngga va ehtimol bir birlik chapga harakat qiladi. Ko'rinib turibdiki, zarrachaning zarbadan keyingi holati (koordinatasi) zarrachaning darhol oldingi zarbadan keyin qayerda bo'lganiga bog'liq va boshqa oldingi zarbalar ta'sirida qanday harakat qilganiga bog'liq emas.

Shunday qilib, tasodifiy yurish diskret vaqtga ega bir hil Markov zanjiriga misoldir.

O'tish ehtimoli - shartli ehtimollikdan (tizim qandaydir test natijasida, qanday raqam bo'lishidan qat'iy nazar, tizim o'zini topdi) keyingi sinov natijasida tizim holatga o'tadi.

Shunday qilib, belgilashda birinchi indeks oldingi holatning sonini, ikkinchisi esa keyingi holatning sonini ko'rsatadi. Masalan, ikkinchi holatdan uchinchi holatga o'tish ehtimoli.

Holatlar soni chekli va ga teng bo'lsin.

Tizimning o'tish matritsasi - bu tizimning barcha o'tish ehtimolini o'z ichiga olgan matritsa:

Matritsaning har bir qatori to‘liq guruhni tashkil etuvchi hodisalarning (bir holatdan har qanday mumkin bo‘lgan holatga o‘tish) ehtimolini o‘z ichiga olganligi sababli, bu hodisalarning ehtimollik yig‘indisi bittaga teng. Boshqacha qilib aytganda, o'tish matritsasining har bir satrining o'tish ehtimoli yig'indisi bittaga teng:

Uchta holatda bo'lishi mumkin bo'lgan tizimning o'tish matritsasiga misol keltiramiz; holatdan holatga o'tish bir hil Markov zanjiri sxemasiga muvofiq sodir bo'ladi; O'tish ehtimoli matritsa bilan berilgan:

Bu erda biz ko'ramizki, agar tizim holatda bo'lgan bo'lsa, u holda bir qadamda holatni o'zgartirgandan so'ng, u 0,5 ehtimol bilan bir xil holatda qoladi, 0,5 ehtimol bilan bir xil holatda qoladi, 0,2 ehtimol bilan holatga o'tadi, keyin o'tishdan keyin u shtatlarda tugashi mumkin; u shtatdan boshqa joyga ko'chira olmaydi. Matritsaning oxirgi qatori bir holatdan bir xil ehtimollik bilan 0,1 bo'lgan har qanday holatga o'tishni ko'rsatadi.

Tizimning o'tish matritsasiga asoslanib, siz tizimning holat grafigi deb ataladigan narsani yaratishingiz mumkin, u etiketlangan holat grafigi deb ham ataladi. Bu sxemani vizual tasvirlash uchun qulaydir. Misol yordamida grafiklarni qurish tartibini ko'rib chiqamiz.

2-misol. Berilgan o‘tish matritsasidan foydalanib, holat grafigini tuzing.

Chunki to'rtinchi tartibli matritsa, keyin mos ravishda tizim 4 ta mumkin bo'lgan holatga ega.

Grafik tizimning bir holatdan bir xil holatga o'tish ehtimolini ko'rsatmaydi. Muayyan tizimlarni ko'rib chiqishda, avvalo holat grafigini qurish, so'ngra tizimning bir holatdan bir xil holatga o'tish ehtimolini aniqlash (matritsa satrlari elementlarining yig'indisi teng bo'lishi talabi asosida) qulaydir. bir), so'ngra tizimning o'tish matritsasini tuzing.

§3. Markov tengligi

Ta'rif. Qadamlar (sinovlar) natijasida tizimning holatdan holatga o'tish ehtimoli bilan belgilaymiz. Masalan, ikkinchi holatdan beshinchi holatga 10 qadamda o'tish ehtimoli.

Biz o'tish ehtimolini olishimizni ta'kidlaymiz

Keling, o'z oldimizga vazifa qo'yaylik: o'tish ehtimolini bilib, tizimning holatdan holatga o'tish ehtimolini bosqichlarda topamiz.

Buning uchun biz oraliq holatni (va orasida) hisobga olamiz. Boshqacha qilib aytganda, biz taxmin qilamizki, tizim dastlabki holatdan bosqichlarda ehtimollik bilan oraliq holatga o'tadi, undan keyin oraliq holatdan qolgan bosqichlarda u ehtimollik bilan yakuniy holatga o'tadi.

Umumiy ehtimollik formulasidan foydalanib, biz olamiz

. (1)

Bu formula Markov tengligi deb ataladi.

Tushuntirish. Keling, quyidagi belgini kiritamiz:

– bizni qiziqtirgan hodisa (bosqichlarda tizim boshlang‘ich holatdan yakuniy holatga o‘tadi), shuning uchun, ; − gipotezalar (bosqichlarda tizim boshlang‘ich holatdan oraliq holatga o‘tadi), shuning uchun − gipoteza amalga oshirilgan bo‘lsa, yuzaga kelishining shartli ehtimoli (bosqichlarda tizim oraliq holatdan yakuniy holatga o‘tadi), shuning uchun,

Umumiy ehtimollik formulasiga ko'ra,

()

Yoki biz qabul qilgan belgida

Markov formulasi (1) bilan mos keladi.

Barcha o'tish ehtimolini bilish, ya'ni bir bosqichda holatdan holatga o'tish matritsasini bilish, ikki bosqichda holatdan holatga o'tish ehtimolini va shuning uchun o'tish matritsasining o'zini topish mumkin; ma'lum matritsadan foydalanib, siz uch bosqichda holatdan holatga o'tish matritsasini topishingiz mumkin va hokazo.

Haqiqatan ham, Markov tengligini qo'yish

belgilar zanjiri tasodifiy ehtimollik

(2)

Shunday qilib, (2) formuladan foydalanib, siz barcha ehtimolliklarni va shuning uchun matritsaning o'zini topishingiz mumkin. Formuladan (2) to'g'ridan-to'g'ri foydalanish zerikarli bo'lib chiqadi va matritsa hisobi maqsadga tezroq olib keladi, men (2) dan kelib chiqadigan munosabatlarni matritsa shaklida yozaman:

(1) ga qo'yib, biz ham xuddi shunday olamiz

Umuman

Teorema 1. Har qanday s uchun, t

(3)

Isbot. Keling, ehtimollikni hisoblaylik umumiy ehtimollik formulasidan foydalanib (), qo'yish

Tenglikdan

Demak, tenglikdan (4) va

teoremaning bayonini olamiz.

Matritsani aniqlaymiz.Matrisa yozuvida (3) ko'rinishga ega

O'shandan beri o'tish ehtimoli matritsasi qayerda. (5) dan kelib chiqadi

(6)

Matritsalar nazariyasida olingan natijalar (6) formuladan foydalanib, ularning harakatini hisoblash va o'rganish imkonini beradi

1-misol. O'tish matritsasi ko'rsatilgan O'tish matritsasini toping

Yechim. Keling, formuladan foydalanamiz

Matritsalarni ko'paytirib, biz nihoyat olamiz:

§4. Statsionar taqsimot. Limit ehtimollik teoremasi

Vaqtning ixtiyoriy nuqtasida ehtimollik taqsimotini umumiy ehtimollik formulasi yordamida topish mumkin

(7)

Bu vaqtga bog'liq emasligi ma'lum bo'lishi mumkin. Qo'ng'iroq qilaylik statsionar taqsimot vektor , shartlarni qondirish

o'tish ehtimoli qayerda.

Agar Markov zanjirida bo'lsa keyin har qanday uchun

Ushbu bayonot (7) va (8) dan induksiyadan keyin keladi.

Keling, Markov zanjirlarining bir muhim sinfi uchun chegaralanish ehtimoli haqidagi teoremaning formulasini taqdim qilaylik.

Teorema 1. Agar ba'zi >0 uchun matritsaning barcha elementlari musbat bo'lsa, har qanday , uchun

, (9)

Qayerda 0 tengsizlikni qanoatlantiruvchi bir necha konstanta bilan statsionar taqsimot< h <1.

dan boshlab, u holda teorema shartlariga ko'ra, istalgan holatdan istalgan holatga ijobiy ehtimollik bilan vaqtida erishish mumkin. Teorema shartlari qaysidir ma'noda davriy bo'lgan zanjirlarni istisno qiladi.

Agar 1-teorema shartlari bajarilsa, u holda tizimning chegarada ma'lum bir holatda bo'lish ehtimoli dastlabki taqsimotga bog'liq emas. Darhaqiqat, (9) va (7) dan har qanday boshlang'ich taqsimot uchun,

Keling, 1-teorema shartlari bajarilmagan Markov zanjirlarining bir nechta misollarini ko'rib chiqaylik. Bunday misollar misol ekanligini tekshirish qiyin emas. Misolda, o'tish ehtimoli chegaralariga ega, ammo bu chegaralar dastlabki holatga bog'liq. Xususan, qachon

Boshqa misollarda, ehtimollik diapazonlari mavjud emas.

1-misolda statsionar taqsimotni topamiz.Vektorni topishimiz kerak Qoniqarli shartlar (8):

;

Demak, statsionar taqsimot mavjud, lekin hamma koordinata vektorlari ijobiy emas.

Polinom sxemasi uchun ma'lum turdagi natijalar soniga teng tasodifiy o'zgaruvchilar kiritilgan. Markov zanjirlari uchun shunga o'xshash miqdorlarni kiritamiz. Tizimning vaqt ichida davlatga kirishi soni bo'lsin. Keyin tizimning holatiga urish chastotasi . Formulalar (9) yordamida biz buni isbotlashimiz mumkin, qachon yondashadi . Buning uchun Chebishev tengsizligi uchun asimptotik formulalarni olish va undan foydalanish kerak. Bu erda uchun formulaning kelib chiqishi. Keling, uni shaklda ifodalaylik

(10)

qaerda, agar va boshqacha. Chunki

keyin matematik kutish xususiyatidan va (9) formuladan foydalanib, olamiz

1-teoremaga ko'ra, bu tenglikning o'ng tomonidagi uchlik had yaqinlashuvchi qatorning qisman yig'indisidir. Qo'yish , olamiz

Chunki

(11) formuladan, xususan, shundan kelib chiqadi

Shuningdek, siz dispersiyani hisoblash uchun ishlatiladigan formulani olishingiz mumkin.

§5. Markov zanjirida ehtimollikni cheklash teoremasining isboti

Avval ikkita lemmani isbotlaymiz. Keling, qo'ying

Lemma 1. Har bir narsa uchun cheklovlar mavjud

Isbot. (3) tenglamadan foydalanib, biz olamiz

Shunday qilib, ketma-ketliklar ham monoton, ham cheklangan. Bu Lemma 1 bayonotini nazarda tutadi.

Lemma 2. Agar 2-teorema shartlari bajarilsa, doimiylar mavjud bo'ladi, shu kabi

Har qanday uchun

bu yerda , ijobiy bo‘lgan hamma ustidan yig‘indini, qolganlari ustidan yig‘indini bildiradi. Bu yerdan

. (12)

Chunki 1-teorema shartlariga ko'ra o'tish ehtimoli hamma uchun, keyin esa har qanday uchun

Va shtatlarning cheklangan soni tufayli

Endi farqni baholaylik . , bilan (3) tenglamadan foydalanib, olamiz

Bu yerdan (8)-(10) yordamida topamiz

Bu munosabatni (14) tengsizlik bilan birlashtirib, lemmaning gapini olamiz.

Teoremaning isbotiga o'ting. Ketma-ketliklar monotonik bo'lgani uchun, demak

0<. (15)

Bu va Lemma 1 dan biz topamiz

Shuning uchun, qachon siz va

Ijobiylik tengsizlikdan kelib chiqadi (15). (3) tenglamadagi chegaraga o'tsak, (12) tenglikni qanoatlantiradigan natijaga erishamiz. Teorema isbotlangan.

§6. Markov zanjirlarining qo'llanilishi

Markov zanjirlari tasodifiy jarayonlar nazariyasiga yaxshi kirish bo'lib xizmat qiladi, ya'ni. tasodifiy o'zgaruvchilar oilasining oddiy ketma-ketliklari nazariyasi, odatda ko'pgina ilovalarda vaqt rolini o'ynaydigan parametrga bog'liq. Bu, birinchi navbatda, jarayonning uzoq muddatli va mahalliy xatti-harakatlarini to'liq tavsiflash uchun mo'ljallangan. Bu borada eng ko‘p o‘rganilgan masalalarni keltiramiz.

Braun harakati va uning umumlashtirilishi - diffuziya jarayonlari va mustaqil o'sish jarayonlari . Tasodifiy jarayonlar nazariyasi ehtimollik nazariyasi, operatorlar nazariyasi va differentsial tenglamalar nazariyasi o'rtasidagi aloqani chuqurlashtirishga yordam berdi, bu boshqa narsalar qatorida fizika va boshqa ilovalar uchun muhim edi. Ilovalar aktuar (sug'urta) matematikasi, navbat nazariyasi, genetika, yo'l harakati nazorati, elektr zanjirlari nazariyasi va inventar nazariyasiga qiziqish jarayonlarini o'z ichiga oladi.

Martingales . Bu jarayonlar Markov zanjirlarining etarlicha xossalarini saqlab qoladi, ular uchun muhim ergodik teoremalar o'z kuchini saqlab qoladi. Martingales Markov zanjirlaridan farq qiladi, chunki hozirgi holat ma'lum bo'lganda, faqat kelajakni matematik kutish, lekin ehtimollik taqsimotining o'zi ham o'tmishga bog'liq emas. Martingal nazariyasi muhim tadqiqot vositasi boʻlishdan tashqari, statistikada yuzaga keladigan tasodifiy jarayonlar nazariyasini, yadro boʻlinish nazariyasini, genetika va axborot nazariyasini yangi chegara teoremalari bilan boyitdi.

Statsionar jarayonlar . Ma'lum bo'lgan eng qadimgi ergodik teorema, yuqorida aytib o'tilganidek, statsionar tasodifiy jarayonning cheklovchi xatti-harakatlarini tavsiflovchi natija sifatida talqin qilinishi mumkin. Bunday jarayon o'ziga xos xususiyatga egaki, u qondiradigan barcha ehtimollik qonunlari vaqt o'zgarishiga nisbatan o'zgarmas bo'lib qoladi. Birinchi marta fiziklar tomonidan gipoteza sifatida shakllantirilgan ergodik teorema, ma'lum sharoitlarda ansambl o'rtacha vaqt o'rtacha qiymatiga to'g'ri keladigan bayonot sifatida ifodalanishi mumkin. Bu shuni anglatadiki, bir xil ma'lumotni tizimni uzoq muddatli kuzatish va bir xil tizimning ko'plab mustaqil nusxalarini bir vaqtning o'zida (va bir lahzada) kuzatish natijasida olish mumkin. Katta sonlar qonuni Birxoff ergodik teoremasining alohida holatidan boshqa narsa emas. Keng ma'noda tushuniladigan statsionar Gauss jarayonlarining xatti-harakatlarini interpolyatsiya qilish va bashorat qilish klassik eng kichik kvadratlar nazariyasining muhim umumlashtirishi bo'lib xizmat qiladi. Statsionar jarayonlar nazariyasi ko'plab sohalarda, masalan, shovqin yoki tasodifiy shovqinlar mavjudligida xabarlarni uzatuvchi tizimlarni o'rganish va yaratish bilan shug'ullanadigan aloqa nazariyasida zaruriy tadqiqot vositasidir.

Markov jarayonlari (keyin ta'sirsiz jarayonlar) navbat tizimlarini (QS) modellashtirishda, shuningdek, jamiyatda sodir bo'layotgan ijtimoiy-iqtisodiy jarayonlarni boshqarish strategiyasini modellashtirish va tanlashda katta rol o'ynaydi.

Markov zanjiri matnlarni yaratish uchun ham ishlatilishi mumkin. Kirish sifatida bir nechta matnlar taqdim etiladi, so'ngra bir so'zdan keyingi boshqa so'z ehtimoli bilan Markov zanjiri quriladi va natijada matn shu zanjir asosida yaratiladi. O'yinchoq juda qiziqarli bo'lib chiqdi!

Xulosa

Shunday qilib, bizning kurs ishimizda biz Markov zanjiri sxemasi haqida gapirdik. Qaysi sohalarda va qanday qo'llanilishini bilib oldik, mustaqil testlar Markov zanjirida ehtimolliklarni cheklash teoremasini isbotladi, tipik va bir jinsli Markov zanjiriga, shuningdek, o'tish matritsasini topishga misollar keltirdi.

Biz Markov zanjiri konstruktsiyasi mustaqil test loyihasini bevosita umumlashtirish ekanligini ko'rdik.

Foydalanilgan adabiyotlar ro'yxati

1. Chistyakov V.P. Ehtimollar nazariyasi kursi. 6-nashr, rev. - Sankt-Peterburg: Lan nashriyoti, 2003. - 272 p. − (Oliy o‘quv yurtlari uchun darslik. Maxsus adabiyotlar).

2. Gnedenko B.V. Ehtimollar nazariyasi kursi.

3. Gmurman V.E. Ehtimollar nazariyasi va matematik statistika.

4. Ventzel E.S. Ehtimollar nazariyasi va uning muhandislik ilovalari.

5. Kolmogorov A.N., Zhurbenko I.G., Proxorov A.V. Ehtimollar nazariyasiga kirish. − Moskva-Izhevsk: Kompyuter tadqiqotlari instituti, 2003, 188 pp.

6. Katz M. Fizikadagi ehtimollik va tegishli masalalar.

(Andrey Andreevich Markov (1856-1922) - rus matematigi, akademiki)

Ta'rif. Jismoniy tizimda sodir bo'ladigan jarayon deyiladi Markovskiy, agar istalgan vaqtda tizimning kelajakdagi har qanday holatining ehtimoli faqat hozirgi vaqtda tizim holatiga bog'liq bo'lsa va tizim bu holatga qanday kelganiga bog'liq bo'lmasa.

Ta'rif. Markov zanjiri sinovlar ketma-ketligi deb ataladi, ularning har birida faqat bittasi K mos kelmaydigan hodisalar Ai to'liq guruhdan. Bunday holda, shartli ehtimollik Pij(S) ichida nima bor S-th test voqea keladi Aj sharti bilan ( S – 1 ) - sinov paytida sodir bo'lgan hodisa Ai, oldingi testlar natijalariga bog'liq emas.

Mustaqil sud jarayonlari Markov zanjirining alohida holatidir. Voqealar deyiladi Tizim holatlari, va testlar - Tizim holatidagi o'zgarishlar.

Davlatlardagi o'zgarishlarning tabiatiga ko'ra, Markov zanjirlarini ikki guruhga bo'lish mumkin.

Ta'rif. Diskret vaqtli Markov zanjiri Vaqtning ma'lum bir belgilangan momentlarida holatlari o'zgarib turadigan sxema deyiladi. Uzluksiz vaqtli Markov zanjiri Vaqtning istalgan tasodifiy momentlarida holatlari o'zgarishi mumkin bo'lgan sxema deyiladi.

Ta'rif. Bir hil Agar shartli ehtimol bo'lsa, u Markov zanjiri deb ataladi Pij tizimning davlatdan o'tishi I Davlatda J test raqamiga bog'liq emas. Ehtimollik Pij chaqirdi O'tish ehtimoli.

Aytaylik, holatlar soni chekli va teng K.

Keyin shartli o'tish ehtimolidan tashkil topgan matritsa quyidagicha ko'rinadi:

Ushbu matritsa deyiladi Tizimga o'tish matritsasi.

Har bir satr to'liq guruhni tashkil etuvchi hodisalar ehtimolini o'z ichiga olganligi sababli, matritsaning har bir qatori elementlarining yig'indisi bittaga teng ekanligi aniq.

Tizimning o'tish matritsasiga asoslanib, shunday deb ataladigan narsani qurish mumkin Tizim holati grafigi, u ham deyiladi Belgilangan davlat grafigi. Bu sxemani vizual tasvirlash uchun qulaydir. Misol yordamida grafiklarni qurish tartibini ko'rib chiqamiz.

Misol. Berilgan o‘tish matritsasidan foydalanib, holat grafigini tuzing.

Matritsa to'rtinchi tartibli bo'lganligi sababli, tizimda 4 ta mumkin bo'lgan holat mavjud.

Mayli Pij(N) - natijada yuzaga kelishi ehtimoli N sinovlar tizim davlatdan ketadi I bir holatda J, R - davlatlar o'rtasidagi ba'zi bir oraliq holat I VA J. Bir holatdan ikkinchi holatga o'tish ehtimoli Pij(1) = Pij.

Keyin ehtimollik Pij(N) deb nomlangan formuladan foydalanib topish mumkin Markov tengligi:

Bu yerga T– tizim davlatdan o‘tgan bosqichlar (sinovlar) soni I Davlatda R.

Aslida, Markovning tengligi umumiy ehtimollik uchun biroz o'zgartirilgan formuladan boshqa narsa emas.

O'tish ehtimolini bilish (ya'ni, o'tish matritsasini bilish). P1), holatdan holatga o'tish ehtimolini ikki bosqichda topishimiz mumkin Pij(2) , ya'ni matritsa P2, buni bilish - matritsani toping P3, va hokazo.

Yuqorida olingan formulani to'g'ridan-to'g'ri qo'llash unchalik qulay emas, shuning uchun siz matritsalarni hisoblash texnikasidan foydalanishingiz mumkin (axir, bu formula ikkita matritsani ko'paytirish formulasidan boshqa narsa emas).

Keyin umumiy shaklda yozishimiz mumkin:

Umuman olganda, bu fakt odatda teorema shaklida tuzilgan, ammo uning isboti juda oddiy, shuning uchun men buni bermayman.

Misol. O'tish matritsasi ko'rsatilgan P1. Matritsani toping P3.

Ta'rif. Barcha satrlar elementlari yig'indisi bittaga teng bo'lgan matritsalar deyiladi Stokastik. Agar ba'zilar uchun P barcha matritsa elementlari Rp nolga teng bo'lmasa, bunday o'tish matritsasi deyiladi Muntazam.

Boshqacha qilib aytganda, muntazam o'tish matritsalari har bir holatga erishish mumkin bo'lgan Markov zanjirini belgilaydi P har qanday davlatdan qadamlar. Bunday Markov zanjirlari ham deyiladi Muntazam.

Teorema. (cheklangan ehtimollik teoremasi) n ta holatga ega bo'lgan muntazam Markov zanjiri va P uning o'tish ehtimoli matritsasi bo'lsin. Keyin chegara va P matritsasi mavjud (¥ ) shaklga ega:

Markov jarayoni- tizimda sodir bo'ladigan tasodifiy jarayon, u xususiyatga ega: vaqtning har bir t 0 momenti uchun tizimning kelajakdagi har qanday holatining ehtimoli (t>t 0 da) faqat uning hozirgi holatiga bog'liq (da). t = t 0) va tizim qachon va qanday qilib bu holatga kelganiga bog'liq emas (ya'ni, jarayon o'tmishda qanday rivojlangan).

Amalda biz ko'pincha tasodifiy jarayonlarga duch kelamiz, ular har xil darajada yaqinlashib, Markovian deb hisoblanishi mumkin.

Har qanday Markov jarayoni holat ehtimollari va o'tish ehtimoli yordamida tavsiflanadi.

Markov jarayonining P k (t) holatlari ehtimollari tasodifiy jarayonning (tizimning) t vaqtidagi S k holatda bo‘lish ehtimoli:

Markov jarayonining o'tish ehtimoli Bu jarayonning (tizimning) bir holatdan ikkinchi holatga o'tish ehtimoli:

Markov jarayoni deyiladi bir hil, agar vaqt birligidagi o'tish ehtimoli vaqt o'qi bo'yicha o'tishning qayerda sodir bo'lishiga bog'liq bo'lmasa.

Eng oddiy jarayon Markov zanjiri– Diskret vaqt va diskret chekli holatlar to‘plamiga ega Markov tasodifiy jarayoni.

Tahlil qilinganda, Markov zanjirlari davlat grafigi, unda zanjirning (tizimning) barcha holatlari va nolga teng bo'lmagan ehtimolliklar bir bosqichda belgilanadi.

Markov zanjirini tizimni ifodalovchi nuqta holat grafigi orqali tasodifiy harakat qiladi, bir bosqichda bir holatdan holatga sudraladi yoki bir necha qadam davomida bir xil holatda qoladi deb o'ylash mumkin.

Markov zanjirining bir pog’onadagi o’tish ehtimoli P=||P ij || matritsa ko’rinishida yoziladi, u o’tish ehtimoli matritsasi yoki oddiygina o’tish matritsasi deb ataladi.

Misol: mutaxassislik bo'yicha talabalarning holatlari to'plami quyidagicha:

S 1 - birinchi kurs talabasi;

S 2 – ikkinchi kurs talabasi…;

S 5 – 5 kurs talabasi;

S 6 - oliy o'quv yurtini tamomlagan mutaxassis;

S 7 - universitetda o'qigan, ammo bitirmagan shaxs.

Bir yil ichida S 1 holatidan S 2 holatiga o'tish r 1 ehtimolligi bilan mumkin; q 1 ehtimolli S 1 va p 1 ehtimolli S 7 va:

r 1 +q 1 +p 1 =1.

Keling, ushbu Markov zanjiri uchun holat grafigini tuzamiz va uni o'tish ehtimoli (nolga teng bo'lmagan) bilan belgilaymiz.

Keling, o'tish ehtimoli matritsasi yarataylik:

O'tish matritsalari quyidagi xususiyatlarga ega:

Ularning barcha elementlari salbiy emas;

Ularning qator summalari birga teng.

Bunday xususiyatga ega matritsalar stokastik deyiladi.

O'tish matritsalari ehtimolliklarni ko'paytirish teoremasidan foydalanib, har qanday Markov zanjiri traektoriyasining ehtimolini hisoblash imkonini beradi.

Bir jinsli Markov zanjirlari uchun o'tish matritsalari vaqtga bog'liq emas.

Markov zanjirlarini o'rganishda eng katta qiziqish uyg'otadiganlar:

m qadamda o'tish ehtimoli;

m→∞ qadamidagi holatlar bo‘yicha taqsimot;

Muayyan holatda o'tkaziladigan o'rtacha vaqt;

Bu holatga qaytish uchun o'rtacha vaqt.

n ta holatga ega bir jinsli Markov zanjirini ko'rib chiqaylik. S i holatdan S j holatga o‘tish ehtimolini m bosqichda olish uchun umumiy ehtimollik formulasiga muvofiq, Si holatidan Sk oraliq holatga o‘tish ehtimoli ko‘paytmalarini l bosqichda ehtimollik bo‘yicha yig‘ish kerak. Sk dan Sj ga o'tishning qolgan m-l bosqichlarida, ya'ni.

Bu munosabat barcha i=1, …, n uchun; j=1, …,n matritsalar mahsuloti sifatida ifodalanishi mumkin:

P(m)=P(l)*P(m-l).

Shunday qilib, bizda:

P(2)=P(1)*P(1)=P 2

P(3)=P(2)*P(1)=P(1)*P(2)=P 3 va hokazo.

P(m)=P(m-1)*P(1)=P(1)*P(M-1)=P m ,

Bu esa bir pog‘onadagi o‘tish matritsasini bilish, ya’ni P ij (m) – P(m) matritsasining elementi S holatdan ko‘chish ehtimoli bo‘lgan holda, har qanday bosqichdagi holatlar orasidagi o‘tish ehtimolini topish imkonini beradi. i S j ni m qadamda ifodalash.

Misol: Muayyan mintaqadagi ob-havo uzoq vaqt davomida yomg'irli va quruq o'rtasida almashinadi. Agar yomg'ir yog'sa, ertasi kuni 0,7 ehtimollik bilan yomg'ir yog'adi; Agar ma'lum bir kunda ob-havo quruq bo'lsa, u holda 0,6 ehtimollik bilan keyingi kun ham saqlanib qoladi. Maʼlumki, chorshanba kuni havo yomgʻirli boʻlgan. Keyingi juma kuni yomg'ir yog'ishi ehtimoli qanday?

Bu masalada Markov zanjirining barcha holatlarini yozamiz: D – yomg`irli ob-havo, C – quruq ob-havo.

Keling, holat grafigini tuzamiz:

Javob: p 11 = p (D tovoni | D avg) = 0,61.

m→∞ uchun r 1 (m), r 2 (m),…, r n (m) ehtimollik chegaralari, agar mavjud bo‘lsa, deyiladi. davlatlar ehtimolini cheklash.

Quyidagi teoremani isbotlash mumkin: agar Markov zanjirida siz + har bir holatdan (ma'lum bir qator bosqichlarda) bir-biriga o'tishingiz mumkin bo'lsa, u holda holatlarning cheklovchi ehtimoli mavjud va tizimning boshlang'ich holatiga bog'liq emas. .

Shunday qilib, m→∞ sifatida tizimda ma'lum bir cheklovchi statsionar rejim o'rnatiladi, unda har bir holat ma'lum bir doimiy ehtimollik bilan sodir bo'ladi.

Marjinal ehtimollardan tashkil topgan p vektori quyidagi munosabatni qondirishi kerak: p=p*P.

Shtatda o'tkazgan o'rtacha vaqt T vaqti uchun S i p i *T ga teng, bu erda p i - S i holatning chekka ehtimolligi. Shtatga qaytish uchun o'rtacha vaqt S i ga teng.

Misol.

Ko'pgina iqtisodiy muammolar uchun yillik daryo oqimlarining ma'lum qiymatlari bilan yillar almashinishini bilish kerak. Albatta, bu muqobillikni mutlaqo aniq aniqlash mumkin emas. Almashtirish (o'tish) ehtimolini aniqlash uchun biz to'rtta gradatsiyani (tizimning holatini) kiritish orqali oqimlarni ajratamiz: birinchi (eng past oqim), ikkinchi, uchinchi, to'rtinchi (eng yuqori oqim). Aniqlik uchun biz birinchi gradatsiyadan keyin hech qachon to'rtinchisi, to'rtinchisi esa namlikning to'planishi (erda, suv omborida va hokazo) tufayli birinchi bo'lib ketmasligini taxmin qilamiz. Kuzatishlar shuni ko'rsatdiki, ma'lum bir mintaqada boshqa o'tishlar mumkin va:

a) birinchi gradatsiyadan boshlab siz o'rtadagilarning har biriga birinchisiga nisbatan ikki marta tez-tez o'tishingiz mumkin, ya'ni.

p 11 =0,2; p 12 =0,4; p 13 =0,4; p 14 =0;

b) to'rtinchi gradatsiyadan boshlab ikkinchi va uchinchi darajalarga o'tish ikkinchidagi kabi qaytarilishlarga qaraganda to'rt va besh marta tez-tez sodir bo'ladi, ya'ni.

qiyin, ya'ni.

to'rtinchisida, ya'ni.

p 41 =0; p 42 =0,4; p 43 =0,5; p 44 =0,1;

c) ikkinchidan boshqa darajalarga faqat kamroq tez-tez bo'lishi mumkin: birinchisida - ikki baravar kam, uchinchisida 25% ga, to'rtinchisida - ikkinchisiga o'tishdan to'rt marta kamroq, ya'ni.

p 21 =0,2;p 22 =0,4; p 23 =0,3; p 24 =0,1;

d) uchinchi gradatsiyadan ikkinchi darajaga o'tish uchinchi darajaga qaytish kabi, birinchi va to'rtinchi darajaga o'tish esa to'rt barobar kamroq, ya'ni.

p 31 =0,1; p 32 =0,4; p 33 =0,4; p 34 =0,1;

Keling, grafik tuzamiz:

Keling, o'tish ehtimoli matritsasi yarataylik:

Keling, qurg'oqchilik va ko'p suvli yillar orasidagi o'rtacha vaqtni topaylik. Buning uchun siz chegara taqsimotini topishingiz kerak. U mavjud, chunki teorema sharti qanoatlantiriladi (P2 matritsasida nol elementlar mavjud emas, ya'ni ikki bosqichda tizimning istalgan holatidan boshqasiga o'tishingiz mumkin).

Bu erda p 4 =0,08; p 3 =; p 2 =; p 1 =0,15

S i holatga qaytish chastotasi ga teng.

Binobarin, quruq yillarning chastotasi o'rtacha 6,85, ya'ni. 6-7 yil, yomg'irli yillar esa 12 yil.