Ko'p o'lchovli Markov jarayonlari. Markov jarayonlari nazariyasi usullari. Diskret Markov zanjirlari. Misol

Optimal yechimni tanlashda tahlil qilinishi kerak bo'lgan ko'plab operatsiyalar bir qator tasodifiy omillarga bog'liq holda tasodifiy jarayonlar sifatida rivojlanadi.

Tasodifiy jarayon shaklida rivojlanayotgan ko'plab operatsiyalarni matematik tavsiflash uchun Markov tasodifiy jarayonlari uchun ehtimollik nazariyasida ishlab chiqilgan matematik apparat muvaffaqiyatli qo'llanilishi mumkin.

Markov tasodifiy jarayoni tushunchasini tushuntirib beraylik.

Qandaydir tizim bo'lsin S, ularning holati vaqt o'tishi bilan o'zgaradi (tizim ostida S har qanday ma'noni anglatishi mumkin: sanoat korxonasi, texnik qurilma, ta'mirlash ustaxonasi va boshqalar). Agar tizim holati bo'lsa S vaqt o'tishi bilan tasodifiy, oldindan aytib bo'lmaydigan tarzda o'zgaradi, ular tizimda deyishadi S oqadi tasodifiy jarayon.

Tasodifiy jarayonlarga misollar:

fond bozoridagi narxlarning o'zgarishi;

sartaroshxonada yoki ta'mirlash ustaxonasida mijozlarga xizmat ko'rsatish;

bir guruh korxonalar uchun ta'minot rejasini bajarish va boshqalar.

Ushbu jarayonlarning har birining o'ziga xos jarayoni bir qator tasodifiy, oldindan oldindan aytib bo'lmaydigan omillarga bog'liq, masalan:

fond bozoridagi siyosiy o'zgarishlar haqida oldindan aytib bo'lmaydigan yangiliklarning kelishi;

mijozlardan keladigan arizalar (talablar) oqimining tasodifiy tabiati;

ta'minot rejasini amalga oshirishda tasodifiy uzilishlar va boshqalar.

TA’RIF. Tizimda sodir bo'ladigan tasodifiy jarayon deyiladi Markovian(yoki oqibatlarsiz jarayon), agar u quyidagi xususiyatga ega bo'lsa: vaqtning har bir momenti uchun t 0 kelajakda tizimning har qanday holatining ehtimoli (bilan t > t 0) faqat uning hozirgi holatiga bog'liq (bilan t = t 0) va tizim qachon va qanday qilib bu holatga kelganiga bog'liq emas (ya'ni, jarayon o'tmishda qanday rivojlangan).

Boshqacha qilib aytganda, Markov tasodifiy jarayonida uning kelajakdagi rivojlanishi faqat hozirgi holatga bog'liq va jarayonning "tarixdan oldingi" ga bog'liq emas.

Keling, bir misolni ko'rib chiqaylik. Tizimga ruxsat bering S bir muncha vaqtdan beri mavjud bo'lgan fond bozorini ifodalaydi. Kelajakda tizim qanday ishlashi bilan qiziqamiz. Hech bo'lmaganda birinchi taxminga ko'ra, kelajakdagi ko'rsatkichlarning xususiyatlari (bir hafta ichida ma'lum bir aktsiya narxining tushishi ehtimoli) tizimning hozirgi holatiga bog'liqligi (ko'p sonli omillar, shu jumladan). chunki hukumat qarorlari yoki saylov natijalari bu erda aralashishi mumkin) va tizim hozirgi holatiga qachon va qanday erishganiga bog'liq emas (o'tmishdagi bu aktsiyalarning narxlari harakatining tabiatiga bog'liq emas).

Amalda biz ko'pincha tasodifiy jarayonlarga duch kelamiz, ular har xil darajada yaqinlashib, Markovian deb hisoblanishi mumkin.

Markov tasodifiy jarayonlar nazariyasi turli xil qo'llanilishining keng doirasiga ega. Bizni asosan Markov tasodifiy jarayonlar nazariyasini operatsiyalarning matematik modellarini qurishda qo'llash qiziqtiradi, ularning borishi va natijasi tasodifiy omillarga sezilarli darajada bog'liq.

Markov tasodifiy jarayonlarga bo'linadi sinflar S" sistemasi vaqtning qanday va qaysi nuqtalarida o'z holatlarini o'zgartirishi mumkinligiga bog'liq.

TA’RIF. Tasodifiy jarayon deyiladi diskret holatlar bilan jarayon, tizimning mumkin bo'lgan holatlari s x, s 2, s v... birin-ketin ro'yxatga olinishi (raqamlanishi) mumkin va jarayonning o'zi vaqti-vaqti bilan tizim S bir holatdan ikkinchi holatga keskin (bir zumda) sakraydi.

Masalan, loyihani ishlab chiqish S ikkita bo'lim tomonidan birgalikda amalga oshiriladi, ularning har biri xato qilishi mumkin. Quyidagi tizim holatlari mumkin:

5, - ikkala bo'lim normal ishlayapti;

s 2 - birinchi bo'lim xato qildi, ikkinchisi yaxshi ishlayapti;

s 3 - ikkinchi bo'lim xatoga yo'l qo'ydi, birinchisi yaxshi ishlayapti;

s 4 - ikkala bo'lim ham xatoga yo'l qo'ygan.

Tizimda sodir bo'layotgan jarayon shundaki, u tasodifiy ravishda vaqtning ba'zi nuqtalarida bir holatdan boshqasiga o'tadi ("sakrab"). Tizimda jami to'rtta mumkin bo'lgan holat mavjud. Bizning oldimizda diskret holatlarga ega jarayon.

Diskret holatlarga ega bo'lgan jarayonlardan tashqari, mavjud uzluksiz holatlarga ega tasodifiy jarayonlar: bu jarayonlar davlatdan holatga bosqichma-bosqich, silliq o'tish bilan tavsiflanadi. Misol uchun, yorug'lik tarmog'idagi kuchlanishni o'zgartirish jarayoni doimiy holatlarga ega bo'lgan tasodifiy jarayondir.

Biz faqat diskret holatlarga ega bo'lgan tasodifiy jarayonlarni ko'rib chiqamiz.

Diskret holatlarga ega bo'lgan tasodifiy jarayonlarni tahlil qilishda geometrik sxemadan foydalanish juda qulay - holat grafigi deb ataladi. Davlat grafigi tizimning mumkin bo'lgan holatlari va uning holatdan holatga o'tishlari geometrik tarzda tasvirlangan.

Tizim bo'lsin S diskret holatlar bilan:

Har bir holat to'rtburchak bilan ifodalanadi va holatdan holatga mumkin bo'lgan o'tishlar ("sakrashlar") bu to'rtburchaklarni bog'laydigan o'qlar bilan ifodalanadi. Davlat grafigiga misol rasmda ko'rsatilgan. 4.1.

E'tibor bering, o'qlar faqat davlatdan holatga to'g'ridan-to'g'ri o'tishni belgilaydi; agar tizim davlatdan o'tishi mumkin bo'lsa s 2 5 3 da faqat orqali s y keyin o'qlar faqat o'tishlarni belgilaydi s 2-> va l, 1 -> 5 3, lekin emas s 2 -» s y Keling, bir nechta misollarni ko'rib chiqaylik:

1. Tizim S- beshta mumkin bo'lgan shtatlardan birida bo'lishi mumkin bo'lgan kompaniya: s ]- foyda bilan ishlaydi;

s 2- rivojlanish istiqbollarini yo'qotdi va foyda olishni to'xtatdi;

5 3 - potentsial egallash uchun ob'ektga aylandi;

s 4- tashqi nazorat ostida;

s 5- tugatilayotgan jamiyatning mol-mulki kim oshdi savdosida sotiladi.

Kompaniyaning davlat grafigi rasmda ko'rsatilgan. 4.2.

Guruch. 4.2

2. Tizim S- ikkita filialga ega bank. Quyidagi tizim holatlari mumkin:
5, - ikkala filial ham foyda bilan ishlaydi;

s 2 - birinchi filial foydasiz ishlaydi, ikkinchisi foyda bilan ishlaydi;

5 3 - ikkinchi filial foydasiz ishlaydi, birinchisi foyda bilan ishlaydi;

s 4 - ikkala filial ham foydasiz ishlaydi.

Vaziyatda hech qanday yaxshilanish yo'qligi taxmin qilinmoqda.

Davlat grafigi rasmda ko'rsatilgan. 4.3. E'tibor bering, grafik holatdan mumkin bo'lgan o'tishni ko'rsatmaydi s ] to'g'ridan-to'g'ri s4, qaysi bank bo'lsa amalga oshadi to'g'ridan-to'g'ri zarar bilan ishlaydi. Amaliyot tasdiqlaganidek, bunday hodisaning imkoniyatini e'tiborsiz qoldirish mumkin.

Guruch. 4.3

3. Tizim S- ikkita treyder (bo'lim) dan iborat bo'lgan investitsiya kompaniyasi: I va II; ularning har biri ma'lum bir vaqtda zarar bilan ishlay boshlashi mumkin. Agar bu sodir bo'lsa, kompaniya rahbariyati darhol bo'limning foydali faoliyatini tiklash choralarini ko'radi.

Mumkin tizim holatlari: s- har ikki bo'lim faoliyati foydali bo'lishi; s 2- birinchi bo'lim qayta tiklanmoqda, ikkinchisi foyda bilan ishlamoqda;

s 3- birinchi bo'lim foyda bilan ishlamoqda, ikkinchisi tiklanmoqda;

s 4- ikkala bo'lim qayta tiklanmoqda.

Tizim holati grafigi rasmda ko'rsatilgan. 4.4.

4. Oldingi misol sharoitida, har bir savdogarning faoliyati, u bo'limning foydali ishini tiklashni boshlashdan oldin, uni yaxshilash choralarini ko'rish uchun kompaniya rahbariyati tomonidan o'rganilishi kerak.

Qulaylik uchun tizim holatlarini bitta emas, ikkita indeks bilan raqamlaymiz; birinchi iroda birinchi savdogarning maqomini bildiradi (1 - foyda bilan ishlaydi, 2 - uning faoliyati rahbariyat tomonidan o'rganilmoqda, 3 - bo'limning daromadli faoliyatini tiklaydi); ikkinchisi - ikkinchi treyder uchun bir xil davlatlar. Masalan, s 23 ma'nosi bo'ladi: birinchi savdogarning faoliyati o'rganilmoqda, ikkinchisi - foydali ishni tiklash.

Mumkin tizim holatlari S:

s u- ikkala savdogarning faoliyati foyda keltiradi;

s l2- birinchi treyder foyda bilan ishlaydi, ikkinchisining faoliyati kompaniya rahbariyati tomonidan o'rganiladi;

5 13 - birinchi savdogar foyda bilan ishlaydi, ikkinchisi bo'limning foydali faoliyatini tiklaydi;

s 2l- birinchi savdogarning faoliyati rahbariyat tomonidan o'rganiladi, ikkinchisi foyda bilan ishlaydi;

s 22 - har ikkala savdogarning faoliyati rahbariyat tomonidan o'rganiladi;

5 23 - birinchi savdogarning ishi o'rganiladi, ikkinchi savdogar bo'limning foydali faoliyatini tiklaydi;
5 31 - birinchi savdogar bo'limning foydali faoliyatini tiklaydi, ikkinchisi foyda bilan ishlaydi;
5 32 - bo'limning daromadli faoliyati birinchi savdogar tomonidan tiklanadi, ikkinchi savdogarning ishi o'rganiladi;
5 33 - ikkala savdogar ham o'z bo'limining foydali ishini tiklaydi.

Hammasi bo'lib to'qqiz shtat mavjud. Davlat grafigi rasmda ko'rsatilgan. 4.5.

5.1.6-bo'limda keltirilgan Markov jarayonining ta'rifidan, shuningdek to'g'ridan-to'g'ri (5.6) formuladan kelib chiqadi

Shartli zichlik

Markov jarayonining s vaqtdagi y holatdan t vaqtidagi x holatga o'tish ehtimoli zichligi deyiladi.

(2.57) formuladan foydalanib, biz Markov jarayonining ko'p o'lchovli ehtimollik zichligini (har qanday chekli tartibli) aniqlaymiz.

Formula (5.60) Markov jarayonining ko'p o'lchovli ehtimollik zichligini faktorizatsiya qilishni anglatadi - uni bir o'lchovli zichlik va o'tish ehtimoli zichliklarining mahsuloti sifatida ko'rsatish. Ko'p o'lchovli zichlikning faktorizatsiya sharti (5.60) Markov jarayonlariga xos xususiyatdir (mustaqil qiymatlarga ega bo'lgan jarayonlar uchun shunga o'xshash oddiyroq faktorizatsiya sharti (5.4) bilan solishtiring).

Bir o'lchovli zichlik va o'tish ehtimoli zichligi munosabat bilan bog'liq

Markov jarayonining o'tish ehtimoli zichligi faqat salbiy bo'lmagan va normalizatsiyaning odatiy shartlarini qondiradigan ixtiyoriy shartli taqsimot funktsiyasi emas, ya'ni. Shuningdek, u qandaydir integral tenglamani qondirishi kerak. Darhaqiqat, (5.60) dan bizda mavjud

Bu tenglikning ikkala tomonini ga integrallash orqali biz hosil qilamiz

va beri

Integral tenglama (5.62) Kolmogorov-Chepman tenglamasi deb ataladi.

5.4.2. Bir hil Markov jarayonlari.

Agar Markov jarayonining ehtimollik taqsimoti vaqt siljishi uchun invariant bo'lsa, u bir hil (statsionar) deb ataladi. Bunday holda, o'tish ehtimoli zichligi (5.59) faqat bitta vaqt parametriga bog'liq.

Bir hil Markov jarayonining ko'p o'lchovli zichligi uchun faktorizatsiya sharti shaklda yozilgan) [qarang. (5.60)]

E'tibor bering, bir hil Markov jarayonlari sinfi mustaqil o'sish bilan bir hil tasodifiy jarayonlarning ko'rib chiqilgan sinfiga to'g'ri keladi.

5.4.3. Bog'langan Markov jarayonini ko'paytirish.

Agar o'tish ehtimoli zichligi jarayonning oldingi k qiymatiga bog'liq bo'lsa, biz Markov jarayonini bog'langan deb ataymiz [qarang. (5.58)]:

Bog'langan Markov jarayonining ko'p o'lchovli zichligi uchun faktorizatsiya sharti quyidagicha yoziladi

va Kolmogorov-Chepman tenglamasi

5.4.4. Vektor Markov jarayoni.

Tasodifiy jarayonlar to'plami vektor Markov jarayonini hosil qiladi, agar ushbu to'plamning to'liq ehtimollik tavsifi uchun qo'shma taqsimotni bilish zarur va etarli bo'lsa.

va shartli taqsimot

yoki mos keladigan o'tish ehtimoli zichligi

- (5.62) skalyar kattaliklarni vektor kattaliklari bilan almashtirib, vektor Markov jarayoni uchun mos munosabatlarni olamiz.

Vektor Markov jarayonini tashkil etuvchi to'plamga tegishli tasodifiy jarayonlarning har biri vektor Markov jarayonining tarkibiy qismi deb ataladi, ammo bu, umuman olganda, skaler Markov jarayoni emas.

(vektor va ko'paytirish bog'langan Markov jarayonlari) o'rtasidagi bog'liqlikni qayd etamiz: a -bog'langan Markov ketma-ketligini vektor (katta k) Markov ketma-ketligi sifatida ham talqin qilish mumkin.

5.4.5. Gauss Markov jarayoni.

Markov jarayoni Gauss deb ataladi, agar uning taqsimoti normal ehtimollik taqsimot qonuniga bo'ysunsa (5.2.1-bo'limga qarang). Har qanday Gauss jarayoniga kelsak, Gauss Markov jarayonining korrelyatsiya funktsiyasi uning to'liq ehtimollik tavsifini beradi. Tasodifiy jarayon markazlashtirilgan Gauss Markov jarayoni ekanligini isbotlash mumkin, agar uning korrelyatsiya funksiyasi tenglamani qanoatlantirsagina.

Bir hil Gauss Markov jarayoni uchun (5.71) shart tabiiy ravishda bitta argumentga bog'liq bo'lgan normallashtirilgan korrelyatsiya funktsiyasi yordamida yoziladi.

Trivial yechimdan tashqari (5.72) tenglama yagona yechimga ega

Shunday qilib, dispersiyali statsionar markazli Gauss jarayoni, agar uning korrelyatsiya funktsiyasi bo'lsa, Markovian hisoblanadi (5.4-rasm).

yoki mos keladigan jarayon kuchi spektral zichligi (5.5-rasm)

(5.74) dan va shunga mos ravishda (5.75) dan kelib chiqadiki, bir jinsli Gauss Markov jarayoni oʻrtacha kvadratda uzluksiz, lekin 5.6-masala ham oʻrtacha kvadratda differensiallanmaydi.

Guruch. 5.4. Bir jinsli Gauss Markov jarayonining normalangan korrelyatsiya funksiyasi

Guruch. 5.5. Bir jinsli Gauss Markov jarayonining quvvat spektral zichligi

5.4.6. Gauss Markov ketma-ketligi.

Dispersiya va korrelyatsiya koeffitsientlariga ega markazlashtirilgan Gauss tasodifiy oʻzgaruvchilar ketma-ketligi boʻlsin.Bu ketma-ketlik Markovian boʻlishi uchun shunday zarur va yetarli boʻladi:

Statsionar Gauss Markov ketma-ketligi uchun (5.76) dan kelib chiqadi

bu erda ketma-ketlikning ikkita qo'shni a'zosi orasidagi korrelyatsiya koeffitsienti.

Gauss Markov ketma-ketligining har bir keyingi ketma-ketligi ham Gauss, Markoviandir.

5.4.7. Uzluksiz Markov jarayonining o'tish ehtimoli zichligi uchun differensial tenglama.

Kolmogorov-Chepman integral tenglamasini (5.62) yechish qiyin ishdir. Markov jarayonining o'tish ehtimoli zichligini aniqlash, agar biz uzluksiz jarayonlar bilan cheklansak, differentsial tenglamani echishga qisqartirilishi mumkin. Markov jarayoni uzluksiz deb ataladi, agar sezilarli harakatlar faqat qisqa vaqt ichida past ehtimollik bilan mumkin bo'lsa. Aniqrog'i, bu har qanday narsani anglatadi

Uzluksiz Markov jarayonining bir ehtimollik bilan amalga oshirilishi uzluksizdir.

(5.62) tenglamadan o'zgaruvchilarning belgilarini qabul qilib va o'zgartirib, biz olamiz

Bundan tashqari, bu aniq

Oxirgi ikkita tenglikdan kelib chiqadi

Faraz qilaylik, o'tish ehtimoli zichligi Teylor qatoriga kengaytirilishi mumkin

(5.80) ni (5.79) ga almashtirib, ikkala tomonni boʻlinib, chegaraga oʻtamiz.

5.4.8. Diffuziya jarayonlari.

Agar funksiyalar noldan va uchundan tashqari chekli bo'lsa, u holda uzluksiz Markov jarayoni diffuziya deb ataladi. (5.81) dan kelib chiqadiki, diffuziya jarayonining o'tish ehtimoli zichligi qisman differensial tenglamani qanoatlantiradi.

teskari Kolmogorov tenglamasi deyiladi.

Xuddi shunday, diffuziya jarayonining o'tish ehtimoli zichligi to'g'ridan-to'g'ri Kolmogorov tenglamasini qanoatlantirishini isbotlash mumkin:

drift koeffitsienti, va

Diffuziya koeffitsienti.

To'g'ridan-to'g'ri Kolmogorov tenglamasi (5.84) Fokker-Plavka tenglamasi sifatida ham tanilgan. (5.83) va (5.84) tenglamalar parabolik qisman differentsial tenglamalar sinfiga kiradi. (5.83) da o'zgaruvchilar va y va T o'zgaruvchilar faqat shartga kiritilgan. (5.84) da o'zgaruvchilar y va va t faqat boshlang'ich shart orqali kiritiladi. Kolmogorov tenglamalarini yechish usullari ko'rib chiqiladi, masalan, .

5.4.9. Statsionar diffuziya jarayonlari.

Statsionar diffuziya jarayonlari uchun drift koeffitsientlari (5.85) va diffuziya (5.86) vaqt parametriga bog'liq emas va o'tish ehtimoli zichligi faqat farqga bog'liq. Keyin (5.84) dan olamiz

dastlabki holat bilan

Agar boshlang'ich holatga bog'liq bo'lmagan o'tish ehtimoli zichligi chegarasi mavjud bo'lsa, u holda statsionar diffuz jarayonning cheklovchi taqsimot funktsiyasi deyiladi.

(5.88) dan kelib chiqadiki. Shuning uchun chegara taqsimot funksiyasini birinchi tartibli oddiy differensial tenglamadan topish mumkin

uning yechimi shaklga ega

konstantalar normalash sharti va chegaraviy shartdan aniqlanadi

5.4.10. Gauss diffuziya jarayoni.

Nol o'rtacha, dispersiya va normallashtirilgan korrelyatsiya funksiyasi bilan Gauss statsionar tasodifiy jarayonni ko'rib chiqing. Ushbu tasodifiy jarayonning shartli taqsimlanish zichligi [qarang (2.74)]

Ko'rib chiqilayotgan shartli ehtimollik zichligi uchun (5.82) ga muvofiq aniqlangan funksiyalarni topamiz:

(5.92)

o'ngdan nolga yaqinlashganda hosilaning qiymati qayerda. Agar nolda uzluksiz bo'lsa, u da uzilishga duchor bo'ladi deb faraz qiling. Keyin

Ushbu bo'limda biz optimal demodulyatorni topish uchun Markov jarayoni usulidan foydalanamiz. Bizning taqdimotimiz yuzaki, shuning uchun batafsilroq ko'rib chiqish uchun qiziqqan o'quvchilar qo'shimcha manbalarga (xususan,) murojaat qilishlari kerak. Va bu safar biz xabarni holat o'zgaruvchilarida chekli vakillik bilan Gauss tasodifiy jarayon deb taxmin qilamiz, ya'ni.

qayerda kovariatsiya funksiyali oq Gauss tasodifiy jarayon

Garchi biz bu faktdan bahsimizda foydalanmasak ham, shuni ta'kidlash kerakki, ushbu bo'limda keltirilgan protsedura holat tenglamasi va kuzatish tenglamasi chiziqli bo'lmagan va shaklga ega bo'lganda ham bajarilishi mumkin.

E'tibor bering, ma'lum cheklovlar ostida Markov jarayoni vektori qo'yiladi, bu Gauss bo'lishi shart emas. Oldin muhokama qilingan usullarning hech biri ushbu sinf xabarlari bilan bog'liq muammolarni hal qilishga imkon bermaydi. Ushbu bo'limda olinadigan natijalarning aksariyati (78) va (79) tenglamalar bilan tavsiflangan umumiy jarayon uchun ham olinishi mumkin.

Endi munosabatlar bilan tasvirlangan tasodifiy jarayon ko'rinishidagi modelga qaytaylik.. Belgilanishning soddaligi uchun biz skalyar Gauss Markov jarayoni bo'lgan va uzatiladigan tebranish ma'lum bir inersiya bilan modulyatsiya qilinadigan xabarni ko'rib chiqamiz. -modulyatsiyaning bepul turi. Qabul qilingan tebranish shaklda yoziladi

Xabar jarayoni birinchi tartibli differensial tenglamani qanoatlantiradi

Shunday qilib, har qanday chekli qiymatlar uchun xabar statsionar jarayon bo'lib, birinchi tartibli Butterworth spektriga ega. Bundan tashqari, Markov jarayoni birinchi darajali bo'lganligi sababli, hech qanday kuzatishlar bo'lmaganda uning ehtimollik zichligi Fokker-Plank tenglamasini qanoatlantiradi [qarang. (3.79)]

Biroq, vaqt oralig'ida kuzatilganligi sababli, bizni qiziqtirgan ehtimollik zichligi shartsiz zichlik emas, balki kuzatilgan tebranish tufayli yuzaga keladigan zichlikdir.Bu zichlikni quyidagicha belgilaymiz.

E'tibor bering, (86) - bitta tasodifiy o'zgaruvchining ehtimollik zichligi (kuzatilgan tebranish tufayli vaqt momentidagi a qiymatini bildiruvchi qiymat va aniq belgilangan xarakteristikdir. Ko'rsatish mumkinki, bu ehtimollik zichligi quyidagi talablarni qondiradi. tenglama

bu yerda matematik kutilmalar zichlikdan olinadi.Agar hosilani rasmiy ravishda kiritsak

u holda (87) ni formal ravishda differentsial tenglama sifatida yozish mumkin

Posterior zichlik va minimal o'rtacha kvadrat xatosini baholash o'rtasidagi bog'liqlik yaxshi ma'lum. Minimal o'rtacha kvadrat xatosi uchun taxmin - posterior zichlikning shartli o'rtacha qiymati (birinchi jildning 73-betiga qarang), ya'ni.

(89) ning ikkala tomonini A ga ko'paytirib, oraliq oxiridagi tegishli shartlarni integrallashtirib, biz hosil qilamiz (7.2.2-masalaga qarang).

E'tibor bering, (91) hali ham matematik taxminni o'z ichiga oladi, kutilganidek, modulyatsiyaning umumiy holati uchun bu tenglamani yechish mumkin emas. Chiziqli modulyatsiya usullari bo'lsa, buni ko'rsatish oson (masalan, 18] yoki 7.2.1 muammosi). 91). Keyin, agar biz baholash xatosini kichik deb hisoblasak va yuqori darajali momentlarga ba'zi shartlar qo'ysak, biz ikkinchi va yuqori tartiblarning shartlarini e'tiborsiz qoldirib, quyidagi taxminiy tenglamani olishimiz mumkin (batafsil xulosa kitobning 4-bobida keltirilgan). ):

bu erda minimal o'rtacha kvadrat xatoga asoslangan taxminiy bahoni bildiradi. Funktsiya taxminiy shartli [o'rtacha kvadrat xatosiga ko'ra, differentsial tenglamani qanoatlantiradi.

chegara holati bilan

Hisoblash tenglamasi (92) va dispersiya tenglamasi (93) o'zaro bog'liqligiga e'tibor bering. E'tibor bering, shartli ildiz o'rtacha kvadrat xatosi [ya'ni. e. xato, agar olish uchun qilinishi kerak bo'lgan taxminlar qabul qilingan bo'lsa, xato kichik bo'lganda haqiqiy bo'ladi.

Biz (92) tenglamani shaklda ko'rsatilgan blok-sxema shaklida amalga oshirish mumkinligini ko'ramiz. 7.3. Ushbu amalga oshirish bobda sintez qilingan maksimal posterior ehtimollik smetatorining tuzilishiga juda o'xshaydi. 2, yagona farq shundaki, endi tsikldagi filtr avtomatik ravishda amalga oshiriladi. Ushbu amalga oshirishning nochorligi - looplar orasidagi aloqa mavjudligi.

Burchakli modulyatsiya holatida, odatda, bu bog'lanishni e'tiborsiz qoldirish mumkinligini ko'rsatish mumkin. Masalan, fazali modulyatsiya bilan

Bu xabar spektridagi eng yuqori chastotadan ancha katta ekanligi va tizim statistik statsionar holatda ekanligi taxmin qilinadi. Bunday holda, bu ko'rsatilgan

almashtirishda dispersiya tenglamasini qanoatlantiradi

Birinchi tartibli Markov jarayoni uchun bu tenglama shaklga ega

Qabul qilgichning blok diagrammasi rasmda ko'rsatilgan. 7.4. Ushbu tuzilma ilgari sintez qilingan taxminiy maksimal posterior ehtimollik qabul qiluvchining amalga oshirilgan qismiga to'liq mos keladi ((68-dagi muammoga qarang) endi taxminiy shartli o'rtacha kvadrat xatosi sifatida talqin qilinishi mumkin.

Guruch. 7.4. Optimal qabul qiluvchi: fazali modulyatsiya, birinchi tartibli Butterworth spektri bilan aloqa.

Chiqarishning ko'pgina tafsilotlari o'tkazib yuborilganligi sababli, natijaning cheklovlariga e'tibor qaratish lozim. Shartli o'rtachani aniqlaydigan differensial tenglama (91) aniq. Biroq, (92) - (93) ni olish bilan bog'liq taxminlar chiziqli taxminga mos keladi. Shuning uchun, bizning natijamiz aniq bahoning seriya kengayishining birinchi muddatiga mos keladigan minimal o'rtacha kvadrat xatoga asoslangan taxminiy bahodir. Yaxshiroq taxminiy ma'lumotga ega bo'lish uchun ko'proq sonli kengaytirish shartlarini saqlab qolish mumkin (masalan, qarang). Ushbu protsedura bilan bog'liq qiyinchilik shundaki, ikki muddatga yaqinlashish juda murakkab bo'lib, u amaliy qiziqish uyg'otmaydi.

Ba'zi tizimda s.p. sodir bo'lsin. diskret holatlar bilan
va diskret vaqt, ya'ni. tizimning bir holatdan ikkinchi holatga o'tishi faqat vaqtning ma'lum nuqtalarida sodir bo'ladi
. Bu daqiqalar deyiladi qadamlar jarayon (odatda qo'shni kuzatish momentlari orasidagi farq
doimiy songa teng - vaqt birligi sifatida qabul qilingan qadam uzunligi);
jarayonning boshlanishi.

Bu s.p. hodisalar ketma-ketligi (zanjiri) sifatida qaralishi mumkin
.

tizimning dastlabki holati, ya'ni. 1-bosqichdan oldin;
1-bosqichdan keyin tizimning holati,
2-bosqichdan keyin tizimning holati va boshqalar), ya'ni. kabi hodisalar
Qayerda.

Diskret holatlar va diskret vaqtga ega bo'lgan Markov tasodifiy jarayoni deyiladi Markov zanjiri(Markov zanjiri).

Shu esta tutilsinki Markov zanjiri, bunda davlatlarning kelajakdagi shartli ehtimollari faqat oxirgi bosqichdagi holatga bog'liq (va avvalgilariga bog'liq emas) deyiladi. oddiy Markov zanjiri. (A.A. Markov 1856-1922 - rus matematigi).

Bunday tizimga misol texnik qurilma bo'lib xizmat qilishi mumkin, ularning mumkin bo'lgan holatlari quyidagicha:

yaxshi ish;

profilaktik tekshirish va texnik xizmat ko'rsatish;

ta'mirlash ishlari;

yaroqsizligi sababli hisobdan chiqarish;

Ish holati grafigi rasmda ko'rsatilgan

Guruch. 1.11.(A.A.Belov va boshqalar)

Grafik tahlilidan ko'rinib turibdiki, cho'qqining normal ishlash holatidan tizim profilaktik xizmat ko'rsatish holatiga kirishi mumkin , va keyin ga qayting . Yoki ko'chirish ta'mirlangan holatda , shundan so'ng u yoki ga qaytadi , yoki hisobdan chiqarish holatiga o'ting. Davlat chekli, chunki undan o'tish mumkin emas. dan o'tish qaytib kirish bu holatda kechikish demakdir.

Amalda biz ko'pincha holatlari har bir holat bo'lgan zanjirni tashkil etuvchi tizimlarga duch kelamiz (ekstremaldan tashqari Va ) ikkita qo'shni bilan to'g'ridan-to'g'ri va teskari aloqalar orqali bog'langan,
va ekstremal davlatlar - bitta qo'shni bilan (rasmga qarang)

1.12-rasm(Sevimli...)

Bunday tizimga o'xshash birliklardan tashkil topgan texnik qurilma misol bo'la oladi. Har bir tizim holati nosozliklar soni bilan tavsiflanadi tekshirish vaqtida tugunlar.

Tadqiqotning asosiy maqsadi davlatning ehtimolliklarini topishdir har qanday ustida
m qadam. Diskret tizim holatlarining ehtimolliklarini hisoblab chiqamiz

Bu erda biz faqat oddiy Markov zanjirlarini ko'rib chiqamiz. Keyinchalik, uzluksiz Markov jarayonlari tushunchalarini ham qisqacha ko'rib chiqamiz.

Tizim holatlaridagi diskret vaqt o'zgarishi bilan har bir holatdan ikkinchi holatga o'tish deyiladi qadam.

Markov zanjirining ta'rifidan kelib chiqadiki, u uchun tizimga o'tish ehtimoli holatida
m qadam faqat davlatga bog'liq tizim avvalgisida edi
qadam.

Qayerda
shartsiz ehtimollik
Birinchi bosqichda tizim shtatda bo'ladi . Ushbu ehtimolliklarni topish uchun dastlabki ehtimollik taqsimotini bilish kerak, ya'ni. davlat ehtimolliklari
bir vaqtning o'zida
(jarayonning boshlanishi) va deb atalmish o'tish ehtimoli
Markov zanjiri yoqilgan
m qadam.

O'tish ehtimoli
sistemaning shartli o'tish ehtimoli deyiladi yoqilgan

m qadam, holatda
m qadam u qila oldi , ya'ni.

(43),

bu erda birinchi indeks oldingi holatning sonini, ikkinchi indeks esa tizimning keyingi holatining sonini ko'rsatadi.

Markov zanjiri deyiladi bir hil, qiymat bo'lsa
bular. shartli ehtimollar
test raqamiga bog'liq emas, aks holda u heterojen deb ataladi.

Bundan tashqari, biz faqat vektor yordamida aniqlanishi mumkin bo'lgan bir hil zanjirlarni ko'rib chiqamiz - bir vaqtning o'zida holatlar ehtimoli.
va matritsalar ( o'tish matritsasi deb ataladi)

(44)
.

Matritsa elementlari
oddiy kvadrat matritsalarning asosiy xususiyatlariga va qo'shimcha ravishda quyidagi xususiyatlarga ega:

A)
, b)
har bir sobit uchun
, ya'ni. har bir satr elementlari yig'indisi o'tish matritsalari birga teng (bir holatdan o'tish hodisalari ehtimoli sifatida har qanday boshqa mumkin bo'lgan holatga - hodisalarning to'liq guruhini shakllantirish).

Keyingi bosqichda tizim holatining ehtimoli takroriy formula bilan aniqlanadi:

Muayyan sharoitlarda (ergodiklik, bir xillik, tsikllarning yo'qligi) Markov zanjiri o'rnatiladi. statsionar rejim, bunda tizim holatlarining ehtimollari qadam soniga bog'liq emas. Bunday ehtimollar deyiladi ekstremal(yoki yakuniy) Markov zanjiri ehtimoli:

Ta'kid bor.

17.1 teorema.Uchun matritsalar ehtimollardan tashqariga o'tish qadamlar
formula haqiqiydir

(45)
,

Isbot. Ikki kvadrat matritsani ko'paytirish qoidasiga ko'ra
bizda mavjud bo'lgan tartibdan

Qayerda

Bundan tashqari, o'tish matritsasi ta'rifi bilan ma'lumki, bu
har qanday vaqtda
.

Keling, tenglikning ikkala tomonini yig'amiz
hammasida
, va a) xossasini ikki marta qo'llashdan keyin yig'ish tartibini almashtirsak, biz buni olamiz
ikki bosqichli o'tish matritsasi. Xuddi shunday, izchil ravishda bosqichma-bosqich fikr yuritib, biz umumiy holatda o'z bayonotimizni olamiz.

3-misol. O'tish matritsasi ko'rsatilgan

O‘tish ehtimoli matritsalarini toping
.

Ikki matritsani ko'paytirish qoidasiga asoslanib, biz olamiz

Mashq qilish. Tenglik to'g'ri ekanligini tekshiring

Shuni ta'kidlash kerakki, chekli diskret Markov zanjiri Bernulli sxemasining keyingi umumlashtirilishini ifodalaydi, bundan tashqari, bog'liq testlar uchun; mustaqil testlar Markov zanjirining alohida holatidir. Bu erda "voqea" ostida

tizimning holatiga ishora qiladi va "sinov" tizim holatining o'zgarishini anglatadi.

Agar " testlar"(tajribalar) mustaqil bo'lsa, u holda biron bir tajribada ma'lum bir hodisaning paydo bo'lishi ilgari o'tkazilgan testlar natijalariga bog'liq emas.

Vazifalar. a) O'tish matritsalari berilgan

1.
;

2.
;

3.
.

Har bir holatda matritsani toping
.

Javoblar: a) 1.
;

2.
;

v) O'tish matritsalari berilgan

;
.

Toping
.

Javoblar: c) 1.
;2.
;

3.
.

Izoh. Umuman olganda, diskret Markov zanjiri
holat fazosi chekli yoki sanab bo'ladigan Markov tasodifiy jarayoni va indekslar to'plamidir
- barcha manfiy bo'lmagan butun sonlar to'plami yoki uning ba'zi bir kichik to'plami (cheklangan yoki sanaladigan). haqida gapirishimiz mumkin natija haqida nima deyish mumkin
th testlar.

Ko'pincha jarayonning holat fazosini manfiy bo'lmagan butun sonlar to'plami bilan aniqlash qulay
va bu holatlarda ular shunday deyishadi holatda joylashgan , Agar
.

Tasodifiy o'zgaruvchiga tegish ehtimoli
bir holatda (bir bosqichli o'tish ehtimoli deb ataladi), yuqorida aytib o'tilganidek, belgilanadi
, ya'ni.

Bu belgi umumiy holatda o'tish ehtimoli nafaqat boshlang'ich va yakuniy holatlarga, balki o'tish momentiga ham bog'liqligini ta'kidlaydi.

Bir bosqichli o'tish ehtimoli vaqt o'zgaruvchisiga (ya'ni, qiymatga) bog'liq bo'lmagan hollarda , keyin ular Markov jarayoni borligini aytishadi statsionar o'tish ehtimoli. Shunday qilib, keyingi maqsadlar uchun biz bog'liq bo'lmagan tenglik mavjudligini ta'kidlaymiz , Va davlatdan bir sinovda o'tish ehtimolini bildiradi bir holatda .

Odatda ehtimollik Ko'rib chiqilayotgan jarayonga qarab kvadrat matritsaga (cheklangan yoki sanab o'tiladigan) birlashtirilgan:

va Markov matritsasi deb ataladi, yoki o'tish ehtimoli matritsasi Markov zanjiri.

Matritsada
i qator r.v ning ehtimollik taqsimotini ifodalaydi.
sharti bilan
. Agar holatlar soni chekli bo'lsa, u holda - tartibi (qatorlar soni) holatlar soniga teng bo'lgan chekli kvadrat matritsa.

Tabiiyki, ehtimolliklar quyidagi ikkita shartni bajaring:

A)
,

b)
har bir sobit uchun

Shart b) har bir sinov bir holatdan ikkinchi holatga qandaydir o'tishni keltirib chiqarishini aks ettiradi. Qulaylik uchun biz odatda bu haqda gaplashamiz o'tish va davlat o'zgarishsiz qolgan holatda. Ta'kid bor.

17.2 teorema.Agar ehtimolliklar berilgan bo'lsa, jarayon to'liq aniqlanadi(46), ya'ni.

va tasodifiy miqdorning ehtimollik taqsimoti .

Isbot. Keling, buni har qanday chekli uchun ko'rsatamiz ehtimolliklar qanday hisoblanadi

chunki umumiy ehtimollik formulasiga ko'ra, tasodifiy o'zgaruvchilarga tegishli har qanday boshqa ehtimollar (47) shaklning shartlarini (a'zolarini) yig'ish orqali olinishi mumkin.

Shartli ehtimollik ta'rifi bo'yicha bizda mavjud

Ammo Markov jarayonining ta'rifi bilan biz olamiz

(48) ga (49) tenglikni qo'yib, biz hosil bo'lamiz

Ushbu jarayonni ketma-ket davom ettirsak, biz quyidagilarni olamiz:

Jarayon to'liq aniqlangan. Nimani isbotlash kerak edi.

Markov tasodifiy jarayonlari taniqli rus matematigi A.A. Markov (1856-1922) birinchi marta tasodifiy o'zgaruvchilarning ehtimollik munosabatlarini o'rganishni boshlagan va "ehtimol dinamikasi" deb atalishi mumkin bo'lgan nazariyani yaratgan. Keyinchalik, bu nazariyaning asoslari tasodifiy jarayonlarning umumiy nazariyasi, shuningdek, diffuziya jarayonlari nazariyasi, ishonchlilik nazariyasi, navbat nazariyasi va boshqalar kabi muhim amaliy fanlar uchun dastlabki asos bo'ldi. Hozirgi vaqtda Markov jarayonlari nazariyasi va uning qo'llanilishi fanlarning mexanika, fizika, kimyo va boshqalar kabi turli sohalarida keng qo'llaniladi.

Matematik apparatning qiyosiy soddaligi va ravshanligi, olingan echimlarning yuqori ishonchliligi va aniqligi tufayli Markov jarayonlari operatsiyalarni tadqiq qilish va optimal qarorlar qabul qilish nazariyasi bilan shug'ullanadigan mutaxassislar tomonidan alohida e'tiborga sazovor bo'ldi.

Yuqorida aytib o'tilgan soddaligi va ravshanligiga qaramay, Markov zanjirlari nazariyasini amaliyotda qo'llash misollar keltirishdan oldin muhokama qilinishi kerak bo'lgan ba'zi atamalar va asosiy tamoyillarni bilishni talab qiladi.

Belgilanganidek, Markov tasodifiy jarayonlari tasodifiy jarayonlarning (SP) maxsus holatlariga ishora qiladi. O'z navbatida, tasodifiy jarayonlar tasodifiy funktsiya (SF) tushunchasiga asoslanadi.

Tasodifiy funktsiya - bu argumentning istalgan qiymati uchun qiymati tasodifiy o'zgaruvchi (RV) bo'lgan funksiya. Boshqacha qilib aytadigan bo'lsak, SFni har bir testda ilgari noma'lum shaklga ega bo'lgan funktsiya deb atash mumkin.

SF ning bunday misollari: elektr zanjiridagi kuchlanish tebranishlari, tezlik chegarasi bo'lgan yo'l uchastkasida avtomobilning tezligi, ma'lum bir hududdagi qismning sirt pürüzlülüğü va boshqalar.

Qoidaga ko'ra, agar SF argumenti vaqt bo'lsa, unda bunday jarayon tasodifiy deb ataladi. Qarorlar nazariyasiga yaqinroq bo'lgan tasodifiy jarayonlarning yana bir ta'rifi mavjud. Bunda tasodifiy jarayon deganda har qanday fizik yoki texnik tizim holatlarining vaqtga yoki boshqa argumentga nisbatan tasodifiy o‘zgarishi tushuniladi.

Agar siz holatni belgilab, qaramlikni tasvirlasangiz, bunday bog'liqlik tasodifiy funktsiya bo'lishini tushunish oson.

Tasodifiy jarayonlar holatlar turlariga va t argumentiga ko'ra tasniflanadi. Bunday holda, tasodifiy jarayonlar diskret yoki uzluksiz holatlar yoki vaqt bilan bo'lishi mumkin.

Tasodifiy jarayonlarni tasniflashning yuqoridagi misollaridan tashqari yana bir muhim xususiyat mavjud. Bu xususiyat tasodifiy jarayonlarning holatlari orasidagi ehtimollik bog'liqligini tavsiflaydi. Masalan, agar tasodifiy jarayonda tizimning har bir keyingi holatga o'tish ehtimoli faqat oldingi holatga bog'liq bo'lsa, unda bunday jarayon keyingi ta'sirsiz jarayon deb ataladi.

Avvalo shuni ta'kidlaymizki, diskret holatlar va vaqtga ega bo'lgan tasodifiy jarayon tasodifiy ketma-ketlik deb ataladi.

Agar tasodifiy ketma-ketlik Markov xossasiga ega bo'lsa, u holda Markov zanjiri deyiladi.

Boshqa tomondan, agar tasodifiy jarayonda holatlar diskret, vaqt uzluksiz va keyingi ta'sir xususiyati saqlanib qolsa, bunday tasodifiy jarayon uzluksiz vaqtli Markov jarayoni deb ataladi.

Markov tasodifiy jarayoni bir jinsli deyiladi, agar jarayon davomida o'tish ehtimoli doimiy bo'lib qolsa.

Agar ikkita shart berilgan bo'lsa, Markov zanjiri berilgan hisoblanadi.

1. Matritsa ko‘rinishidagi o‘tish ehtimolilar to‘plami mavjud:

2. Dastlabki ehtimollar vektori mavjud

tizimning dastlabki holatini tavsiflash.

Matritsa shakliga qo'shimcha ravishda, Markov zanjiri modeli yo'naltirilgan vaznli grafik sifatida ifodalanishi mumkin (1-rasm).

Guruch. 1

Markov zanjiri tizimining holatlar to'plami tizimning keyingi xatti-harakatlarini hisobga olgan holda ma'lum bir tarzda tasniflanadi.

1. Qaytarib bo'lmaydigan to'plam (2-rasm).

2-rasm.

Qaytib bo'lmaydigan to'plam bo'lsa, bu to'plam ichida har qanday o'tish mumkin. Tizim ushbu to'plamni tark etishi mumkin, lekin unga qayta olmaydi.

2. Qaytish to'plami (3-rasm).

Guruch. 3.

Bunday holda, to'plam ichidagi har qanday o'tishlar ham mumkin. Tizim ushbu to'plamga kirishi mumkin, lekin uni tark eta olmaydi.

3. Ergodik to'plam (4-rasm).

Guruch. 4.

Ergodik to'plamda to'plam ichidagi har qanday o'tish mumkin, lekin to'plamdan va to'plamga o'tishlar istisno qilinadi.

4. Yutish vositasi (5-rasm)

Guruch. 5.

Tizim ushbu to'plamga kirganda, jarayon tugaydi.

Ba'zi hollarda, jarayonning tasodifiyligiga qaramasdan, ma'lum darajada taqsimlanish qonunlari yoki o'tish ehtimoli parametrlarini nazorat qilish mumkin. Bunday Markov zanjirlari boshqariladigan deb ataladi. Shubhasiz, boshqariladigan Markov zanjirlari (CMC) yordamida qaror qabul qilish jarayoni ayniqsa samarali bo'ladi, bu haqda keyinroq muhokama qilinadi.

Diskret Markov zanjirining (DMC) asosiy xususiyati jarayonning alohida bosqichlari (bosqichlari) orasidagi vaqt oraliqlarining determinizmidir. Biroq, ko'pincha real jarayonlarda bu xususiyat kuzatilmaydi va intervallar ba'zi bir taqsimot qonuni bilan tasodifiy bo'lib chiqadi, garchi jarayonning Markov xossasi saqlanib qoladi. Bunday tasodifiy ketma-ketliklar yarim-Markov deb ataladi.

Bundan tashqari, yuqorida aytib o'tilgan ma'lum holatlar to'plamining mavjudligi va yo'qligini hisobga olgan holda, Markov zanjirlari kamida bitta yutuvchi holat mavjud bo'lsa, yutuvchi yoki o'tish ehtimoli ergodik to'plamni tashkil qilsa, ergodik bo'lishi mumkin. O'z navbatida, ergodik zanjirlar muntazam yoki tsiklik bo'lishi mumkin. Tsiklik zanjirlar odatdagidan farq qiladi, chunki ma'lum miqdordagi qadamlar (tsikllar) orqali o'tish paytida qandaydir holatga qaytish sodir bo'ladi. Muntazam zanjirlar bu xususiyatga ega emas.