Çoxölçülü Markov prosesləri. Markov prosesləri nəzəriyyəsinin üsulları. Diskret Markov zəncirləri. Misal

Optimal həlli seçərkən təhlil edilməli olan bir çox əməliyyatlar bir sıra təsadüfi amillərdən asılı olaraq təsadüfi proseslər kimi inkişaf edir.

Təsadüfi bir proses şəklində inkişaf edən bir çox əməliyyatın riyazi təsviri üçün Markov təsadüfi prosesləri üçün ehtimal nəzəriyyəsində hazırlanmış riyazi aparat uğurla tətbiq edilə bilər.

Markov təsadüfi prosesi anlayışını izah edək.

Bir sistem olsun S, vəziyyəti zamanla dəyişən (sistem altında S hər hansı bir məna verə bilər: sənaye müəssisəsi, texniki qurğu, təmir sexi və s.). Sistem vəziyyəti varsa S Zamanla təsadüfi, əvvəlcədən gözlənilməz bir şəkildə dəyişdiyini, sistemdə olduğunu söyləyirlər S sızmalar təsadüfi proses.

Təsadüfi proseslərə nümunələr:

birjada qiymət dəyişiklikləri;

saç salonunda və ya təmir sexində müştəri xidməti;

bir qrup müəssisə üzrə tədarük planının yerinə yetirilməsi və s.

Bu proseslərin hər birinin spesifik gedişi bir sıra təsadüfi, əvvəllər gözlənilməz amillərdən asılıdır, məsələn:

birjada siyasi dəyişikliklərlə bağlı gözlənilməz xəbərlərin gəlməsi;

müştərilərdən gələn müraciətlər (tələblər) axınının təsadüfi xarakteri;

təchizat planının icrasında təsadüfi fasilələr və s.

TƏrif. Sistemdə baş verən təsadüfi proses deyilir Markovian(və ya nəticəsi olmayan prosesdir), aşağıdakı xüsusiyyətə malik olduqda: zamanın hər anı üçün t 0 sistemin gələcəkdə hər hansı bir vəziyyətinin olma ehtimalı (ilə t > t 0) yalnız indiki vəziyyətindən asılıdır (ilə t = t 0) və sistemin bu vəziyyətə nə vaxt və necə gəldiyindən (yəni, prosesin keçmişdə necə inkişaf etməsindən) asılı deyil.

Başqa sözlə desək, Markov təsadüfi prosesində onun gələcək inkişafı yalnız indiki vəziyyətdən asılıdır və prosesin “tarix öncəsi”ndən asılı deyil.

Bir nümunəyə baxaq. Sistem olsun S bir müddətdir mövcud olan birjanı təmsil edir. Sistemin gələcəkdə necə işləyəcəyi ilə maraqlanırıq. Ən azı ilk təqribən aydındır ki, gələcək performansın xüsusiyyətləri (müəyyən bir səhmin qiymətinin bir həftə ərzində düşmə ehtimalları) sistemin hazırkı vəziyyətindən (məsələn, müxtəlif amillərdən) asılıdır. çünki hökumət qərarları və ya seçki nəticələri burada müdaxilə edə bilər) və sistemin indiki vəziyyətinə nə vaxt və necə çatmasından asılı deyil (keçmişdə bu səhmlərin qiymət hərəkətlərinin xarakterindən asılı deyil).

Təcrübədə biz tez-tez təsadüfi proseslərlə qarşılaşırıq ki, müxtəlif dərəcədə yaxınlaşma Markovian hesab edilə bilər.

Markov təsadüfi proseslər nəzəriyyəsi geniş tətbiq sahəsinə malikdir. Bizi əsasən Markov təsadüfi proseslər nəzəriyyəsinin gedişi və nəticəsi təsadüfi amillərdən əhəmiyyətli dərəcədə asılı olan əməliyyatların riyazi modellərinin qurulmasında tətbiqi maraqlandıracaqdır.

Markov təsadüfi proseslərə bölünür siniflər Zamanın necə və hansı nöqtələrində S" sisteminin öz vəziyyətlərini dəyişə biləcəyindən asılı olaraq.

TƏrif. Təsadüfi proses adlanır diskret vəziyyətlərlə proses, sistemin mümkün vəziyyətləri s x, s 2, s v... bir-birinin ardınca sadalana (nömrələnə) və prosesin özü zaman-zaman sistemin olmasıdır S bir vəziyyətdən digərinə qəfil (dərhal) tullanır.

Məsələn, layihənin inkişafı S hər biri səhv edə bilən iki şöbə tərəfindən birgə həyata keçirilir. Aşağıdakı sistem vəziyyətləri mümkündür:

5, - hər iki şöbə normal işləyir;

s 2 - birinci şöbə səhv etdi, ikincisi yaxşı işləyir;

s 3 - ikinci şöbə səhv etdi, birincisi yaxşı işləyir;

s 4 - hər iki şöbə səhv etdi.

Sistemdə baş verən proses ondan ibarətdir ki, o, təsadüfi olaraq zamanın bəzi nöqtələrində vəziyyətdən vəziyyətə keçir (“atılır”). Sistemdə cəmi dörd mümkün vəziyyət var. Qarşımızda diskret vəziyyətləri olan bir prosesdir.

Diskret vəziyyətləri olan proseslərə əlavə olaraq, var fasiləsiz vəziyyətləri olan təsadüfi proseslər: bu proseslər vəziyyətdən vəziyyətə tədricən, hamar keçid ilə xarakterizə olunur. Məsələn, işıqlandırma şəbəkəsində gərginliyin dəyişdirilməsi prosesi fasiləsiz vəziyyətləri olan təsadüfi bir prosesdir.

Biz yalnız diskret vəziyyətləri olan təsadüfi prosesləri nəzərdən keçirəcəyik.

Diskret vəziyyətlərlə təsadüfi prosesləri təhlil edərkən həndəsi sxemdən - sözdə vəziyyət qrafikindən istifadə etmək çox rahatdır. Dövlət qrafiki sistemin mümkün vəziyyətlərini və onun vəziyyətdən vəziyyətə mümkün keçidlərini həndəsi şəkildə təsvir edir.

Qoy sistem olsun S diskret dövlətlərlə:

Hər bir dövlət düzbucaqlı ilə təmsil olunacaq və vəziyyətdən vəziyyətə mümkün keçidlər (“atlamalar”) bu düzbucaqlıları birləşdirən oxlarla təmsil olunacaq. Dövlət qrafikinin nümunəsi Şəkildə göstərilmişdir. 4.1.

Qeyd edək ki, oxlar yalnız vəziyyətdən vəziyyətə birbaşa keçidləri qeyd edir; sistem dövlətdən keçə bilsə s 2 5 3 yalnız vasitəsilə s y sonra oxlar yalnız keçidləri qeyd edir s 2-> və l, 1 -> 5 3, amma yox s 2 -» s y Bir neçə nümunəyə baxaq:

1. Sistem S- beş mümkün ştatdan birində ola bilən şirkət: s]- mənfəətlə işləyir;

s 2- inkişaf perspektivlərini itirdi və mənfəət əldə etməyi dayandırdı;

5 3 - potensial ələ keçirmə obyektinə çevrildi;

s 4- kənar nəzarət altındadır;

s 5- ləğv edilmiş cəmiyyətin əmlakı hərracda satılır.

Şirkətin dövlət qrafiki Şəkildə göstərilmişdir. 4.2.

düyü. 4.2

2. Sistem S- iki filialı olan bank. Aşağıdakı sistem vəziyyətləri mümkündür:
5, - hər iki filial mənfəətlə fəaliyyət göstərir;

s 2 - birinci filial mənfəətsiz, ikincisi mənfəətlə fəaliyyət göstərir;

5 3 - ikinci filial mənfəətsiz fəaliyyət göstərir, birincisi mənfəətlə işləyir;

s 4 - hər iki filial mənfəətsiz fəaliyyət göstərir.

Vəziyyətdə heç bir yaxşılaşmanın olmadığı güman edilir.

Dövlət qrafiki Şəkildə göstərilmişdir. 4.3. Qeyd edək ki, qrafik vəziyyətdən mümkün keçidi göstərmir s] birbaşa s4, hansı bank reallaşarsa dərhal zərərlə işləyəcək. Təcrübə təsdiqlədiyi kimi, belə bir hadisənin mümkünlüyünü laqeyd etmək olar.

düyü. 4.3

3. Sistem S- iki treyderdən (şöbədən) ibarət investisiya şirkəti: I və II; onların hər biri nə vaxtsa zərərlə işləməyə başlaya bilər. Bu baş verərsə, şirkət rəhbərliyi dərhal şöbənin gəlirli fəaliyyətini bərpa etmək üçün tədbirlər görür.

Mümkün sistem bildirir: s-hər iki şöbənin fəaliyyəti gəlirlidir; s 2- birinci şöbə bərpa olunur, ikincisi mənfəətlə işləyir;

s 3- birinci şöbə mənfəətlə işləyir, ikincisi bərpa olunur;

s 4- hər iki şöbə bərpa olunur.

Sistem vəziyyətinin qrafiki Şəkildə göstərilmişdir. 4.4.

4. Əvvəlki nümunənin şərtlərində, hər bir treyderin, şöbənin gəlirli işini bərpa etməyə başlamazdan əvvəl fəaliyyəti, onun yaxşılaşdırılması üçün tədbirlər görmək üçün şirkət rəhbərliyi tərəfindən öyrənilməlidir.

Rahatlıq üçün sistemin vəziyyətlərini bir yox, iki indekslə nömrələyəcəyik; birinci iradə birinci treyderin statusunu bildirir (1 - mənfəətlə işləyir, 2 - onun fəaliyyəti rəhbərlik tərəfindən öyrənilir, 3 - şöbənin gəlirli fəaliyyətini bərpa edir); ikinci - ikinci treyder üçün eyni dövlətlər. Misal üçün, s 23 demək olacaq: birinci treyderin fəaliyyəti öyrənilir, ikincisi gəlirli işi bərpa edir.

Mümkün sistem vəziyyətləri S:

s u- hər iki treyderin fəaliyyəti mənfəət gətirir;

s l2- birinci treyder mənfəətlə işləyir, ikincinin fəaliyyəti şirkət rəhbərliyi tərəfindən öyrənilir;

5 13 - birinci treyder mənfəətlə işləyir, ikincisi şöbənin gəlirli fəaliyyətini bərpa edir;

s 2l- birinci treyderin fəaliyyəti rəhbərlik tərəfindən öyrənilir, ikincisi mənfəətlə işləyir;

s 22 - hər iki treyderin fəaliyyəti rəhbərlik tərəfindən öyrənilir;

5 23 - birinci treyderin işi öyrənilir, ikinci treyder şöbənin gəlirli fəaliyyətini bərpa edir;
5 31 - birinci treyder şöbənin gəlirli fəaliyyətini bərpa edir, ikincisi mənfəətlə işləyir;
5 32 - şöbənin gəlirli fəaliyyəti birinci treyder tərəfindən bərpa edilir, ikinci treyderin işi öyrənilir;
5 33 - hər iki treyder öz şöbəsinin gəlirli işini bərpa edir.

Ümumilikdə doqquz ştat var. Dövlət qrafiki Şəkildə göstərilmişdir. 4.5.

Bölmə 5.1.6-da verilmiş Markov prosesinin tərifindən, eləcə də birbaşa (5.6) düsturundan belə çıxır.

Şərti sıxlıq

Markov prosesinin s zamanında y vəziyyətindən t zamanında x vəziyyətinə keçidinin ehtimal sıxlığı adlanır.

(2.57) düsturundan istifadə edərək, Markov prosesinin çoxölçülü ehtimal sıxlığını (hər hansı sonlu qaydada) təyin edirik.

Formula (5.60) Markov prosesinin çoxölçülü ehtimal sıxlığının faktorlara bölünməsi deməkdir - onun birölçülü sıxlıq və keçid ehtimal sıxlıqlarının məhsulu kimi təqdim edilməsi. Çoxölçülü sıxlığın faktorizasiya şərti (5.60) Markov proseslərinin xarakterik xüsusiyyətidir (müstəqil qiymətləri olan proseslər üçün oxşar sadə faktorizasiya şərti ilə (5.4) müqayisə edin).

Birölçülü sıxlıq və keçid ehtimalı sıxlığı əlaqə ilə bağlıdır

Markov prosesinin keçid ehtimalının sıxlığı yalnız mənfi olmayan və normallaşmanın adi şərtlərini ödəyən ixtiyari şərti paylanma funksiyası deyil, yəni. O, həmçinin bəzi inteqral tənliyi təmin etməlidir. Həqiqətən də (5.60)-dan bizdə var

Bu bərabərliyin hər iki tərəfini birləşdirərək əldə edirik

və o vaxtdan

(5.62) inteqral tənliyi Kolmoqorov-Çapman tənliyi adlanır.

5.4.2. Homojen Markov prosesləri.

Əgər Markov prosesinin ehtimal paylanması zamanın dəyişməsinə invariantdırsa, o zaman homojen (stasionar) adlanır. Bu halda keçid ehtimalının sıxlığı (5.59) yalnız bir zaman parametrindən asılıdır.

Homojen Markov prosesinin çoxölçülü sıxlığı üçün faktorizasiya şərti formada yazılır) [bax. (5.60)]

Qeyd edək ki, bircins Markov prosesləri sinfi müstəqil artımlarla bircins təsadüfi proseslərin nəzərdən keçirilən sinfi ilə üst-üstə düşür.

5.4.3. Çoxaldılmış Markov prosesi.

Keçid ehtimalının sıxlığı prosesin əvvəlki k qiymətindən asılıdırsa, Markov prosesini əlaqələndiririk (bax). (5.58)]:

Əlaqədar Markov prosesinin çoxölçülü sıxlığının faktorizasiya şərti kimi yazılır

və Kolmoqorov-Çapman tənliyi

5.4.4. Vektor Markov prosesi.

Təsadüfi proseslər toplusu vektor Markov prosesini təşkil edir, əgər bu çoxluğun tam ehtimal təsviri üçün birgə paylanmanı bilmək lazımdır və kifayətdir.

və şərti paylama

və ya müvafiq keçid ehtimalı sıxlığı

- (5.62) skalyar kəmiyyətləri vektor kəmiyyətləri ilə əvəz edərək, vektor Markov prosesi üçün müvafiq əlaqələri əldə edirik.

Vektor Markov prosesini təşkil edən çoxluğa aid olan təsadüfi proseslərin hər biri vektor Markov prosesinin komponenti adlanır, lakin bu, ümumiyyətlə, skalyar Markov prosesi deyil.

Vektor və çoxalma bağlı Markov prosesləri arasındakı əlaqəni qeyd edək: -əlaqəli Markov ardıcıllığı vektor (ölçüsü k) Markov ardıcıllığı kimi də şərh edilə bilər.

5.4.5. Qauss Markov prosesi.

Markov prosesi, paylanması normal ehtimal paylanma qanununa tabe olarsa, Qauss prosesi adlanır (bax. bölmə 5.2.1). İstənilən Qauss prosesinə gəldikdə isə, Qauss Markov prosesinin korrelyasiya funksiyası onun tam ehtimal təsvirini verir. Təsadüfi prosesin mərkəzləşdirilmiş Qauss Markov prosesi olduğunu sübut etmək olar, o halda və yalnız korrelyasiya funksiyası tənliyi təmin edir.

Homojen Qauss Markov prosesi üçün şərt (5.71) təbii olaraq bir arqumentdən asılı olan normallaşdırılmış korrelyasiya funksiyasından istifadə etməklə yazılır.

Trivial həlldən başqa, (5.72) tənliyinin unikal həlli var

Beləliklə, dispersiyaya malik stasionar mərkəzli Qauss prosesi yalnız və yalnız korrelyasiya funksiyası olduqda Markoviandır (Şəkil 5.4).

və ya müvafiq proses gücü spektral sıxlığı (Şəkil 5.5)

(5.74)-dən və müvafiq olaraq (5.75)-dən belə nəticə çıxır ki, orta kvadratda homojen Qauss Markov prosesi fasiləsizdir, lakin 5.6 məsələsi də orta kvadratda diferensiallaşmır.

düyü. 5.4. Homojen Qauss Markov prosesinin normallaşdırılmış korrelyasiya funksiyası

düyü. 5.5. Homojen Qauss Markov prosesinin güc spektral sıxlığı

5.4.6. Qauss Markov ardıcıllığı.

Dispersiyaları və korrelyasiya əmsalları olan mərkəzləşdirilmiş Qauss təsadüfi dəyişənlər ardıcıllığı olsun.Bu ardıcıllığın Markovian olması üçün zəruri və kifayətdir ki,

Stasionar Qauss Markov ardıcıllığı üçün (5.76)-dan belə çıxır

burada ardıcıllığın iki qonşu üzvü arasında korrelyasiya əmsalı.

Qauss Markov ardıcıllığının hər bir sonrakı ardıcıllığı həm də Qauss, Markoviandır.

5.4.7. Davamlı Markov prosesinin keçid ehtimalının sıxlığı üçün diferensial tənlik.

Kolmoqorov-Çapman inteqral tənliyinin (5.62) həlli çətin məsələdir. Markov prosesinin keçid ehtimalının sıxlığının müəyyən edilməsi, özümüzü davamlı proseslərlə məhdudlaşdırsaq, diferensial tənliyin həllinə endirilə bilər. Qısa müddət ərzində nəzərə çarpan hərəkətlər yalnız aşağı ehtimalla mümkündürsə, Markov prosesi davamlı adlanır. Daha doğrusu, bu o deməkdir ki, nə olursa olsun

Fasiləsiz Markov prosesinin bir ehtimalla həyata keçirilməsi davamlıdır.

(5.62) tənliyindən dəyişənlərin təyinatlarını qəbul edərək və dəyişdirərək, əldə edirik

Üstəlik, aydındır ki

Son iki bərabərlikdən belə çıxır

Fərz edək ki, keçid ehtimalının sıxlığı Taylor seriyasına genişləndirilə bilər

(5.80)-i (5.79) əvəz edərək, hər iki tərəfi bölmək və əldə etdiyimiz həddə keçmək

5.4.8. Diffuziya prosesləri.

Əgər funksiyalar sıfırdan və üçündən başqa sonludursa, onda fasiləsiz Markov prosesi diffuziya adlanır. (5.81)-dən belə nəticə çıxır ki, diffuziya prosesinin keçid ehtimalının sıxlığı qismən diferensial tənliyi ödəyir.

tərs Kolmoqorov tənliyi adlanır.

Eynilə, diffuziya prosesinin keçid ehtimalının sıxlığının birbaşa Kolmogorov tənliyini təmin etdiyini sübut etmək olar:

sürüşmə əmsalı və

Diffuziya əmsalı.

Birbaşa Kolmoqorov tənliyi (5.84) Fokker-Plavka tənliyi kimi də tanınır. (5.83) və (5.84) tənlikləri parabolik qismən diferensial tənliklər sinfinə aiddir. (5.83)-də dəyişənlər, y və T dəyişənləri isə yalnız şərtə daxil edilir. (5.84) bəndində dəyişənlər y və və t yalnız başlanğıc şərt vasitəsilə daxil olurlar. Məsələn, Kolmoqorovun tənliklərinin həlli üsulları nəzərdən keçirilir.

5.4.9. Stasionar diffuziya prosesləri.

Stasionar diffuziya prosesləri üçün sürüşmə əmsalları (5.85) və diffuziya (5.86) zaman parametrindən asılı deyil, keçid ehtimalının sıxlığı isə yalnız fərqdən asılıdır. Sonra (5.84) dən alırıq

ilkin şərtlə

Əgər ilkin vəziyyətdən asılı olmayan keçid ehtimalının sıxlığının həddi varsa, o zaman stasionar diffuz prosesin məhdudlaşdırıcı paylama funksiyası adlanır.

(5.88)-dən belə çıxır ki. Buna görə də həddi paylama funksiyasını birinci tərtib adi diferensial tənlikdən tapmaq olar

kimin həlli formaya malikdir

normallaşma şərtindən və sərhəd şərtindən sabitlər müəyyən edilir

5.4.10. Qauss diffuziya prosesi.

Sıfır orta, dispersiya və normallaşdırılmış korrelyasiya funksiyası olan Qauss stasionar təsadüfi prosesi nəzərdən keçirək. Bu təsadüfi prosesin şərti paylanma sıxlığı [bax (2.74)]

Nəzərə alınan şərti ehtimal sıxlığı üçün (5.82) uyğun olaraq müəyyən edilmiş funksiyaları tapaq:

(5.92)

sağdan sıfıra yaxınlaşan törəmənin qiyməti haradadır. Əgər sıfırda davamlıdırsa, o zaman kəsilməyə məruz qaldığını fərz edin. Sonra

Bu bölmədə optimal demodulyatoru tapmaq üçün Markov prosesi metodundan istifadə edirik. Təqdimatımız səthidir, ona görə də daha ətraflı nəzərdən keçirmək üçün maraqlı oxucular əlavə mənbələrə (xüsusən də) müraciət etməlidirlər. Və bu dəfə biz fərz edəcəyik ki, mesaj vəziyyət dəyişənlərində sonlu təmsili olan Gauss təsadüfi prosesdir, yəni.

kovariasiya funksiyası olan ağ Qauss təsadüfi prosesi haradadır

Müzakirəmizdə bu faktdan istifadə etməsək də, qeyd etmək lazımdır ki, bu bölmədə qeyd olunan prosedur vəziyyət tənliyi və müşahidə tənliyi qeyri-xətti olduqda və formaya malik olduqda da həyata keçirilə bilər.

Qeyd edək ki, müəyyən məhdudiyyətlər altında bir vektor Markov prosesi tətbiq olunur, bu da Gauss deyil. Əvvəllər müzakirə olunan metodların heç biri bu sinif mesajları ilə bağlı problemləri həll etməyə imkan vermir. Bu bölmədə əldə ediləcək nəticələrin əksəriyyəti (78) və (79) tənlikləri ilə təsvir edilən daha ümumi proses üçün də əldə edilə bilər.

İndi münasibətlərlə təsvir olunan təsadüfi proses şəklində modelə qayıdaq.Qeydlərin sadəliyi üçün skaler Qauss Markov prosesi olan və ötürülən rəqsi müəyyən ətalətlə modullaşdıran bir mesajı nəzərdən keçirəcəyik. -pulsuz modulyasiya növü. Qəbul edilən vibrasiya formada yazılır

Mesaj prosesi birinci dərəcəli diferensial tənliyi təmin edir

Beləliklə, istənilən sonlu qiymətlər üçün mesaj stasionar prosesdir və birinci dərəcəli Buttervort spektrinə malikdir. Bundan əlavə, Markov prosesinin birinci dərəcəli olması səbəbindən heç bir müşahidə olmadıqda onun ehtimal sıxlığı Fokker-Plank tənliyini təmin edir [bax. (3.79)]

Lakin zaman intervalında müşahidə olunduğuna görə bizi maraqlandıran ehtimal sıxlığı qeyd-şərtsiz sıxlıq deyil, müşahidə edilən rəqsə görə sıxlıqdır.Bu sıxlığı belə işarə edək.

Qeyd edək ki, (86) bir təsadüfi dəyişənin ehtimal sıxlığıdır (müşahidə edilən rəqsə görə zaman anında a-nın qiymətini bildirən qiymət və dəqiq müəyyən edilmiş xarakteristikadır. Göstərilə bilər ki, bu ehtimal sıxlığı şərti təmin edir. tənlik

burada riyazi gözləntilər sıxlıqdan götürülür.Törəməni formal olaraq təqdim etsək

onda (87) formal olaraq diferensial tənlik kimi yazıla bilər

Posterior sıxlıq və minimum orta kvadrat xətasının təxminləri arasında əlaqə yaxşı məlumdur. Minimum orta kvadrat səhvinin qiymətləndirilməsi posterior sıxlığın şərti ortasıdır (birinci cildin 73-cü səhifəsinə baxın), yəni.

(89)-un hər iki tərəfini A-ya vuraraq, inteqral edərək və intervalın sonunda müvafiq şərtləri nəzərə alaraq, əldə edirik (7.2.2-ci məsələyə bax).

Qeyd edək ki, (91) hələ də riyazi gözləntiləri ehtiva edir. Gözlənildiyi kimi, bu tənliyi ümumi modulyasiya halı üçün həll etmək mümkün deyil. Xətti modulyasiya üsulları vəziyyətində, onun (məsələn, 18] və ya Məsələ 7.2.1-ə qədər azaldığını göstərmək asandır. Bir çox qeyri-xətti modulyasiya problemləri üçün müxtəlif tənlik şərtləri seriyasına genişləndirməklə uğur əldə edilə bilər ( 91). Sonra, qiymətləndirmə xətasının kiçik olduğunu fərz etsək və daha yüksək dərəcələrin anlarına bəzi şərtlər qoysaq, ikinci və daha yüksək dərəcələrin şərtlərini laqeyd qoyaraq aşağıdakı təxmini tənliyi əldə edə bilərik (müfəssəl çıxarış kitabın 4-cü fəslində verilmişdir). ):

burada minimum orta kvadrat səhvinə əsaslanan təxmini təxminləri ifadə edir. Funksiya təqribi şərtdir [diferensial tənliyi təmin edən orta kvadrat xətasına görə

sərhəd şərti ilə

Qeyd edək ki, qiymətləndirmə tənliyi (92) və dispersiya tənliyi (93) əlaqəlidir. Qeyd edək ki, şərti kök orta kvadrat xətası [yəni. e) əldə etmək üçün edilməli olan təxminlərin qəbul edilməsi şərti ilə xəta kiçik olduqda etibarlıdır.

Biz görürük ki, (92) tənliyi şəkildə göstərilən blok-sxem şəklində həyata keçirilə bilər. 7.3. Bu icra, Fəsildə sintez edilmiş maksimum posterior ehtimal qiymətləndiricisinin strukturuna çox oxşardır. 2, yeganə fərqlə, indi döngədəki filtr avtomatik olaraq həyata keçirilir. Bu tətbiqin dezavantajı döngələr arasında əlaqənin olmasıdır.

Bucaq modulyasiyası vəziyyətində, bu birləşmənin adətən laqeyd qala biləcəyini göstərmək olar. Məsələn, faza modulyasiyası ilə

Onun mesaj spektrində ən yüksək tezlikdən çox böyük olduğu və sistemin statistik stasionar vəziyyətdə olduğu güman edilir. Bu halda göstərilir ki

əvəz edərkən dispersiya tənliyini ödəyir

Birinci dərəcəli Markov prosesi üçün bu tənlik formaya malikdir

Qəbuledicinin blok diaqramı Şəkildə göstərilmişdir. 7.4. Bu struktur əvvəllər sintez edilmiş təxmini maksimum posterior ehtimal qəbuledicisinin həyata keçirilən hissəsi ilə tam üst-üstə düşür ((68-də problemə baxın) indi təxmini şərti orta kvadrat xətası kimi şərh edilə bilər.

düyü. 7.4. Optimal qəbuledici: faza modulyasiyası, birinci dərəcəli Butterworth spektri ilə əlaqə.

Çıxışın təfərrüatlarının çoxu buraxıldığı üçün nəticənin məhdudiyyətlərini qeyd etmək vacibdir. Şərti ortanı təyin edən diferensial tənlik (91) dəqiqdir. Bununla belə, (92)-(93)-ün alınması ilə bağlı təxminlər xəttiləşdirmə fərziyyəsinə uyğundur. Buna görə də, nəticəmiz dəqiq qiymətləndirmənin seriya genişləndirilməsinin birinci müddətinə uyğun gələn minimum orta kvadrat xətaya əsaslanan təxmini qiymətləndirmədir. Daha yaxşı yaxınlaşma əldə etmək üçün daha çox sayda genişləndirmə şərtləri saxlanıla bilər (məsələn, bax). Bu prosedurun çətinliyi ondadır ki, iki müddətli yaxınlaşma artıq o qədər mürəkkəbdir ki, yəqin ki, praktiki maraq doğurmur.

Hansısa sistemdə s.p baş versin. diskret dövlətlərlə
və diskret vaxt, yəni. sistemin bir vəziyyətdən digər vəziyyətə keçidi yalnız zamanın müəyyən nöqtələrində baş verir
. Bu anlar adlanır addımlar proses (adətən qonşu müşahidə anları arasındakı fərq
sabit ədədə bərabər - zaman vahidi kimi qəbul edilən addım uzunluğu);
prosesin başlanğıcı.

Bu s.p. hadisələrin ardıcıllığı (zənciri) kimi qəbul edilə bilər
.

sistemin ilkin vəziyyəti, yəni. 1-ci addımdan əvvəl;
1-ci addımdan sonra sistemin vəziyyəti,
sistemin 2-ci addımdan sonrakı vəziyyəti və s.), yəni. kimi hadisələr
Harada.

Diskret vəziyyətləri və diskret vaxtı olan Markov təsadüfi prosesi adlanır Markov zənciri(Markov zənciri).

Qeyd edək ki Markov zənciri, gələcəkdə dövlətlərin şərti ehtimallarının yalnız son mərhələdəki vəziyyətindən asılı olduğu (və əvvəlkilərdən asılı olmayan) adlanır. sadə Markov zənciri. (A.A. Markov 1856-1922 - rus riyaziyyatçısı).

Belə bir sistemin nümunəsi texniki cihaz kimi xidmət edə bilər, mümkün vəziyyətləri aşağıdakılardır:

yaxşı iş;

profilaktik yoxlama və texniki xidmət;

təmir işləri;

istifadəyə yararsızlıq səbəbindən silinmə;

İş vəziyyətinin qrafiki şəkildə göstərilmişdir

düyü. 1.11.(A.A.Belov və s.)

Qrafikin təhlilindən aydın olur ki, təpənin normal işləmə vəziyyətindən sistem profilaktik baxım vəziyyətinə keçə bilər , və sonra qayıdın . Və ya köçür təmirli vəziyyətdədir , bundan sonra ya geri qayıdır , və ya silinmə vəziyyətinə keçin. dövlət ondan keçid mümkün olmadığı üçün sonludur. -dən keçid geri daxil bu vəziyyətdə gecikmə deməkdir.

Təcrübədə biz tez-tez vəziyyətləri hər bir vəziyyətin olduğu bir zəncir təşkil edən sistemlərlə qarşılaşırıq (ekstremal istisna olmaqla Və ) iki qonşu ilə birbaşa və əks əlaqə ilə bağlanır,
və ekstremal dövlətlər - bir qonşu ilə (şəklə bax)

Şəkil 1.12(Sevimli...)

Belə bir sistemə misal olaraq oxşar bölmələrdən ibarət texniki qurğunu göstərmək olar. Hər bir sistem vəziyyəti səhvlərin sayı ilə xarakterizə olunur yoxlama zamanı qovşaqlar.

Tədqiqatın əsas məqsədi dövlətin ehtimallarını tapmaqdır hər hansı bir üzərində
m addım. Diskret sistemin vəziyyətlərinin ehtimallarını hesablayacağıq

Burada yalnız sadə Markov zəncirlərini nəzərdən keçirəcəyik. Bundan əlavə, fasiləsiz Markov prosesləri anlayışlarını da qısaca nəzərdən keçirəcəyik.

Sistem vəziyyətlərində diskret vaxt dəyişiklikləri ilə hər bir vəziyyətdən digərinə keçid deyilir addım.

Markov zəncirinin tərifindən belə çıxır ki, onun üçün sistemin keçid ehtimalı vəziyyətdə
m addım yalnız dövlətdən asılıdır sistem əvvəlki sistemdə idi
addım.

Harada
şərtsiz ehtimal
İlk addımda sistem dövlətdə olacaq . Bu ehtimalları tapmaq üçün ilkin ehtimal paylanmasını bilmək lazımdır, yəni. dövlət ehtimalları
zamanın bir nöqtəsində
(prosesin başlanğıcı) və sözdə keçid ehtimalları
Markov zənciri
m addım.

Keçid ehtimalı
sistemin şərti keçid ehtimalı adlanır haqqında

m addım, vəziyyətdə
m addım atmağı bacardı , yəni.

(43),

burada birinci indeks əvvəlki vəziyyətin nömrəsini, ikinci indeks isə sistemin sonrakı vəziyyətinin sayını göstərir.

Markov zənciri adlanır homojen, dəyəri varsa
olanlar. şərti ehtimallar
test nömrəsindən asılı deyil, əks halda heterojen adlanır.

Bundan əlavə, biz yalnız bir vektordan istifadə edərək təyin edilə bilən homojen zəncirləri nəzərdən keçirəcəyik - bir anda vəziyyətlərin ehtimalı
və matrislər ( keçid matrisi adlanır)

(44)
.

Matris elementləri
adi kvadrat matrislərin əsas xassələrinə və əlavə olaraq aşağıdakı xüsusiyyətlərə malikdir:

A)
, b)
hər sabit üçün
, yəni. hər cərgənin elementlərinin cəmi keçid matrisləri birinə bərabərdir (bir vəziyyətdən keçid hadisələrinin ehtimalı kimi). hər hansı digər mümkün dövlətə - hadisələrin tam qrupunun formalaşdırılması).

Növbəti addımda sistemin vəziyyətinin ehtimalı təkrarlanan düsturla müəyyən edilir:

Müəyyən şərtlərdə (erqodiklik, homojenlik, dövrlərin olmaması) Markov zənciri qurulur. stasionar rejim, burada sistem vəziyyətlərinin ehtimalları addım sayından asılı deyil. Belə ehtimallar deyilir ifrat(və ya son) Markov zəncirinin ehtimalları:

Bir iddia var.

Teorem 17.1.üçün matrislər ehtimalların kənara keçməsi addımlar
formula etibarlıdır

(45)
,

Sübut.İki kvadrat matrisin vurulması qaydasına görə
bizdə olan sıradan

Harada

Üstəlik, keçid matrisinin tərifindən məlum olur ki
istənilən vaxt
.

Gəlin bərabərliyin hər iki tərəfini cəmləyək
hamısında
, və xassə a) iki dəfə tətbiq edildikdən sonra toplama sırasını dəyişdirərək, biz bunu əldə edirik
iki mərhələdə keçid matrisi. Eynilə, ardıcıl olaraq addım-addım əsaslandıraraq, ümumi halda öz ifadəmizi əldə edirik.

Misal 3. Keçid matrisi müəyyən edildi

Keçid ehtimalı matrislərini tapın
.

İki matrisin çarpılması qaydasına əsasən, alırıq

Məşq edin. Bərabərliyin doğru olduğunu yoxlayın

Qeyd etmək lazımdır ki, sonlu diskret Markov zənciri Bernulli sxeminin əlavə ümumiləşdirilməsini təmsil edir, üstəlik, asılı testlər üçün; müstəqil testlər Markov zəncirinin xüsusi halıdır. Burada "hadisə" altında

sistemin vəziyyətinə, “test” isə sistemin vəziyyətindəki dəyişikliyə aiddir.

əgər " testlər"(təcrübələr) müstəqildir, onda hər hansı bir təcrübədə müəyyən hadisənin baş verməsi əvvəllər aparılmış sınaqların nəticələrindən asılı deyildir.

Tapşırıqlar. a) Keçid matrisləri verilmişdir

1.
;

2.
;

3.
.

Hər bir vəziyyətdə matrisi tapın
.

Cavablar: a) 1.
;

2.
;

c) Keçid matrisləri verilmişdir

;
.

Tapın
.

Cavablar: c) 1.
;2.
;

3.
.

Şərh.Ümumiyyətlə, diskret Markov zənciri
vəziyyət fəzası sonlu və ya hesablana bilən Markov təsadüfi prosesi və indekslər çoxluğudur
- bütün qeyri-mənfi tam ədədlər çoxluğu və ya onun bəzi alt çoxluğu (sonlu və ya hesablana bilən). haqqında danışa bilərik nəticəsi necədir
ci testlər.

Prosesin vəziyyət fəzasını mənfi olmayan tam ədədlər dəsti ilə müəyyən etmək çox vaxt rahatdır
və bu hallarda belə deyirlər vəziyyətdədir , Əgər
.

Təsadüfi dəyişəni vurma ehtimalı
bir vəziyyətdə (bir addımlı keçid ehtimalı adlanır), yuxarıda qeyd edildiyi kimi işarə olunur
, yəni.

Bu qeyd vurğulayır ki, ümumi halda keçid ehtimalları təkcə ilkin və son vəziyyətlərdən deyil, həm də keçid anından asılıdır.

Bir addımlı keçid ehtimallarının zaman dəyişənindən (yəni, dəyərdən) asılı olmadığı hallarda , sonra deyirlər ki, Markov prosesi var stasionar keçid ehtimalları. Beləliklə, əlavə məqsədlər üçün qeyd edirik ki, ondan asılı olmayan bir bərabərlik var , Və dövlətdən bir sınaqda keçid ehtimalını ifadə edir bir vəziyyətdə .

Adətən ehtimallar baxılan prosesdən asılı olaraq kvadrat matrisə (sonlu və ya hesablana bilən) birləşdirilmişdir:

və Markov matrisi adlanır və ya keçid ehtimalı matrisi Markov zənciri.

Matrisdə
i sıra r.v-nin ehtimal paylanmasını təmsil edir.
bir şərtlə ki
. Əgər dövlətlərin sayı məhduddursa, onda - sırası (sətirlərin sayı) vəziyyətlərin sayına bərabər olan sonlu kvadrat matris.

Təbii ki, ehtimallar aşağıdakı iki şərti təmin edin:

A)
,

b)
hər sabit üçün

Şərt b) hər bir sınaqın bir vəziyyətdən digər vəziyyətə keçidə səbəb olması faktını əks etdirir. Rahatlıq üçün adətən biz də danışırıq keçid və vəziyyətin dəyişməz qaldığı halda. Bir iddia var.

Teorem 17.2.Ehtimallar verildiyi halda proses tam olaraq müəyyən edilir(46), yəni.

və təsadüfi dəyişənin ehtimal paylanması .

Sübut. Bunu istənilən sonlu üçün göstərək ehtimallar necə hesablanır

çünki ümumi ehtimal düsturuna əsasən (47) formanın şərtlərini (üzvlərini) toplamaq yolu ilə təsadüfi dəyişənlərə aid hər hansı digər ehtimallar əldə edilə bilər.

Şərti ehtimalın tərifinə görə bizdə var

Ancaq Markov prosesinin tərifi ilə biz əldə edirik

(49) bərabərliyini (48) yerinə qoysaq, əldə edirik

Bu prosesi ardıcıl olaraq davam etdirərək, əldə edirik:

Proses tamamilə müəyyən edilmişdir. Nəyi sübut etmək lazım idi.

Markov təsadüfi prosesləri görkəmli rus riyaziyyatçısı A.A. Markov (1856-1922) ilk dəfə təsadüfi dəyişənlərin ehtimal əlaqəsini öyrənməyə başlamış və “ehtimal dinamikası” adlandırıla bilən bir nəzəriyyə yaratmışdır. Sonradan bu nəzəriyyənin əsasları təsadüfi proseslərin ümumi nəzəriyyəsi, eləcə də diffuziya prosesləri nəzəriyyəsi, etibarlılıq nəzəriyyəsi, növbə nəzəriyyəsi və s. kimi mühüm tətbiqi elmlər üçün ilkin əsas oldu. Hal-hazırda Markov prosesləri nəzəriyyəsi və onun tətbiqləri mexanika, fizika, kimya və s. kimi elmlərin müxtəlif sahələrində geniş istifadə olunur.

Riyazi aparatın müqayisəli sadəliyi və aydınlığı, alınan həllərin yüksək etibarlılığı və dəqiqliyi sayəsində Markov prosesləri əməliyyatların tədqiqi və optimal qərarların qəbulu nəzəriyyəsi ilə məşğul olan mütəxəssislərin xüsusi diqqətini cəlb etmişdir.

Yuxarıda qeyd olunan sadəliyə və aydınlığa baxmayaraq, Markov zəncirləri nəzəriyyəsinin praktiki tətbiqi nümunələr təqdim etməzdən əvvəl müzakirə edilməli olan bəzi terminlər və əsas prinsiplər haqqında bilik tələb edir.

Göstərildiyi kimi, Markov təsadüfi proseslər təsadüfi proseslərin (SP) xüsusi hallarına aiddir. Öz növbəsində, təsadüfi proseslər təsadüfi funksiya (SF) konsepsiyasına əsaslanır.

Təsadüfi funksiya, arqumentin istənilən dəyəri üçün dəyəri təsadüfi dəyişən (RV) olan funksiyadır. Başqa sözlə, SF funksiyası adlandırıla bilər ki, hər testdə əvvəllər məlum olmayan bir forma alır.

SF-nin belə nümunələri bunlardır: elektrik dövrəsində gərginliyin dəyişməsi, sürət həddi olan yolun bir hissəsində avtomobilin sürəti, müəyyən bir hissədə hissənin səthinin pürüzlülüyü və s.

Bir qayda olaraq, hesab olunur ki, SF-nin arqumenti zamandırsa, belə bir proses təsadüfi adlanır. Qərar nəzəriyyəsinə daha yaxın təsadüfi proseslərin başqa bir tərifi var. Bu halda təsadüfi proses hər hansı fiziki və ya texniki sistemin vəziyyətlərinin zamana və ya hər hansı digər arqumentə görə təsadüfi dəyişmə prosesi kimi başa düşülür.

Görmək asandır ki, əgər bir vəziyyəti təyin etsəniz və bir asılılığı təsvir etsəniz, belə bir asılılıq təsadüfi bir funksiya olacaqdır.

Təsadüfi proseslər vəziyyətlərin növlərinə və t arqumentinə görə təsnif edilir. Bu halda təsadüfi proseslər diskret və ya davamlı hallarla və ya zamanla ola bilər.

Təsadüfi proseslərin təsnifatının yuxarıdakı nümunələrinə əlavə olaraq, daha bir mühüm xüsusiyyət var. Bu xassə təsadüfi proseslərin halları arasında ehtimal əlaqəsini təsvir edir. Beləliklə, məsələn, təsadüfi bir prosesdə sistemin hər bir sonrakı vəziyyətə keçmə ehtimalı yalnız əvvəlki vəziyyətdən asılıdırsa, belə bir proses sonrakı təsirsiz proses adlanır.

Əvvəlcə qeyd edək ki, diskret vəziyyətləri və vaxtı olan təsadüfi proses təsadüfi ardıcıllıq adlanır.

Əgər təsadüfi ardıcıllıq Markov xassəsinə malikdirsə, o zaman Markov zənciri adlanır.

Digər tərəfdən, əgər təsadüfi prosesdə hallar diskretdirsə, zaman fasiləsizdirsə və sonrakı effekt xassəsi qorunub saxlanılırsa, onda belə təsadüfi proses fasiləsiz vaxta malik Markov prosesi adlanır.

Əgər proses zamanı keçid ehtimalları sabit qalırsa, Markov təsadüfi prosesinin homojen olduğu deyilir.

Markov zənciri iki şərt verilirsə verilmiş hesab olunur.

1. Matris şəklində keçid ehtimalları toplusu var:

2. İlkin ehtimalların vektoru var

sistemin ilkin vəziyyətini təsvir edir.

Matris formasına əlavə olaraq, Markov zəncirinin modeli yönəldilmiş çəkili qrafik kimi təqdim edilə bilər (şək. 1).

düyü. 1

Markov zənciri sisteminin vəziyyətlərinin çoxluğu sistemin sonrakı davranışı nəzərə alınmaqla müəyyən bir şəkildə təsnif edilir.

1. Geri dönməz dəst (şək. 2).

Şəkil 2.

Geri dönməyən dəst halında, bu dəst daxilində istənilən keçid mümkündür. Sistem bu dəsti tərk edə bilər, lakin ona qayıda bilməz.

2. Dəsti geri qaytarın (şək. 3).

düyü. 3.

Bu halda dəst daxilində istənilən keçidlər də mümkündür. Sistem bu setə daxil ola bilər, lakin onu tərk edə bilməz.

3. Erqodik dəst (şək. 4).

düyü. 4.

Erqodik dəst vəziyyətində dəst daxilində istənilən keçid mümkündür, lakin dəstdən və dəstə keçidlər istisna edilir.

4. Absorbsiya dəsti (şək. 5)

düyü. 5.

Sistem bu setə daxil olduqda proses başa çatır.

Bəzi hallarda prosesin təsadüfi olmasına baxmayaraq, paylanma qanunlarına və ya keçid ehtimallarının parametrlərinə müəyyən dərəcədə nəzarət etmək mümkündür. Belə Markov zəncirləri idarə olunan adlanır. Aydındır ki, idarə olunan Markov zəncirlərinin (CMC) köməyi ilə qərar qəbuletmə prosesi daha sonra müzakirə ediləcəyi kimi xüsusilə təsirli olur.

Diskret Markov zəncirinin (DMC) əsas xüsusiyyəti prosesin ayrı-ayrı addımları (mərhələləri) arasında vaxt intervallarının determinizmidir. Lakin çox vaxt real proseslərdə bu xassə müşahidə olunmur və prosesin Markov xassəsi qorunsa da, intervallar bəzi paylanma qanunu ilə təsadüfi olur. Belə təsadüfi ardıcıllıqlar yarı-Markov adlanır.

Bundan əlavə, yuxarıda qeyd olunan müəyyən vəziyyət dəstlərinin mövcudluğunu və olmamasını nəzərə alaraq, Markov zəncirləri ən azı bir udma vəziyyəti olduqda udma və ya keçid ehtimalları erqodik bir çoxluq təşkil edərsə erqodik ola bilər. Öz növbəsində, erqodik zəncirlər müntəzəm və ya tsiklik ola bilər. Tsiklik zəncirlər adi zəncirlərdən onunla fərqlənir ki, müəyyən sayda addımlar (dövrlər) vasitəsilə keçid zamanı müəyyən vəziyyətə qayıdış baş verir. Adi zəncirlərdə bu xüsusiyyət yoxdur.