Matrica e gjendjeve të tranzicionit të një zinxhiri Markov. Zinxhirë të rregullt Markov. Le të vëmë re disa nga veçoritë e tij

më vete, dhe pjesërisht e konsiderojmë për faktin se prezantimi i tij nuk kërkon futjen e një numri të madh termash të rinj.

Konsideroni problemin e një gomari që qëndron saktësisht midis dy kashtës: kashtë thekre dhe kashtë gruri (Fig. 10.5).

Gomari qëndron mes dy kashtësh: “Thekra” dhe “Gruri” (Fig. 10.5). Çdo minutë ose lëviz dhjetë metra drejt kashtës së parë (me probabilitet), ose drejt kashtës së dytë (me probabilitet), ose mbetet aty ku ka qëndruar (me probabilitet); kjo sjellje quhet njëdimensionale ecje e rastësishme. Ne do të supozojmë se të dy kashtët janë "përthithës" në kuptimin që nëse një gomar i afrohet njërit prej kashtëve, ai do të mbetet aty. Duke ditur distancën midis dy kashtëve dhe pozicionit fillestar të gomarit, mund të bëni disa pyetje, për shembull: në cilin kashtë ka më shumë gjasa të përfundojë dhe cila është koha më e mundshme që do t'i duhet për të arritur atje?

Oriz. 10.5.

Për ta eksploruar më hollësisht këtë problem, le të supozojmë se distanca midis goditjeve është pesëdhjetë metra dhe gomari ynë është njëzet metra nga goditja "Gruri". Nëse vendet ku mund të ndaleni tregohen nga ( - vetë goditjet), atëherë pozicioni i tij fillestar mund të specifikohet nga vektori komponenti i th i të cilit është i barabartë me probabilitetin që fillimisht të jetë i vendosur në. Më tej, pas një minutë probabilitetet e vendndodhjes së tij përshkruhen nga vektori, dhe pas dy minutash - nga vektori. Është e qartë se llogaritja e drejtpërdrejtë e probabilitetit për të qenë në një vend të caktuar pas kalimit të minutave bëhet e vështirë. Doli se mënyra më e përshtatshme për ta bërë këtë është të hyni matrica e tranzicionit.

Le të jetë probabiliteti që do të lëvizë nga në në një minutë. Për shembull, dhe. Këto probabilitete quhen probabilitetet e tranzicionit, dhe -matrica quhet matrica e tranzicionit. Vini re se çdo element i matricës është jonegativ dhe se shuma e elementeve të ndonjë prej rreshtave është e barabartë me një. Nga e gjithë kjo del se - vektori fillestar i rreshtit i përcaktuar më sipër, vendndodhja e gomarit pas një minute përshkruhet nga vektori i rreshtit, dhe pas minutave - nga vektori. Me fjalë të tjera, komponenti --të i vektorit përcakton probabilitetin që pas minutash gomari të përfundojë në .

Këto koncepte mund të përgjithësohen. Le të thërrasim vektori i probabiliteteve një vektor rreshti, të gjithë përbërësit e të cilit janë jonegativë dhe mblidhen në një. Pastaj matrica e tranzicionit përkufizohet si një matricë katrore në të cilën çdo rresht është një vektor i probabiliteteve. Tani mund të përcaktojmë një zinxhir Markov (ose thjesht një zinxhir) si një çift, ku ka - matrica e tranzicionit, dhe ka një vektor rreshti. Nëse secili element i konsiderohet si probabiliteti i kalimit nga pozicioni në pozicion, dhe - si vektor fillestar i probabiliteteve, atëherë arrijmë në konceptin klasik. zinxhir diskrete stacionare Markov, të cilat mund të gjenden në libra mbi teorinë e probabilitetit (shih Feller V. Hyrje në teorinë e probabilitetit dhe aplikimet e saj. Vëll. 1. M.: Mir. 1967) Pozicioni zakonisht quhet gjendja e zinxhirit. Le të përshkruajmë mënyra të ndryshme klasifikimet e tyre.

Do të na interesojë sa vijon: a është e mundur të kalojmë nga një gjendje e caktuar në tjetrën, dhe nëse po, në çfarë kohe më të shkurtër. Për shembull, në problemin e gomarit mund të shkosh nga te për tre minuta, por nuk mund të shkosh fare nga te tek. Prandaj, do të na interesojnë kryesisht jo vetë probabilitetet, por nëse ato janë pozitive apo jo. Pastaj ka shpresë se të gjitha këto të dhëna mund të paraqiten në formën e një digrafi, kulmet e të cilit korrespondojnë me gjendjet, dhe harqet tregojnë nëse është e mundur të kalohet nga një gjendje në tjetrën në një minutë. Më saktë, nëse çdo gjendje përfaqësohet nga kulmi i tij përkatës).

Markov proces i rastësishëm me gjendje diskrete dhe kohë diskrete quajtur një zinxhir Markov . Për një proces të tillë, momente t 1, t 2 kur sistemi S mund të ndryshojë gjendjen e tij, konsiderohen si hapa të njëpasnjëshëm të procesit dhe argumenti nga i cili varet procesi nuk është koha t, dhe numri i hapit është 1, 2, k, Procesi i rastësishëm në këtë rast karakterizohet nga një sekuencë gjendjesh S(0), S(1), S(2), S(k), Ku S(0)- gjendja fillestare e sistemit (para hapit të parë); S(1)- gjendja e sistemit pas hapit të parë; S(k)- gjendja e sistemit pas k hapi i...

Ngjarja ( S(k) = S i), që konsiston në faktin se menjëherë pas k e hapit të th sistemi është në gjendje S i (i= 1, 2,), është një ngjarje e rastësishme. Sekuenca e gjendjeve S(0), S(1), S(k), mund të konsiderohet si një sekuencë ngjarjesh të rastësishme. Kjo sekuencë e rastësishme e ngjarjeve quhet Zinxhiri Markov , nëse për çdo hap probabiliteti i kalimit nga çdo gjendje S i në ndonjë S j nuk varet nga kur dhe si sistemi erdhi në gjendjen S i. Gjendja fillestare S(0) mund të jetë i paracaktuar ose i rastësishëm.

Probabilitetet e gjendjeve të zinxhirit Markov quhen probabilitete P i (k)çfarë vjen më pas k hapi i te (dhe deri ne ( k+ 1)të) sistemi S do të jetë në gjendje të S i (i = 1, 2, n). Natyrisht, për çdo k.

Shpërndarja fillestare e probabilitetit të zinxhirit Markov quhet shpërndarja e probabilitetit të gjendjeve në fillim të procesit:

P 1 (0), P 2 (0), P i (0), P n (0).

Në rastin e veçantë, nëse gjendja fillestare e sistemit S i njohur saktësisht S(0) = S i, pastaj probabiliteti fillestar Р i (0)= 1, dhe të gjitha të tjerat janë të barabarta me zero.

Probabiliteti i kalimit (probabiliteti i tranzicionit) në k-hapi i thte nga shteti S i në një gjendje S j quhet probabiliteti i kushtëzuar që sistemi S pas k hapi i th do të jetë në gjendje S j me kusht që menjëherë para (pas k- 1 hap) ajo ishte në gjendje S i.

Meqenëse sistemi mund të jetë në një nga n gjendjet, pastaj për çdo moment të kohës t duhet vendosur n 2 probabilitetet e tranzicionit P ij, të cilat përfaqësohen në mënyrë të përshtatshme në formën e matricës së mëposhtme:

Ku Р ij- probabiliteti i kalimit në një hap nga shteti S i në një gjendje S j;

P ii- probabiliteti i vonesës së sistemit në gjendje S i.

Një matricë e tillë quhet matricë tranzicioni ose matricë e probabilitetit të tranzicionit.

Nëse probabilitetet e tranzicionit nuk varen nga numri i hapit (në kohë), por varen vetëm nga ajo gjendje në cilën gjendje është bërë kalimi, atëherë korrespondon quhet një zinxhir Markov homogjene .

Probabilitetet e tranzicionit të një zinxhiri homogjen Markov Р ij formojnë një matricë katrore të madhësisë n m.

Le të vëmë re disa nga veçoritë e tij:

1. Çdo rresht karakterizon gjendjen e zgjedhur të sistemit dhe elementët e tij përfaqësojnë probabilitetet e të gjitha kalimeve të mundshme në një hap nga ai i zgjedhur (nga i th) gjendja, duke përfshirë kalimin në vetvete.

2. Elementet e kolonave tregojnë probabilitetet e të gjitha kalimeve të mundshme të sistemit në një hap në një të dhënë ( j-f) gjendja (me fjalë të tjera, rreshti karakterizon probabilitetin e kalimit të sistemit nga një gjendje, kolona - në një gjendje).

3. Shuma e probabiliteteve të çdo rreshti është e barabartë me një, pasi kalimet formojnë një grup të plotë ngjarjesh të papajtueshme:

4. Përgjatë diagonales kryesore të matricës së probabilitetit të tranzicionit janë probabilitetet P ii se sistemi nuk do të dalë nga shteti S i, por do të mbetet në të.

Nëse për një zinxhir homogjen Markov jepet shpërndarja fillestare e probabilitetit dhe matrica e probabiliteteve të tranzicionit, atëherë probabilitetet e gjendjes së sistemit P i (k) (i, j= 1, 2, n) përcaktohen nga formula e përsëritur:

Shembulli 1. Le të shqyrtojmë procesin e funksionimit të sistemit - një makinë. Lëreni makinën (sistemi) gjatë një ndërrimi (ditë) të jetë në njërën nga dy gjendjet: në shërbim ( S 1) dhe i gabuar ( S 2). Grafiku i gjendjes së sistemit është paraqitur në Fig. 3.2.

Oriz. 3.2.Grafiku i gjendjes së mjetit

Si rezultat i vëzhgimeve masive të funksionimit të automjetit, u përpilua matrica e mëposhtme e probabiliteteve të tranzicionit:

Ku P 11= 0.8 - probabiliteti që makina të mbetet në gjendje të mirë;

P 12= 0.2 - probabiliteti i kalimit të makinës nga gjendja "e mirë" në gjendjen "të gabuar";

P 21= 0.9 - probabiliteti i kalimit të makinës nga gjendja "e gabuar" në gjendjen "e mirë";

P 22= 0.1 - probabiliteti që makina të mbetet në gjendjen "të gabuar".

Jepet vektori i probabiliteteve fillestare të gjendjeve të makinës, d.m.th. P 1 (0)= 0 dhe R 2 (0)=1.

Kërkohet të përcaktohen probabilitetet e gjendjeve të makinës pas tre ditësh.

Duke përdorur matricën e probabiliteteve të tranzicionit dhe formulën (3.1), ne përcaktojmë probabilitetet e gjendjeve P i (k) pas hapit të parë (pas ditës së parë):

P 1 (1) = P 1 (0) × P 11 + P 2 (0) × P 21 = 0?0,8 + 1?0,9 = 0,9;

P 2 (1) = P 1 (0) × P 12 + P 2 (0) × P 22 = 0?0,2 + 1?0,1 = 0,2.

Probabilitetet e gjendjeve pas hapit të dytë (pas ditës së dytë) janë si më poshtë:

P 1 (2) = P 1 (1) × P 11 + P 2 (1) × P 21= 0,9×0,8 + 0,1×0,9 = 0,81;

= 0,9×0,2 + 0,1×0,1 = 0,19.

Probabilitetet e gjendjeve pas hapit të tretë (pas ditës së tretë) janë të barabarta:

P 1 (3) = P 1 (2) × P 11 + P 2 (2) × P 21= 0,81×0,8 + 0,19×0,9 = 0,819;

= 0,81×0,2 + 0,19×0,1 = 0,181.

Kështu, pas ditës së tretë makina do të jetë në gjendje të mirë me probabilitet 0.819 dhe në gjendje “defekti” me probabilitet 0,181.

Shembulli 2. Gjatë funksionimit, një kompjuter mund të konsiderohet si një sistem fizik S, i cili si rezultat i kontrollit mund të përfundojë në një nga gjendjet e mëposhtme: S 1- Kompjuteri është plotësisht funksional; S 2- Kompjuteri ka defekte në RAM, në të cilat mund të zgjidhë probleme; S 3- Kompjuteri ka defekte të rëndësishme dhe mund të zgjidhë një klasë të kufizuar problemesh; S 4- Kompjuteri është krejtësisht jashtë funksionit.

Në momentin fillestar të kohës, kompjuteri është plotësisht funksional (gjendja S 1). Kompjuteri kontrollohet në kohë të caktuara t 1, t 2, t 3. Procesi që zhvillohet në sistem S, mund të konsiderohet si homogjene zinxhir Markov me tre hapa (kontrollet kompjuterike të parë, të dytë, të tretë). Matrica e probabilitetit të tranzicionit ka formën

Përcaktoni probabilitetet e gjendjeve kompjuterike pas tre kontrolleve.

Zgjidhje. Grafiku i gjendjes ka formën e treguar në Fig. 3.3. Pranë çdo shigjete është probabiliteti përkatës i tranzicionit. Probabilitetet e gjendjes fillestare P 1 (0) = 1, P2 (0) = P 3 (0) = P 4 (0) = 0.

Oriz. 3.3. Grafiku i gjendjes së kompjuterit

Duke përdorur formulën (3.1), duke marrë parasysh në shumën e probabiliteteve vetëm ato gjendje nga të cilat është i mundur një kalim i drejtpërdrejtë në një gjendje të caktuar, gjejmë:

P 1 (1) = P 1 (0) × P 11= 1×0,3 = 0,3;

P 2 (1) = P 1 (0) × P 12= 1×0,4 = 0,4;

P 3 (1) = P 1 (0) × P 13= 1×0,1 = 0,1;

P 4 (1) = P 1 (0) × P 14= 1×0,2 = 0,2;

P 1 (2) = P 1 (1) × P 11= 0,3×0,3 = 0,09;

P 2 (2) = P 1 (1) × P 12 + P 2 (1) × P 22= 0,3×0,4 + 0,4×0,2 = 0,20;

P 3 (2) = P 1 (1) × P 13 + P 2 (1) × P 23 + P 3 (1) × P 33 = 0,27;

P 4 (2) = P 1 (1)×P 14 + P 2 (1)×P 24 + P 3 (1)×P 34 + P 4 (1)×P 44 = 0,44;

P 1 (3) = P 1 (2) × P 11= 0,09×0,3 = 0,027;

P 2 (3) = P 1 (2) × P 12 + P 2 (2) × P 22= 0,09×0,4 + 0,20×0,2 = 0,076;

P 3 (3) = P 1 (2) × P 13 + P 2 (2) × P 23 + P 3 (2) × P 33 = 0,217;

P 4 (3) = P 1 (2) × P 14 + P 2 (2) × P 24 + P 3 (2) × P 34 + P 4 (2) × P 44 = 0,680.

Pra, probabilitetet e gjendjeve të kompjuterit pas tre kontrolleve janë si më poshtë: P 1 (3) = 0,027; P 2 (3) = 0,076; P 3 (3) = 0,217; P 4 (3) = 0,680.

Detyra 1. Një objektiv i caktuar qëllohet me katër të shtëna në të njëjtën kohë t 1, t 2, t 3, t 4.

Sistemi i mundshëm thotë: S 1- objektivi është i padëmtuar; S 2- objektivi është pak i dëmtuar; S 3- objektivi mori dëme të konsiderueshme; S 4- objektivi është goditur plotësisht. Në momentin fillestar të kohës objektivi është në gjendje S 1. Përcaktoni probabilitetet e gjendjeve të synuara pas katër goditjeve nëse matrica e probabiliteteve të tranzicionit ka formën.

Zinxhirët Markov

Prezantimi

§ 1. Zinxhiri Markov

§ 2. Zinxhiri homogjen Markov. Probabilitetet e tranzicionit. Matrica e Tranzicionit

§3. Barazia Markov

§4. Shpërndarja e palëvizshme. Teorema e probabilitetit të kufirit

§5. Vërtetimi i teoremës mbi probabilitetet kufizuese në një zinxhir Markov

§6. Aplikimet e zinxhirëve Markov

konkluzioni

Lista e literaturës së përdorur

Prezantimi

Tema jonë punë kursi Zinxhirët Markov. Zinxhirët Markov kanë marrë emrin e matematikanit të shquar rus, Andrei Andreevich Markov, i cili ka punuar gjerësisht në procese të rastësishme dhe ka dhënë një kontribut të madh në zhvillimin e kësaj fushe. Kohët e fundit, ju mund të dëgjoni për përdorimin e zinxhirëve Markov në një sërë fushash: teknologji moderne në internet, kur analizoni tekste letrare, apo edhe kur zhvilloni taktika për një ekip futbolli. Ata që nuk e dinë se çfarë janë zinxhirët Markov mund të kenë ndjenjën se është diçka shumë komplekse dhe pothuajse e pakuptueshme.

Jo, është e kundërta. Një zinxhir Markov është një nga rastet më të thjeshta të një sekuence ngjarjesh të rastësishme. Por, megjithë thjeshtësinë e tij, shpesh mund të jetë i dobishëm edhe kur përshkruan fenomene mjaft komplekse. Një zinxhir Markov është një sekuencë ngjarjesh të rastësishme në të cilat probabiliteti i secilës ngjarje varet vetëm nga ajo e mëparshme, por nuk varet nga ngjarjet e mëparshme.

Para se të thellohemi më thellë, duhet të shqyrtojmë disa çështje ndihmëse që njihen përgjithësisht, por janë absolutisht të nevojshme për ekspozim të mëtejshëm.

Qëllimi i punës sime të kursit është të studioj më në detaje aplikimet e zinxhirëve Markov, deklarimin e problemit dhe problemet Markov.

§1. Zinxhiri Markov

Le të imagjinojmë se po kryhet një sekuencë testesh.

Përkufizimi. Një zinxhir Markov është një sekuencë sprovash në secilën prej të cilave shfaqet një dhe vetëm një nga ngjarjet e papajtueshme të grupit të plotë, dhe probabiliteti i kushtëzuar që ngjarja të ndodhë në provën e tretë është , me kusht që ngjarja të ketë ndodhur në gjykimin e th , nuk varet nga rezultatet e testeve të mëparshme.

Për shembull, nëse sekuenca e sprovave formon një zinxhir Markov dhe grupi i plotë përbëhet nga katër ngjarje të papajtueshme, dhe dihet se ngjarja ka ndodhur në provën e gjashtë, atëherë probabiliteti i kushtëzuar që ngjarja të ndodhë në provën e shtatë nuk varet. se cilat ngjarje u shfaqën në testet e para, të dyta, ..., të pesta.

Vini re se testet e pavarura janë një rast i veçantë i një zinxhiri Markov. Në të vërtetë, nëse testet janë të pavarura, atëherë shfaqja e një ngjarjeje të caktuar në asnjë test nuk varet nga rezultatet e testeve të kryera më parë. Nga kjo rrjedh se koncepti i një zinxhiri Markov është një përgjithësim i konceptit të gjykimeve të pavarura.

Shpesh, kur paraqesin teorinë e zinxhirëve Markov, ata i përmbahen një terminologjie të ndryshme dhe flasin për një sistem fizik të caktuar, i cili në çdo moment të kohës është në një nga gjendjet: , dhe e ndryshon gjendjen e tij vetëm në momente të veçanta të kohës, që është, sistemi lëviz nga një gjendje në tjetrën (për shembull, nga në ). Për zinxhirët Markov, probabiliteti për të shkuar në çdo shtet është për momentin varet vetëm nga ajo gjendje në të cilën ishte sistemi për momentin, dhe nuk ndryshon sepse gjendjet e tij në momentet e mëparshme bëhen të njohura. Gjithashtu, në veçanti, pas testimit sistemi mund të mbetet në të njëjtën gjendje ("lëviz" nga një gjendje në tjetrën).

Për ta ilustruar, merrni parasysh një shembull.

Shembulli 1. Le të imagjinojmë që një grimcë e vendosur në një vijë të drejtë lëviz përgjatë kësaj vije të drejtë nën ndikimin e goditjeve të rastësishme që ndodhin në momente. Një grimcë mund të gjendet në pika me koordinata të plota: ; Muret reflektuese janë të vendosura në pika. Çdo shtytje e lëviz grimcën në të djathtë me probabilitet dhe në të majtë me probabilitet, përveç nëse grimca është afër një muri. Nëse grimca është afër murit, atëherë çdo shtytje e lëviz atë një njësi brenda hendekut midis mureve. Këtu shohim se ky shembull i ecjes së grimcave është një zinxhir tipik Markov.

Kështu, ngjarjet quhen gjendje të sistemit, dhe testet quhen ndryshime në gjendjet e tij.

Le të përcaktojmë tani një zinxhir Markov duke përdorur terminologji të re.

Një zinxhir Markov me kohë diskrete është një qark, gjendjet e të cilit ndryshojnë në kohë të caktuara fikse.

Një zinxhir Markov me kohë të vazhdueshme është një zinxhir, gjendjet e të cilit ndryshojnë në çdo moment të mundshëm të rastësishëm në kohë.

§2. Zinxhiri homogjen Markov. Probabilitetet e tranzicionit. Matrica e Tranzicionit

Përkufizimi. Një zinxhir Markov quhet homogjen nëse probabiliteti i kushtëzuar (kalimi nga gjendja në gjendje) nuk varet nga numri i provës. Prandaj, në vend që të shkruani thjesht.

Shembulli 1. Ecje e rastësishme. Le të jetë një grimcë materiale në një vijë të drejtë në një pikë me një koordinatë numër të plotë. Në momente të caktuara kohore grimca përjeton goditje. Nën ndikimin e një shtytjeje, grimca lëviz me probabilitet një njësi në të djathtë dhe me probabilitet një njësi në të majtë. Është e qartë se pozicioni (koordinata) e një grimce pas një goditjeje varet nga vendi ku ishte grimca pas goditjes menjëherë paraardhëse, dhe nuk varet nga mënyra se si ajo lëvizi nën ndikimin e goditjeve të tjera të mëparshme.

Kështu, një ecje e rastësishme është një shembull i një zinxhiri homogjen Markov me kohë diskrete.

Probabiliteti i tranzicionit është probabiliteti i kushtëzuar që nga gjendja (në të cilën sistemi u gjend si rezultat i ndonjë testi, pavarësisht nga numri) si rezultat i testit të ardhshëm sistemi do të kalojë në gjendje.

Kështu, në përcaktim, indeksi i parë tregon numrin e gjendjes së mëparshme, dhe i dyti tregon numrin e gjendjes pasuese. Për shembull, është probabiliteti i kalimit nga gjendja e dytë në të tretën.

Le të jetë numri i shteteve të fundme dhe të barabartë me .

Matrica e tranzicionit e një sistemi është një matricë që përmban të gjitha probabilitetet e tranzicionit të këtij sistemi:

Meqenëse çdo rresht i matricës përmban probabilitetet e ngjarjeve (kalimi nga e njëjta gjendje në çdo gjendje të mundshme) që formojnë një grup të plotë, shuma e probabiliteteve të këtyre ngjarjeve është e barabartë me një. Me fjalë të tjera, shuma e probabiliteteve të tranzicionit të çdo rreshti të matricës së tranzicionit është e barabartë me një:

Le të japim një shembull të matricës së tranzicionit të një sistemi që mund të jetë në tre gjendje; kalimi nga gjendja në gjendje ndodh sipas skemës së një zinxhiri homogjen Markov; probabilitetet e tranzicionit jepen nga matrica:

Këtu shohim se nëse sistemi ishte në gjendje, atëherë pas ndryshimit të gjendjes në një hap, ai do të mbetet në të njëjtën gjendje me probabilitet 0.5, do të mbetet në të njëjtën gjendje me probabilitet 0.5, do të shkojë në gjendje me probabilitet 0.2, pastaj pas tranzicionit mund të përfundojë në shtete; nuk mund të lëvizë nga shteti në. Rreshti i fundit i matricës na tregon se nga një gjendje të shkojmë në ndonjë nga gjendjet e mundshme me probabilitet të njëjtë prej 0.1.

Bazuar në matricën e tranzicionit të sistemit, mund të ndërtoni një të ashtuquajtur grafik të gjendjes së sistemit; ai quhet gjithashtu një grafik i gjendjes së emërtuar. Kjo është e përshtatshme për një paraqitje vizuale të qarkut. Le të shohim rendin e ndërtimit të grafikëve duke përdorur një shembull.

Shembulli 2. Duke përdorur një matricë të caktuar tranzicioni, ndërtoni një grafik të gjendjes.

Sepse matrica e rendit të katërt, atëherë, në përputhje me rrethanat, sistemi ka 4 gjendje të mundshme.

Grafiku nuk tregon probabilitetet e kalimit të sistemit nga një gjendje në të njëjtën. Kur merren në konsideratë sisteme specifike, është e përshtatshme që së pari të ndërtohet një grafik i gjendjes, pastaj të përcaktohet probabiliteti i kalimit të sistemit nga një gjendje në të njëjtën (bazuar në kërkesën që shuma e elementeve të rreshtave të matricës të jetë e barabartë me një), dhe më pas ndërtoni një matricë tranzicioni të sistemit.

§3. Barazia Markov

Përkufizimi. Le të shënojmë me probabilitetin që si rezultat i hapave (testeve) sistemi të kalojë nga një gjendje në tjetrën. Për shembull, është probabiliteti i kalimit në 10 hapa nga gjendja e dytë në të pestën.

Theksojmë se në marrim probabilitetet e tranzicionit

Le t'i vendosim vetes një detyrë: duke ditur probabilitetet e tranzicionit, të gjejmë probabilitetet e kalimit të sistemit nga gjendja në gjendje me hapa.

Për këtë qëllim, ne prezantojmë një gjendje të ndërmjetme (ndërmjet dhe ). Me fjalë të tjera, do të supozojmë se nga gjendja fillestare në hapa sistemi do të kalojë në një gjendje të ndërmjetme me probabilitet, pas së cilës në hapat e mbetur nga gjendja e ndërmjetme do të kalojë në gjendjen përfundimtare me probabilitet.

Duke përdorur formulën e probabilitetit total, marrim

. (1)

Kjo formulë quhet barazia e Markovit.

Shpjegim. Le të prezantojmë shënimin e mëposhtëm:

– ngjarja që na intereson (në hapa sistemi do të kalojë nga gjendja fillestare në gjendjen përfundimtare), pra, ; - hipoteza (me hapa sistemi do të kalojë nga gjendja fillestare në gjendjen e ndërmjetme), pra, - probabiliteti i kushtëzuar i ndodhjes, me kusht që hipoteza të ketë ndodhur (në hapa sistemi do të kalojë nga gjendja e ndërmjetme në gjendjen përfundimtare), prandaj,

Sipas formulës së probabilitetit total,

()

Ose në shënimin që kemi miratuar

që përkon me formulën e Markovit (1).

Duke ditur të gjitha probabilitetet e tranzicionit, d.m.th., duke ditur matricën e tranzicionit nga gjendja në gjendje në një hap, mund të gjeni probabilitetet e kalimit nga gjendja në gjendje në dy hapa, dhe për rrjedhojë edhe vetë matricën e tranzicionit; duke përdorur një matricë të njohur, mund të gjeni matricën e tranzicionit nga gjendja në gjendje në tre hapa, etj.

Në të vërtetë, duke vënë në barazinë Markov

zinxhir i shenjave probabiliteti i rastësishëm

(2)

Kështu, duke përdorur formulën (2) mund të gjeni të gjitha probabilitetet dhe, rrjedhimisht, vetë matricën. Meqenëse përdorimi i drejtpërdrejtë i formulës (2) rezulton të jetë i lodhshëm, dhe llogaritja e matricës çon më shpejt te qëllimi, unë do t'i shkruaj marrëdhëniet që dalin nga (2) në formë matrice:

Duke vendosur (1), ne në mënyrë të ngjashme marrim

Në përgjithësi

Teorema 1. Për çdo s, t

(3)

Dëshmi. Le të llogarisim probabilitetin duke përdorur formulën e probabilitetit total (), duke vendosur

Nga barazitë

Prandaj nga barazitë (4) dhe

marrim pohimin e teoremës.

Le të përkufizojmë matricën.Në matricën shënimi (3) ka formën

Që atëherë ku është matrica e probabilitetit të tranzicionit. Nga (5) vijon

(6)

Rezultatet e marra në teorinë e matricave lejojnë përdorimin e formulës (6) për të llogaritur dhe studiuar sjelljen e tyre kur

Shembulli 1. Matrica e tranzicionit e specifikuar Gjeni matricën e tranzicionit

Zgjidhje. Le të përdorim formulën

Duke shumëzuar matricat, më në fund marrim:

§4. Shpërndarja e palëvizshme. Teorema e probabilitetit të kufirit

Shpërndarja e probabilitetit në një moment arbitrar në kohë mund të gjendet duke përdorur formulën e probabilitetit total

(7)

Mund të rezultojë se nuk varet nga koha. Le të thërrasim shpërndarje stacionare vektoriale , duke plotesuar kushtet

ku janë probabilitetet e tranzicionit.

Nëse në një zinxhir Markov pastaj për ndonjë

Ky pohim pason nga induksioni nga (7) dhe (8).

Le të paraqesim formulimin e teoremës mbi probabilitetet kufizuese për një klasë të rëndësishme të zinxhirëve Markov.

Teorema 1. Nëse për disa >0 të gjithë elementët e matricës janë pozitivë, atëherë për çdo , për

, (9)

Ku shpërndarje stacionare me një konstante të caktuar që plotëson pabarazinë 0< h <1.

Meqenëse, atëherë sipas kushteve të teoremës, nga çdo gjendje mund të arrini në çdo gjendje në kohë me një probabilitet pozitiv. Kushtet e teoremës përjashtojnë zinxhirët që në një farë kuptimi janë periodikë.

Nëse plotësohen kushtet e teoremës 1, atëherë probabiliteti që sistemi të jetë në një gjendje të caktuar në kufi nuk varet nga shpërndarja fillestare. Në të vërtetë, nga (9) dhe (7) rrjedh se për çdo shpërndarje fillestare,

Le të shqyrtojmë disa shembuj të zinxhirëve Markov për të cilët nuk plotësohen kushtet e Teoremës 1. Nuk është e vështirë të verifikohet se shembuj të tillë janë shembuj. Në shembull, probabilitetet e tranzicionit kanë kufij, por këto kufij varen nga gjendja fillestare. Në veçanti, kur

Në shembuj të tjerë, diapazoni i probabilitetit për padyshim nuk ekziston.

Le të gjejmë shpërndarjen stacionare në shembullin 1. Duhet të gjejmë vektorin kushte të kënaqshme (8):

;

Prandaj, kështu, ekziston një shpërndarje stacionare, por jo të gjithë vektorët e koordinatave janë pozitivë.

Për skemën polinomiale, u prezantuan ndryshore të rastësishme të barabarta me numrin e rezultateve të një lloji të caktuar. Le të prezantojmë sasi të ngjashme për zinxhirët Markov. Le të jetë numri i herëve që sistemi hyn në gjendje në kohë. Pastaj frekuenca e sistemit që godet gjendjen. Duke përdorur formulat (9), mund të vërtetojmë se kur afrohet . Për ta bërë këtë, ju duhet të merrni formula asimptotike për dhe dhe të përdorni pabarazinë e Chebyshev. Këtu është derivimi i formulës për . Le ta paraqesim atë në formë

(10)

ku, nëse dhe ndryshe. Sepse

atëherë, duke përdorur vetinë e pritjes matematikore dhe formulën (9), marrim

Në bazë të teoremës 1, termi i trefishtë në anën e djathtë të kësaj barazie është një shumë e pjesshme e një serie konvergjente. Duke vënë , marrim

Sepse

Nga formula (11), në veçanti, rrjedh se

në

Ju gjithashtu mund të merrni një formulë për të cilën përdoret për të llogaritur variancën.

§5. Vërtetimi i teoremës mbi probabilitetet kufizuese në një zinxhir Markov

Le të vërtetojmë fillimisht dy lema. Le të vendosim

Lema 1. Ka kufizime për çdo

Dëshmi. Duke përdorur ekuacionin (3) me marrim

Kështu, sekuencat janë njëkohësisht monotonike dhe të kufizuara. Kjo nënkupton deklaratën e Lemës 1.

Lema 2. Nëse plotësohen kushtet e teoremës 2, atëherë ka konstante, sikurse

Për çdo

ku , do të thotë përmbledhje mbi të gjitha për të cilat është pozitive, dhe përmbledhje mbi pjesën tjetër. Nga këtu

. (12)

Meqenëse në kushtet e teoremës 1 probabilitetet e tranzicionit për të gjithë, pastaj për çdo

Dhe për shkak të numrit të kufizuar të gjendjeve

Tani le të vlerësojmë ndryshimin . Duke përdorur ekuacionin (3) me , , marrim

Nga këtu, duke përdorur (8)-(10), gjejmë

Duke e kombinuar këtë lidhje me pabarazinë (14), marrim deklaratën e lemës.

Shkoni te vërtetimi i teoremës. Meqenëse sekuencat janë monotone, atëherë

0<. (15)

Nga kjo dhe Lema 1 gjejmë

Prandaj, kur të merrni dhe

Pozitiviteti rrjedh nga pabarazia (15). Duke kaluar në kufirin në dhe në ekuacionin (3), marrim që plotëson ekuacionin (12). Teorema është vërtetuar.

§6. Aplikimet e zinxhirëve Markov

Zinxhirët Markov shërbejnë si një hyrje e mirë në teorinë e proceseve të rastësishme, d.m.th. teoria e sekuencave të thjeshta të një familjeje variablash të rastësishëm, zakonisht në varësi të një parametri, i cili në shumicën e aplikacioneve luan rolin e kohës. Ai synon kryesisht të përshkruajë plotësisht sjelljen afatgjatë dhe lokale të një procesi. Këtu janë disa nga çështjet më të studiuara në këtë drejtim.

Lëvizja Brownian dhe përgjithësimet e saj - proceset dhe proceset e difuzionit me rritje të pavarura . Teoria e proceseve të rastësishme kontribuoi në thellimin e lidhjes midis teorisë së probabilitetit, teorisë së operatorëve dhe teorisë së ekuacioneve diferenciale, e cila, ndër të tjera, ishte e rëndësishme për fizikën dhe aplikimet e tjera. Aplikimet përfshijnë procese me interes për matematikën aktuariale (siguruese), teorinë e radhës, gjenetikën, kontrollin e trafikut, teorinë e qarkut elektrik dhe teorinë e inventarit.

Martingales . Këto procese ruajnë mjaft veti të zinxhirëve Markov, saqë teoremat e rëndësishme ergodike mbeten të vlefshme për ta. Martingales ndryshojnë nga zinxhirët Markov në atë që kur dihet gjendja aktuale, vetëm pritshmëria matematikore e së ardhmes, por jo domosdoshmërisht vetë shpërndarja e probabilitetit, nuk varet nga e kaluara. Përveç faktit se teoria e martingales është një mjet i rëndësishëm për kërkime, ajo ka pasuruar teorinë e proceseve të rastësishme që dalin në statistika, teorinë e ndarjes bërthamore, gjenetikën dhe teorinë e informacionit me teorema të reja kufitare.

Proceset stacionare . Teorema më e vjetër e njohur ergodike, siç u përmend më lart, mund të interpretohet si rezultat që përshkruan sjelljen kufizuese të një procesi të rastësishëm të palëvizshëm. Një proces i tillë ka vetinë që të gjitha ligjet probabilistike që ai plotëson mbeten të pandryshueshme në lidhje me ndërrimet kohore. Teorema ergodike, e formuluar fillimisht nga fizikanët si hipotezë, mund të përfaqësohet si një deklaratë që, në kushte të caktuara, mesatarja e ansamblit përkon me mesataren kohore. Kjo do të thotë se i njëjti informacion mund të merret nga vëzhgimi afatgjatë i një sistemi dhe nga vëzhgimi i njëkohshëm (dhe i menjëhershëm) i shumë kopjeve të pavarura të të njëjtit sistem. Ligji i numrave të mëdhenj nuk është gjë tjetër veçse një rast i veçantë i teoremës ergodike të Birkhoff-it. Interpolimi dhe parashikimi i sjelljes së proceseve të palëvizshme Gaussian, të kuptuara në një kuptim të gjerë, shërbejnë si një përgjithësim i rëndësishëm i teorisë klasike të katrorëve më të vegjël. Teoria e proceseve stacionare është një mjet i nevojshëm kërkimor në shumë fusha, për shembull, në teorinë e komunikimit, e cila merret me studimin dhe krijimin e sistemeve që transmetojnë mesazhe në prani të zhurmës ose ndërhyrjeve të rastësishme.

Proceset Markov (proceset pa pasoja) luajnë një rol të madh në modelimin e sistemeve të radhës (QS), si dhe në modelimin dhe zgjedhjen e një strategjie për menaxhimin e proceseve socio-ekonomike që ndodhin në shoqëri.

Zinxhiri Markov mund të përdoret gjithashtu për të gjeneruar tekste. Disa tekste jepen si hyrje, pastaj ndërtohet një zinxhir Markov me probabilitetet e një fjale pas tjetrës dhe teksti që rezulton krijohet bazuar në këtë zinxhir. Lodra rezulton të jetë shumë argëtuese!

konkluzioni

Kështu, në punën tonë të kursit po flisnim për qarkun e zinxhirit Markov. Mësuam në cilat fusha dhe si përdoret, testet e pavarura vërtetuan teoremën mbi probabilitetet kufizuese në një zinxhir Markov, dhanë shembuj për një zinxhir tipik dhe homogjen Markov, si dhe për gjetjen e matricës së tranzicionit.

Ne kemi parë se dizajni i zinxhirit Markov është një përgjithësim i drejtpërdrejtë i dizajnit të pavarur të testit.

Lista e literaturës së përdorur

1. Chistyakov V.P. Kursi i teorisë së probabilitetit. Botimi i 6-të, rev. − Shën Petersburg: Shtëpia Botuese Lan, 2003. − 272 f. − (Libër mësuesi për universitetet. Literaturë speciale).

2. Gnedenko B.V. Kursi i teorisë së probabilitetit.

3. Gmurman V.E. Teoria e Probabilitetit dhe Statistikat Matematikore.

4. Ventzel E.S. Teoria e probabilitetit dhe aplikimet e saj inxhinierike.

5. Kolmogorov A.N., Zhurbenko I.G., Prokhorov A.V. Hyrje në teorinë e probabilitetit. − Moskë-Izhevsk: Instituti i Kërkimeve Kompjuterike, 2003, 188 f.

6. Katz M. Probabiliteti dhe çështjet e lidhura me të në fizikë.

(Andrei Andreevich Markov (1856-1922) - matematikan rus, akademik)

Përkufizimi. Një proces që ndodh në një sistem fizik quhet Markovsky, nëse në çdo moment në kohë probabiliteti i ndonjë gjendjeje të sistemit në të ardhmen varet vetëm nga gjendja e sistemit në momentin aktual dhe nuk varet nga mënyra se si sistemi erdhi në këtë gjendje.

Përkufizimi. Zinxhiri Markov quhet një sekuencë provash, në secilën prej të cilave vetëm një nga K ngjarje të papajtueshme Ai nga grupi i plotë. Në këtë rast, probabiliteti i kushtëzuar Pij(S) çfarë ka brenda S-Testi ngjarja do të vijë Aj me kusht që në ( S – 1 ) – ngjarja ka ndodhur gjatë testimit Ai, nuk varet nga rezultatet e testeve të mëparshme.

Gjyqet e pavarura janë një rast i veçantë i një zinxhiri Markov. Ngjarjet quhen Gjendjet e sistemit, dhe teste - Ndryshimet në gjendjet e sistemit.

Bazuar në natyrën e ndryshimeve në shtete, zinxhirët Markov mund të ndahen në dy grupe.

Përkufizimi. Zinxhiri Markov në kohë diskrete Quhet qark, gjendjet e të cilit ndryshojnë në momente të caktuara fikse në kohë. Zinxhiri Markov në kohë të vazhdueshme Quhet qark, gjendjet e të cilit mund të ndryshojnë në çdo moment të rastësishëm në kohë.

Përkufizimi. Homogjene Ajo quhet një zinxhir Markov nëse probabiliteti i kushtëzuar Pij kalimi i sistemit nga shteti I Në gjendje J nuk varet nga numri i testit. Probabiliteti Pij thirrur Probabiliteti i tranzicionit.

Supozoni se numri i gjendjeve është i fundëm dhe i barabartë K.

Atëherë matrica e përbërë nga probabilitete të tranzicionit të kushtëzuar do të duket kështu:

Kjo matricë quhet Matrica e tranzicionit të sistemit.

Meqenëse çdo rresht përmban probabilitetet e ngjarjeve që formojnë një grup të plotë, është e qartë se shuma e elementeve të çdo rreshti të matricës është e barabartë me një.

Bazuar në matricën e tranzicionit të sistemit, mund të ndërtohet i ashtuquajturi Grafiku i gjendjes së sistemit, quhet edhe Grafiku i etiketimit të gjendjes. Kjo është e përshtatshme për një paraqitje vizuale të qarkut. Le të shohim rendin e ndërtimit të grafikëve duke përdorur një shembull.

Shembull. Duke përdorur një matricë të caktuar tranzicioni, ndërtoni një grafik të gjendjes.

Meqenëse matrica është e rendit të katërt, atëherë, në përputhje me rrethanat, sistemi ka 4 gjendje të mundshme.

Le Pij(N) – probabiliteti që si rezultat N testet e sistemit do të shkojë nga shteti I në një gjendje J, R – një gjendje e ndërmjetme ndërmjet shteteve I DHE J. Mundësitë e kalimit nga një gjendje në tjetrën Pij(1) = Pij.

Pastaj probabiliteti Pij(N) mund të gjendet duke përdorur një formulë të quajtur Barazia Markov:

Këtu T– numri i hapave (provave) gjatë të cilave sistemi kaloi nga gjendja I Në gjendje R.

Në parim, barazia e Markovit nuk është gjë tjetër veçse një formulë paksa e modifikuar për probabilitetin total.

Njohja e probabiliteteve të tranzicionit (d.m.th. njohja e matricës së tranzicionit P1), mund të gjejmë probabilitetet e kalimit nga gjendja në gjendje në dy hapa Pij(2) , pra matricë P2, duke e ditur atë - gjeni matricën P3, etj.

Zbatimi i drejtpërdrejtë i formulës së marrë më sipër nuk është shumë i përshtatshëm, prandaj, mund të përdorni teknikat e llogaritjes së matricës (në fund të fundit, kjo formulë nuk është në thelb asgjë më shumë se një formulë për shumëzimin e dy matricave).

Atëherë në formë të përgjithshme mund të shkruajmë:

Në përgjithësi, ky fakt zakonisht formulohet në formën e një teoreme, megjithatë, vërtetimi i tij është mjaft i thjeshtë, kështu që unë nuk do ta jap atë.

Shembull. Matrica e tranzicionit e specifikuar P1. Gjeni matricën P3.

Përkufizimi. Quhen matricat shumat e elementeve të të gjitha rreshtave të të cilave janë të barabarta me një Stokastike. Nëse për disa P të gjithë elementët e matricës Rp nuk janë të barabarta me zero, atëherë quhet një matricë e tillë tranzicioni E rregullt.

Me fjalë të tjera, matricat e tranzicionit të rregullt përcaktojnë një zinxhir Markov në të cilin çdo gjendje mund të arrihet përmes P hapa nga çdo shtet. Zinxhirë të tillë Markov quhen gjithashtu E rregullt.

Teorema. (teorema e probabilitetit të kufizuar) Le të jepet një zinxhir i rregullt Markov me n gjendje dhe P të jetë matrica e probabilitetit të tij të kalimit. Pastaj ka një kufi dhe një matricë P(¥ ) ka formën:

Procesi Markov- një proces i rastësishëm që ndodh në sistem, i cili ka vetinë: për çdo moment të kohës t 0, probabiliteti i çdo gjendjeje të sistemit në të ardhmen (në t>t 0) varet vetëm nga gjendja e tij në të tashmen (në t = t 0) dhe nuk varet nga kur dhe si erdhi sistemi në këtë gjendje (d.m.th. si u zhvillua procesi në të kaluarën).

Në praktikë, ne shpesh hasim procese të rastësishme që, në shkallë të ndryshme të përafrimit, mund të konsiderohen Markoviane.

Çdo proces Markov përshkruhet duke përdorur probabilitetet e gjendjes dhe probabilitetet e tranzicionit.

Probabilitetet e gjendjeve P k (t) të një procesi Markov janë probabilitetet që procesi (sistemi) i rastësishëm në kohën t është në gjendjen S k:

Probabilitetet e tranzicionit të një procesi Markov janë probabilitetet e kalimit të një procesi (sistemi) nga një gjendje në tjetrën:

Procesi Markov quhet homogjene, nëse probabilitetet e kalimit për njësi të kohës nuk varen nga vendi ku në boshtin kohor ndodh kalimi.

Procesi më i thjeshtë është Zinxhiri Markov– Procesi i rastësishëm Markov me kohë diskrete dhe grup diskrete të fundme të gjendjeve.

Kur analizohen, zinxhirët Markov janë grafiku i gjendjes, në të cilën janë shënuar në një hap të gjitha gjendjet e zinxhirit (sistemit) dhe probabilitetet jozero.

Një zinxhir Markov mund të mendohet sikur një pikë që përfaqëson një sistem lëviz rastësisht nëpër një grafik gjendjeje, duke u zvarritur nga një gjendje në tjetrën në një hap ose duke qëndruar në të njëjtën gjendje për disa hapa.

Probabilitetet e kalimit të një zinxhiri Markov në një hap shkruhen në formën e një matrice P=||P ij ||, e cila quhet matrica e probabilitetit të tranzicionit ose thjesht matrica e tranzicionit.

Shembull: grupi i gjendjeve të studentëve të specialitetit është si më poshtë:

S 1 – student i parë;

S 2 – student i dytë…;

S 5 – student i vitit të 5-të;

S 6 – specialist i diplomuar në universitet;

S 7 - një person që ka studiuar në një universitet, por nuk është diplomuar.

Nga gjendja S 1 brenda një viti, kalimet në gjendjen S 2 janë të mundshme me probabilitet r 1 ; S 1 me probabilitet q 1 dhe S 7 me probabilitet p 1, dhe:

r 1 +q 1 +p 1 =1.

Le të ndërtojmë një grafik të gjendjes për këtë zinxhir Markov dhe ta shënojmë me probabilitete kalimi (jo zero).

Le të krijojmë një matricë të probabiliteteve të tranzicionit:

Matricat e tranzicionit kanë vetitë e mëposhtme:

Të gjithë elementët e tyre janë jonegativë;

Shumat e rreshtave të tyre janë të barabarta me një.

Matricat me këtë veti quhen stokastike.

Matricat e tranzicionit ju lejojnë të llogaritni probabilitetin e çdo trajektoreje të zinxhirit Markov duke përdorur teoremën e shumëzimit të probabilitetit.

Për zinxhirët homogjenë Markov, matricat e tranzicionit nuk varen nga koha.

Kur studioni zinxhirët Markov, ato me interes më të madh janë:

Probabilitetet e kalimit në m hapa;

Shpërndarja mbi gjendjet në hapin m→∞;

Koha mesatare e kaluar në një gjendje të caktuar;

Koha mesatare për t'u kthyer në këtë gjendje.

Konsideroni një zinxhir homogjen Markov me n gjendje. Për të marrë probabilitetin e kalimit nga gjendja S i në gjendjen S j në hapa m, në përputhje me formulën e probabilitetit total, duhet të mblidhen produktet e probabilitetit të kalimit nga gjendja Si në gjendjen e ndërmjetme Sk në l hapa me probabilitetin. të kalimit nga Sk në Sj në hapat m-l të mbetur, d.m.th.

Kjo lidhje është për të gjitha i=1, …, n; j=1, …,n mund të përfaqësohet si produkt i matricave:

P(m)=P(l)*P(m-l).

Kështu kemi:

P(2)=P(1)*P(1)=P 2

P(3)=P(2)*P(1)=P(1)*P(2)=P 3, etj.

P(m)=P(m-1)*P(1)=P(1)*P(M-1)=P m,

e cila bën të mundur gjetjen e probabiliteteve të kalimit ndërmjet gjendjeve në çdo numër hapash, duke ditur matricën e tranzicionit në një hap, përkatësisht P ij (m) - një element i matricës P(m) është probabiliteti i lëvizjes nga gjendja S. i për të deklaruar S j në m hapa.

Shembull: Moti në një rajon të caktuar alternon me shi dhe të thatë për periudha të gjata kohore. Nëse bie shi, atëherë me probabilitet 0.7 do të bjerë shi të nesërmen; Nëse moti është i thatë në një ditë të caktuar, atëherë me një probabilitet prej 0.6 do të vazhdojë të nesërmen. Mësohet se të mërkurën ka qenë mot me shi. Sa është probabiliteti që të premten e ardhshme të bjerë shi?

Le të shkruajmë të gjitha gjendjet e zinxhirit Markov në këtë problem: D – mot me shi, C – mot i thatë.

Le të ndërtojmë një grafik të gjendjes:

Përgjigje: p 11 = p (D thembra | D mesatar) = 0,61.

Kufijtë e probabilitetit р 1 (m), р 2 (m),…, р n (m) për m→∞, nëse ekzistojnë, quhen probabilitetet kufizuese të gjendjeve.

Teorema e mëposhtme mund të vërtetohet: nëse në një zinxhir Markov mund të kaloni nga + çdo gjendje (në një numër të caktuar hapash) tek njëri-tjetri, atëherë probabilitetet kufizuese të gjendjeve ekzistojnë dhe nuk varen nga gjendja fillestare e sistemit. .

Kështu, si m→∞, në sistem vendoset një regjim i caktuar i palëvizshëm kufizues, në të cilin secila prej gjendjeve ndodh me një probabilitet të caktuar konstant.

Vektori p, i përbërë nga probabilitete margjinale, duhet të plotësojë relacionin: p=p*P.

Koha mesatare e kaluar në shtet S i për kohën T është e barabartë me p i *T, ku p i - probabiliteti margjinal i gjendjes S i. Koha mesatare për t'u kthyer në gjendje S i është i barabartë me .

Shembull.

Për shumë probleme ekonomike është e nevojshme të dihet ndërrimi i viteve me vlera të caktuara të prurjeve vjetore të lumenjve. Natyrisht, ky alternim nuk mund të përcaktohet absolutisht saktësisht. Për të përcaktuar probabilitetet e alternimit (tranzicionit), ne i ndajmë rrjedhat duke futur katër shkallëzime (gjendjet e sistemit): e para (rrjedhja më e ulët), e dyta, e treta, e katërta (rrjedhja më e lartë). Për saktësi, do të supozojmë se gradimi i parë nuk pasohet kurrë nga i katërti, dhe i katërti nga i pari për shkak të akumulimit të lagështirës (në tokë, rezervuar, etj.). Vëzhgimet kanë treguar se në një rajon të caktuar janë të mundshme tranzicione të tjera dhe:

a) nga gradimi i parë mund të kaloni në secilën prej atyre të mesit dy herë më shpesh se përsëri në të parën, d.m.th.

p 11 =0,2; p 12 =0,4; p 13 =0,4; p 14 =0;

b) nga gradimi i katërt, kalimet në gradimin e dytë dhe të tretë ndodhin katër dhe pesë herë më shpesh se kthimet si në të dytin, d.m.th.

vështirë, d.m.th.

në të katërtën, d.m.th.

p 41 =0; p 42 =0,4; p 43 =0,5; p 44 =0,1;

c) nga gradimet e dyta në të tjera mund të jenë vetëm më pak të shpeshta: në të parën - dy herë më pak, në të tretën me 25%, në të katërtin - katër herë më rrallë se kalimi në të dytin, d.m.th.

p 21 =0,2;p 22 =0,4; p 23 =0,3; p 24 =0,1;

d) nga gradimi i tretë, një kalim në gradimin e dytë është po aq i mundshëm sa një kthim në gradimin e tretë, dhe kalimet në gradimin e parë dhe të katërt janë katër herë më pak të mundshme, d.m.th.

p 31 =0,1; p 32 =0,4; p 33 =0,4; p 34 =0,1;

Le të ndërtojmë një grafik:

Le të krijojmë një matricë të probabiliteteve të tranzicionit:

Le të gjejmë kohën mesatare midis thatësirës dhe viteve me ujë të lartë. Për ta bërë këtë, ju duhet të gjeni shpërndarjen e kufirit. Ajo ekziston sepse kushti i teoremës është i plotësuar (matrica P2 nuk përmban elemente zero, d.m.th., në dy hapa mund të kaloni nga çdo gjendje e sistemit në një tjetër).

Ku p 4 =0,08; p 3 =; p 2 =; p 1 =0,15

Frekuenca e kthimit në gjendjen S i është e barabartë me .

Për rrjedhojë, frekuenca e viteve të thata është mesatarisht 6.85, d.m.th. 6-7 vjet, dhe vitet me shi 12.