Матрица на преодни состојби на Марков синџир. Редовни Марков синџири. Да забележиме некои од неговите карактеристики

сама по себе, а делумно го сметаме и поради фактот што неговото претставување не бара воведување на голем број нови термини.

Размислете за проблемот со магаре што стои точно помеѓу два стогови сено: ржана слама и слама од пченица (сл. 10.5).

Магарето стои меѓу два стогови сено: „Рж“ и „Пченица“ (сл. 10.5). Секоја минута или се движи десет метри кон првиот стог сено (со веројатност), или кон вториот стог сено (со веројатност), или останува таму каде што стоел (со веројатност); ова однесување се нарекува еднодимензионално случајна прошетка.Ќе претпоставиме дека и двата стогови се „впиваат“ во смисла дека ако магаре се приближи до еден од стоговите сено, тоа ќе остане таму. Знаејќи го растојанието меѓу два стог сено и почетната положба на магарето, можете да поставите неколку прашања, на пример: на кој стог сено најверојатно ќе заврши и кое е најверојатното време за да стигне таму?

Ориз. 10.5.

За подетално да го истражиме овој проблем, да претпоставиме дека растојанието помеѓу ударите е педесет метри и дека нашето магаре е дваесет метри од ударот „Жито“. Ако местата каде што можете да застанете се означени со ( - самите потреси), тогаш неговата почетна позиција може да се определи со векторот чијашто компонента е еднаква на веројатноста дека првично се наоѓа во . Понатаму, по една минута веројатностите за неговата локација се опишани со векторот, а по две минути - од векторот. Јасно е дека директното пресметување на веројатноста за неговото наоѓање на дадена локација по минување на минути станува тешко. Се испостави дека најзгодниот начин да го направите ова е да влезете транзициона матрица.

Нека е веројатноста дека ќе се премести од до за една минута. На пример, и. Овие веројатности се нарекуваат веројатности за транзиција, а матрицата се нарекува транзициона матрица. Забележете дека секој елемент од матрицата е ненегативен и дека збирот на елементите на која било од редовите е еднаков на еден. Од сето ова произлегува дека - почетниот вектор на ред дефиниран погоре, локацијата на магарето по една минута се опишува со векторот на редот, а по минути - со векторот. Со други зборови, -тата компонента на векторот ја одредува веројатноста по неколку минути магарето да заврши во.

Овие концепти може да се генерализираат. Ајде да се јавиме вектор на веројатностивектор на ред, чиишто компоненти се ненегативни и се собираат до еден. Потоа транзициона матрицасе дефинира како квадратна матрица во која секој ред е вектор на веројатности. Сега можеме да дефинираме Марков синџир (или само синџир) како пар, каде што има - транзициона матрица, и има вектор на ред. Ако секој елемент на се смета како веројатност за премин од позиција во позиција, и - како почетен вектор на веројатности, тогаш се доаѓа до класичниот концепт дискретна стационарна Марков синџир, што може да се најде во книгите за теоријата на веројатност (види Feller V. Вовед во теоријата на веројатност и нејзините примени. Vol. 1. M.: Mir. 1967) Позицијата обично се нарекува состојба на синџирот. Ајде да опишеме различни начининивните класификации.

Ќе нè интересира следново: дали е можно да се стигне од една дадена состојба во друга, и ако е така, за кое најкратко време. На пример, во проблемот со магарето можете да стигнете од до за три минути, но не можете да стигнете од до до воопшто. Затоа, главно ќе не интересираат самите веројатности, туку дали се позитивни или не. Потоа, постои надеж дека сите овие податоци можат да бидат претставени во форма на диграф, чии темиња одговараат на состојби, а лаците покажуваат дали е можно да се пресели од една во друга состојба за една минута. Поточно, ако секоја состојба е претставена со нејзиното соодветно теме).

Марков случаен процес со дискретни состојби и дискретно време наречен Марков синџир . За таков процес, моменти т 1, т 2кога системот Сможе да ја промени својата состојба, се сметаат за последователни чекори на процесот, а аргументот од кој зависи процесот не е време т, а бројот на чекорот е 1, 2, к, Случајниот процес во овој случај се карактеризира со низа состојби S(0), S(1), S(2), S(k), Каде S(0)- почетна состојба на системот (пред првиот чекор); S(1)- состојба на системот по првиот чекор; S(k)- состојба на системот по кчекор...

Настан ( S(k) = S i), што се состои во тоа што веднаш по кна от чекор системот е во состојба С и (јас= 1, 2,), е случаен настан. Редоследот на состојбите S(0), S(1), S(k), може да се смета како низа од случајни настани. Оваа случајна низа на настани се нарекува Марков синџир , ако за секој чекор веројатноста за премин од која било состојба S i во која било S j не зависи од тоа кога и како системот дошол во состојба S i.Почетна состојба S(0)може да биде предодредено или случајно.

Веројатности на состојби на Марков синџирсе нарекуваат веројатности P i (k)што следува после кчекор (и до ( к+ 1)ти) систем Сќе може да С и (јас = 1, 2, n). Очигледно, за било кој к.

Почетна распределба на веројатност на Марков синџирсе нарекува распределба на веројатност на состојби на почетокот на процесот:

P 1 (0), P 2 (0), P i (0), P n (0).

Во посебниот случај, ако почетната состојба на системот Сточно познат S(0) = S i, потоа почетната веројатност Р i (0)= 1, а сите други се еднакви на нула.

Веројатноста за транзиција (транзиција веројатност) до к-ти чекор од државата С иво држава С јсе нарекува условна веројатност дека системот Спосле кчекорот ќе може С јпод услов непосредно пред (по к- 1 чекор) беше во состојба С и.

Бидејќи системот може да биде во еден од nсостојби, потоа за секој момент од времето тмора да се постави n 2веројатности за транзиција P ij, кои се погодно претставени во форма на следната матрица:

Каде Р ij- веројатност за транзиција во еден чекор од државата С иво држава С ј;

P ii- веројатност за доцнење на системот во состојба С и.

Таквата матрица се нарекува матрица на транзиција или матрица на веројатност за транзиција.

Ако веројатностите за транзиција не зависат од бројот на чекорот (навреме), туку зависат само од тоа во која состојба е направен преминот, тогаш соодветните се вика Марков синџир хомогена .

Веројатности за транзиција на хомогена Марков синџир Р ijформираат квадратна матрица со големина n m.

Ајде да забележиме некои од неговите карактеристики:

1. Секоја линија ја карактеризира избраната состојба на системот, а нејзините елементи ги претставуваат веројатностите за сите можни транзиции во еден чекор од избраниот (од јасти) состојба, вклучително и преминот во себе.

2. Елементите на колоните ги прикажуваат веројатностите на сите можни премини на системот во еден чекор во даден ( ј-ѓ) состојба (со други зборови, редот ја карактеризира веројатноста системот да премине од состојба, колоната - во состојба).

3. Збирот на веројатностите на секој ред е еднаков на еден, бидејќи транзициите формираат целосна група на некомпатибилни настани:

4. По главната дијагонала на матрицата на веројатност за транзиција се наоѓаат веројатностите P iiдека системот нема да излезе од државата С и, но ќе остане во него.

Ако за хомогена Марков синџир се дадени почетната распределба на веројатност и матрицата на веројатности за транзиција, тогаш веројатностите на состојбите на системот P i (k) (јас, ј= 1, 2, n) се одредуваат со рекурентната формула:

Пример 1.Да го разгледаме процесот на функционирање на системот - автомобил. Нека автомобилот (системот) за време на една смена (ден) биде во една од двете состојби: услужлив ( С 1) и неисправни ( С 2). Графикот на состојбата на системот е прикажан на сл. 3.2.

Ориз. 3.2.График на состојба на возилото

Како резултат на масовни набљудувања на работата на возилото, беше составена следнава матрица на веројатности за транзиција:

Каде P 11= 0,8 - веројатност дека автомобилот ќе остане во добра состојба;

P 12= 0,2 - веројатност автомобилот да премине од „добра“ состојба во „неисправна“ состојба;

P 21= 0,9 - веројатност автомобилот да премине од „неисправна“ состојба во „добра“ состојба;

P 22= 0,1 - веројатност дека автомобилот ќе остане во „неисправна“ состојба.

Даден е векторот на почетните веројатности на состојбите на автомобилот, т.е. P 1 (0)= 0 и R 2 (0)=1.

Потребно е да се утврдат веројатностите на состојбите на автомобилот по три дена.

Користејќи ја матрицата на веројатности за транзиција и формулата (3.1), ги одредуваме веројатностите на состојбите P i (k)по првиот чекор (по првиот ден):

P 1 (1) = P 1 (0) × P 11 + P 2 (0) × P 21 = 0?0,8 + 1?0,9 = 0,9;

P 2 (1) = P 1 (0) × P 12 + P 2 (0) × P 22 = 0?0,2 + 1?0,1 = 0,2.

Веројатноста на состојбите по вториот чекор (по вториот ден) се следни:

P 1 (2) = P 1 (1) × P 11 + P 2 (1) × P 21= 0,9×0,8 + 0,1×0,9 = 0,81;

= 0,9×0,2 + 0,1×0,1 = 0,19.

Веројатноста на состојбите по третиот чекор (по третиот ден) се еднакви:

P 1 (3) = P 1 (2) × P 11 + P 2 (2) × P 21= 0,81×0,8 + 0,19×0,9 = 0,819;

= 0,81×0,2 + 0,19×0,1 = 0,181.

Така, по третиот ден автомобилот ќе биде во добра состојба со веројатност од 0,819 и во „неисправна“ состојба со веројатност од 0,181.

Пример 2.За време на работата, компјутерот може да се смета како физички систем С, кој како резултат на проверка може да заврши во една од следните состојби: С 1- Компјутерот е целосно оперативен; С 2- Компјутерот има дефекти во RAM меморијата, во кои може да решава проблеми; С 3- Компјутерот има значителни дефекти и може да реши ограничена класа на проблеми; С 4- Компјутерот е целосно вон функција.

Во почетниот момент, компјутерот е целосно оперативен (состојба С 1). Компјутерот се проверува во фиксни времиња т 1, т 2, т 3. Процесот што се одвива во системот С, може да се смета како хомогена Марков синџирсо три чекори (прв, втор, трет компјутерски проверки). Матрицата на веројатност за транзиција има форма

Определете ги веројатностите на состојбите на компјутерот по три проверки.

Решение. Графикот на состојбата ја има формата прикажана на сл. 3.3. До секоја стрелка е соодветната веројатност за транзиција. Почетна состојба веројатности P 1 (0) = 1, P2 (0) = P 3 (0) = P 4 (0) = 0.

Ориз. 3.3. График на состојбата на компјутерот

Користејќи ја формулата (3.1), земајќи ги предвид во збирот на веројатности само оние состојби од кои е можна директна транзиција кон дадена состојба, наоѓаме:

P 1 (1) = P 1 (0) × P 11= 1×0,3 = 0,3;

P 2 (1) = P 1 (0) × P 12= 1×0,4 = 0,4;

P 3 (1) = P 1 (0) × P 13= 1×0,1 = 0,1;

P 4 (1) = P 1 (0) × P 14= 1×0,2 = 0,2;

P 1 (2) = P 1 (1) × P 11= 0,3×0,3 = 0,09;

P 2 (2) = P 1 (1) × P 12 + P 2 (1) × P 22= 0,3×0,4 + 0,4×0,2 = 0,20;

P 3 (2) = P 1 (1) × P 13 + P 2 (1) × P 23 + P 3 (1) × P 33 = 0,27;

P 4 (2) = P 1 (1) × P 14 + P 2 (1) × P 24 + P 3 (1) × P 34 + P 4 (1) × P 44 = 0,44;

P 1 (3) = P 1 (2) × P 11= 0,09×0,3 = 0,027;

P 2 (3) = P 1 (2) × P 12 + P 2 (2) × P 22= 0,09×0,4 + 0,20×0,2 = 0,076;

P 3 (3) = P 1 (2) × P 13 + P 2 (2) × P 23 + P 3 (2) × P 33 = 0,217;

P 4 (3) = P 1 (2) × P 14 + P 2 (2) × P 24 + P 3 (2) × P 34 + P 4 (2) × P 44 = 0,680.

Значи, веројатностите на состојбите на компјутерот по три проверки се како што следува: P 1 (3) = 0,027; P 2 (3) = 0,076; P 3 (3) = 0,217; P 4 (3) = 0,680.

Задача 1.Одредена цел се испука со четири истрели одеднаш t 1, t 2, t 3, t 4.

Можниот систем вели: С 1- целта е неповредена; С 2- целта е малку оштетена; С 3- целта доби значителна штета; С 4- целта е целосно погодена. Во почетниот момент целта е во состојба С 1. Определете ги веројатностите на целните состојби по четири истрели ако матрицата на веројатности за транзиција ја има формата.

Марков синџири

Вовед

§ 1. Марков синџир

§ 2. Хомоген Марков синџир. Веројатности за транзиција. Матрица на транзиција

§3. Марков еднаквост

§4. Стационарна дистрибуција. Теорема на гранична веројатност

§5. Доказ за теоремата за ограничувачки веројатности во Марков синџир

§6. Апликации на Марков синџири

Заклучок

Список на користена литература

Вовед

Нашата тема работа на курсотМарков синџири. Маркововите синџири се именувани по извонредниот руски математичар Андреј Андреевич Марков, кој интензивно работеше на случајни процеси и даде голем придонес во развојот на оваа област. Неодамна, можете да слушнете за употребата на синџирите Марков во различни области: модерни веб-технологии, кога се анализираат литературни текстови, па дури и кога се развиваат тактики за фудбалски тим. Оние кои не знаат што се Марков синџири може да имаат чувство дека се работи за нешто многу сложено и речиси неразбирливо.

Не, тоа е токму спротивното. Марков синџир е еден од наједноставните случаи на низа од случајни настани. Но, и покрај неговата едноставност, често може да биде корисен дури и кога се опишуваат прилично сложени појави. Марков синџир е низа од случајни настани во кои веројатноста за секој настан зависи само од претходниот, но не зависи од претходните настани.

Пред да навлеземе подлабоко, треба да разгледаме неколку помошни прашања кои се општо познати, но се апсолутно неопходни за понатамошно изложување.

Целта на мојата работа на курсот е подетално да ги проучувам апликациите на Марков синџири, исказот на проблемот и проблемите на Марков.

§1. Марков синџир

Да замислиме дека се прави низа тестови.

Дефиниција.Марков синџир е низа од испитувања во секоја од кои се појавува еден и само еден од некомпатибилните настани од целосната група, а условната веројатност настанот да се случи во тото испитување е , под услов настанот да се случил во судскиот процес , не зависи од резултатите од претходните тестови.

На пример, ако низата испитувања формира Марков синџир и комплетната група се состои од четири некомпатибилни настани, а познато е дека настанот се случил во шестото судење, тогаш условната веројатност настанот да се случи во седмото судење не зависи за тоа кои настани се појавија во првиот, вториот, ..., петтиот тест.

Забележете дека независните тестови се посебен случај на Марков синџир. Навистина, ако тестовите се независни, тогаш појавата на одреден настан во кој било тест не зависи од резултатите од претходно извршените тестови. Следи дека концептот на Марков синџир е генерализација на концептот на независни судења.

Честопати кога ја изнесуваат теоријата на Маркови синџири се придржуваат до различна терминологија и зборуваат за одреден физички систем, кој во секој момент се наоѓа во една од состојбите: , и ја менува својата состојба само во одделни моменти од времето, што е, системот се движи од една во друга состојба (на пример, од до ). За Марков синџири, веројатноста да се оди во која било држава е во моментов зависи само од тоа во каква состојба бил системот во моментот, и не се менува бидејќи неговите состојби во претходните моменти стануваат познати. Исто така, особено, по тестот системот може да остане во иста состојба („се движи“ од состојба во состојба).

За илустрација, разгледајте еден пример.

Пример 1.Да замислиме дека честичка лоцирана на права линија се движи по оваа права линија под влијание на случајни удари што се случуваат во моменти. Честичка може да се наоѓа во точки со целобројни координати: ; Рефлектирачките ѕидови се наоѓаат на точките. Секое притискање ја поместува честичката надесно со веројатност и налево со веројатност, освен ако честичката е во близина на ѕид. Ако честичката е во близина на ѕидот, тогаш секое притискање ја поместува една единица внатре во јазот помеѓу ѕидовите. Овде гледаме дека овој пример на одење на честички е типичен Марков синџир.

Така, настаните се нарекуваат состојби на системот, а тестовите се нарекуваат промени во неговите состојби.

Ајде сега да дефинираме Марков синџир користејќи нова терминологија.

Марков синџир со дискретно време е коло чии состојби се менуваат во одредени фиксни времиња.

Марков синџир со континуирано време е синџир чии состојби се менуваат во секој случајен можни моменти во времето.

§2. Хомоген Марков синџир. Веројатности за транзиција. Матрица на транзиција

Дефиниција.Марков синџир се нарекува хомогена ако условната веројатност (премин од состојба во состојба) не зависи од пробниот број. Затоа, наместо да пишувате едноставно.

Пример 1.Случајно одење. Нека има материјална честичка на права линија во точка со цел број координати. Во одредени моменти честичката доживува шокови. Под влијание на туркање, честичката се движи со веројатност една единица надесно и со веројатност една единица налево. Јасно е дека положбата (координатата) на честичката по удар зависи од тоа каде била честичката по непосредно претходниот удар и не зависи од тоа како се движела под влијание на други претходни удари.

Така, случајно одење е пример за хомогена Марков синџир со дискретно време.

Веројатноста за транзиција е условната веројатност дека од состојбата (во која системот се нашол како резултат на некој тест, без разлика кој број) како резултат на следниот тест системот ќе се пресели во состојбата.

Така, во ознаката, првиот индекс го означува бројот на претходната состојба, а вториот го означува бројот на следната состојба. На пример, е веројатноста за премин од втората состојба во третата.

Нека бројот на состојби е конечен и еднаков на .

Транзициската матрица на системот е матрица која ги содржи сите транзициски веројатности на овој систем:

Бидејќи секој ред од матрицата содржи веројатности за настани (премин од иста состојба во која било можна состојба) кои формираат целосна група, збирот на веројатностите на овие настани е еднаков на една. Со други зборови, збирот на веројатностите за транзиција на секој ред од транзициската матрица е еднаков на еден:

Да дадеме пример за транзициска матрица на систем кој може да биде во три состојби; преминот од состојба во состојба се случува според шемата на хомогена Марков синџир; веројатностите за транзиција се дадени со матрицата:

Овде гледаме дека ако системот бил во состојба, тогаш по промената на состојбата во еден чекор, тој ќе остане во иста состојба со веројатност 0,5, ќе остане во иста состојба со веројатност 0,5, ќе оди во состојба со веројатност 0,2, потоа по транзицијата може да заврши во држави; не може да се движи од состојба во. Последниот ред од матрицата ни покажува дека од состојба да се оди во која било од можните состојби со иста веројатност од 0,1.

Врз основа на транзициската матрица на системот, можете да изградите т.н. Ова е погодно за визуелно претставување на колото. Ајде да го разгледаме редоследот на конструирање графикони користејќи пример.

Пример 2.Користејќи дадена транзициона матрица, конструирајте граф на состојби.

Бидејќи матрица од четврти ред, тогаш, соодветно, системот има 4 можни состојби.

Графикот не ги означува веројатностите на системот да премине од една во иста состојба. Кога се разгледуваат специфични системи, погодно е прво да се конструира график на состојби, а потоа да се одреди веројатноста за транзиции на системот од една во иста состојба (врз основа на барањето збирот на елементите од редовите на матрицата да биде еднаков на еден), а потоа конструирајте транзициона матрица на системот.

§3. Марков еднаквост

Дефиниција.Да означиме со веројатноста дека како резултат на чекори (тестови) системот ќе се движи од состојба во состојба. На пример, е веројатноста за транзиција во 10 чекори од втората состојба до петтата.

Нагласуваме дека кога ги добиваме транзициските веројатности

Дозволете ни да си поставиме задача: знаејќи ги веројатностите за транзиција, да ги пронајдеме веројатностите на системот да премине од состојба во состојба во чекори.

За таа цел, воведуваме средна состојба (помеѓу и ). Со други зборови, ќе претпоставиме дека од почетната состојба во чекори системот ќе премине во средна состојба со веројатност, по што во останатите чекори од средната состојба ќе премине во крајна состојба со веројатност.

Користејќи ја формулата за вкупна веројатност, добиваме

. (1)

Оваа формула се нарекува Марковова еднаквост.

Објаснување.Да ја воведеме следната нотација:

– настанот за кој сме заинтересирани (во чекори системот ќе премине од почетната во конечната состојба), затоа, ; − хипотези (во чекори системот ќе се премести од почетната во средната состојба), затоа, − условната веројатност за појава, под услов хипотезата да се случила (во чекори системот ќе се движи од средната состојба во конечната состојба), затоа,

Според формулата за вкупна веројатност,

()

Или во ознаката што ја усвоивме

што се совпаѓа со Маркововата формула (1).

Знаејќи ги сите транзициски веројатности, односно знаејќи ја транзициската матрица од состојба во состојба во еден чекор, можете да ги најдете веројатностите за премин од состојба во состојба во два чекори, а со тоа и самата транзициона матрица; користејќи позната матрица, можете да ја најдете транзициската матрица од состојба во состојба во три чекори, итн.

Навистина, ставајќи ја Марковската еднаквост

синџир на оценки случајна веројатност

(2)

Така, користејќи ја формулата (2) можете да ги најдете сите веројатности и, според тоа, самата матрица. Бидејќи директната употреба на формулата (2) се покажува како досадна, а пресметката на матрицата побрзо води до целта, ќе ги напишам односите што произлегуваат од (2) во форма на матрица:

Ставајќи го (1), на сличен начин добиваме

Генерално

Теорема 1.За секој s, т

(3)

Доказ. Ајде да ја пресметаме веројатноста користејќи ја формулата за вкупна веројатност (), ставајќи

Од еднаквостите

Оттука од еднаквостите (4) и

го добиваме исказот на теоремата.

Да ја дефинираме матрицата.Во матрицата нотацијата (3) ја има формата

Оттогаш каде е матрицата на веројатност за транзиција. Од (5) следува

(6)

Резултатите добиени во теоријата на матрици овозможуваат користење на формулата (6) да се пресмета и проучи нивното однесување кога

Пример 1.Наведена е преодна матрица Најдете ја транзициската матрица

Решение. Ајде да ја користиме формулата

Множејќи ги матриците, конечно добиваме:

§4. Стационарна дистрибуција. Теорема на гранична веројатност

Дистрибуцијата на веројатност во произволна временска точка може да се најде со помош на формулата за вкупна веројатност

(7)

Може да испадне дека не зависи од времето. Ајде да се јавиме стационарна дистрибуцијавектор , задоволувајќи ги условите

каде се транзиционите веројатности.

Ако во Марков синџир тогаш за било кој

Оваа изјава следи со индукција од (7) и (8).

Да ја претставиме формулацијата на теоремата за ограничувачки веројатности за една важна класа на Маркови синџири.

Теорема 1. Ако за некои >0 сите елементи од матрицата се позитивни, тогаш за било кој , за

, (9)

Каде стационарна распределба со одредена константа што ја задоволува неравенката 0< ч <1.

Бидејќи , тогаш според условите на теоремата, од која било состојба може да се дојде до која било состојба навреме со позитивна веројатност. Условите на теоремата исклучуваат синџири кои во некоја смисла се периодични.

Ако се исполнети условите од теорема 1, тогаш веројатноста дека системот е во одредена состојба во лимитот не зависи од почетната распределба. Навистина, од (9) и (7) следува дека за која било почетна дистрибуција,

Да разгледаме неколку примери на Маркови синџири за кои не се исполнети условите од теорема 1. Не е тешко да се потврди дека таквите примери се примери. Во примерот, веројатностите за транзиција имаат граници, но овие граници зависат од почетната состојба. Особено, кога

Во други примери, опсегот на веројатност за очигледно не постои.

Да ја најдеме стационарната распределба во примерот 1. Треба да го најдеме векторот задоволителни услови (8):

;

Така, постои стационарна дистрибуција, но не сите координатни вектори се позитивни.

За полиномната шема, беа воведени случајни променливи еднакви на бројот на исходи од даден тип. Дозволете ни да воведеме слични количини за синџирите Марков. Нека е бројот на пати кога системот влегува во состојба на време. Тогаш фреквенцијата на системот притискање на државата. Користејќи ги формулите (9), можеме да докажеме дека кога се приближува . За да го направите ова, треба да добиете асимптотични формули за и да ја користите нееднаквоста на Чебишев. Еве ја изведбата на формулата за. Да го претставиме во форма

(10)

каде, ако и на друг начин. Бидејќи

потоа, користејќи го својството математичко очекување и формулата (9) добиваме

Врз основа на теорема 1, тројниот член на десната страна на оваа еднаквост е делумен збир на конвергентна серија. Ставање , добиваме

Затоа што

Од формулата (11), особено, произлегува дека

на

Можете исто така да добиете формула за која се користи за пресметување на варијансата.

§5. Доказ за теоремата за ограничувачки веројатности во Марков синџир

Прво да докажеме две леми. Да ставиме

Лема 1. Постојат граници за било кој

Доказ. Користејќи ја равенката (3) со добиваме

Така, низите се и монотони и ограничени. Ова ја подразбира изјавата на Лема 1.

Лема 2. Ако условите од теорема 2 се исполнети, тогаш постојат константи, такви што

За се

каде што, значи собирање над сите за кои е позитивно, и сумирање над останатите. Од тука

. (12)

Бидејќи под условите на теорема 1 веројатностите на транзиција за сите , потоа за било кој

И поради ограничениот број на состојби

Сега да ја процениме разликата . Користејќи ја равенката (3) со , , добиваме

Оттука, користејќи (8)-(10), наоѓаме

Комбинирајќи ја оваа врска со неравенството (14), го добиваме исказот на лемата.

Одете до доказот на теоремата. Бидејќи секвенците се монотони, тогаш

0<. (15)

Од ова и Лема 1 наоѓаме

Затоа, кога ќе добиете и

Позитивноста следи од нееднаквоста (15). Поминувајќи до границата во и во равенката (3), добиваме дека ја задоволува равенката (12). Теоремата е докажана.

§6. Апликации на Марков синџири

Марковите синџири служат како добар вовед во теоријата на случајни процеси, т.е. теоријата на едноставни секвенци од фамилија случајни променливи, обично во зависност од параметар, кој во повеќето апликации ја игра улогата на времето. Тој е наменет првенствено целосно да го опише долгорочното и локалното однесување на процесот. Еве некои од најпроучените прашања во овој поглед.

Брауново движење и неговите генерализации - дифузни процеси и процеси со независни зголемувања . Теоријата на случајни процеси придонесе за продлабочување на врската помеѓу теоријата на веројатност, теоријата на оператори и теоријата на диференцијални равенки, која, меѓу другото, беше важна за физиката и другите примени. Апликациите вклучуваат процеси од интерес за актуарската (осигурувачка) математика, теорија на редици, генетика, контрола на сообраќајот, теорија на електрични кола и теорија на залихи.

Мартингалес . Овие процеси зачувуваат доволно својства на Маркови синџири што важните ергодични теореми остануваат валидни за нив. Мартингалите се разликуваат од Маркововите синџири по тоа што кога се знае моменталната состојба, само математичкото очекување на иднината, но не и самата распределба на веројатноста, не зависи од минатото. Покрај тоа што е важна истражувачка алатка, теоријата на Мартингел ја збогати теоријата на случајни процеси кои произлегуваат во статистиката, теоријата на нуклеарна фисија, генетиката и теоријата на информации со нови теореми за ограничување.

Стационарни процеси . Најстарата позната ергодична теорема, како што е наведено погоре, може да се толкува како резултат што го опишува ограничувачкото однесување на стационарен случаен процес. Таквиот процес има својство дека сите веројатни закони што ги задоволува остануваат непроменливи во однос на временските поместувања. Ергодичната теорема, првпат формулирана од физичарите како хипотеза, може да се претстави како изјава дека, под одредени услови, просекот на ансамблот се совпаѓа со временскиот просек. Ова значи дека истите информации може да се добијат од долгорочно набљудување на еден систем и од истовремено (и моментално) набљудување на многу независни копии од истиот систем. Законот за големи броеви не е ништо повеќе од посебен случај на ергодичната теорема на Бирхоф. Интерполацијата и предвидувањето на однесувањето на стационарни Гаусови процеси, сфатени во широка смисла, служат како важна генерализација на класичната теорија на најмали квадрати. Теоријата на стационарни процеси е неопходна алатка за истражување во многу области, на пример, во теоријата на комуникација, која се занимава со проучување и создавање системи кои пренесуваат пораки во присуство на бучава или случајни пречки.

Марковите процеси (процеси без последици) играат огромна улога во моделирањето на системите за редици (QS), како и во моделирањето и изборот на стратегија за управување со социо-економските процеси што се случуваат во општеството.

Марков синџир може да се користи и за генерирање текстови. Неколку текстови се испорачуваат како влез, потоа се гради Марков синџир со веројатности еден збор да следи друг, а добиениот текст се создава врз основа на овој синџир. Излегува дека играчката е многу забавна!

Заклучок

Така, во нашата работа на курсот зборувавме за колото на Марков синџир. Научивме во кои области и како се користи, независни тестови ја докажаа теоремата за ограничување на веројатностите во Марков синџир, дадовме примери за типичен и хомоген Марков синџир, како и за наоѓање на транзициската матрица.

Видовме дека дизајнот на Марков синџир е директна генерализација на независниот тест дизајн.

Список на користена литература

1. Чистјаков В.П. Курс за теорија на веројатност. 6-то издание, rev. − Санкт Петербург: Издавачка куќа Лан, 2003. − 272 стр. − (Учебник за универзитети. Специјална литература).

2. Гнеденко Б.В. Курс за теорија на веројатност.

3. Гмурман В.Е. Теорија на веројатност и математичка статистика.

4. Венцел Е.С. Теорија на веројатност и нејзините инженерски апликации.

5. Колмогоров А.Н., Журбенко И.Г., Прохоров А.В. Вовед во теоријата на веројатност. − Москва-Ижевск: Институт за компјутерски истражувања, 2003 година, 188 стр.

6. Katz M. Веројатност и поврзани прашања во физиката.

(Андреј Андреевич Марков (1856-1922) - руски математичар, академик)

Дефиниција. Процесот што се случува во физичкиот систем се нарекува Марковски, ако во секој момент во времето веројатноста за која било состојба на системот во иднина зависи само од состојбата на системот во моменталниот момент и не зависи од тоа како системот дошол до оваа состојба.

Дефиниција. Марков синџирнаречена низа од испитувања, во секоја од кои само еден од Кнекомпатибилни настани Ајод целосната група. Во овој случај, условната веројатност Пиј(С) што има во С-ти тест настанот ќе дојде Ајпод услов во ( С – 1 ) – настанот се случил за време на тестот Ај, не зависи од резултатите од претходните тестови.

Независните судења се посебен случај на Марков синџир. Настаните се нарекуваат Системски состојбии тестови - Промени во системските состојби.

Врз основа на природата на промените во државите, синџирите на Марков можат да се поделат во две групи.

Дефиниција. Марков синџир со дискретно времеСе нарекува коло чии состојби се менуваат во одредени фиксни моменти во времето. Континуирано време Марков синџирСе нарекува коло чии состојби можат да се променат во секој случајен момент во времето.

Дефиниција. ХомогенаСе нарекува Марков синџир ако условната веројатност Пијтранзиција на системот од државата Јас Во државата Јне зависи од бројот на тестот. Веројатност Пијповикани Веројатност за транзиција.

Да претпоставиме дека бројот на состојби е конечен и еднаков К.

Тогаш матрицата составена од веројатности за условна транзиција ќе изгледа вака:

Оваа матрица се нарекува Системска транзиција матрица.

Бидејќи секој ред содржи веројатности за настани што формираат целосна група, очигледно е дека збирот на елементите на секој ред од матрицата е еднаков на еден.

Врз основа на транзициската матрица на системот, може да се конструира т.н График на состојбата на системот, се нарекува и Обележан Графикон на државата. Ова е погодно за визуелно претставување на колото. Ајде да го разгледаме редоследот на конструирање графикони користејќи пример.

Пример.Користејќи дадена транзициона матрица, конструирајте граф на состојби.

Бидејќи матрицата е од четврти ред, тогаш, соодветно, системот има 4 можни состојби.

Нека Пиј(Н) – веројатноста дека како резултат Нтестови системот ќе оди од државата Јасво држава Ј, Р – некоја средна состојба меѓу државите Јас И Ј. Веројатност за премин од една во друга состојба Пиј(1) = Пиј.

Потоа веројатноста Пиј(Н) може да се најде со помош на формула наречена Марков еднаквост:

Еве Т– бројот на чекори (проби) при кои системот преминал од состојбата Јас Во државата Р.

Во принцип, еднаквоста на Марков не е ништо повеќе од малку изменета формула за вкупната веројатност.

Познавање на веројатностите за транзиција (т.е. познавање на транзициската матрица P1), можеме да ги најдеме веројатностите за премин од состојба во состојба во два чекори Пиј(2) , односно матрица P2, знаејќи го тоа - пронајдете ја матрицата P3, итн.

Директната примена на формулата добиена погоре не е многу погодна, затоа, можете да ги користите техниките за пресметување на матрицата (на крајот на краиштата, оваа формула во суштина не е ништо повеќе од формула за множење на две матрици).

Тогаш во општа форма можеме да напишеме:

Во принцип, овој факт обично се формулира во форма на теорема, сепак, неговото докажување е прилично едноставно, па затоа нема да го дадам.

Пример.Наведена е преодна матрица P1. Најдете матрица P3.

Дефиниција. Се нарекуваат матрици чии збирови на елементи од сите редови се еднакви на една Стохастички. Ако за некои Псите елементи на матрицата Rpне се еднакви на нула, тогаш се нарекува таква преодна матрица Редовни.

Со други зборови, редовните транзициски матрици дефинираат Марков синџир во кој може да се достигне секоја состојба Пчекори од која било држава. Се нарекуваат и такви Маркови синџири Редовни.

Теорема. (теорема на гранична веројатност) Нека е даден правилен Марков синџир со n состојби и P е неговата матрица на веројатност за транзиција. Потоа, постои граница и матрица P(¥ ) има форма:

Марков процес- случаен процес што се јавува во системот, кој има својство: за секој момент од времето t 0, веројатноста за која било состојба на системот во иднина (во t>t 0) зависи само од неговата состојба во сегашноста (на t = t 0) и не зависи од тоа кога и како системот дошол до оваа состојба (т.е. како се развивал процесот во минатото).

Во пракса, често се среќаваме со случајни процеси кои, во различен степен на приближување, може да се сметаат за Маркови.

Секој Марков процес е опишан со користење на државните веројатности и веројатности за транзиција.

Веројатности на состојби P k (t) на Марков процессе веројатностите дека случајниот процес (системот) во времето t е во состојба S k:

Веројатности за транзиција на Марков процессе веројатностите за транзиција на процес (систем) од една во друга состојба:

Марков процес се нарекува хомогена, ако веројатностите за транзиција по единица време не зависат од тоа каде на временската оска се случува преминот.

Наједноставниот процес е Марков синџир– Марков случаен процес со дискретно време и дискретно конечно множество состојби.

Кога се анализираат, синџирите на Марков се состојба графикон, на кој во еден чекор се означени сите состојби на синџирот (системот) и ненула веројатности.

Марков синџир може да се замисли како точка што претставува систем да се движи случајно низ графиконот на состојби, влечејќи се од состојба во состојба во еден чекор или останувајќи во иста состојба неколку чекори.

Веројатностите на транзиција на Марков синџир во еден чекор се запишуваат во форма на матрица P=||P ij ||, која се нарекува матрица на веројатност за транзиција или едноставно матрица на транзиција.

Пример: збирот на состојби на студентите од специјалитетот е како што следува:

С 1 – бруцош;

S 2 – втор студент…;

С 5 – ученик од 5-та година;

С 6 – специјалист кој дипломирал на универзитет;

S 7 – лице кое студирало на универзитет, но не дипломирало.

Од состојбата S 1 во рок од една година, можни се транзиции во состојбата S 2 со веројатност r 1 ; S 1 со веројатност q 1 и S 7 со веројатност p 1, и:

r 1 +q 1 +p 1 =1.

Ајде да изградиме граф на состојби за овој Марков синџир и да го означиме со веројатности за транзиција (не-нула).

Ајде да создадеме матрица на веројатности за транзиција:

Преодните матрици ги имаат следните својства:

Сите нивни елементи се ненегативни;

Збирите на нивните редови се еднакви на еден.

Матриците со ова својство се нарекуваат стохастички.

Преодните матрици ви овозможуваат да ја пресметате веројатноста за која било траекторија на Марков синџир користејќи ја теоремата за множење на веројатноста.

За хомогени Марков синџири, транзиционите матрици не зависат од времето.

При проучувањето на Маркови синџири, најголем интерес се:

Веројатности за транзиција во m чекори;

Дистрибуција по состојби на чекор m→∞;

Просечно време поминато во одредена состојба;

Просечно време за враќање во оваа состојба.

Размислете за хомогена Марков синџир со n состојби. За да се добие веројатноста за премин од состојба S i во состојба S j во m чекори, во согласност со формулата за вкупна веројатност, треба да се сумираат производите на веројатноста за премин од состојбата Si во средната состојба Sk во l чекори со веројатноста на премин од Sk во Sj во преостанатите m-l чекори, т.е.

Оваа релација е за сите i=1, …, n; j=1, …,n може да се претстави како производ од матрици:

P(m)=P(l)*P(m-l).

Така имаме:

P(2)=P(1)*P(1)=P 2

P(3)=P(2)*P(1)=P(1)*P(2)=P3, итн.

P(m)=P(m-1)*P(1)=P(1)*P(M-1)=P m,

што овозможува да се најдат веројатностите за транзиција помеѓу состојбите во кој било број чекори, знаејќи ја транзициската матрица во еден чекор, имено P ij (m) - елемент на матрицата P(m) е веројатноста за движење од состојбата S i да се наведува S j во m чекори.

Пример: Времето во одреден регион наизменично е дождливо и суво во долги временски периоди. Ако врне, тогаш со веројатност 0,7 ќе врне следниот ден; Доколку во одреден ден времето е суво, тогаш со веројатност од 0,6 ќе се задржи и следниот ден. Познато е дека во средата времето беше врнежливо. Која е веројатноста следниот петок да врне дожд?

Да ги запишеме сите состојби на Марков синџир во овој проблем: Д – дождливо време, В – суво време.

Ајде да изградиме графикон за состојби:

Одговор: стр 11 = стр (Д пета | Д средна) = 0,61.

Границите на веројатноста р 1 (m), р 2 (m),…, р n (m) за m→∞, доколку постојат, се викаат ограничувачки веројатности на состојби.

Може да се докаже следнава теорема: ако во Марков синџир можете да преминете од + секоја состојба (во даден број чекори) еден до друг, тогаш ограничувачките веројатности на состојбите постојат и не зависат од почетната состојба на системот .

Така, како m→∞, во системот се воспоставува одреден ограничувачки стационарен режим, во кој секоја од состојбите се јавува со одредена константна веројатност.

Векторот p, составен од маргинални веројатности, мора да ја задоволува релацијата: p=p*P.

Просечно време поминато во државата S i за времето T е еднакво на p i *T, каде што p i - маргинална веројатност на состојбата S i. Просечно време за враќање во состојба S i е еднаков на .

Пример.

За многу економски проблеми, неопходно е да се знае алтернацијата на годините со одредени вредности на годишните речни текови. Се разбира, оваа алтернација не може да се определи апсолутно прецизно. За да ги одредиме веројатностите за алтернација (транзиција), ги делиме тековите со воведување на четири градации (состојби на системот): прва (најмал проток), втора, трета, четврта (највисок проток). За точност, ќе претпоставиме дека по првата градација никогаш не следи четвртата, а четвртата со првата поради акумулација на влага (во земја, резервоар и сл.). Набљудувањата покажаа дека во одреден регион можни се други транзиции и:

а) од првата градација може да се префрлате на секоја од средните двапати почесто од повторно во првата, т.е.

стр 11 =0,2; стр 12 =0,4; стр 13 =0,4; стр 14 =0;

б) од четвртата градација, премините кон второто и третото градирање се случуваат четири и пет пати почесто од враќањата како во втората, т.е.

тешко, т.е.

во четвртиот, т.е.

стр 41 =0; стр 42 =0,4; стр 43 =0,5; стр 44 =0,1;

в) од втората кон друга градација може да биде само поретка: во првата - два пати помалку, во третата за 25%, во четвртата - четири пати поретко од преминот кон втората, т.е.

p 21 = 0,2; p 22 = 0,4; стр 23 =0,3; стр 24 =0,1;

г) од третото степенување, преминот кон второто степенување е исто толку веројатен колку и враќањето во третото градење, а премините кон првото и четвртото градирање се четири пати помалку веројатни, т.е.

стр 31 =0,1; стр 32 =0,4; стр 33 =0,4; стр 34 =0,1;

Ајде да изградиме график:

Ајде да создадеме матрица на веројатности за транзиција:

Ајде да го најдеме просечното време помеѓу сушите и високите водни години. За да го направите ова, треба да ја пронајдете граничната дистрибуција. Таа постои затоа што условот на теоремата е задоволен (матрицата P2 не содржи нула елементи, т.е. во два чекори можете да преминете од која било состојба на системот во која било друга).

Каде што p 4 = 0,08; стр 3 =; стр 2 =; стр 1 =0,15

Фреквенцијата на враќање во состојбата S i е еднаква на .

Следствено, зачестеноста на сушните години е во просек 6,85, т.е. 6-7 години, а дождливи години 12.