ماتریس حالات گذار یک زنجیره مارکوف. زنجیر مارکوف معمولی اجازه دهید به برخی از ویژگی های آن اشاره کنیم

به خودی خود، و تا حدی ما آن را به دلیل این واقعیت در نظر می گیریم که ارائه آن نیازی به معرفی تعداد زیادی اصطلاح جدید ندارد.

مشکل الاغی را در نظر بگیرید که دقیقاً بین دو انبار کاه ایستاده است: کاه چاودار و کاه گندم (شکل 10.5).

الاغ بین دو انبار کاه ایستاده است: "چودار" و "گندم" (شکل 10.5). هر دقیقه یا ده متر به سمت انبار کاه اول (به احتمال) حرکت می کند یا به سمت انبار کاه دوم (به احتمال) یا همان جایی که ایستاده است (به احتمال). این رفتار را تک بعدی می نامند پیاده روی تصادفیما فرض می کنیم که هر دو انبار کاه «جذب» هستند به این معنا که اگر الاغی به یکی از انبارهای کاه نزدیک شود، همان جا باقی می ماند. با دانستن فاصله بین دو انبار کاه و موقعیت اولیه الاغ، می توانید چندین سوال بپرسید، به عنوان مثال: احتمال اینکه او به کدام انبار کاه برسد و چه مدت زمان بیشتری طول می کشد تا به آنجا برسد؟

برنج. 10.5.

برای بررسی جزئیات بیشتر این مشکل، بیایید فاصله بین شوک ها را پنجاه متر و الاغ ما بیست متر از شوک «گندم» فرض کنیم. اگر مکان هایی که می توانید توقف کنید با نشان داده شده است (- خود شوک ها)، سپس موقعیت اولیه آن را می توان با بردار مشخص کرد که مولفه آن برابر با احتمالی است که در ابتدا در آن قرار دارد. علاوه بر این، پس از یک دقیقه، احتمالات مکان آن توسط بردار، و پس از دو دقیقه - توسط بردار توصیف می شود. روشن است که محاسبه مستقیم احتمال حضور او در مکان معین پس از گذشت چند دقیقه دشوار می شود. معلوم شد که راحت ترین راه برای انجام این کار ورود است ماتریس انتقال.

اجازه دهید احتمال اینکه در یک دقیقه از به حرکت کند باشد. به عنوان مثال، و. این احتمالات نامیده می شوند احتمالات انتقال، و ماتریس - نامیده می شود ماتریس انتقال. توجه داشته باشید که هر عنصر ماتریس غیر منفی است و مجموع عناصر هر یک از سطرها برابر با یک است. از همه اینها نتیجه می شود که - بردار ردیف اولیه تعریف شده در بالا، مکان خر پس از یک دقیقه توسط بردار ردیف و بعد از دقیقه - توسط بردار توصیف می شود. به عبارت دیگر، مولفه -امین بردار این احتمال را تعیین می کند که پس از چند دقیقه الاغ به پایان می رسد.

این مفاهیم را می توان تعمیم داد. بیا تماس بگیریم بردار احتمالاتبردار ردیفی که همه مولفه های آن غیر منفی هستند و به یک می رسند. سپس ماتریس انتقالبه عنوان یک ماتریس مربع تعریف می شود که در آن هر ردیف بردار احتمالات است. اکنون می توانیم یک زنجیره مارکوف (یا فقط یک زنجیره) را به عنوان یک جفت تعریف کنیم، جایی که وجود دارد - ماتریس انتقال، و یک بردار ردیف وجود دارد. اگر هر عنصر به عنوان احتمال انتقال از موقعیت به موقعیت و - به عنوان بردار اولیه احتمالات در نظر گرفته شود، به مفهوم کلاسیک می رسیم. زنجیره مارکوف ثابت گسسته، که در کتاب های نظریه احتمال یافت می شود (رجوع کنید به Feller V. Introduction to theory of probabilities. Vol. 1. M.: Mir. 1967) این موقعیت را معمولاً حالت زنجیره می نامند. بیایید توصیف کنیم راه های مختلفطبقه بندی آنها

ما به موارد زیر علاقه مند خواهیم شد: آیا می توان از یک حالت به حالت دیگر رسید و اگر چنین است، در چه مدت کوتاهی. به عنوان مثال، در مسئله الاغ شما می توانید از به در سه دقیقه برسید، اما از به به اصلا نمی توانید برسید. بنابراین، ما عمدتاً نه به خود احتمالات، بلکه به مثبت بودن یا نبودن آنها علاقه مند خواهیم بود. سپس این امید وجود دارد که همه این داده ها را بتوان به شکل یک نمودار نشان داد که رئوس آن با حالت ها مطابقت دارد و کمان ها نشان می دهد که آیا می توان در یک دقیقه از یک حالت به حالت دیگر حرکت کرد یا خیر. به طور دقیق تر، اگر هر حالت با راس مربوطه خود نشان داده شود).

فرآیند تصادفی مارکوف با حالت های گسسته و زمان گسسته زنجیره مارکوف نامیده می شود . برای چنین فرآیندی، لحظات t 1، t 2زمانی که سیستم اسمی تواند حالت خود را تغییر دهد، به عنوان مراحل متوالی فرآیند در نظر گرفته می شود و استدلالی که فرآیند به آن بستگی دارد زمان نیست تیو شماره مرحله 1، 2 است، ک، فرآیند تصادفی در این مورد با یک توالی از حالت ها مشخص می شود S(0), S(1), S(2), S(k)، جایی که S(0)- وضعیت اولیه سیستم (قبل از مرحله اول)؛ S(1)- وضعیت سیستم پس از مرحله اول؛ S(k)- وضعیت سیستم پس از کقدم ...

رویداد ( S(k) = S i، شامل این واقعیت است که بلافاصله پس از کدر مرحله سوم سیستم در حالت است اس آی (من= 1، 2،)، یک رویداد تصادفی است. توالی حالت ها S(0), S(1), S(k)، می تواند به عنوان دنباله ای از رویدادهای تصادفی در نظر گرفته شود. این توالی تصادفی از رویدادها نامیده می شود زنجیر مارکوف , اگر برای هر مرحله احتمال انتقال از هر حالت S i به هر S j بستگی به زمان و نحوه رسیدن سیستم به حالت S i ندارد.حالت اولیه S(0)ممکن است از پیش تعیین شده یا تصادفی باشد.

احتمالات حالت های زنجیره مارکوفاحتمالات نامیده می شوند P i (k)آنچه پس از آن می آید کمرحله ام (و تا ( ک+ 1)th) سیستم اسقادر خواهد بود اس آی (من = 1, 2, n). بدیهی است، برای هر ک.

توزیع احتمال اولیه زنجیره مارکوفتوزیع احتمال حالت ها در ابتدای فرآیند نامیده می شود:

P 1 (0)، P 2 (0)، P i (0)، Pn (0).

در حالت خاص، اگر حالت اولیه سیستم اسدقیقا شناخته شده S(0) = S i، سپس احتمال اولیه Р i (0)= 1، و بقیه برابر با صفر هستند.

احتمال انتقال (احتمال انتقال) به ک- قدم از ایالت اس آیدر یک ایالت اس جیاحتمال شرطی نامیده می شود که سیستم اسبعد از کمرحله ام قادر خواهد بود اس جیمشروط بر اینکه بلافاصله قبل از (بعد ک- 1 قدم) او در حالت بود اس آی.

از آنجایی که سیستم می تواند در یکی از nحالات، سپس برای هر لحظه از زمان تیباید تنظیم شود n 2احتمالات انتقال P ijکه به راحتی در قالب ماتریس زیر نمایش داده می شوند:

جایی که Р ij- احتمال انتقال در یک مرحله از حالت اس آیدر یک ایالت اس جی;

P ii- احتمال تاخیر سیستم در حالت اس آی.

چنین ماتریسی ماتریس انتقال یا ماتریس احتمال انتقال نامیده می شود.

اگر احتمالات انتقال به شماره گام (به موقع) بستگی ندارد، بلکه فقط به این بستگی دارد که انتقال به کدام حالت انجام شده است، سپس مربوطه یک زنجیره مارکوف نامیده می شود همگن .

احتمالات انتقال یک زنجیره مارکوف همگن Р ijیک ماتریس مربعی با اندازه تشکیل دهید n m.

بیایید به برخی از ویژگی های آن توجه کنیم:

1. هر خط وضعیت انتخابی سیستم را مشخص می کند و عناصر آن نشان دهنده احتمالات همه انتقالات ممکن در یک مرحله از حالت انتخاب شده است (از منث) حالت، از جمله انتقال به خود.

2. عناصر ستون ها احتمالات همه انتقال های ممکن سیستم را در یک مرحله به یک معین نشان می دهد ( j-f) حالت (به عبارت دیگر، ردیف احتمال انتقال سیستم از یک حالت، ستون - به یک حالت) را مشخص می کند.

3. مجموع احتمالات هر ردیف برابر با یک است، زیرا انتقال ها یک گروه کامل از رویدادهای ناسازگار را تشکیل می دهند:

4. در امتداد قطر اصلی ماتریس احتمال انتقال، احتمالات قرار دارند P iiکه سیستم از حالت خارج نخواهد شد اس آی، اما در آن باقی خواهد ماند.

اگر برای یک زنجیره مارکوف همگن توزیع احتمال اولیه و ماتریس احتمالات انتقال داده شود، احتمالات سیستم بیان می شود. P i (k) (من، ج= 1, 2, n) با فرمول تکرارشونده تعیین می شوند:

مثال 1.بیایید روند عملکرد سیستم - یک ماشین را در نظر بگیریم. بگذارید ماشین (سیستم) در یک شیفت (روز) در یکی از دو حالت باشد: قابل سرویس ( S 1) و معیوب ( S 2). نمودار وضعیت سیستم در شکل نشان داده شده است. 3.2.

برنج. 3.2. نمودار وضعیت خودرو

در نتیجه مشاهدات انبوه عملکرد وسیله نقلیه، ماتریس احتمالات انتقال زیر تهیه شد:

جایی که ص 11= 0.8 - احتمال اینکه ماشین در شرایط خوبی باقی بماند.

ص 12= 0.2 - احتمال انتقال خودرو از حالت "خوب" به حالت "عیب"؛

ص 21= 0.9 - احتمال انتقال خودرو از حالت "عیب" به حالت "خوب".

ص 22= 0.1 - احتمال اینکه ماشین در حالت "عیب" باقی بماند.

بردار احتمالات اولیه حالت های خودرو داده شده است، یعنی. P 1 (0)= 0 و R 2 (0)=1.

لازم است بعد از سه روز احتمال حالت های خودرو مشخص شود.

با استفاده از ماتریس احتمالات انتقال و فرمول (3.1)، احتمال حالت ها را تعیین می کنیم. P i (k)بعد از اولین قدم (بعد از روز اول):

P 1 (1) = P 1 (0)×P 11 + P 2 (0)×P 21 = 0?0,8 + 1?0,9 = 0,9;

P 2 (1) = P 1 (0) × P 12 + P 2 (0) × P 22 = 0?0,2 + 1?0,1 = 0,2.

احتمالات حالت های بعد از مرحله دوم (بعد از روز دوم) به شرح زیر است:

P 1 (2) = P 1 (1)×P 11 + P 2 (1)×P 21= 0.9×0.8 + 0.1×0.9 = 0.81;

= 0.9×0.2 + 0.1×0.1 = 0.19.

احتمالات حالات بعد از مرحله سوم (بعد از روز سوم) برابر است:

P 1 (3) = P 1 (2) × P 11 + P 2 (2) × P 21= 0.81×0.8 + 0.19×0.9 = 0.819;

= 0.81×0.2 + 0.19×0.1 = 0.181.

بنابراین، پس از روز سوم، خودرو با احتمال 0.819 در وضعیت خوب و با احتمال 0.181 در وضعیت "عیب" قرار می گیرد.

مثال 2.در حین کار، کامپیوتر را می توان به عنوان یک سیستم فیزیکی در نظر گرفت اس، که در نتیجه بررسی ممکن است به یکی از حالات زیر ختم شود: S 1- كامپيوتر كاملاً فعال است. S 2- کامپیوتر دارای اشکالاتی در RAM است که می تواند مشکلات را حل کند. S 3- کامپیوتر دارای اشکالات قابل توجهی است و می تواند دسته محدودی از مشکلات را حل کند. S 4- کامپیوتر کاملاً از کار افتاده است.

در لحظه اولیه، رایانه کاملاً فعال است (حالت S 1). کامپیوتر در زمان های ثابت بررسی می شود t 1، t 2, t 3. فرآیندی که در سیستم انجام می شود اس، را می توان همگن در نظر گرفت زنجیر مارکوفبا سه مرحله (بررسی کامپیوتر اول، دوم، سوم). ماتریس احتمال انتقال شکل دارد

احتمالات حالت های کامپیوتر را پس از سه بررسی تعیین کنید.

راه حل. نمودار حالت به شکلی است که در شکل نشان داده شده است. 3.3. در کنار هر فلش احتمال انتقال مربوطه وجود دارد. احتمالات حالت اولیه P 1 (0) = 1, P2 (0) = P 3 (0) = P 4 (0) = 0.

برنج. 3.3. نمودار وضعیت کامپیوتر

با استفاده از فرمول (3.1)، با در نظر گرفتن مجموع احتمالات، تنها حالت هایی که انتقال مستقیم به یک حالت معین امکان پذیر است، در می یابیم:

P 1 (1) = P 1 (0)×P 11= 1×0.3 = 0.3;

P 2 (1) = P 1 (0) × P 12= 1×0.4 = 0.4;

P 3 (1) = P 1 (0)×P 13= 1×0.1 = 0.1;

P 4 (1) = P 1 (0) × P 14= 1×0.2 = 0.2;

P 1 (2) = P 1 (1) × P 11= 0.3×0.3 = 0.09;

P 2 (2) = P 1 (1) × P 12 + P 2 (1) × P 22= 0.3×0.4 + 0.4×0.2 = 0.20;

P 3 (2) = P 1 (1)×P 13 + P 2 (1)×P 23 + P 3 (1)×P 33 = 0,27;

P 4 (2) = P 1 (1)×P 14 + P 2 (1)×P 24 + P 3 (1)×P 34 + P 4 (1)×P 44 = 0,44;

P 1 (3) = P 1 (2) × P 11= 0.09×0.3 = 0.027;

P 2 (3) = P 1 (2) × P 12 + P 2 (2) × P 22= 0.09×0.4 + 0.20×0.2 = 0.076;

P 3 (3) = P 1 (2)×P 13 + P 2 (2)×P 23 + P 3 (2)×P 33 = 0,217;

P 4 (3) = P 1 (2)×P 14 + P 2 (2)×P 24 + P 3 (2)×P 34 + P 4 (2)×P 44 = 0,680.

بنابراین، احتمالات حالت های رایانه پس از سه بررسی به شرح زیر است: P 1 (3) = 0,027; P 2 (3) = 0,076; P 3 (3) = 0,217; P 4 (3) = 0,680.

وظیفه 1.یک هدف مشخص با چهار گلوله در یک زمان شلیک می شود t 1، t 2، t 3، t 4.

سیستم احتمالی می گوید: S 1- هدف آسیب ندیده است. S 2- هدف کمی آسیب دیده است. S 3- هدف آسیب قابل توجهی دریافت کرد. S 4- هدف کاملاً اصابت کرده است. در لحظه اولیه زمان، هدف در یک حالت قرار دارد S 1. اگر ماتریس احتمالات انتقال دارای شکل باشد، احتمالات حالت های هدف را پس از چهار شلیک تعیین کنید.

زنجیر مارکوف

معرفی

§ 1. زنجیره مارکوف

§ 2. زنجیره مارکوف همگن. احتمالات انتقال ماتریس انتقال

§3. برابری مارکوف

§4. توزیع ثابت قضیه حد احتمال

§5. اثبات قضیه در مورد احتمالات محدود در زنجیره مارکوف

§6. کاربردهای زنجیره مارکوف

نتیجه

فهرست ادبیات استفاده شده

معرفی

موضوع ما کار دورهزنجیر مارکوف زنجیره‌های مارکوف به افتخار ریاضیدان برجسته روسی، آندری آندریویچ مارکوف، که به طور گسترده روی فرآیندهای تصادفی کار کرده و سهم عمده‌ای در توسعه این رشته داشته، نامگذاری شده‌اند. اخیراً می‌توانید در مورد استفاده از زنجیره‌های مارکوف در زمینه‌های مختلف بشنوید: فناوری‌های مدرن وب، هنگام تجزیه و تحلیل متون ادبی، یا حتی هنگام توسعه تاکتیک‌ها برای یک تیم فوتبال. کسانی که نمی دانند زنجیر مارکوف چیست ممکن است این احساس را داشته باشند که چیزی بسیار پیچیده و تقریباً غیرقابل درک است.

نه، درست برعکس است. زنجیره مارکوف یکی از ساده‌ترین موارد از توالی رویدادهای تصادفی است. اما، با وجود سادگی، اغلب می تواند حتی در هنگام توصیف پدیده های نسبتاً پیچیده مفید باشد. زنجیره مارکوف دنباله ای از رویدادهای تصادفی است که در آن احتمال هر رویداد فقط به رویداد قبلی بستگی دارد، اما به رویدادهای قبلی بستگی ندارد.

قبل از اینکه عمیق تر بپردازیم، باید چند موضوع کمکی را در نظر بگیریم که عموماً شناخته شده هستند، اما برای توضیح بیشتر کاملاً ضروری هستند.

هدف از کار درسی من مطالعه با جزئیات بیشتر کاربردهای زنجیره مارکوف، بیان مسئله و مشکلات مارکوف است.

§1. زنجیر مارکوف

بیایید تصور کنیم که یک سری آزمایش در حال انجام است.

تعریف.زنجیره مارکوف دنباله‌ای از آزمایش‌ها است که در هر یک از آن‌ها تنها یکی از رویدادهای ناسازگار گروه کامل ظاهر می‌شود، و احتمال مشروط رخ دادن این رویداد در آزمایش سوم است. ، مشروط بر اینکه واقعه در دادگاه سوم اتفاق افتاده باشد ، به نتایج آزمایشات قبلی بستگی ندارد.

به عنوان مثال، اگر دنباله کارآزمایی ها زنجیره مارکوف را تشکیل دهد و گروه کامل شامل چهار رویداد ناسازگار باشد، و مشخص شود که رویداد در آزمایش ششم رخ داده است، آنگاه احتمال مشروط وقوع رویداد در آزمایش هفتم بستگی ندارد. در مورد چه اتفاقاتی در آزمون های اول، دوم، ...، پنجم ظاهر شد.

توجه داشته باشید که تست های مستقل یک مورد خاص از زنجیره مارکوف هستند. در واقع، اگر آزمون‌ها مستقل باشند، وقوع یک رویداد خاص در هر آزمایشی به نتایج آزمایش‌های قبلی بستگی ندارد. نتیجه این است که مفهوم زنجیره مارکوف تعمیم مفهوم آزمایشات مستقل است.

غالباً هنگام ارائه نظریه زنجیره های مارکوف، اصطلاحات متفاوتی را رعایت می کنند و در مورد یک سیستم فیزیکی خاص صحبت می کنند که در هر لحظه از زمان در یکی از حالات قرار می گیرد: و فقط در لحظات جداگانه ای از زمان تغییر حالت می دهد. این است که سیستم از یک حالت به حالت دیگر (مثلاً از به ) حرکت می کند. برای زنجیره های مارکوف، احتمال رفتن به هر ایالت وجود دارد در حال حاضر فقط به این بستگی دارد که سیستم در آن لحظه در چه وضعیتی بوده است و تغییر نمی کند زیرا حالات آن در لحظات اولیه مشخص می شود. همچنین، به ویژه، پس از آزمایش، سیستم می تواند در همان حالت باقی بماند ("حرکت" از حالتی به حالت دیگر).

برای تشریح، یک مثال را در نظر بگیرید.

مثال 1.بیایید تصور کنیم که ذره ای که روی یک خط مستقیم قرار دارد تحت تأثیر شوک های تصادفی که در لحظاتی اتفاق می افتد در امتداد این خط مستقیم حرکت می کند. یک ذره را می توان در نقاطی با مختصات عدد صحیح قرار داد: ; دیوارهای بازتابنده در نقاط قرار دارند. هر فشار ذره را با احتمال به سمت راست و با احتمال به سمت چپ حرکت می دهد، مگر اینکه ذره نزدیک دیوار باشد. اگر ذره نزدیک دیوار باشد، هر فشاری آن را یک واحد به داخل شکاف بین دیوارها حرکت می دهد. در اینجا می بینیم که این مثال از یک ذره راه رفتن یک زنجیره مارکوف معمولی است.

بنابراین، رویدادها حالت های سیستم نامیده می شوند و آزمایش ها را تغییر در حالات آن می نامند.

اجازه دهید اکنون یک زنجیره مارکوف را با استفاده از اصطلاحات جدید تعریف کنیم.

زنجیره مارکوف با زمان گسسته مداری است که حالت های آن در زمان های ثابت معینی تغییر می کند.

زنجیره مارکوف با زمان پیوسته زنجیره ای است که حالت های آن در هر لحظه ممکن تصادفی در زمان تغییر می کند.

§2. زنجیره مارکوف همگن. احتمالات انتقال ماتریس انتقال

تعریف.اگر احتمال شرطی (انتقال از حالت به حالت) به عدد آزمایشی بستگی نداشته باشد، زنجیره مارکوف همگن نامیده می شود. بنابراین، به جای نوشتن ساده.

مثال 1.پیاده روی تصادفی بگذارید یک ذره مادی روی یک خط مستقیم در نقطه ای با مختصات عدد صحیح وجود داشته باشد. در لحظات معینی از زمان ذره شوک هایی را تجربه می کند. ذره تحت تأثیر یک فشار به احتمال یک واحد به سمت راست و به احتمال یک واحد به سمت چپ حرکت می کند. واضح است که موقعیت (مختصات) یک ذره پس از یک شوک بستگی به این دارد که ذره پس از شوک بلافاصله قبل کجا بوده است و به نحوه حرکت آن تحت تأثیر سایر شوک های قبلی بستگی ندارد.

بنابراین، یک پیاده روی تصادفی نمونه ای از زنجیره مارکوف همگن با زمان گسسته است.

احتمال انتقال احتمال شرطی است که از حالتی (که سیستم در نتیجه آزمایشی، بدون توجه به عددی که در آن قرار گرفت) در نتیجه آزمایش بعدی، سیستم به حالت حرکت کند.

بنابراین، در تعیین، شاخص اول تعداد حالت قبلی را نشان می دهد و دومی تعداد حالت بعدی را نشان می دهد. به عنوان مثال، احتمال انتقال از حالت دوم به حالت سوم است.

بگذارید تعداد حالت ها متناهی و برابر باشد.

ماتریس انتقال یک سیستم، ماتریسی است که شامل تمام احتمالات انتقال این سیستم است:

از آنجایی که هر ردیف از ماتریس شامل احتمالات رویدادهایی (انتقال از همان حالت به هر حالت ممکن) است که یک گروه کامل را تشکیل می دهد، مجموع احتمالات این رویدادها برابر با یک است. به عبارت دیگر، مجموع احتمالات انتقال هر ردیف از ماتریس انتقال برابر با یک است:

اجازه دهید مثالی از ماتریس انتقال یک سیستم ارائه دهیم که می تواند در سه حالت باشد. انتقال از حالت به حالت طبق طرح یک زنجیره مارکوف همگن رخ می دهد. احتمالات انتقال توسط ماتریس داده می شود:

در اینجا می بینیم که اگر سیستم در حالت بود، پس از تغییر حالت در یک مرحله، با احتمال 0.5 در همان حالت باقی می ماند، با احتمال 0.5 در همان حالت باقی می ماند، با احتمال 0.2 به حالت می رود، سپس پس از انتقال ممکن است به حالت ها ختم شود. نمی تواند از حالتی به حالت دیگر حرکت کند. آخرین ردیف ماتریس به ما نشان می دهد که از یک حالت به هر یک از حالت های ممکن با احتمال یکسان 0.1 برویم.

بر اساس ماتریس انتقال سیستم، می توانید یک نمودار وضعیت به اصطلاح سیستم بسازید که به آن گراف حالت برچسب دار نیز می گویند. این برای نمایش بصری مدار مناسب است. بیایید با استفاده از یک مثال به ترتیب ساخت نمودارها نگاه کنیم.

مثال 2.با استفاده از یک ماتریس انتقال داده شده، یک نمودار حالت بسازید.

زیرا ماتریس مرتبه چهارم، سپس، بر این اساس، سیستم دارای 4 حالت ممکن است.

نمودار احتمال انتقال سیستم از یک حالت به همان حالت را نشان نمی دهد. هنگام در نظر گرفتن سیستم های خاص، راحت است ابتدا یک نمودار حالت ساخته شود، سپس احتمال انتقال سیستم از یک حالت به همان حالت (بر اساس این شرط که مجموع عناصر ردیف های ماتریس برابر باشد) تعیین شود. یک)، و سپس یک ماتریس انتقال از سیستم بسازید.

§3. برابری مارکوف

تعریف.اجازه دهید با این احتمال مشخص کنیم که در نتیجه مراحل (تست) سیستم از حالتی به حالت دیگر حرکت می کند. به عنوان مثال، احتمال انتقال در 10 مرحله از حالت دوم به پنجم است.

ما تأکید می کنیم که با به دست آوردن احتمالات انتقال

بیایید یک وظیفه برای خود تعیین کنیم: با دانستن احتمالات انتقال، احتمال انتقال سیستم از حالتی به حالت دیگر را در مراحل مختلف پیدا کنیم.

برای این منظور یک حالت میانی (بین و ) را در نظر می گیریم. به عبارت دیگر، فرض می کنیم که از حالت اولیه در مراحل، سیستم به حالت میانی با احتمال می رود، پس از آن در مراحل باقی مانده از حالت میانی به حالت نهایی با احتمال می رود.

با استفاده از فرمول احتمال کل، به دست می آوریم

. (1)

این فرمول برابری مارکوف نامیده می شود.

توضیح.اجازه دهید نماد زیر را معرفی کنیم:

– رویدادی که به آن علاقه مندیم (در مراحلی که سیستم از حالت اولیه به حالت نهایی حرکت می کند)، بنابراین، ; - فرضیه ها (در مراحل سیستم از حالت اولیه به حالت میانی حرکت می کند)، بنابراین، - احتمال وقوع مشروط به شرطی که فرضیه اتفاق افتاده باشد (در مراحل سیستم از حالت میانی به حالت نهایی حرکت می کند). از این رو،

با توجه به فرمول احتمال کل،

()

یا در نمادی که ما اتخاذ کرده ایم

که با فرمول مارکوف (1) منطبق است.

با دانستن همه احتمالات انتقال، یعنی دانستن ماتریس انتقال از حالت به حالت در یک مرحله، می توانید احتمالات انتقال از حالت به حالت را در دو مرحله و بنابراین خود ماتریس انتقال را پیدا کنید. با استفاده از یک ماتریس شناخته شده، می توانید ماتریس انتقال از حالتی به حالت دیگر را در سه مرحله و غیره پیدا کنید.

در واقع، قرار دادن در برابری مارکوف

,

زنجیره علائم احتمال تصادفی

,

(2)

بنابراین، با استفاده از فرمول (2) می توانید تمام احتمالات و در نتیجه خود ماتریس را پیدا کنید. از آنجایی که استفاده مستقیم از فرمول (2) خسته کننده است و محاسبات ماتریسی سریعتر به هدف منجر می شود، روابط ناشی از (2) را به صورت ماتریسی می نویسم:

با قرار دادن (1)، به طور مشابه به دست می آوریم

به طور کلی

قضیه 1.برای هر s، t

(3)

اثبات بیایید احتمال را محاسبه کنیم با استفاده از فرمول احتمال کل ()، قرار دادن

از برابری ها

از این رو از برابری های (4) و

بیان قضیه را به دست می آوریم.

اجازه دهید ماتریس را تعریف کنیم در ماتریس نماد (3) شکل دارد

از آن زمان ماتریس احتمال انتقال کجاست. از (5) آمده است

(6)

نتایج به‌دست‌آمده در تئوری ماتریس‌ها با استفاده از فرمول (6) برای محاسبه و مطالعه رفتار آن‌ها در زمانی که

مثال 1.ماتریس انتقال مشخص شد ماتریس انتقال را پیدا کنید

راه حل. بیایید از فرمول استفاده کنیم

با ضرب ماتریس ها، در نهایت به دست می آوریم:

.

§4. توزیع ثابت قضیه حد احتمال

توزیع احتمال در یک نقطه دلخواه از زمان را می توان با استفاده از فرمول احتمال کل پیدا کرد

(7)

ممکن است معلوم شود که به زمان بستگی ندارد. بیا تماس بگیریم توزیع ثابتبردار ، احراز شرایط

احتمالات انتقال کجاست

اگر در زنجیره مارکوف سپس برای هر

این عبارت با استقراء از (7) و (8) دنبال می شود.

اجازه دهید فرمول بندی قضیه در مورد احتمالات محدود را برای یک کلاس مهم از زنجیره های مارکوف ارائه کنیم.

قضیه 1. اگر برای برخی > 0 همه عناصر ماتریس مثبت باشند، برای هر , برای

, (9)

جایی که توزیع ثابت با مقداری ثابت که نابرابری 0 را برآورده می کند< ساعت <1.

از آنجا که، پس با توجه به شرایط قضیه، از هر حالتی می توانید به هر حالتی در زمان با احتمال مثبت برسید. شرایط قضیه، زنجیره هایی را که به نوعی تناوبی هستند حذف می کند.

اگر شرایط قضیه 1 برآورده شود، احتمال اینکه سیستم در وضعیت معینی در حد باشد به توزیع اولیه بستگی ندارد. در واقع، از (9) و (7) چنین است که برای هر توزیع اولیه،

اجازه دهید چند نمونه از زنجیره های مارکوف را در نظر بگیریم که شرایط قضیه 1 برای آنها برآورده نشده است. بررسی اینکه چنین نمونه هایی نمونه هستند کار دشواری نیست. در مثال، احتمالات انتقال دارای محدودیت هستند، اما این محدودیت ها به حالت اولیه بستگی دارد. به ویژه، زمانی که

در نمونه های دیگر، محدوده احتمال برای آشکارا وجود ندارد.

بیایید توزیع ثابت را در مثال 1 پیدا کنیم. باید بردار را پیدا کنیم شرایط رضایت بخش (8):

,

;

بنابراین، یک توزیع ثابت وجود دارد، اما همه بردارهای مختصات مثبت نیستند.

برای طرح چند جمله ای، متغیرهای تصادفی برابر با تعداد پیامدهای یک نوع معین معرفی شدند. اجازه دهید مقادیر مشابهی را برای زنجیره های مارکوف معرفی کنیم. اجازه دهید تعداد دفعاتی که سیستم در زمان وارد وضعیت می شود. سپس فرکانس سیستم ضربه به حالت. با استفاده از فرمول (9)، می‌توانیم ثابت کنیم که زمانی که . برای انجام این کار، باید فرمول های مجانبی را برای نابرابری چبیشف بدست آورید و از آن استفاده کنید. در اینجا اشتقاق فرمول برای است. بیایید آن را در فرم نشان دهیم

(10)

کجا، اگر، و در غیر این صورت. زیرا

,

سپس با استفاده از خاصیت انتظار ریاضی و فرمول (9) بدست می آوریم

.

بر اساس قضیه 1، جمله سه گانه در سمت راست این برابری، مجموع جزئی یک سری همگرا است. قرار دادن ، ما گرفتیم

از آنجا که

به ویژه از فرمول (11) چنین بر می آید که

در

شما همچنین می توانید فرمولی را دریافت کنید که برای محاسبه واریانس استفاده می شود.

§5. اثبات قضیه در مورد احتمالات محدود در زنجیره مارکوف

اجازه دهید ابتدا دو لم را ثابت کنیم. بگذاریم

لم 1. برای هر کدام محدودیت هایی وجود دارد

اثبات با استفاده از رابطه (3) به دست می آوریم

بنابراین، توالی ها هم یکنواخت و هم محدود هستند. این حاکی از بیانیه لما 1 است.

لم 2. اگر شرایط قضیه 2 برآورده شود، آنگاه ثابت وجود دارد، به طوری که

برای هرچی

Where , به معنی جمع بر همه که برای آنها مثبت است و جمع بر بقیه است. از اینجا

. (12)

از آنجایی که تحت شرایط قضیه 1 احتمال انتقال برای همه، سپس برای هر

و با توجه به تعداد محدود حالت ها

اکنون تفاوت را تخمین می زنیم . با استفاده از رابطه (3) با , ، بدست می آوریم

از اینجا با استفاده از (8)-(10) پیدا می کنیم

=.

با ترکیب این رابطه با نابرابری (14)، عبارت لم را به دست می آوریم.

برو سراغ اثبات قضیه. از آنجایی که دنباله ها یکنواخت هستند، پس

0<. (15)

از این و لم 1 پیدا می کنیم

بنابراین، هنگامی که شما و

مثبت بودن از نابرابری ناشی می شود (15). با عبور از حد در و در معادله (3)، به دست می آوریم که معادله (12) را برآورده می کند. قضیه ثابت شده است.

§6. کاربردهای زنجیره مارکوف

زنجیره های مارکوف به عنوان مقدمه خوبی برای تئوری فرآیندهای تصادفی عمل می کنند. تئوری توالی های ساده خانواده ای از متغیرهای تصادفی، معمولا بسته به یک پارامتر، که در بیشتر کاربردها نقش زمان را ایفا می کند. هدف اصلی آن توصیف کامل رفتار بلندمدت و محلی یک فرآیند است. در اینجا به برخی از موضوعات مورد مطالعه در این زمینه اشاره می کنیم.

حرکت براونی و تعمیم آن - فرآیندها و فرآیندهای انتشار با افزایش مستقل . تئوری فرآیندهای تصادفی به تعمیق ارتباط بین نظریه احتمال، نظریه عملگرها و نظریه معادلات دیفرانسیل کمک کرد، که از جمله موارد دیگر، برای فیزیک و سایر کاربردها مهم بود. کاربردها شامل فرآیندهای مورد علاقه ریاضیات اکچوئری (بیمه)، تئوری صف، ژنتیک، کنترل ترافیک، تئوری مدار الکتریکی و نظریه موجودی است.

مارتینگالس . این فرآیندها به اندازه کافی خواص زنجیره های مارکوف را حفظ می کنند که قضایای ارگودیک مهم برای آنها معتبر باقی می مانند. تفاوت مارتینگیل ها با زنجیره های مارکوف در این است که وقتی وضعیت فعلی شناخته می شود، تنها انتظارات ریاضی از آینده، اما نه لزوماً خود توزیع احتمال، به گذشته بستگی ندارد. علاوه بر این که نظریه مارتینگال ابزار مهمی برای تحقیق است، نظریه فرآیندهای تصادفی ناشی از آمار، نظریه شکافت هسته ای، ژنتیک و نظریه اطلاعات را با قضایای حدی جدید غنی کرده است.

فرآیندهای ثابت . قدیمی ترین قضیه ارگودیک شناخته شده، همانطور که در بالا ذکر شد، می تواند به عنوان نتیجه توصیف رفتار محدود کننده یک فرآیند تصادفی ثابت تفسیر شود. چنین فرآیندی این خاصیت را دارد که تمام قوانین احتمالی که مطابقت دارد با توجه به جابجایی های زمانی ثابت می مانند. قضیه ارگودیک که برای اولین بار توسط فیزیکدانان به عنوان یک فرضیه فرموله شد، می تواند به عنوان یک بیانیه ارائه شود که در شرایط خاص، میانگین مجموعه با میانگین زمانی منطبق است. این بدان معنی است که اطلاعات یکسانی را می توان از مشاهده طولانی مدت یک سیستم و از مشاهده همزمان (و آنی) بسیاری از نسخه های مستقل از همان سیستم به دست آورد. قانون اعداد بزرگ چیزی نیست جز یک مورد خاص از قضیه ارگودیک بیرخوف. درون یابی و پیش‌بینی رفتار فرآیندهای گاوسی ساکن، که به معنای وسیع درک شده است، به عنوان تعمیم مهم نظریه حداقل مربعات کلاسیک عمل می‌کند. تئوری فرآیندهای ثابت یک ابزار تحقیقاتی ضروری در بسیاری از زمینه ها است، به عنوان مثال، در نظریه ارتباطات که به مطالعه و ایجاد سیستم هایی می پردازد که پیام ها را در حضور نویز یا تداخل تصادفی منتقل می کنند.

فرآیندهای مارکوف (فرآیندهای بدون عواقب) نقش بزرگی در مدل‌سازی سیستم‌های صف (QS) و همچنین در مدل‌سازی و انتخاب استراتژی برای مدیریت فرآیندهای اجتماعی-اقتصادی در حال وقوع در جامعه ایفا می‌کنند.

از زنجیره مارکوف نیز می توان برای تولید متون استفاده کرد. چندین متن به عنوان ورودی ارائه می شود، سپس یک زنجیره مارکوف با احتمالات یک کلمه پس از دیگری ساخته می شود و متن حاصل بر اساس این زنجیره ایجاد می شود. این اسباب بازی بسیار سرگرم کننده است!

نتیجه

بنابراین، در کار دوره ما در مورد مدار زنجیره مارکوف صحبت می کردیم. ما آموختیم که در چه زمینه‌هایی و چگونه از آن استفاده می‌شود، آزمون‌های مستقل قضیه محدود کردن احتمالات را در زنجیره مارکوف اثبات کردند، مثال‌هایی را برای یک زنجیره مارکوف معمولی و همگن و همچنین برای یافتن ماتریس انتقال ارائه کردند.

ما دیدیم که طرح زنجیره مارکوف تعمیم مستقیم طرح تست مستقل است.

فهرست ادبیات استفاده شده

1. چیستیاکوف V.P. درس تئوری احتمال. ویرایش ششم، برگردان − سن پترزبورگ: انتشارات Lan, 2003. − 272 p. − (کتاب درسی دانشگاه ها. ادبیات خاص).

2. Gnedenko B.V. درس تئوری احتمال.

3. Gmurman V.E. نظریه احتمالات و آمار ریاضی.

4. Ventzel E.S. نظریه احتمال و کاربردهای مهندسی آن

5. Kolmogorov A.N.، Zhurbenko I.G.، Prokhorov A.V. مقدمه ای بر نظریه احتمال. − Moscow-Izhevsk: Institute of Computer Research, 2003, 188 pp.

6. Katz M. احتمال و مسائل مربوط به فیزیک.

(آندری آندریویچ مارکوف (1856-1922) - ریاضیدان روسی، آکادمیک)

تعریف. فرآیندی که در یک سیستم فیزیکی رخ می دهد نامیده می شود مارکوفسکی، اگر در هر لحظه از زمان احتمال هر حالتی از سیستم در آینده فقط به وضعیت سیستم در لحظه فعلی بستگی دارد و بستگی به نحوه رسیدن سیستم به این حالت ندارد.

تعریف. زنجیر مارکوفدنباله ای از آزمایشات نامیده می شود، که در هر یک از آنها فقط یکی از آزمایشات کرویدادهای ناسازگار Aiاز گروه کامل در این مورد، احتمال مشروط پیج(اس) چه چیزی در اس-ام آزمون رویداد خواهد آمد Ajمشروط بر اینکه در ( اس – 1 ) - رویداد در حین آزمایش رخ داده است Ai، به نتایج آزمایشات قبلی بستگی ندارد.

محاکمه های مستقل یک مورد خاص از زنجیره مارکوف است. رویدادها نامیده می شوند حالات سیستمیو آزمایشات - تغییرات در وضعیت سیستم.

بر اساس ماهیت تغییرات در حالت ها، زنجیره های مارکوف را می توان به دو گروه تقسیم کرد.

تعریف. زنجیره مارکوف زمان گسستهبه مداری گفته می شود که حالت های آن در لحظه های ثابت معینی در زمان تغییر می کند. زنجیره مارکوف زمان پیوستهبه مداری گفته می شود که حالت آن می تواند در هر لحظه تصادفی در زمان تغییر کند.

تعریف. همگندر صورت احتمال شرطی به آن زنجیره مارکوف می گویند پیجانتقال سیستم از دولت من در ایالت جیبه شماره آزمون بستگی ندارد. احتمال پیجتماس گرفت احتمال انتقال.

فرض کنید تعداد حالات متناهی و مساوی باشد ک.

سپس ماتریس متشکل از احتمالات انتقال شرطی به صورت زیر خواهد بود:

این ماتریس نامیده می شود ماتریس انتقال سیستم.

از آنجایی که هر ردیف شامل احتمالات رویدادهایی است که یک گروه کامل را تشکیل می دهند، بدیهی است که مجموع عناصر هر ردیف از ماتریس برابر با یک است.

بر اساس ماتریس انتقال سیستم، می توان به اصطلاح ساخت نمودار وضعیت سیستم، همچنین نامیده می شود نمودار وضعیت با برچسب. این برای نمایش بصری مدار مناسب است. بیایید با استفاده از یک مثال به ترتیب ساخت نمودارها نگاه کنیم.

مثال.با استفاده از یک ماتریس انتقال داده شده، یک نمودار حالت بسازید.

از آنجایی که ماتریس از مرتبه چهارم است، بنابراین، بر این اساس، سیستم دارای 4 حالت ممکن است.

نمودار احتمال انتقال سیستم از یک حالت به همان حالت را نشان نمی دهد. هنگام در نظر گرفتن سیستم های خاص، راحت است ابتدا یک نمودار حالت ساخته شود، سپس احتمال انتقال سیستم از یک حالت به همان حالت (بر اساس این شرط که مجموع عناصر ردیف های ماتریس برابر باشد) تعیین شود. یک)، و سپس یک ماتریس انتقال از سیستم بسازید.

اجازه دهید پیج(ن) - احتمال اینکه در نتیجه نتست سیستم از ایالت خواهد رفت مندر یک ایالت جی, آر - برخی از حالت های میانی بین دولت ها من و جی. احتمال انتقال از یک حالت به حالت دیگر پیج(1) = پیج.

سپس احتمال پیج(ن) را می توان با استفاده از فرمولی به نام یافت برابری مارکوف:

اینجا تی- تعداد مراحل (آزمایشی) که طی آن سیستم از حالت انتقال می یابد من در ایالت آر.

در اصل، برابری مارکوف چیزی نیست جز یک فرمول کمی اصلاح شده برای احتمال کل.

دانستن احتمالات انتقال (یعنی دانستن ماتریس انتقال P1) می توانیم احتمالات انتقال از حالت به حالت را در دو مرحله پیدا کنیم پیج(2) ، یعنی ماتریس P2، دانستن آن - ماتریس را پیدا کنید P3، و غیره.

استفاده مستقیم از فرمول به دست آمده در بالا خیلی راحت نیست، بنابراین، می توانید از تکنیک های محاسبه ماتریس استفاده کنید (در نهایت، این فرمول اساسا چیزی بیش از یک فرمول برای ضرب دو ماتریس نیست).

سپس به شکل کلی می توانیم بنویسیم:

به طور کلی، این واقعیت معمولاً در قالب یک قضیه فرموله می شود، با این حال، اثبات آن بسیار ساده است، بنابراین من آن را ارائه نمی دهم.

مثال.ماتریس انتقال مشخص شد P1. ماتریس را پیدا کنید P3.

تعریف. ماتریس هایی که مجموع عناصر تمام ردیف ها برابر با یک باشد نامیده می شوند تصادفی. اگر برای برخی پتمام عناصر ماتریس Rpبرابر با صفر نیستند، پس چنین ماتریس انتقالی نامیده می شود منظم.

به عبارت دیگر، ماتریس های انتقال منظم یک زنجیره مارکوف را تعریف می کنند که در آن می توان به هر حالت دست یافت پقدم از هر ایالت چنین زنجیره های مارکوف نیز نامیده می شود منظم.

قضیه. (قضیه حد احتمال) اجازه دهید یک زنجیره مارکوف منظم با n حالت داده شود و P ماتریس احتمال انتقال آن باشد. سپس یک حد و یک ماتریس P (¥ ) دارای فرم:

فرآیند مارکوف- یک فرآیند تصادفی در سیستم رخ می دهد که دارای این ویژگی است: برای هر لحظه از زمان t 0، احتمال هر حالتی از سیستم در آینده (در t>t 0) فقط به وضعیت آن در زمان حال بستگی دارد. t = t 0) و بستگی به زمان و نحوه رسیدن سیستم به این حالت (یعنی نحوه توسعه فرآیند در گذشته) ندارد.

در عمل، ما اغلب با فرآیندهای تصادفی مواجه می شویم که با درجات مختلف تقریب، می توان آنها را مارکویی در نظر گرفت.

هر فرآیند مارکوف با استفاده از احتمالات حالت و احتمالات انتقال توصیف می شود.

احتمالات حالات P k (t) یک فرآیند مارکوفاحتمالاتی هستند که فرآیند تصادفی (سیستم) در زمان t در حالت S k باشد:

احتمالات انتقال یک فرآیند مارکوفاحتمالات انتقال یک فرآیند (سیستم) از یک حالت به حالت دیگر است:

فرآیند مارکوف نامیده می شود همگن، اگر احتمالات انتقال در واحد زمان به جایی از محور زمانی که انتقال رخ می دهد بستگی ندارد.

ساده ترین فرآیند این است زنجیر مارکوف- فرآیند تصادفی مارکوف با زمان گسسته و مجموعه ای از حالات محدود گسسته.

وقتی تجزیه و تحلیل می شود، زنجیره های مارکوف هستند نمودار حالتکه روی آن تمامی حالت های زنجیره (سیستم) و احتمالات غیر صفر در یک مرحله مشخص شده است.

یک زنجیره مارکوف را می توان به گونه ای تصور کرد که گویی نقطه ای که یک سیستم را نشان می دهد به طور تصادفی در نمودار حالت حرکت می کند و در یک مرحله از حالتی به حالت دیگر می کشد یا چندین مرحله در همان حالت باقی می ماند.

احتمالات انتقال یک زنجیره مارکوف در یک مرحله به صورت ماتریس P=||P ij || نوشته می شود که به آن ماتریس احتمال انتقال یا به سادگی ماتریس انتقال می گویند.

مثال: مجموعه ای از حالات دانشجویان این رشته تخصصی به شرح زیر است:

S 1 - دانشجوی سال اول؛

S 2 – سال دوم…;

S 5 - دانش آموز سال پنجم؛

S 6 - متخصصی که از دانشگاه فارغ التحصیل شده است.

S 7 - شخصی که در دانشگاه تحصیل کرده است، اما فارغ التحصیل نشده است.

از حالت S 1 در طی یک سال، انتقال به حالت S 2 با احتمال r 1 امکان پذیر است. S 1 با احتمال q 1 و S 7 با احتمال p 1 و:

r 1 + q 1 + p 1 = 1.

بیایید یک نمودار حالت برای این زنجیره مارکوف بسازیم و آن را با احتمالات انتقال (غیر صفر) علامت گذاری کنیم.

بیایید یک ماتریس از احتمالات انتقال ایجاد کنیم:

ماتریس های انتقال دارای ویژگی های زیر هستند:

همه عناصر آنها غیر منفی هستند.

مجموع ردیف آنها برابر با یک است.

ماتریس هایی با این خاصیت تصادفی نامیده می شوند.

ماتریس های انتقال به شما این امکان را می دهند که احتمال هر مسیر زنجیره مارکوف را با استفاده از قضیه ضرب احتمال محاسبه کنید.

برای زنجیره های مارکوف همگن، ماتریس های انتقال به زمان بستگی ندارند.

هنگام مطالعه زنجیره های مارکوف، مواردی که بیشترین علاقه را دارند عبارتند از:

احتمالات انتقال در m گام.

توزیع بر روی حالت ها در مرحله m→∞.

میانگین زمان صرف شده در یک وضعیت خاص؛

میانگین زمان بازگشت به این حالت.

یک زنجیره مارکوف همگن با n حالت در نظر بگیرید. برای به دست آوردن احتمال انتقال از حالت Si به حالت Sj بر حسب m گام، مطابق با فرمول احتمال کل، باید حاصل ضرب احتمال انتقال از حالت Si به حالت میانی Sk در l گام با احتمال جمع شود. انتقال از Sk به Sj در مراحل m-l باقیمانده، یعنی .

این رابطه برای همه i=1، …، n است. j=1، …،n را می توان به عنوان حاصل ضرب ماتریس ها نشان داد:

P(m)=P(l)*P(m-l).

بدین ترتیب داریم:

P(2)=P(1)*P(1)=P 2

P(3)=P(2)*P(1)=P(1)*P(2)=P 3 و غیره.

P(m)=P(m-1)*P(1)=P(1)*P(M-1)=Pm,

که امکان یافتن احتمالات انتقال بین حالت ها را در هر تعداد مرحله ممکن می سازد، دانستن ماتریس انتقال در یک مرحله، یعنی P ij (m) - یک عنصر از ماتریس P(m) احتمال حرکت از حالت S است. i برای حالت S j در m گام.

مثال: آب و هوا در یک منطقه خاص به طور متناوب بین بارانی و خشک در دوره های زمانی طولانی است. اگر باران ببارد، به احتمال 0.7 روز بعد باران خواهد آمد. اگر در یک روز معین هوا خشک باشد، به احتمال 0.6 روز بعد ادامه خواهد داشت. معلوم است که روز چهارشنبه هوا بارانی بود. احتمال اینکه جمعه آینده بارانی باشد چقدر است؟

بیایید تمام حالات زنجیره مارکوف را در این مسئله بنویسیم: D - هوای بارانی، C - هوای خشک.

بیایید یک نمودار حالت بسازیم:

پاسخ: p 11 = p (D پاشنه | D avg) = 0.61.

محدودیت های احتمال р 1 (m)، р 2 (m)،…، р n (m) برای m→∞، در صورت وجود، نامیده می شوند. محدود کردن احتمالات حالت ها.

قضیه زیر قابل اثبات است: اگر در زنجیره مارکوف بتوانید از هر حالت + (در تعداد مراحل معین) به یکدیگر بروید، احتمالات محدود کننده حالت ها وجود دارد و به حالت اولیه سیستم بستگی ندارد. .

بنابراین، به عنوان m→∞، یک رژیم ثابت محدود کننده معین در سیستم برقرار می شود که در آن هر یک از حالات با احتمال ثابت معینی رخ می دهد.

بردار p که از احتمالات حاشیه ای تشکیل شده است، باید این رابطه را برآورده کند: p=p*P.

میانگین زمان صرف شده در ایالت S i برای زمان T برابر است با p i *T، جایی که p i - احتمال حاشیه ای حالت S i. میانگین زمان بازگشت به حالت S i برابر است با

مثال.

برای بسیاری از مشکلات اقتصادی، دانستن تناوب سال ها با مقادیر معینی از جریان سالانه رودخانه ضروری است. البته این تناوب را نمی توان به طور مطلق و دقیق تعیین کرد. برای تعیین احتمالات تناوب (انتقال)، جریانها را با معرفی چهار درجه بندی (حالت سیستم) تقسیم می کنیم: اول (کمترین جریان)، دوم، سوم، چهارم (بیشترین جریان). برای قطعیت، فرض می کنیم که درجه بندی اول به دلیل تجمع رطوبت (در زمین، مخزن و غیره) هرگز با درجه چهارم دنبال نمی شود و درجه چهارم به دلیل انباشته شدن رطوبت. مشاهدات نشان داده است که در یک منطقه خاص، انتقال های دیگری ممکن است، و:

الف) از درجه بندی اول می توانید به هر یک از درجه بندی های میانی دو برابر بیشتر از درجه بندی اول حرکت کنید، یعنی.

p 11 = 0.2; p 12 = 0.4; p 13 = 0.4; p 14 = 0;

ب) از درجه‌بندی چهارم، انتقال به درجه‌بندی دوم و سوم، چهار و پنج برابر بیشتر از بازده‌هایی مانند درجه دوم اتفاق می‌افتد، یعنی.

سخت، یعنی

در چهارم، یعنی.

p 41 = 0; p 42 = 0.4; p 43 = 0.5; p 44 = 0.1;

ج) از درجه دوم به درجه های دیگر فقط می تواند کمتر باشد: در اول - دو برابر کمتر، در سوم 25٪، در چهارم - چهار برابر کمتر از انتقال به دوم، یعنی.

p 21 = 0.2; p 22 = 0.4; p 23 = 0.3; p 24 = 0.1;

د) از درجه سوم، انتقال به درجه دوم به اندازه بازگشت به درجه سوم محتمل است و انتقال به درجه اول و چهارم چهار برابر کمتر است، یعنی.

p 31 = 0.1; p 32 = 0.4; p 33 = 0.4; p 34 = 0.1;

بیایید یک نمودار بسازیم:

بیایید یک ماتریس از احتمالات انتقال ایجاد کنیم:

بیایید میانگین زمان بین خشکسالی و سالهای پرآب را پیدا کنیم. برای انجام این کار، باید توزیع حد را پیدا کنید. وجود دارد زیرا شرط قضیه برآورده می شود (ماتریس P2 حاوی عناصر صفر نیست، یعنی در دو مرحله می توانید از هر حالت سیستم به حالت دیگر بروید).

جایی که p 4 = 0.08; p 3 =; p 2 =; p 1 = 0.15

فرکانس بازگشت به حالت S i برابر است با .

در نتیجه فراوانی سالهای خشک به طور متوسط ​​85/6 است، یعنی. 6-7 سال و سال بارانی 12.