فرآیندهای مارکوف چند بعدی روش های تئوری فرآیندهای مارکوف. زنجیر مارکوف گسسته مثال
بسیاری از عملیاتی که باید هنگام انتخاب یک راه حل بهینه تجزیه و تحلیل شوند، بسته به تعدادی از عوامل تصادفی به عنوان فرآیندهای تصادفی توسعه می یابند.
برای توصیف ریاضی بسیاری از عملیات‌هایی که در قالب یک فرآیند تصادفی توسعه می‌یابند، می‌توان دستگاه ریاضی توسعه‌یافته در نظریه احتمال برای به اصطلاح فرآیندهای تصادفی مارکوف را با موفقیت به کار برد.
اجازه دهید مفهوم فرآیند تصادفی مارکوف را توضیح دهیم.
بگذار یک سیستم وجود داشته باشد اس،که وضعیت آن در طول زمان تغییر می کند (تحت سیستم اسمی تواند به معنای هر چیزی باشد: یک شرکت صنعتی، یک دستگاه فنی، یک تعمیرگاه و غیره). اگر وضعیت سیستم اسدر طول زمان به صورت تصادفی و غیرقابل پیش بینی از قبل تغییر می کند، آنها می گویند که در سیستم اسنشت می کند فرآیند تصادفی
نمونه هایی از فرآیندهای تصادفی:
نوسانات قیمت در بورس؛
خدمات مشتری در آرایشگاه یا تعمیرگاه؛
اجرای طرح تامین برای گروهی از بنگاه ها و غیره
سیر خاص هر یک از این فرآیندها به تعدادی از عوامل تصادفی و غیرقابل پیش بینی قبلی بستگی دارد، مانند:
ورود اخبار غیر قابل پیش بینی از تغییرات سیاسی در بورس؛
ماهیت تصادفی جریان برنامه های کاربردی (نیازمندی ها) که از مشتریان می آید.
وقفه های تصادفی در اجرای طرح تامین و غیره
تعریف. فرآیند تصادفی که در یک سیستم اتفاق می افتد نامیده می شود مارکویان(یا فرآیند بدون عواقب) در صورتی که دارای خاصیت زیر باشد: برای هر لحظه از زمان تی 0 احتمال هر حالتی از سیستم در آینده (با t > t 0)فقط به وضعیت آن در زمان حال بستگی دارد (با t = t 0)و بستگی به زمان و نحوه رسیدن سیستم به این وضعیت ندارد (یعنی نحوه پیشرفت فرآیند در گذشته).
به عبارت دیگر، در یک فرآیند تصادفی مارکوف، توسعه آینده آن تنها به وضعیت فعلی بستگی دارد و به «پیش تاریخ» این فرآیند بستگی ندارد.
بیایید به یک مثال نگاه کنیم. اجازه دهید سیستم اسنشان دهنده بازار سهامی است که مدتی در اطراف بوده است. ما علاقه مندیم که این سیستم در آینده چگونه کار کند. حداقل با تقریب اول واضح است که ویژگی های عملکرد آتی (احتمال کاهش قیمت یک سهم خاص در یک هفته) به وضعیت سیستم در لحظه بستگی دارد (عوامل مختلفی مانند همانطور که تصمیمات دولت یا نتایج انتخابات می تواند در اینجا دخالت کند) و به زمان و چگونگی رسیدن سیستم به وضعیت فعلی خود بستگی ندارد (به ماهیت حرکت قیمت این سهام در گذشته بستگی ندارد).
در عمل، ما اغلب با فرآیندهای تصادفی مواجه می شویم که با درجات مختلف تقریب، می توان آنها را مارکویی در نظر گرفت.
تئوری فرآیندهای تصادفی مارکوف طیف وسیعی از کاربردهای مختلف دارد. ما عمدتاً علاقه مند به استفاده از نظریه فرآیندهای تصادفی مارکوف در ساخت مدل های ریاضی عملیات خواهیم بود که سیر و نتیجه آن به طور قابل توجهی به عوامل تصادفی بستگی دارد.
فرآیندهای تصادفی مارکوف به دو دسته تقسیم می شوند کلاس هابسته به اینکه سیستم S" چگونه و در چه نقاطی از زمان می تواند حالات خود را تغییر دهد.
تعریف. فرآیند تصادفی نامیده می شود فرآیند با حالت های گسسته،در صورت امکان وضعیت سیستم s x، s 2، s v... را می توان یکی پس از دیگری لیست کرد (شماره گذاری کرد) و خود فرآیند این است که هر از گاهی سیستم اسبه طور ناگهانی (فوری) از حالتی به حالت دیگر می پرد.
به عنوان مثال توسعه پروژه اسبه طور مشترک توسط دو بخش انجام می شود که هر کدام ممکن است اشتباه کنند. حالت های سیستم زیر امکان پذیر است:
5، - هر دو بخش به طور معمول کار می کنند.
س 2 - بخش اول اشتباه کرد، بخش دوم به خوبی کار می کند.
س 3 - بخش دوم اشتباه کرد، بخش اول به خوبی کار می کند.
س 4 - هر دو بخش اشتباه کردند.
فرآیندی که در سیستم انجام می شود به این صورت است که به طور تصادفی در برخی مقاطع زمانی از حالتی به حالت دیگر حرکت می کند («پرش»). این سیستم در مجموع دارای چهار حالت ممکن است. پیش روی ما فرآیندی با حالت های گسسته است.
علاوه بر فرآیندهایی با حالت های گسسته، وجود دارد فرآیندهای تصادفی با حالت های پیوسته: این فرآیندها با انتقال تدریجی و آرام از حالتی به حالت دیگر مشخص می شوند. به عنوان مثال، فرآیند تغییر ولتاژ در یک شبکه روشنایی یک فرآیند تصادفی با حالت های پیوسته است.
ما فقط فرآیندهای تصادفی با حالت های گسسته را در نظر خواهیم گرفت.
هنگام تجزیه و تحلیل فرآیندهای تصادفی با حالت های گسسته، استفاده از یک طرح هندسی - به اصطلاح گراف حالت - بسیار راحت است. نمودار حالتحالت های ممکن سیستم و انتقال های احتمالی آن از حالتی به حالت دیگر را به صورت هندسی به تصویر می کشد.
بگذار یک سیستم وجود داشته باشد اسبا حالت های گسسته:
هر حالت با یک مستطیل نمایش داده می شود و انتقال های احتمالی ("پرش") از حالتی به حالت دیگر با فلش هایی که این مستطیل ها را به هم متصل می کنند نشان داده می شود. نمونه ای از نمودار حالت در شکل نشان داده شده است. 4.1.
توجه داشته باشید که فلش ها فقط انتقال مستقیم از حالت به حالت را نشان می دهند. اگر سیستم بتواند از حالت انتقال یابد s 2در 5 3 فقط از طریق s yسپس فلش ها فقط انتقال ها را نشان می دهند s 2-> و l، 1 -> 5 3، اما نه s 2 -» s yبیایید به چند نمونه نگاه کنیم:
1. سیستم اس- شرکتی که می تواند در یکی از پنج حالت ممکن باشد: s]- با سود کار می کند.
s 2- چشم انداز توسعه خود را از دست داد و تولید سود را متوقف کرد.
5 3 - تبدیل به یک شی برای تصاحب بالقوه;
s 4- تحت کنترل خارجی است.
s 5- اموال شرکت منحل شده در مزایده فروخته می شود.
نمودار وضعیت شرکت در شکل نشان داده شده است. 4.2.
برنج. 4.2
- 2. سیستم اس- یک بانک با دو شعبه حالت های سیستم زیر امکان پذیر است:
- 5، - هر دو شعبه با سود کار می کنند.
س 2 - شعبه اول بدون سود و دومی با سود کار می کند.
5 3 - شعبه دوم بدون سود عمل می کند، اولی با سود عمل می کند.
س 4 - هر دو شعبه بدون سود فعالیت می کنند.
فرض بر این است که هیچ بهبودی در وضعیت وجود ندارد.
نمودار وضعیت در شکل نشان داده شده است. 4.3. توجه داشته باشید که نمودار انتقال احتمالی از حالت را نشان نمی دهد s]مستقیما به s4،که اگر بانک محقق شود فورابا ضرر عمل خواهد کرد. همانطور که تمرین تأیید می کند، می توان از احتمال چنین رویدادی غفلت کرد.
برنج. 4.3
3. سیستم اس- یک شرکت سرمایه گذاری متشکل از دو معامله گر (بخش): I و II. هر یک از آنها ممکن است در مقطعی از زمان با ضرر شروع به کار کنند. اگر این اتفاق بیفتد، مدیریت شرکت بلافاصله اقداماتی را برای بازگرداندن عملکرد سودآور بخش انجام می دهد.
سیستم احتمالی می گوید: س- فعالیت های هر دو بخش سودآور است. s 2- بخش اول در حال بازسازی است، بخش دوم با سود کار می کند.
s 3- بخش اول با سود کار می کند ، بخش دوم در حال بازسازی است.
s 4- هر دو بخش در حال بازسازی هستند.
نمودار وضعیت سیستم در شکل نشان داده شده است. 4.4.
4. در شرایط مثال قبل، فعالیت های هر تاجر قبل از اینکه شروع به احیای کار سود بخش بخش کند، توسط مدیریت شرکت مورد مطالعه قرار می گیرد تا اقداماتی در جهت بهبود آن انجام شود.
برای راحتی، ما وضعیت های سیستم را نه با یک، بلکه با دو شاخص شماره گذاری می کنیم. اولین مورد به معنای وضعیت اولین معامله گر است (1 - با سود کار می کند ، 2 - فعالیت های وی توسط مدیریت مطالعه می شود ، 3 - فعالیت سودآور بخش را بازیابی می کند). دوم - همان حالات برای معامله گر دوم. مثلا، س 23به این معنی است: فعالیت های تاجر اول در حال مطالعه است، دومی در حال بازسازی کار سودآور است.
حالت های احتمالی سیستم س:
تو- فعالیت های هر دو تاجر سود می بخشد.
s l2- معامله گر اول با سود کار می کند ، فعالیت های دومی توسط مدیریت شرکت مطالعه می شود.
5 13 - تاجر اول با سود کار می کند ، دومی فعالیت سودآور بخش را بازیابی می کند.
s 2l- فعالیت های معامله گر اول توسط مدیریت مطالعه می شود، دومی با سود کار می کند.
س 22 - فعالیت های هر دو معامله گر توسط مدیریت مطالعه می شود.
- 5 23 - کار تاجر اول مطالعه می شود، معامله گر دوم فعالیت های سودآور بخش را بازیابی می کند.
- 5 31 - معامله گر اول فعالیت های سودآور بخش را بازیابی می کند ، دومی با سود کار می کند.
- 5 32 - فعالیت سودآور بخش توسط تاجر اول احیا می شود ، کار تاجر دوم مطالعه می شود.
- 5 33 - هر دو تاجر کار سودآور بخش خود را بازیابی می کنند.
در مجموع 9 ایالت وجود دارد. نمودار وضعیت در شکل نشان داده شده است. 4.5.
از تعریف یک فرآیند مارکوف که در بخش 5.1.6، و همچنین مستقیماً از فرمول (5.6) ارائه شده است، چنین است.
چگالی شرطی
چگالی احتمال انتقال یک فرآیند مارکوف از حالت y در زمان s به حالت x در زمان t نامیده می شود.
با استفاده از فرمول (2.57)، چگالی احتمال چند بعدی (از هر مرتبه محدود) فرآیند مارکوف را تعیین می کنیم.
فرمول (5.60) به معنی فاکتورسازی چگالی احتمال چند بعدی یک فرآیند مارکوف است - نمایش آن به عنوان محصول چگالی یک بعدی و چگالی احتمال انتقال. شرط فاکتورسازی (5.60) چگالی چند بعدی یکی از ویژگی های فرآیندهای مارکوف است (مقایسه با یک شرط فاکتورسازی ساده تر (5.4) برای فرآیندهایی با مقادیر مستقل).
چگالی یک بعدی و چگالی احتمال انتقال با رابطه مرتبط هستند
چگالی احتمال انتقال یک فرآیند مارکوف یک تابع توزیع شرطی دلخواه نیست که فقط شرایط معمول عدم منفی بودن و عادی سازی را برآورده کند، به عنوان مثال. همچنین باید برخی از معادلات انتگرال را برآورده کند. در واقع، از (5.60) در ما داریم
با ادغام هر دو طرف این برابری بیش از , به دست می آوریم
و از
معادله انتگرال (5.62) معادله کولموگروف-چپمن نامیده می شود.
5.4.2. فرآیندهای مارکوف همگن
اگر توزیع احتمال یک فرآیند مارکوف نسبت به یک شیفت زمانی ثابت باشد، آن را همگن (ایستا) می نامند. در این حالت، چگالی احتمال انتقال (5.59) تنها به یک پارامتر زمان بستگی دارد.
شرط فاکتورسازی برای چگالی چند بعدی یک فرآیند مارکوف همگن به شکل نوشته شده است) [نگاه کنید به (5.60)]
توجه داشته باشید که کلاس فرآیندهای مارکوف همگن با کلاس در نظر گرفته شده فرآیندهای تصادفی همگن با افزایش مستقل منطبق است.
5.4.3. فرآیند مارکوف متصل را چند برابر کنید.
اگر چگالی احتمال انتقال به k مقدار قبلی فرآیند بستگی داشته باشد، ما یک فرآیند مارکوف را متصل می‌نامیم. (5.58)]:
شرط فاکتورسازی برای چگالی چند بعدی یک فرآیند مارکوف متصل به صورت نوشته شده است
و معادله کولموگروف-چپمن
5.4.4. وکتور فرآیند مارکوف.
مجموعه ای از فرآیندهای تصادفی یک فرآیند مارکوف بردار را تشکیل می دهند در صورتی که برای توصیف احتمالی کامل این مجموعه، دانستن توزیع مشترک لازم و کافی است.
و توزیع مشروط
یا چگالی احتمال انتقال مربوطه
با جایگزینی - (5.62) مقادیر اسکالر با مقادیر برداری، روابط مربوطه را برای فرآیند مارکوف بردار بدست می آوریم.
هر یک از فرآیندهای تصادفی متعلق به مجموعه‌ای که فرآیند مارکوف بردار را تشکیل می‌دهند، جزء فرآیند مارکوف بردار نامیده می‌شوند، اما به طور کلی، فرآیند مارکوف اسکالر نیست.
اجازه دهید به ارتباط بین بردار و فرآیندهای مارکوف متصل ضربی توجه کنیم: یک دنباله مارکوف متصل به هم می تواند به عنوان یک بردار (اندازه k) دنباله مارکوف تفسیر شود.
5.4.5. فرآیند گاوسی مارکوف.
یک فرآیند مارکوف در صورتی گوسی نامیده می شود که توزیع آن از قانون توزیع احتمال نرمال پیروی کند (به بخش 5.2.1 مراجعه کنید). همانطور که برای هر فرآیند گاوسی، تابع همبستگی فرآیند مارکوف گاوسی توصیف احتمالی کامل آن را ارائه می دهد. می توان ثابت کرد که یک فرآیند تصادفی یک فرآیند مارکوف گاوسی مرکزی است اگر و تنها در صورتی که تابع همبستگی آن معادله را برآورده کند.
برای یک فرآیند مارکوف گاوسی همگن، شرط (5.71) با استفاده از یک تابع همبستگی نرمال شده نوشته شده است، که طبیعتاً به یک آرگومان بستگی دارد.
معادله (5.72) به جز جواب ساده، راه حل منحصر به فردی دارد
بنابراین، یک فرآیند گاوسی ساکن مرکز با پراکندگی مارکوین است اگر و تنها در صورتی که تابع همبستگی آن باشد (شکل 5.4).
یا چگالی طیفی توان فرآیند مربوطه (شکل 5.5)
از (5.74) و بر این اساس از (5.75) نتیجه می شود که یک فرآیند مارکوف گاوسی همگن در مجذور میانگین پیوسته است، اما مسئله 5.6 نیز در مجذور میانگین قابل تمایز نیست.
برنج. 5.4. تابع همبستگی عادی یک فرآیند مارکوف گاوسی همگن
برنج. 5.5. چگالی طیفی توان یک فرآیند مارکوف گاوسی همگن
5.4.6. سکانس گاوسی مارکوف.
بگذارید دنباله ای از متغیرهای تصادفی گاوسی مرکزی با واریانس و ضرایب همبستگی باشد برای اینکه این دنباله مارکویی باشد لازم و کافی است که
برای یک دنباله مارکوف گاوسی ثابت، از (5.76) به شرح زیر است
ضریب همبستگی بین دو عضو مجاور دنباله کجاست.
هر دنباله‌ای از یک دنباله مارکوف گاوسی نیز گاوسی، مارکوفی است.
5.4.7. معادله دیفرانسیل برای چگالی احتمال انتقال یک فرآیند مارکوف پیوسته.
حل معادله انتگرال کولموگروف-چپمن (5.62) کار دشواری است. تعیین چگالی احتمال انتقال یک فرآیند مارکوف را می توان به حل یک معادله دیفرانسیل کاهش داد اگر ما خود را به فرآیندهای پیوسته محدود کنیم. اگر حرکات قابل توجه فقط با احتمال کم در دوره های زمانی کوتاه امکان پذیر باشد، فرآیند مارکوف پیوسته نامیده می شود. به طور دقیق تر، این بدان معنی است که هر چه باشد
تحقق یک فرآیند مارکوف پیوسته با احتمال یک پیوسته است.
از معادله (5.62) با فرض و تغییر نامگذاری متغیرها به دست می آید
علاوه بر این، بدیهی است که
از دو برابری آخر به دست می آید
اجازه دهید فرض کنیم که چگالی احتمال انتقال را می توان به یک سری تیلور گسترش داد
جایگزینی (5.80) به (5.79)، تقسیم هر دو طرف و عبور از حد در نتیجه
5.4.8. فرآیندهای انتشار
اگر توابع متناهی به غیر از صفر و برای هستند، فرآیند مارکوف پیوسته انتشار نامیده می شود. از (5.81) نتیجه می شود که چگالی احتمال انتقال فرآیند انتشار معادله دیفرانسیل جزئی را برآورده می کند.
معادله معکوس کولموگروف نامیده می شود.
به طور مشابه، می توان ثابت کرد که چگالی احتمال انتقال فرآیند انتشار معادله مستقیم کولموگروف را برآورده می کند:
ضریب رانش، و
ضریب انتشار.
معادله مستقیم کولموگروف (5.84) با نام معادله فوکر-پلاوکا نیز شناخته می شود. معادلات (5.83) و (5.84) متعلق به کلاس معادلات دیفرانسیل جزئی سهموی هستند. در (5.83) متغیرها هستند و متغیرهای y و T فقط در شرط گنجانده شده اند. در (5.84) متغیرها y هستند و و t فقط از طریق شرط اولیه وارد می شوند. برای مثال، روش هایی برای حل معادلات کولموگروف در نظر گرفته می شود.
5.4.9. فرآیندهای انتشار ثابت
برای فرآیندهای انتشار ثابت، ضرایب رانش (5.85) و انتشار (5.86) به پارامتر زمان بستگی ندارند و چگالی احتمال انتقال فقط به تفاوت بستگی دارد. سپس از (5.84) بدست می آوریم
با شرایط اولیه
اگر محدودیتی در چگالی احتمال انتقال وجود داشته باشد که به حالت اولیه بستگی نداشته باشد، آن را تابع توزیع محدود کننده یک فرآیند منتشر ثابت می نامند.
از (5.88) چنین می شود که . بنابراین، تابع توزیع حد را می توان از معادله دیفرانسیل معمولی مرتبه اول یافت
که راه حل آن شکل دارد
ثابت ها از شرایط عادی سازی و شرایط مرزی تعیین می شوند
5.4.10. فرآیند انتشار گاوسی
یک فرآیند تصادفی ثابت گاوسی با میانگین صفر، واریانس و تابع همبستگی نرمال شده را در نظر بگیرید. چگالی توزیع شرطی این فرآیند تصادفی [نگاه کنید به (2.74)]
اجازه دهید برای چگالی احتمال شرطی در نظر گرفته شده، توابع تعریف شده بر اساس (5.82) را پیدا کنیم:
(5.92)
با نزدیک شدن به صفر از سمت راست، مقدار مشتق کجاست. اگر پیوسته در صفر باشد، آنگاه فرض کنید که دارای ناپیوستگی در . سپس
در این بخش از روش فرآیند مارکوف برای یافتن دمدولاتور بهینه استفاده می کنیم. ارائه ما سطحی است، بنابراین برای بررسی دقیق تر، خوانندگان علاقه مند باید به منابع اضافی (به ویژه،) مراجعه کنند. و این بار فرض می کنیم که پیام یک فرآیند تصادفی گاوسی با نمایش محدود در متغیرهای حالت است، یعنی.
که در آن یک فرآیند تصادفی گاوسی سفید با تابع کوواریانس است
اگرچه ما در بحث خود از این واقعیت استفاده نمی کنیم، اما باید به این نکته اشاره کرد که روال ذکر شده در این بخش زمانی قابل انجام است که معادله حالت و معادله مشاهده غیرخطی و دارای شکل باشند.
توجه داشته باشید که تحت محدودیت‌های خاصی بر روی یک فرآیند مارکوف بردار است که لزوماً گوسی نیست. هیچ یک از روش‌هایی که قبلاً مورد بحث قرار گرفته‌اند، امکان حل مشکلات با پیام‌های این کلاس را ندارند. بیشتر نتایجی که در این بخش به دست می‌آید را می‌توان برای فرآیند کلی‌تر توصیف شده توسط معادلات (78) و (79) نیز به‌دست آورد.
اجازه دهید اکنون به مدل در قالب یک فرآیند تصادفی توصیف شده توسط روابط بازگردیم.به منظور سادگی نمادگذاری، پیامی را در نظر خواهیم گرفت که یک فرآیند مارکوف گاوسی اسکالر است و توسط آن نوسان ارسالی با مقداری اینرسی مدوله می‌شود. -نوع مدولاسیون رایگان ارتعاش پذیرفته شده در فرم نوشته شده است
فرآیند پیام معادله دیفرانسیل مرتبه اول را برآورده می کند
بنابراین، برای هر مقدار محدود، پیام یک فرآیند ثابت است و دارای یک طیف باترورث درجه اول است. علاوه بر این، با توجه به این واقعیت که فرآیند مارکوف از درجه اول است، چگالی احتمال آن در غیاب هرگونه مشاهداتی معادله فوکر-پلانک را برآورده می کند. (3.79)]
اما از آنجایی که در بازه زمانی مشاهده شد، چگالی احتمال مورد علاقه ما یک چگالی بی قید و شرط نیست، بلکه چگالی ناشی از نوسان مشاهده شده است. بگذارید این چگالی را با نشان دهیم.
توجه داشته باشید که (86) چگالی احتمال یک متغیر تصادفی است (مقداری که بیانگر مقدار a در لحظه از زمان به دلیل نوسان مشاهده شده است و یک مشخصه کاملاً تعریف شده است. می توان نشان داد که این چگالی احتمال مطابقت دارد معادله
که در آن انتظارات ریاضی از چگالی گرفته شده است.اگر به طور رسمی مشتق را معرفی کنیم
سپس (87) را می توان به طور رسمی به عنوان یک معادله دیفرانسیل نوشت
رابطه بین چگالی خلفی و برآورد حداقل میانگین مربعات خطا به خوبی شناخته شده است. تخمین حداقل میانگین مربعات خطا، میانگین شرطی چگالی خلفی است (به صفحه 73 جلد اول مراجعه کنید)، یعنی.
با ضرب هر دو طرف (89) در A، ادغام کردن و در نظر گرفتن شرایط مربوطه در انتهای بازه، به دست می‌آییم (مسئله 7.2.2 را ببینید).
توجه داشته باشید که (91) هنوز حاوی انتظارات ریاضی همانطور که انتظار می رود، این معادله برای حالت کلی مدولاسیون قابل حل نیست. در مورد روش های مدولاسیون خطی، به راحتی می توان نشان داد (به عنوان مثال، 18] یا مسئله 7.2.1) که به کاهش می یابد. 91). سپس، اگر فرض کنیم که خطای تخمین کوچک است و شرایطی را بر ممان های مرتبه بالاتر تحمیل کنیم، می توانیم از شرایط مرتبه های دوم و بالاتر صرف نظر کنیم و معادله تقریبی زیر را به دست آوریم (استنتاج دقیق در فصل 4 کتاب آورده شده است. ):
جایی که بیانگر یک تخمین تقریبی بر اساس حداقل میانگین مربعات خطا است. تابع یک شرطی تقریبی است [با توجه به میانگین مربع خطا، که معادله دیفرانسیل را برآورده می کند.
با شرایط مرزی
توجه داشته باشید که معادله تخمین (92) و معادله پراکندگی (93) به هم مرتبط هستند. همچنین توجه داشته باشید که ریشه شرطی میانگین مربعات خطا [i.e. ه- خطا، مشروط بر اینکه تقریبی هایی که برای به دست آوردن باید انجام شود، زمانی معتبر هستند که خطا کوچک باشد.
می بینیم که معادله (92) را می توان در قالب بلوک دیاگرام نشان داده شده در شکل 1 پیاده سازی کرد. 7.3. این پیاده‌سازی بسیار شبیه به ساختار تخمین‌گر احتمال پسین ماکزیمم سنتز شده در فصل است. 2، تنها با این تفاوت که اکنون فیلتر در حلقه به طور خودکار پیاده سازی می شود. نقطه ضعف این پیاده سازی وجود ارتباط بین حلقه ها است.
در مورد مدولاسیون زاویه ای، می توان نشان داد که معمولاً می توان از این کوپلینگ صرف نظر کرد. به عنوان مثال، با مدولاسیون فاز
فرض بر این است که بسیار بیشتر از بالاترین فرکانس در طیف پیام است و سیستم از نظر آماری در حالت ساکن است. در این مورد نشان داده شده است که
در هنگام جایگزینی معادله پراکندگی را برآورده می کند
برای یک فرآیند مارکوف مرتبه اول، این معادله شکل دارد
بلوک دیاگرام گیرنده در شکل نشان داده شده است. 7.4. این ساختار دقیقاً منطبق بر بخش پیاده‌سازی‌شده از حداکثر تقریبی گیرنده احتمال خلفی است که قبلاً سنتز شده بود (مشکل در (68) را ببینید) اکنون می‌تواند به عنوان یک خطای میانگین مربعی شرطی تقریبی تفسیر شود.
برنج. 7.4. گیرنده بهینه: مدولاسیون فاز، ارتباط با طیف درجه اول Butterworth.
از آنجایی که بسیاری از جزئیات خروجی حذف شده اند، توجه به محدودیت های نتیجه مهم است. معادله دیفرانسیل (91) که میانگین شرطی را تعیین می کند، دقیق است. با این حال، تقریب های مرتبط با به دست آوردن (92) - (93) با فرض خطی سازی مطابقت دارد. بنابراین، نتیجه ما یک برآورد تقریبی بر اساس حداقل میانگین مربعات خطای مربوط به جمله اول بسط سری برآورد دقیق است. برای به دست آوردن یک تقریب بهتر، تعداد بیشتری از اصطلاحات بسط را می توان حفظ کرد (برای مثال، را ببینید). مشکل این روش این است که تقریب دو ترم از قبل آنقدر پیچیده است که احتمالاً هیچ علاقه عملی ندارد.
اجازه دهید یک s.p در برخی از سیستم ها رخ دهد. با حالت های گسسته 
و زمان گسسته، یعنی. انتقال یک سیستم از یک حالت به حالت دیگر فقط در مقاطع خاصی از زمان رخ می دهد 
. به این لحظات می گویند مراحلفرآیند (معمولاً تفاوت بین لحظات مشاهده مجاور 
برابر با یک عدد ثابت - طول گام گرفته شده به عنوان واحد زمان)؛ 
شروع فرآیند
این s.p. را می توان به عنوان یک توالی (زنجیره) از رویدادها در نظر گرفت 
.
حالت اولیه سیستم، یعنی قبل از گام اول؛ 
وضعیت سیستم بعد از مرحله اول، 
وضعیت سیستم بعد از مرحله دوم و غیره)، یعنی. رویدادهایی مانند 
جایی که.
یک فرآیند تصادفی مارکوف با حالت های گسسته و زمان گسسته نامیده می شود زنجیر مارکوف(زنجیره مارکوف).
توجه داشته باشید که زنجیر مارکوف، که در آن احتمالات مشروط حالت ها در آینده فقط به حالت آخرین مرحله بستگی دارد (و به حالت های قبلی بستگی ندارد) نامیده می شود. زنجیره مارکوف ساده. (A.A. Markov 1856-1922 - ریاضیدان روسی).
نمونه ای از چنین سیستمی 
می تواند به عنوان یک دستگاه فنی عمل کند که حالت های احتمالی آن به شرح زیر است:
کار خوب؛
بازرسی و نگهداری پیشگیرانه؛
کار بازسازی؛
حذف به دلیل عدم استفاده؛
نمودار وضعیت کار در شکل نشان داده شده است
برنج. 1.11. (A.A. Belov و غیره)
از تجزیه و تحلیل نمودار مشخص است که از حالت عملکرد عادی راس 
سیستم می تواند وارد وضعیت نگهداری پیشگیرانه شود 
، و سپس به 
. یا حرکت از 
در حالت تعمیر 
، پس از آن یا به آن برمی گردد 
، یا به حالت بازنویسی بروید. حالت 
محدود است، زیرا انتقال از آن غیرممکن است. انتقال از 
بازگشت به داخل 
به معنای تاخیر در این حالت است.
در عمل، ما اغلب با سیستم‌هایی مواجه می‌شویم که حالت‌های آنها زنجیرهای را تشکیل می‌دهند که در آن هر حالت وجود دارد 
(به جز افراطی 
و 
) با اتصالات مستقیم و بازخورد با دو همسایه متصل می شود، 
و حالت های افراطی - با یک همسایه (شکل را ببینید)
شکل 1.12 (Belov...)
نمونه ای از چنین سیستمی یک دستگاه فنی متشکل از واحدهای مشابه است. هر حالت سیستم با تعداد معیوب مشخص می شود 
گره ها در زمان تأیید
هدف اصلی این مطالعه یافتن احتمالات وضعیت است 
روی هر 
متر قدم ما احتمالات حالت های یک سیستم گسسته را محاسبه می کنیم
در اینجا ما فقط زنجیره های مارکوف ساده را در نظر خواهیم گرفت. علاوه بر این، ما همچنین به طور خلاصه مفاهیم فرآیندهای مارکوف پیوسته را در نظر خواهیم گرفت.
با تغییرات زمانی گسسته در حالت های سیستم، هر انتقال از یک حالت به حالت دیگر فراخوانی می شود گام.
از تعریف یک زنجیره مارکوف نتیجه می شود که برای آن احتمال انتقال سیستم وجود دارد 
در حالت 
متر گام فقط به حالت بستگی دارد 
سیستم روی قبلی بود 
گام.
جایی که 
احتمال بی قید و شرط که 
در مرحله اول، سیستم در حالت است 
. برای یافتن این احتمالات، لازم است توزیع احتمال اولیه، یعنی. احتمالات حالت 
در یک نقطه از زمان 
(شروع فرآیند) و به اصطلاح احتمالات انتقال 
زنجیر مارکوف روی 
متر قدم
احتمال انتقال 
احتمال انتقال شرطی سیستم نامیده می شود 
بر
متر قدم، در حالت 
متر قدم او توانست 
، یعنی
(43),
که در آن شاخص اول تعداد حالت قبلی و شاخص دوم تعداد حالت بعدی سیستم را نشان می دهد.
زنجیره مارکوف نامیده می شود همگن,
اگر ارزش 
آن ها احتمالات مشروط 
به عدد تست بستگی ندارد، در غیر این صورت ناهمگن نامیده می شود.
علاوه بر این، ما فقط زنجیره های همگن را در نظر خواهیم گرفت که می توانند با استفاده از یک بردار مشخص شوند - احتمال حالت ها در یک زمان 
و ماتریس ها ( ماتریس انتقال نامیده می شود)
(44)
.
عناصر ماتریسی 
دارای ویژگی های اصلی ماتریس های مربع معمولی و همچنین ویژگی های زیر است:
آ) 
، ب) 
برای هر ثابت 
، یعنی مجموع عناصر هر ردیف ماتریس های انتقالبرابر با یک (به عنوان احتمال رویدادهای انتقال از یک حالت 
به هر حالت ممکن دیگری 
- تشکیل یک گروه کامل از رویدادها).
احتمال وضعیت سیستم در مرحله بعد با فرمول تکرارشونده تعیین می شود:
تحت شرایط خاصی (ارگودیتی، همگنی، عدم وجود چرخه) زنجیره مارکوف ایجاد می شود حالت ثابت، که در آن احتمالات حالت های سیستم به شماره گام بستگی ندارد. چنین احتمالاتی نامیده می شود مفرط(یا نهایی) احتمالات زنجیره مارکوف:
.
یک ادعا وجود دارد.
قضیه 17.1.برای
ماتریس ها
انتقال احتمالات فراتر از 
مراحل
فرمول معتبر است
(45)
,
اثباتطبق قانون ضرب دو ماتریس مربع 
از مرتبه ای که داریم
جایی که 
علاوه بر این، با تعریف ماتریس انتقال مشخص است که 
در هر 
.
بیایید هر دو طرف برابری را جمع کنیم 
روی همه 
، و با جایگزین کردن ترتیب جمع پس از اعمال خاصیت a) دو بار، آن را به دست می آوریم 
ماتریس انتقال در دو مرحله به همین ترتیب، با استدلال گام به گام به طور پیوسته، بیانیه خود را در حالت کلی به دست می آوریم.
مثال 3.ماتریس انتقال مشخص شد 
.
ماتریس های احتمال انتقال را پیدا کنید 
.
بر اساس قانون ضرب دو ماتریس به دست می آید
.
ورزش.بررسی کنید که برابری درست باشد
لازم به ذکر است که زنجیره مارکوف گسسته محدود، تعمیم بیشتری از طرح برنولی را نشان می‌دهد، علاوه بر این، در مورد آزمون‌های وابسته. تست های مستقل یک مورد خاص از یک زنجیره مارکوف هستند. اینجا زیر "رویداد"
به وضعیت سیستم اشاره دارد و "تست" به تغییر در وضعیت سیستم اشاره دارد.
اگر " تست ها"(آزمایش ها) مستقل هستند، پس وقوع یک رویداد خاص در هر آزمایشی به نتایج آزمایش های انجام شده قبلی بستگی ندارد.
وظایف.الف) ماتریس های انتقال داده شده است
1.
;
2.
;
3.
.
ماتریس را در هر مورد پیدا کنید 
.
پاسخ ها: الف) 1.
;
2.
;
3.
ج) ماتریس های انتقال داده شده است
;
.
پیدا کردن 
.
پاسخ ها: ج) 1.
;2.
;
3.
.
اظهار نظر.به طور کلی گسسته زنجیر مارکوف
یک فرآیند تصادفی مارکوف است که فضای حالت آن محدود یا قابل شمارش است و مجموعه ای از شاخص ها است 
- مجموعه تمام اعداد صحیح غیر منفی یا زیر مجموعه ای از آن (متناهی یا قابل شمارش). می توانیم در مورد آن صحبت کنیم 
در مورد نتیجه چطور 
آزمون های هفتم
شناسایی فضای حالت یک فرآیند با مجموعه ای از اعداد صحیح غیر منفی اغلب راحت است 
و در این موارد می گویند که 
در یک حالت است 
، اگر 
.
احتمال برخورد با یک متغیر تصادفی 
در یک ایالت 
(به نام احتمال انتقال یک مرحله ای) همانطور که در بالا ذکر شد نشان داده می شود 
، یعنی
این نماد تأکید می کند که در حالت کلی، احتمالات انتقال نه تنها به حالت های اولیه و نهایی، بلکه به لحظه انتقال نیز بستگی دارد.
در مواردی که احتمالات انتقال یک مرحله ای به متغیر زمان (یعنی به مقدار) بستگی ندارد 
، سپس می گویند که روند مارکوف دارد احتمالات انتقال ثابت. بنابراین، برای اهداف بیشتر، توجه می کنیم که برابری وجود دارد که به آن بستگی ندارد 
، و 
نشان دهنده احتمال انتقال در یک آزمایش از حالت است 
در یک ایالت 
.
معمولا احتمالات 
بسته به فرآیند در نظر گرفته شده در یک ماتریس مربع (محدود یا قابل شمارش) ترکیب می شود:
,
و ماتریس مارکوف یا نامیده می شود ماتریس احتمال انتقالزنجیر مارکوف
در ماتریس 
ردیف i نشان دهنده توزیع احتمال r.v است. 
به شرطی که 
. اگر تعداد حالت ها محدود باشد، پس 
- یک ماتریس مربع محدود که ترتیب (تعداد ردیف) آن برابر با تعداد حالت ها است.
به طور طبیعی، احتمالات 
دو شرط زیر را برآورده کند:
آ) 
,
ب) 
برای هر ثابت 
شرط ب) منعکس کننده این واقعیت است که هر آزمایشی باعث انتقال از یک حالت به حالت دیگر می شود. برای راحتی، ما معمولا در مورد انتقالو در صورتی که حالت بدون تغییر باقی بماند. یک ادعا وجود دارد.
قضیه 17.2.اگر احتمالات داده شود، فرآیند کاملاً تعریف می شود(46)، یعنی
و توزیع احتمال یک متغیر تصادفی 
.
اثباتاجازه دهید آن را برای هر متناهی نشان دهیم 
احتمالات چگونه محاسبه می شوند
از آنجایی که با توجه به فرمول احتمال کل، سایر احتمالات مربوط به متغیرهای تصادفی را می توان با جمع عبارات (اعضا) فرم (47) بدست آورد.
با تعریف احتمال شرطی داریم
اما با تعریف یک فرآیند مارکوف به ما می رسد
با قرار دادن برابری (49) در (48) دریافت می کنیم
با ادامه این روند به صورت متوالی، دریافت می کنیم:
فرآیند کاملاً تعریف شده است. آنچه نیاز به اثبات داشت.
فرآیندهای تصادفی مارکوف به نام ریاضیدان برجسته روسی A.A. مارکوف (1856-1922)، که برای اولین بار مطالعه رابطه احتمالی متغیرهای تصادفی را آغاز کرد و نظریه ای را ایجاد کرد که می توان آن را "دینامیک احتمال" نامید. متعاقباً مبانی این نظریه پایه اولیه نظریه عمومی فرآیندهای تصادفی و همچنین علوم کاربردی مهمی مانند نظریه فرآیندهای انتشار، نظریه قابلیت اطمینان، نظریه صف و غیره شد. در حال حاضر تئوری فرآیندهای مارکوف و کاربردهای آن در زمینه های مختلف علوم مانند مکانیک، فیزیک، شیمی و غیره کاربرد فراوانی دارد.
با توجه به سادگی و وضوح نسبی دستگاه ریاضی، قابلیت اطمینان و دقت زیاد راه حل های به دست آمده، فرآیندهای مارکوف مورد توجه ویژه متخصصان درگیر در تحقیقات عملیات و تئوری تصمیم گیری بهینه قرار گرفته است.
علیرغم سادگی و وضوح فوق الذکر، کاربرد عملی تئوری زنجیره های مارکوف مستلزم آگاهی از برخی اصطلاحات و اصول اولیه است که قبل از ارائه مثال باید مورد بحث قرار گیرد.
همانطور که نشان داده شد، فرآیندهای تصادفی مارکوف به موارد خاصی از فرآیندهای تصادفی (SP) اشاره دارد. به نوبه خود، فرآیندهای تصادفی بر اساس مفهوم تابع تصادفی (SF) هستند.
تابع تصادفی تابعی است که مقدار آن برای هر مقدار آرگومان، یک متغیر تصادفی (RV) است. به عبارت دیگر، SF را می توان تابعی نامید که در هر آزمون، شکلی از قبل ناشناخته به خود می گیرد.
نمونه هایی از SF عبارتند از: نوسانات ولتاژ در مدار الکتریکی، سرعت خودرو در قسمتی از جاده با محدودیت سرعت، ناهمواری سطح یک قطعه در یک بخش خاص و غیره.
به عنوان یک قاعده، اعتقاد بر این است که اگر استدلال SF زمان باشد، چنین فرآیندی تصادفی نامیده می شود. تعریف دیگری از فرآیندهای تصادفی وجود دارد که به نظریه تصمیم نزدیک تر است. در این مورد، یک فرآیند تصادفی به عنوان یک فرآیند تغییر تصادفی در حالات هر سیستم فیزیکی یا فنی با توجه به زمان یا برخی استدلال های دیگر درک می شود.
به راحتی می توان فهمید که اگر حالتی را تعیین کنید و یک وابستگی را به تصویر بکشید، چنین وابستگی یک تابع تصادفی خواهد بود.
فرآیندهای تصادفی بر اساس انواع حالت ها و آرگومان t طبقه بندی می شوند. در این حالت، فرآیندهای تصادفی می توانند با حالت یا زمان گسسته یا پیوسته باشند.
علاوه بر مثال های بالا در طبقه بندی فرآیندهای تصادفی، ویژگی مهم دیگری نیز وجود دارد. این ویژگی ارتباط احتمالی بین حالت های فرآیندهای تصادفی را توصیف می کند. بنابراین، به عنوان مثال، اگر در یک فرآیند تصادفی، احتمال انتقال سیستم به هر حالت بعدی فقط به حالت قبلی بستگی داشته باشد، در این صورت چنین فرآیندی یک فرآیند بدون عواقب نامیده می شود.
اجازه دهید ابتدا توجه داشته باشیم که یک فرآیند تصادفی با حالت ها و زمان گسسته، دنباله تصادفی نامیده می شود.
اگر یک دنباله تصادفی دارای خاصیت مارکوف باشد، به آن زنجیره مارکوف می گویند.
از طرف دیگر، اگر در یک فرآیند تصادفی حالت ها گسسته باشند، زمان پیوسته باشد و خاصیت افترافکت حفظ شود، چنین فرآیند تصادفی را فرآیند مارکوف با زمان پیوسته می نامند.
یک فرآیند تصادفی مارکوف در صورتی همگن است که احتمالات انتقال در طول فرآیند ثابت بماند.
اگر دو شرط داده شود، زنجیره مارکوف داده شده در نظر گرفته می شود.
1. مجموعه ای از احتمالات انتقال به شکل ماتریس وجود دارد:
2. بردار احتمالات اولیه وجود دارد
توصیف وضعیت اولیه سیستم
علاوه بر شکل ماتریسی، مدل زنجیره مارکوف را می توان به عنوان یک نمودار وزنی جهت دار نشان داد (شکل 1).
برنج. 1
مجموعه ای از حالات یک سیستم زنجیره ای مارکوف با در نظر گرفتن رفتار بیشتر سیستم به روش خاصی طبقه بندی می شود.
1. مجموعه غیر قابل برگشت (شکل 2).
شکل 2.
در مورد یک مجموعه بدون بازگشت، هر گونه انتقال در این مجموعه امکان پذیر است. سیستم می تواند این مجموعه را ترک کند، اما نمی تواند به آن بازگردد.
2. مجموعه بازگشت (شکل 3).
برنج. 3.
در این مورد، هر گونه انتقال در مجموعه نیز امکان پذیر است. سیستم می تواند وارد این مجموعه شود، اما نمی تواند آن را ترک کند.
3. مجموعه ارگودیک (شکل 4).
برنج. 4.
در مورد یک مجموعه ارگودیک، هر گونه انتقال در مجموعه امکان پذیر است، اما انتقال از و به مجموعه مستثنی است.
4. مجموعه جذب (شکل 5)
برنج. 5.
هنگامی که سیستم وارد این مجموعه می شود، فرآیند به پایان می رسد.
در برخی موارد، با وجود تصادفی بودن فرآیند، می توان قوانین توزیع یا پارامترهای احتمالات انتقال را تا حد معینی کنترل کرد. چنین زنجیره های مارکوف کنترل شده نامیده می شوند. بدیهی است که با کمک زنجیره های مارکوف کنترل شده (CMC)، فرآیند تصمیم گیری به ویژه موثر می شود، همانطور که بعداً مورد بحث قرار خواهد گرفت.
ویژگی اصلی یک زنجیره مارکوف گسسته (DMC) تعیین فواصل زمانی بین مراحل (مراحل) فردی فرآیند است. با این حال، اغلب در فرآیندهای واقعی این ویژگی مشاهده نمی شود و فواصل با برخی از قوانین توزیع تصادفی می شوند، اگرچه ویژگی مارکوف فرآیند حفظ می شود. چنین توالی های تصادفی نیمه مارکوف نامیده می شوند.
علاوه بر این، با در نظر گرفتن وجود و عدم وجود مجموعه‌های خاصی از حالت‌های ذکر شده در بالا، زنجیره‌های مارکوف می‌توانند در صورت وجود حداقل یک حالت جذب، جذب شوند یا اگر احتمالات انتقال یک مجموعه ارگودیک را تشکیل دهند، ارگودیک باشند. به نوبه خود، زنجیره های ارگودیک می توانند منظم یا چرخه ای باشند. زنجیره‌های چرخه‌ای با زنجیره‌های معمولی از این جهت متفاوت هستند که در طی انتقال از طریق تعداد معینی از مراحل (چرخه) بازگشت به حالتی اتفاق می‌افتد. زنجیرهای معمولی این خاصیت را ندارند.
بارگذاری...