Keçid ehtimal matrisi

N , 0, 1,…, N - 1 vəziyyətlərində ikiqat stokastik keçid ehtimal matrisini nəzərdən keçirək . Əgər matris müntəzəmdirsə, unikal məhdudlaşdırıcı paylama vahid paylanmadır π = (1/ N ,…, 1/ N ). P müntəzəm olduqda π j = ∑ k π k P kj və σ k π k = 1 üçün yalnız bir həll olduğundan, yalnız π = (1/ N ,…, 1/ N ) bir həll olduğunu yoxlamaq lazımdır. burada iddianı təsdiq etmək üçün Pikiqat stokastikdir. İkiqat stokastik xüsusiyyətdən istifadə edərək ∑ j Pjk = 1, bunu təsdiqləyirik

Nümunə olaraq, Y n ədalətli ölmənin n müstəqil rulonlarının cəmi olsun və uzun müddətdə Y n -nin 7 -nin çoxluğunun hansı ehtimal ilə təyin olunma problemini nəzərdən keçirək . Qoy X n qalan olmaq Y n sonra 7 bölünür, X n dövlətlərin 0, 1 bir Markov zənciri ... keçid ehtimalı matrix 6

Matris ikiqat stokastikdir və müntəzəmdir ( P 2-də yalnız ciddi müsbət girişlər var), buna görə də məhdud paylanma π = (177,…, 1 7). Bundan əlavə, Y n yalnız X n = 0 olarsa 7 -nin çoxluğudur. Beləliklə, Y n -nin 7 -nin çoxluğunun məhdudlaşdırma ehtimalı 17 -dir .

Diskret Zaman Markov Zəncirləri

4.12 Problemlər

Aşağıdakı keçid ehtimal matrisini nəzərdən keçirin:

Vəziyyət-keçid diaqramını verin.

Prosesin hazırda 1 -ci vəziyyətdə olduğunu nəzərə alsaq, üçüncü keçidin sonunda 2 -ci vəziyyətdə olma ehtimalı nədir?

Prosesin hazırda 1 -ci vəziyyətdə olduğunu nəzərə alsaq, 3 -cü vəziyyətə ilk dəfə daxil olmağın dördüncü keçid olma ehtimalı nədir?

Aşağıdakı sosial hərəkətlilik problemini düşünün. Araşdırmalar göstərir ki, cəmiyyətdəki insanlar yuxarı sinifə (dövlət 1), orta sinfə (dövlət 2) və aşağı sınıfa (dövlət 3) aid edilə bilər. İstənilən sinfə üzvlük aşağıdakı ehtimal üsulu ilə miras alınır. Bir insanın yüksək səviyyəli bir ailədə böyüdüyünü nəzərə alsaq, ehtimal 0.45, orta səviyyəli bir ehtimal 0.48, ehtimal 0,07 olan aşağı sinif ailəsi olacaq. Bir insanın orta səviyyəli bir ailədə böyüdüyünü nəzərə alsaq, ehtimal 0,05 olan, 0,70 ehtimalı olan orta səviyyəli və 0,25 ehtimalı olan aşağı sinifli bir ailəyə sahib olacaq. Nəhayət, bir insanın aşağı sinif ailəsində böyüdüyünü nəzərə alsaq, ehtimal 0,01 olan, orta səviyyəli, 0,50 ehtimallı bir ailəyə sahib olacaq.və 0.49 ehtimalı olan aşağı sinif ailəsi. Aşağıdakıları təyin edin: a.

Prosesin vəziyyət-keçid diaqramı.

Prosesin keçid ehtimal matrisi.

Məhdud vəziyyət ehtimalları. Layersonda nə demək istədiklərini şərh edin.

Bir taksi sürücüsü işini üç fərqli şəhərdə 1, 2 və 3 -də aparır. Hər hansı bir gündə, 1 -ci şəhərdə olarkən, seçdiyi növbəti sərnişinin 1 -ci şəhərdən bir yerə getmə ehtimalı 0.3, aldığı növbəti sərnişinin 2 -ci şəhərə getmə ehtimalı 0,2 -dir və 3 -cü qəsəbəyə getdiyi növbəti sərnişinin ehtimalı 0,5 -dir. O, 2 -ci şəhərdə ikən, növbəti götürdüyü sərnişinin 1 -ci şəhərə getmə ehtimalı 0,1, seçdiyi növbəti sərnişinin 2 -ci şəhərə getmə ehtimalı 0,8 və növbəti sərnişinin seçmə ehtimalı 3 şəhərə gedir 0.1. O, 3 -cü şəhərdə olanda, növbəti götürdüyü sərnişinin 1 -ci şəhərə getmə ehtimalı 0,4, 2 -ci qəsəbəyə getdiyi növbəti sərnişinin ehtimalı 0,4,və seçdiyi növbəti sərnişinin 3 -cü şəhərə getmə ehtimalı 0,2 -dir. a.

Prosesin vəziyyət-keçid diaqramını müəyyənləşdirin.

Proses üçün keçid ehtimal matrisini verin.

Məhdud vəziyyət ehtimalları nələrdir?

Taksi sürücüsünün hazırda 2 -ci şəhərdə olduğunu və bu gün üçün ilk müştərisini götürməyi gözlədiyini nəzərə alsaq, 2 -ci qəsəbəyə ilk dəfə üçüncü sərnişini götürəndə nə ehtimal var? ?

Hal -hazırda 2 -ci şəhərdə olduğunu nəzərə alsaq, üçüncü sərnişinin 1 -ci şəhərə getmək ehtimalı nədir?

New England payız havası günəşli, buludlu və ya yağışlı olaraq təsnif edilə bilər. Bir tələbə hava şəraiti ilə bağlı ətraflı bir araşdırma apardı və belə bir nəticə çıxardı: Hər hansı bir günün günəşli olduğunu nəzərə alsaq, ertəsi gün yenidən ehtimal 0.5, günəş 0.3 ehtimal ilə buludlu və ehtimal ilə yağışlı olacaq 0.2. Hər hansı bir gündə buludlu olduğunu nəzərə alsaq, ertəsi gün 0.4 ehtimalı ilə günəşli, 0.3 ehtimallı yenidən buludlu və 0.3 ehtimallı yağışlı olacaq. Nəhayət, hər hansı bir gündə yağışlı olduğunu nəzərə alsaq, ertəsi gün ehtimal 0.2 ilə günəşli, ehtimal 0.5 ehtimallı buludlu və ehtimal 0.3 ilə yenidən yağışlı olacaq. a.

New England payız hava vəziyyətinin 1-ci halını "günəşli", 2-ci vəziyyətini "buludlu" və 3-cü vəziyyətini "yağışlı" edən dövlətin keçid diaqramını verin.

(A) hissəsindəki eyni konvensiyanı istifadə edərək, New England payız havasının keçid ehtimal matrisini verin.

Bu gün günəşli olduğunu nəzərə alsaq, dörd gündən sonra günəşli olma ehtimalı nədir?

Havanın məhdud vəziyyət ehtimallarını təyin edin.

Aşağıdakı keçid ehtimal matrisini nəzərdən keçirin:

Prosesin 1 -ci vəziyyətdən başladığını nəzərə alaraq, 3 -dən 5 -ə qədər keçid vəziyyətinin ortalama işləmə müddəti ϕ 13 (5) alın.

Aşağıdakı keçid ehtimal matrisini nəzərdən keçirin:

P 13 (3), p 22 (2) və p 32 (4) hesablayın.

Aşağıdakı keçid ehtimal matrisini nəzərdən keçirin:

Matrisi P = [I 0 RQ] kanonik formasına qoyun.

Gözlənilən udma vaxtlarını μ 2 və μ 3 hesablayın.

Aşağıdakı keçid ehtimal matrisini nəzərdən keçirin:

Dörd keçiddə 1 -ci vəziyyətdən 3 -cü vəziyyətə ilk keçmə ehtimalını f 13 (4) hesablayın.

2 -ci vəziyyətdə ortalama qalma müddətini hesablayın.

vəziyyət boşluğu və keçid ehtimal matrisi olan Markov zənciri olsun

İlkin paylanma p (0) = [p 1 (0), p 2 (0), p 3 (0)] = [0,4, 0,2, 0,4] olsun. Aşağıdakı ehtimalları hesablayın: a.

P [X 1 = 2, X 3 = 2, X 3 = 1 | X 0 = 1]

P [X 1 = 2, X 3 = 2, X 3 = 1]

P [X 1 = 2, X 4 = 2, X 6 = 2]

Müəyyən bir gündə Mark şən, filankəs və ya axmaqdır. Verilmiş bir gündə gümrah olduğunu nəzərə alsaq, ertəsi gün ehtimal 0.6, beləliklə 0.2 ehtimal və 0.2 ehtimal ilə glum ilə yenidən şən olacaq. Verilən bir gündə belə olduğunu nəzərə alsaq, o, ertəsi gün 0.3 ehtimalla, 0.5 ehtimalla yenə də, 0.2 ehtimal ilə glum da şən olacaq. Müəyyən bir gündə glum olduğunu nəzərə alsaq, o, ertəsi gün 0.5 ehtimalla və 0.5 ehtimal ilə yenidən gülümsəyəcək. Qoy 1-ci vəziyyət şən vəziyyəti, 2-ci hal falan vəziyyətini, 3-cü dövlət isə glum vəziyyətini ifadə etsin. X n, Markın əhvalını n- ci gündə ifadə etsin , onda üç dövlətli Markov zənciridir. a.

Prosesin vəziyyət-keçid diaqramını çəkin.

Vəziyyət-keçid ehtimal matrisini verin.

Bazar ertəsi günü Markın belə olduğunu nəzərə alsaq, Çərşənbə və Cümə günləri şən, bazar günü isə parıltılı olma ehtimalı nədir?

Uzun perspektivdə Markın hər üç əhval -ruhiyyəsi nə qədərdir?

Markov Zəncirləri

Məşqlər

Keçid ehtimalı matrisi verilən Markov zəncirini nəzərdən keçirək

Emilməyən vəziyyətlərə uyğun olan keçid ehtimal matrisi

I - Qtərs matrisini hesablayın və bundan (a)

vəziyyət 1 -dən başlayaraq 0 vəziyyətinə udma ehtimalı;

absorbsiyadan əvvəl 1 və 2 -ci vəziyyətlərin hər birində sərf olunan ortalama vaxt.

Keçid ehtimal matrisi verilən Markov zəncirinin təsadüfi gedişini nəzərdən keçirək

Emilməyən vəziyyətlərə uyğun olan keçid ehtimal matrisi

I - Qtərs matrisini hesablayın və bundan (a)

vəziyyət 1 -dən başlayaraq 0 vəziyyətinə udma ehtimalı;

absorbsiyadan əvvəl 1 və 2 -ci vəziyyətlərin hər birində sərf olunan ortalama vaxt.

Markov prosesləri

9.2 Markov zəncirlərində keçid və vəziyyət ehtimallarının hesablanması

Markov zəncirinin vəziyyət keçid ehtimal matrisi tək bir zaman vahidində bir vəziyyətdən digərinə keçmə ehtimalını verir. Bu konsepsiyanı daha uzun müddətlərə uzatmaq faydalı olar.

Tərif 9.3: Markov zənciri üçün n -addım keçid ehtimalı

Həmçinin, elementləri n -addımlı keçid ehtimalları olan P( n ) n -addımlı keçid ehtimalı matrisini təyin edin (9.4).

Bir addımlıq keçid ehtimallarını nəzərə alaraq, aşağıdakı nəticədən istifadə edərək daha yüksək dərəcəli keçid ehtimallarını hesablamaq asandır.

Teorem 9.1( Chapman -Kolmogorov Tənliyi):

Sübut: Birincisi, şərt ki, i vəziyyətindən j vəziyyətinə keçərkən, Markov zənciri müəyyən bir ara nöqtədə k vəziyyətindən keçsin . Sonra ümumi ehtimal prinsipindən istifadə edin

Markov xüsusiyyətindən istifadə edərək ifadə istədiyiniz forma endirir:

Bu nəticə keçid ehtimalı matrislərindən istifadə edərək daha kompakt formada yazıla bilər. Çapman -Kolmogorov tənliklərinin n -addımlı keçid ehtimal matrisləri baxımından yazıla biləcəyi asanlıqla görülür.

Sonra, P(1) = Polması ilə başlayaraq , P(2) = p (1) p(1) = p2 olduğu ortaya çıxır və induksiyadan istifadə edərək, müəyyən edilir ki,

Beləliklə, n -addımlı keçid ehtimal matrisini matris vurma yolu ilə tapa bilərik. Əgər n böyükdürsə, P n -ni eigendecomposition ilə hesablamaq daha rahat ola bilər . Əksər hallarda 1 matris P, P= UΛU−1 olaraq genişləndirilə bilər , burada Λ öz dəyərlərin diaqonal matrisi və U sütunları müvafiq özvektorlar olan matrisdir. Sonra,

Maraq digər miqdar bir müddət ani da Markov zənciri ehtimalı paylanması k . Markov zəncirinin ilkin ehtimal paylanması məlumdursa, daha sonrakı zamanda nöqtəni asanlıqla tapmaq olar. Qoy π j ( k ) = Pr ( X k = j ) və π ( k kimin sıra vektor olsun) j -ci element π j ( k ). Sonra

və ya vektor şəklində

Misal 9.7 (Misal 9.2 -nin davamı)

Nümunə 9.2 -də xatırladaq ki, dörd super qəhrəman aksiyon fiquru toplamaq üçün ən çox sevdiyi restoranda uşaq yeməkləri alan uşaq. Başlanğıcda, hər hansı bir yemək alınmazdan əvvəl uşağın heç bir hərəkət rəqəmi yoxdur və buna görə də ehtimalın ilkin paylanması π(0) = (1,0,0,0,0) təşkil edir. Nümunə 9.2 -də verilmiş ehtimal keçid matrisi ilə (9.12) tənliyinin təkrar tətbiqi ilə nəticələnir

Aydın olmalıdır ki, lim k → ∞ Λ k, sağ alt küncdəki birdən başqa bütün sıfır girişləri olan bir matrisdir. Öz vektorlarının matrisini hesablamaq üçün MATLAB (və ya başqa bir riyaziyyat paketi) istifadə edərək tapıldı

Sonra, distribution (0) = (1,0,0,0,0) ilkin paylanmasını istifadə edərək, X kimi dövlət paylanması

Nümunə 9.6 -da, k → ∞ olaraq, k -addımlı keçid ehtimal matrisinin satırlarının hamısı eyni olan bir matrisə yaxınlaşdığı görüldü. Bu halda, məhdudlaşdırıcı məhsul lim k → ∞ π (0) P k , başlanğıc paylanmasından asılı olmayaraq is (0) eynidir. Belə bir Markov zəncirinin bənzərsiz bir sabit vəziyyətdə paylandığı deyilir. Vurğulamaq lazımdır ki, bütün Markov zəncirlərində sabit bir paylanma yoxdur. Məsələn, 9.1 nümunəsindəki Puasson sayma prosesi açıq şəkildə edilmir, çünki hər hansı bir sayma prosesi zamanın monotoniya olaraq azalmayan funksiyasıdır və buna görə də zaman keçdikcə paylanmanın daha böyük dəyərlərə doğru əyilməsinin gözlənildiyi gözlənilir.

Bu sabit vəziyyət paylanması anlayışına durğunluq prizmasından baxmaq olar. Tutaq ki, k zamanında , prosesin bir qədər paylanması var, π ( k ). Növbəti andakı paylama o zaman π ( k+ 1) = π ( k ) P -dir . Əgər π ( k ) = π ( k+ 1) olarsa , proses o nöqtəyə çatmışdır ki, paylanma sabitdir (zamandan asılı olmayaraq). Bu stasionar distribution, π, əlaqələr cavab verməlidir

Başqa sözlə, π (varsa) keçid ehtimalı matrix sol eigenvector edir , Peigenvalue uyğundur λ = bu eigenvector həmişə unikal 1. növbəti nümunəsi göstərir deyil.

Nümunə 9.8 (Kumarbazın xarabalığına yenidən baxıldı)

Tutaq ki, müəyyən bir qumarbazın 5 dollar pulu var və başqa bir oyunçuya (evə) qarşı oynayır. Kumarbaz ya pulunu ikiqat artırana, ya da hamısını itirənə qədər oynayacağına qərar verir. Tutaq ki, ev bu şans oyununu elə qurmuşdur ki, qumarbaz p = 0.45, q = 0.55 ehtimalı ilə ev qazanacaq . Qoy X k qumarbaz oyun oynayan sonra var pul məbləği olmaq k dəfə. Bu Markov zənciri üçün keçid ehtimal matrisi

Bu matrisin (iki) təkrarlanan öz dəyərləri λ = 1 -dir və ona uyğun olan öz vektorları [10 0 0 0 0 0 0 0 0 0 0] və [00 0 0 0 0 0 0 0 0 l] Qeyd edək ki, bunların hər hansı bir xətti birləşməsi özünəməxsus bir vektor olacaq. Buna görə [ p 00000000l– p ] formasının hər hansı bir vektoru sol özvektordur və buna görə də bu Markov zənciri üçün unikal stasionar paylanma yoxdur. Bu nümunə üçün Markov zəncirinin dövlət paylanmasının məhdudlaşdırıcı forması ilkin paylamadan asılıdır. P k -nin məhdudlaşdırıcı forması asanlıqla tapıla bilər

İlkin paylanmanı istifadə edərək π (0) = [0 000010000 0] (yəni qumarbaz 5-ci vəziyyətdə başlayır), sonra sabit vəziyyətin paylanmasının lim k → ∞ π (k) = [0.7317 0 olduğu görünür. 0 0 0 0 0 0 0 0 0 0 0.2683]. Beləliklə, qumarbaz 5 dollardan başlayanda bütün pulunu itirmək şansı təxminən 73%, pulunu ikiqat artırmaq şansı isə təxminən 27% -dir.

Nümunə 9.7 -də göründüyü kimi, bəzi Markov zəncirlərində Pk -nin məhdudlaşdırıcı forması ( k → ∞ kimi) mütləq satırlar eyni olan bir matrisə yaxınlaşmır. Bu halda, dövlət bölgüsünün məhdudlaşdırıcı forması başlanğıc paylamadan asılı olacaq. Qumarbazın xarabalıq problemi vəziyyətində, yəqin ki, bu davranışı təxmin edə bilərdik. Qumarbaz çox az pulla başlamış olsaydı, çox böyük ehtimalla xarabalığa düşəcəyini gözləyərdik; halbuki, qumarbaz çox varlı olsaydı və evin pulu çox az olsaydı, nəticədə qumarbazın evi sındırmaq şansı daha çox olardı. Buna görə, intuisiyamız, qumarbazların son vəziyyətinin ehtimal paylanmasının başlanğıc vəziyyətdən asılı olduğunu söyləyir.

Ümumiyyətlə, Markov zəncirinin vəziyyət paylanmasının k → ∞ kimi hərəkət edə biləcəyi bir neçə fərqli davranış var, bəzi hallarda lim k → ∞ π (k) yoxdur. Proses iki və ya daha çox dövlət arasında salınmağa meylli olanda belə olar. Nümunə 9.7 -də olduğu kimi ikinci bir ehtimal lim k → ∞ π (k) əslində sabit bir paylanmaya yaxınlaşmasıdır, lakin bu məhdudlaşdırıcı paylanmanın forması başlanğıc paylamadan asılıdır. Son hal, lim k → ∞ π (k) = π Yəni vəziyyətin paylanması müəyyən sabit paylanmaya yaxınlaşır, π və π forması başlanğıc paylamadan asılı deyil. Burada keçid ehtimal matrisi, P,λ = -də tək (təkrarlanmayan) öz dəyərinə sahib olacaq1 və müvafiq özvektor (düzgün normallaşdırılmış) sabit vəziyyət paylanması olacaq, π. Bundan əlavə, P k- nin məhdudlaşdırıcı forması, satırlarının hamısı eyni və sabit vəziyyət paylamasına bərabər olan be olacaq. Növbəti hissədə, Markov zəncirinin bənzərsiz bir sabit vəziyyət paylamasına nail olması üçün yerinə yetirilməli olan bəzi şərtləri nəzərdən keçiririk.

Bu nümunədə, Misal 9.4 -də təsvir edilən taksi dayanacağının növbə uzunluğunun paylanmasını simulyasiya etmək üçün MATLAB kodunu təqdim edirik. Bu nümunə üçün, PMF olan bir Poisson təsadüfi dəyişən olmaq üçün zaman vahidi başına gələnlərin sayını X alırıq.

Xatırladaq ki, taksi dayanacağında vaxt vahidi başına bir müştəriyə xidmət göstərilir (növbədə ən azı bir müştərinin xidmət göstərilməsini gözlədiyi ehtimal olunur). Aşağıdakı kod, növbənin uzunluğunun PMF -ni qiymətləndirmək və qurmaq üçün istifadə edilə bilər. Orta növbə uzunluğu, vahid başına λ = 0.85 müştəri gəlməsi üçün 3.36 müştəri olaraq da hesablandı . Şəkil 9.3, eyni gəlmə dərəcəsi üçün növbənin uzunluğunun PMF -nin histogramını göstərir.

Şəkil 9.3. Nümunə 9.4 -dəki taksi dayanacağı üçün növbənin uzunluğunun histogramı, vaxt vahidi başına ortalama 0,85 gələn bir Poisson gəliş prosesini nəzərdə tutur.