10wk-2: 마코프체인 (7)

최규빈

2023-05-09

강의영상

youtube: https://youtube.com/playlist?list=PLQqh36zP38-yMXZ2TSGxoh-rIjn8vp6cV

imports

import numpy as np

LLN의 확장 – 정상분포 관련내용

- 유일한 정상분포를 가진다는 것을 알고 있다고 하자. 이를 쉽고 편하게 구하는 방법?

  • 배운것1: 문제를 잘 이해하고 π=πP 에 맞는 분포를 때려맞춤.
  • 배운것2: 고유값, 고유벡터의 개념을 이용하여 찾아냄

- 정리(큰 수의 법칙): 확률변수열 {Xt}tN0 이 서로 독립이고 동일한 분포를 가진다고 하자. 또한 E[|X0|]< 이라고 가정하자. 그러면 아래가 성립한다.

limT1Tt=0T1Xt=Eπ[X0]

단, 여기에서 πX0의 분포이다.

- Thm (에르고딕정리): 확률변수열 {Xt}tN0이 finite and irreducible HMC 라고 하자. 그러면 임의의 함수 f:SR에 대하여 아래가 성립한다.

limT1Tt=0T1f(Xt)=Eπ[f(X0)]

여기에서 ππ=πP를 만족하는 유일한 정상분포이고 P{Xt}의 transition matrix 이다.

- (f의 해석) 만약에 f(i)=I(i=0)={1i=00o.w 이라고 하자. 그러면 위의 이론은 아래와 같이 변경된다.

limT1Tt=0T1I(Xt=0)=Eπ[I(X0=0)]=Pπ[X0=0]=π0

이 이론의 의미: 우리가 만약에 어떠한 마코프체인이 유일한 정상분포를 가진다는 사실을 알고 있다고 가정하자. 그럴때 에르고딕 정리를 이용하면 정상분포의 값을 시간평균으로 근사할 수 있다는 의미이다.

예제1: 단위행렬

HMC {Xt}의 전이행렬이 아래와 같다고 하자.

P = np.array([[1,0],
              [0,1]])
P
array([[1, 0],
       [0, 1]])

{Xt}는 유일한 정상분포를 가지는가? 가진다면 시간평균을 이용하여 정상분포를 근사하라.

(풀이)

이 경우는 IRR 조건이 만족되지 않으므로 유일한 정상분포가 존재하지 않음. 그래서 에르고딕정리를 이용할 수 없다.

예제2: 순환이동

HMC {Xt}의 전이행렬이 아래와 같다고 하자.

P = np.array([[0,1],
              [1,0]])
P
array([[0, 1],
       [1, 0]])

{Xt}는 유일한 정상분포를 가지는가? 가진다면 시간평균을 이용하여 정상분포를 구하여라.

(풀이)

{Xt}는 finite and irreducible HMC 이므로 유일한 정상분포를 가진다. 시뮬레이션을 한다면

  • 0,1,0,1,0,1,0,
  • 1,0,1,0,1,0,1,

중 하나의 열(array)이 관찰 될 것이고 두 경우 모두

  • (1Tt=0T1I(Xt=0),1Tt=0T1I(Xt=1))=(π^0,π^1)(1/2,1/2)

와 같이 구할 수 있음

예제3: 비가 온다, 안온다

HMC {Xt}의 전이행렬이 아래와 같다고 하자.

P = np.array([[0.4,0.6],
              [0.7,0.3]])
P
array([[0.4, 0.6],
       [0.7, 0.3]])

{Xt}는 유일한 정상분포를 가지는가? 가진다면 시간평균을 이용하여 정상분포를 구하여라.

(풀이) 이 강의노트의 풀이4

def rain(before):
    if before == True: # 비가 왔음 
        after = np.random.rand() < 0.3
    else: # 비가 안왔음 
        after = np.random.rand() < 0.6 
    return after 
def doctor_strange(today):
    lst = [today]
    for i in range(10000): 
        lst.append(rain(lst[i]))
    return lst 
np.mean(doctor_strange(True)[1:])
0.4616

정리

{Xt}는 HMC 라고 하자.

CaseNO 대표예제 FINITE IRR(연결) AP(비주기) P의 수렴 동일한 row 정상분포존재 정상분포유일 에르고딕정리를 만족 에르고딕
1 O X X X X O X X X
2 단위행렬 O X O O X O X X X
3 순환이동 O O X X X O O O X
4 나이스 O O O O O O O O O