10wk-2: 마코프체인 (7)

최규빈

2023-05-09

강의영상

youtube: https://youtube.com/playlist?list=PLQqh36zP38-yMXZ2TSGxoh-rIjn8vp6cV

imports

import numpy as np

LLN의 확장 – 정상분포 관련내용

- 유일한 정상분포를 가진다는 것을 알고 있다고 하자. 이를 쉽고 편하게 구하는 방법?

• 배운것1: 문제를 잘 이해하고 ${\mathit{\pi }}^{\mathrm{\top }}={\mathit{\pi }}^{\mathrm{\top }}\mathbf{P}$ 에 맞는 분포를 때려맞춤.
• 배운것2: 고유값, 고유벡터의 개념을 이용하여 찾아냄

- 정리(큰 수의 법칙): 확률변수열 $\{X_t{\}}_{t\in {\mathbb{N}}_0}$ 이 서로 독립이고 동일한 분포를 가진다고 하자. 또한 $\mathbb{E}[|X_0|]<\mathrm{\infty }$ 이라고 가정하자. 그러면 아래가 성립한다.

$$\underset{T\to \mathrm{\infty }}{lim}\frac{1}{T}\sum _{t=0}^{T-1}{X}_t={\mathbb{E}}_{\pi }[X_0]$$

단, 여기에서 $\pi$는 $X_0$의 분포이다.

- Thm (에르고딕정리): 확률변수열 $\{X_t{\}}_{t\in {\mathbb{N}}_0}$이 finite and irreducible HMC 라고 하자. 그러면 임의의 함수 $f:S\to \mathbb{R}$에 대하여 아래가 성립한다.

$$\underset{T\to \mathrm{\infty }}{lim}\frac{1}{T}\sum _{t=0}^{T-1}f(X_t)={\mathbb{E}}_{\mathit{\pi }}[f(X_0)]$$

여기에서 $\mathit{\pi }$는 ${\mathit{\pi }}^{\mathrm{\top }}={\mathit{\pi }}^{\mathrm{\top }}\mathbf{P}$를 만족하는 유일한 정상분포이고 $\mathbf{P}$는 $\{X_t\}$의 transition matrix 이다.

- ($f$의 해석) 만약에 $$f(i)=I(i=0)=\{\begin{array}{ll}1& i=0\\ 0& o.w\end{array}$$ 이라고 하자. 그러면 위의 이론은 아래와 같이 변경된다.

$$\underset{T\to \mathrm{\infty }}{lim}\frac{1}{T}\sum _{t=0}^{T-1}I(X_t=0)={\mathbb{E}}_{\pi }[I(X_0=0)]={\mathbb{P}}_{\pi }[X_0=0]={\pi }_0$$

이 이론의 의미: 우리가 만약에 어떠한 마코프체인이 유일한 정상분포를 가진다는 사실을 알고 있다고 가정하자. 그럴때 에르고딕 정리를 이용하면 정상분포의 값을 시간평균으로 근사할 수 있다는 의미이다.

예제1: 단위행렬

HMC $\{X_t\}$의 전이행렬이 아래와 같다고 하자.

P = np.array([[1,0],
              [0,1]])
P

array([[1, 0],
       [0, 1]])

$\{X_t\}$는 유일한 정상분포를 가지는가? 가진다면 시간평균을 이용하여 정상분포를 근사하라.

(풀이)

이 경우는 IRR 조건이 만족되지 않으므로 유일한 정상분포가 존재하지 않음. 그래서 에르고딕정리를 이용할 수 없다.

예제2: 순환이동

HMC $\{X_t\}$의 전이행렬이 아래와 같다고 하자.

P = np.array([[0,1],
              [1,0]])
P

array([[0, 1],
       [1, 0]])

$\{X_t\}$는 유일한 정상분포를 가지는가? 가진다면 시간평균을 이용하여 정상분포를 구하여라.

(풀이)

$\{X_t\}$는 finite and irreducible HMC 이므로 유일한 정상분포를 가진다. 시뮬레이션을 한다면

• $0,1,0,1,0,1,0,\dots$
• $1,0,1,0,1,0,1,\dots$

중 하나의 열(array)이 관찰 될 것이고 두 경우 모두

• $(\frac{1}{T}\sum _{t=0}^{T-1}I(X_t=0),\frac{1}{T}\sum _{t=0}^{T-1}I(X_t=1))=({\hat{\pi }}_0,{\hat{\pi }}_1)\approx (1/2,1/2)$

와 같이 구할 수 있음

예제3: 비가 온다, 안온다

HMC $\{X_t\}$의 전이행렬이 아래와 같다고 하자.

P = np.array([[0.4,0.6],
              [0.7,0.3]])
P

array([[0.4, 0.6],
       [0.7, 0.3]])

$\{X_t\}$는 유일한 정상분포를 가지는가? 가진다면 시간평균을 이용하여 정상분포를 구하여라.

(풀이) 이 강의노트의 풀이4

def rain(before):
    if before == True: # 비가 왔음 
        after = np.random.rand() < 0.3
    else: # 비가 안왔음 
        after = np.random.rand() < 0.6 
    return after 

def doctor_strange(today):
    lst = [today]
    for i in range(10000): 
        lst.append(rain(lst[i]))
    return lst 

np.mean(doctor_strange(True)[1:])

0.4616

정리

$\{X_t\}$는 HMC 라고 하자.

CaseNO	대표예제	FINITE	IRR(연결)	AP(비주기)	$\mathbf{P}$의 수렴	동일한 row	정상분포존재	정상분포유일	에르고딕정리를 만족	에르고딕
1		O	X	X	X	X	O	X	X	X
2	단위행렬	O	X	O	O	X	O	X	X	X
3	순환이동	O	O	X	X	X	O	O	O	X
4	나이스	O	O	O	O	O	O	O	O	O