10wk: 분포, 분포함수

강의영상

youtube: https://youtube.com/playlist?list=PLQqh36zP38-ymuuOEv4Zru7SF5duhH7dC

Preview

- 확률변수 $X$는 $\mathrm{\Omega }$의 모든 원소를 적절한 숫자로 “잘” 연결하는 어떠한 맵핑이라는 느낌은 이해했다. 하지만 말 그대로 확률변수 $X$는 두 measurable space $(\mathrm{\Omega },\mathcal{F})$와 $(\mathbb{R},\mathcal{R})$을 잘 연결하는 어떠한 맵핑일 뿐이라서 우리가 그동안 가지고 있던 “랜덤성”에 대한 정의는 $X$에서 빠져있다. 즉 $\omega \in \mathrm{\Omega }$의 값이 고정이면 $X(\omega )$의 값도 고정이다. 하지만 우리는 $X$가 랜덤으로 숫자가 바뀌는 (잘못된) 느낌을 가지고 살고 있었는데, 그렇다면 이러한 “랜덤성”은 어디에서 비롯한 것일까?

- $X$의 입력이 결정되면 출력이 고정되므로 $X$가 가지고 있는 “출력이 랜덤으로 변화하는 느낌”을 위해서는 함수 $X$의 입력 $\omega$가 랜덤으로 변화해야 한다. 이렇게 $\omega$를 랜덤하게 선택할 수 있게 만들어주는 장치가 확률측도 $P$이며 $P(\{\omega \})$ $\mathrm{\Omega }$에서 $\{\omega \}$가 선택될 확률을 의미한다. 따라서 $P$는 $\omega$를 랜덤으로 선택할 수 있게 해주고 그 결과 $X(\omega )$의 출력 역시 랜덤하게 나올 수 있도록 해준다.

- 저번시간에서는 $X$에 초점을 맞추었다. 즉 $\mathrm{\Omega }$와 $\mathbb{R}$을 “잘 연결” 하는 작업에 초점을 맞추었다. 그 결과 $X$의 임의의 inverse image에 대하여 $P$로 그 길이를 재는데 모순됨이 없도록 하였다.

- 이번시간에는 $P$가 가지는 랜덤성에 초점을 맞추도록 하겠다. 특히 서로 다른 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$ 와 $({\mathrm{\Omega }}^{\prime },{\mathcal{F}}^{\prime },P^{\prime })$ 이 비슷한 랜덤성을 가질때, 이러한 랜덤성을 효과적으로 서술하는 “분포”라는 개념을 구체화하고 나아가 “분포함수”, “밀도함수”의 개념을 소개한다.

분포와 분포함수

분포 (distribution)

- (예제1) – 동전예제

동전을 던지는 예제로 만들어지는 아래와 같은 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$ 를 생각하자.

• $\mathrm{\Omega }=\{H,T\}$
• $\mathcal{F}=2^{\mathrm{\Omega }}$
• $P(\{H\})=P(\{T\})=\frac{1}{2}$¹

¹ 이렇게만 해도 확률이 정의되는 이유는 카라테오도리 확장정리 덕분

확률변수 $X:\mathrm{\Omega }\to \mathbb{R}$를 아래와 같이 정의하자.

• $X(H)=1$
• $X(T)=0$

이제 $B\in \mathcal{R}$ 에 대하여 아래와 같은 표현들을 고려하자.

1. $P(X\in B)$ // 고등학교 부터 쓰던 그 표현
2. $P(\{\omega :X(\omega )\in B\})$ // 이번에 배운 표현, 표현1의 정확한 버전
3. $P(X^{-1}(B))$ // 표현2의 다른 버전, inverse image의 느낌이 확 살아 있음
4. $(P\circ X^{-1})(B)$ // 생각해보니까 이것도 가능함. $P$, $X$ 모두 함수였잖아?

표현4를 좀 더 살펴보자. 기호를 간단하게 하기위해서 ${\mu }_X:=P\circ X^{-1}$로 정의하자.

• $P(\mathrm{\varnothing })=0\iff {\mu }_X(\mathrm{\varnothing })=0$
• $P(\{H\})=\frac{1}{2}\iff {\mu }_X(\{0\})=\frac{1}{2}$
• $P(\{T\})=\frac{1}{2}\iff {\mu }_X(\{1\})=\frac{1}{2}$
• $P(\{H,T\})=1\iff {\mu }_X(\{0,1\})=1$

- (예제2) – 주머니 예제

주머니에 하얀공과 빨간공이 하나씩 있다고 하자. 주머니에 손을 넣어 이중 하나의 공을 뽑는 시행을 한다고 하자. 이러한 상황으로 만들어지는 아래와 같은 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$ 를 생각하자.

• $\mathrm{\Omega }=\{R,W\}$
• $\mathcal{F}=2^{\mathrm{\Omega }}$
• $P(\{R\})=P(\{W\})=\frac{1}{2}$

확률변수 $X:\mathrm{\Omega }\to \mathbb{R}$를 아래와 같이 정의하자.

• $X(R)=1$
• $X(W)=0$

이제 $B\in \mathcal{R}$ 에 대하여 아래와 같은 표현들을 고려하자.

1. $P(X\in B)$
2. $(P\circ X^{-1})(B)={\mu }_X(B)$

두 표현을 비교하여 살펴보자.

• $P(\mathrm{\varnothing })=0\iff {\mu }_X(\mathrm{\varnothing })=0$
• $P(\{R\})=\frac{1}{2}\iff {\mu }_X(\{0\})=\frac{1}{2}$
• $P(\{W\})=\frac{1}{2}\iff {\mu }_X(\{1\})=\frac{1}{2}$
• $P(\{R,W\})=1\iff {\mu }_X(\{0,1\})=1$

- 생각의 시간1: 예제1,2를 관찰하며 생각

• 예제1,2의 공통속성: 제1과 예제2는 어떠한 공통점이 있다. 비록 outcome, event, $\sigma$-field, $P$, $X$ 가 모두 다르지만 사실 어떻게 보면 기호의 차이만 있을 뿐 “확률과 관련된 시행이 어떠한 결과로 나타나는지”에 관련한 본질적인 면에서 같다고 볼 수 있다.²
• ${\mu }_X$가 $P$보다 예제1,2의 공통속성³을 나타내기에 유리한 것 같은데?

² 우리는 이것을 “분포”가 같다고 부르고 있어요

³ 우리가 이미 “분포”라고 알고 있는 개념

- 생각의 시간2: ${\mu }_X$는 언제나 잘 정의되는가?

$(\mathrm{\Omega },\mathcal{F},P)$가 확률공간이고 $X:\mathrm{\Omega }\to \mathbb{R}$이 확률변수라면, ${\mu }_X:=P\circ X^{-1}$는 언제나 잘 정의된다.

• 시그마필드: 모든 $B\in \mathcal{R}$에 대하여 $X^{-1}(B)$가 시그마필드의 원소가 아닐 수 없다. (만약 그렇다면 $X$는 확률변수가 아닌걸?)
• 메져: 모든 $B\in \mathcal{R}$에 대하여 $P(X^{-1}(B))$의 값을 모순되게 정의할 수 없다. (만약 그렇다면 $(\mathrm{\Omega },\mathcal{F},P)$는 확률공간이 아닌걸?)

결론: ${\mu }_X$는 안전해!

- 생각의 시간3: ${\mu }_X$도 확률측도의 조건을 만족한다. 구체적으로는 $(\mathbb{R},\mathcal{R})$에서의 확률측도가 된다. 아래를 체크하자.

1. 정의역: ${\mu }_X$는 시그마필드를 정의역으로 가진다.
2. 함수값: ${\mu }_X(\mathrm{\varnothing })=0$, ${\mu }_X(\mathbb{R})=1$ 이며 ${\mu }_X(\cdot )$은 항상 양의값을 가진다.
3. $\sigma$-add: ${\mu }_X$는 $\mathcal{R}$의 모든 서로소인 집합에 대하여 $\sigma$-additivity 가 성립한다.

따라서 $P$가 $(\mathrm{\Omega },\mathcal{F})$에서의 확률측도이듯이 ${\mu }_X$는 $(\mathbb{R},\mathcal{R})$에서의 확률측도이다.

- (정의): $X$를 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$에서 정의된 확률변수라고 하자. 이때 ${\mu }_X:=P\circ X^{-1}$로 정의가능한 함수 ${\mu }_X:\mathcal{R}\to [0,1]$ 를 $X$의 distribution 라고 부른다.

여기에서 “$X$를 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$에서의 확률변수”라는 말이 얼마나 많은 구질구질한 선언을 대신 하는지 생각해보라. 제대로 쓰려면 아마 “$\mathrm{\Omega }$를 어떠한 실험에 의하여 발생한 outcome들의 집합이라고 하자. 그리고 $\mathcal{F}$를 $\mathrm{\Omega }$에 대한 시그마필드라고 하자. 즉 $\mathcal{F}$는 … 을 만족하는 집합이다. $(\mathrm{\Omega },\mathcal{F})$을 묶어서 가측공간이라고 하자. $P$는 잴 수 있는 공간 $(\mathrm{\Omega },\mathcal{F})$에 대한 확률측도라고 하자. 즉 $P$는 … 를 만족하는 함수이다. 그리고 $X$는 $(\mathrm{\Omega },\mathcal{F})\to (\mathbb{R},\mathcal{R})$인 확률변수라고 하자. 즉 $X$는 임의의 $B\in \mathcal{R}$에 대하여 … 를 만족하는 함수이다. 여기에서 $\mathcal{R}$은 Borel sets이다. 즉 $\mathcal{R}$은 … 를 만족하는 집합이다.” 와 같은 방식으로 써야할 것이다.

- ${\mu }_X$는 $(\mathbb{R},\mathcal{R})$에서의 확률측도이므로 $(\mathbb{R},\mathcal{R},{\mu }_X)$는 확률공간이 된다. 그런데 ${\mu }_X$가 $X$에 의하여 정의되므로, 확률공간 $(\mathbb{R},\mathcal{R},{\mu }_X)$ 역시 $X$에 의하여 정의되는데 이러한 이유로 확률공간 $(\mathbb{R},\mathcal{R},{\mu }_X)$를 $X$에 의하여 유도된 확률공간이라고 표현하기도 한다.

- $(\mathbb{R},\mathcal{R},{\mu }_X)$가 $X$에 의하여 유도된 확률공간이라는 선언의 숨은 의미⁴: 함수 $X$가 잘 정의된다면 ($X$가 확률변수라면!) 공간 $(\mathrm{\Omega },\mathcal{F},P)$와 공간 $(\mathbb{R},\mathcal{R},{\mu }_X)$는 대등한 역할을 한다. 즉 $\mathrm{\Omega }$의 임의의 원소는 $\mathbb{R}$의 임의의 원소로 바꾸어 생각할 수 있고, $\mathcal{F}$의 임의의 원소는 $\mathcal{R}$의 임의의 원소로 대치할 수 있으며, $\mathcal{F}$의 임의의 원소(event)를 측도 $P$로 재는 일은 $\mathcal{R}$의 임의의 원소를 측도 ${\mu }_X$로 재는 일과 동치로 해석할 수 있다.

⁴ 사실 교재가 숨긴적은 없고요, 제가 그냥 몰랐던거에요.

분포함수 (distribution function)

- 모티브: ${\mu }_X:\mathcal{R}\to [0,1]$ 는 정의역이 집합이라서 아쉬움. (솔직히 우리한테 친숙한 형태는 아님) 만약에

• 집합 $\to$ 숫자

와 같은 방식으로 랜덤성을 정의하지 않고

• 숫자 $\to$ 숫자

와 같은 방식으로 랜덤성을 정의할 수 있다면 어떨까?

- 결국 랜덤성을 기술하려면 $P$를 기술해야한다. 그런데 $P$를 기술하기가 좀 까다로울 경우가 많은데 그것을 단순화 하기 위한 노력의 시작은 카라테오도리의 확장정리였다.⁵ 그리고 이 노력의 마지막은 이제 소개하는 분포함수이다.

⁵ 이 정리가 없었다면 단순히 주사위를 던지는 사건에 대한 $P$를 기술하기 위해서 $2^6$개의 모든 $\mathcal{F}=2^{\mathrm{\Omega }},\mathrm{\Omega }=\{1,2,3,4,5,6\}$에 대하여 “집합 -> 숫자”를 일일히 기록해야 했을 것이다.

- (예제1) – 동전예제 다시

동전을 던지는 예제로 만들어지는 아래와 같은 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$ 를 생각하자.

• $\mathrm{\Omega }=\{H,T\}$
• $\mathcal{F}=2^{\mathrm{\Omega }}$
• $P(\{H\})=P(\{T\})=\frac{1}{2}$

확률변수 $X:\mathrm{\Omega }\to \mathbb{R}$를 아래와 같이 정의하자.

• $X(H)=1$
• $X(T)=0$

이제 아래와 같은 함수를 정의하자.

$$F_X(x)=\{\begin{array}{ll}0& x<0\\ \frac{1}{2}& 0\le x<1\\ 1& 1\le x\end{array}$$

이 함수는 동전예제가 가지는 랜덤성을 완전히 설명한다. 즉 $F_X:\mathbb{R}\to [0,1]$를 정의하는 일은 $P:\mathcal{F}\to [0,1]$를 정의하는 일과 동치이다. 왜 그런지 논의하라.

(해설)

복습 – 강의노트 06주차 파이시스템에서의 확장이론

Thm: $(\mathrm{\Omega },\sigma (\mathcal{A}),P)$를 확률공간이라고 하자. 여기에서 $\mathcal{A}$는 파이시스템이라고 가정하자. 그렇다면 확률측도 $P:\sigma (\mathcal{A})\to [0,1]$의 값은 $P:\mathcal{A}\to [0,1]$의 값에 의하여 유일하게 결정된다.

체크

• ${\mu }_X$는 $(\mathbb{R},\mathcal{R})$에서의 확률측도이다. 따라서 $(\mathbb{R},\mathcal{R},{\mu }_X)$는 확률공간이다.

진짜해설

$F_X(x)={\mu }_X((-\mathrm{\infty },x])$로 쓸 수 있다. 따라서 모든 실수 $x\in \mathbb{R}$에 대하여 $F_X(x)$의 값을 정의하는 일은 모든 $\mathcal{A}=\{(-\mathrm{\infty },x]:x\in \mathbb{R}\}$ 에서 ${\mu }_X:\mathcal{A}\to [0,1]$ 을 정의하는 일과 동치이다. 그런데 $\mathcal{A}$는 파이시스템이므로 $\mathcal{A}$에서의 ${\mu }_X$값만 결정해도 $\mathcal{R}$의 모든 집합에서의 ${\mu }_X$값이 올바르게 결정된다. 그런데 공간 $(\mathbb{R},\mathcal{R},{\mu }_X)$는 $X$에 의하여 유도된 공간이므로 $(\mathbb{R},\mathcal{R})$에서 ${\mu }_X$를 정의하는 일은 $P$를 정의하는 일과 같다.

$\mathbb{R}$에서 $F_X(x)$를 정의 $\iff$ $\mathcal{A}$에서 ${\mu }_X$를 정의 $\iff$ $\mathcal{R}$에서 ${\mu }_X$를 정의 $\iff$ $\mathcal{F}$에서 $P$를 정의

- (정의): $X$를 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$에서 정의된 확률변수라고 하자. $F_X:\mathbb{R}\to [0,1]$ 인 함수를 아래와 같이 정의하자.

$$F_X(x)={\mu }_X((-\mathrm{\infty },x])$$

함수 $F$를 확률변수 $X$의 distribution function 이라고 한다.

- 위의 정의에서 함수 $F_X(x)$를 $F_X(x)=P(X\le x)$로 표현할 수도 있다.⁶

⁶ 반가운 표현의 등장

- (예제3) – 주사위를 던지는 예제

분포함수의 위력을 살펴보기 위하여 주사위를 던지는 예제로 만들어지는 아래와 같은 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$ 를 생각하자.

• $\mathrm{\Omega }=\{1,2,3,4,5,6\}$
• $\mathcal{F}=2^{\mathrm{\Omega }}$
• $P(\{1\})=\cdots =P(\{6\})=\frac{1}{6}$

확률변수를 $X:\mathrm{\Omega }\to \mathbb{R}$을 $X(\omega )=\omega$와 같이 정의하자. $X$의 distribution fucntion 을 구하라.

(풀이)

생략

- 약속: $X$를 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$에서 정의된 확률변수라고 하자. 아래와 같은 표현을 약속하자.

• $X\sim {\mu }_X$ $\iff$ $X$의 distribution 이 ${\mu }_X$이다.
• $X\sim F_X$ $\iff$ $X$의 distribution function이 $F_X$이다.

- 약속2: $X$를 확률공간 $({\mathrm{\Omega }}_X,{\mathcal{F}}_X,P_X)$에서 정의된 확률변수라고 하고, $Y$를 확률공간 $({\mathrm{\Omega }}_Y,{\mathcal{F}}_Y,P_Y)$에서 정의된 확률변수라고 하자.

• $X\stackrel{d}{=}Y$ $\iff$ $\mathrm{\forall }B\in \mathcal{R}:{\mu }_X(B)={\mu }_Y(B)$
• $X\stackrel{d}{=}Y$ $\iff$ $\mathrm{\forall }k\in \mathbb{R}:F_X(k)=F_Y(k)$
• $X\stackrel{d}{=}Y$ $\iff$ $\mathrm{\forall }k\in \mathbb{R}:P_X(X\le k)=P_Y(Y\le k)$

만약에 랜덤성을 기술하는 언어가 $P$하나 뿐이었다면 “같은 분포를 가진다”와 같은 개념을 수식화 하기 불리하다.

- Thm: 임의의 분포함수 $F:\mathbb{R}\to [0,1]$는 (1) 비감소 (2) $\underset{x\to -\mathrm{\infty }}{lim}F(x)=0$ and $\underset{x\to \mathrm{\infty }}{lim}F(x)=1$ (3) 오른쪽연속의 성질을 가진다.

- Thm: 임의의 함수 $F:\mathbb{R}\to \mathbb{R}$가 (1) 비감소 (2) $\underset{x\to -\mathrm{\infty }}{lim}F(x)=0$ and $\underset{x\to \mathrm{\infty }}{lim}F(x)=1$ (3) 오른쪽연속의 성질을 가진다면, $F$는 어떠한 확률변수 $X$의 분포함수이다.

밀도함수 (density function)

- (정의) $X$를 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$에서 정의된 확률변수라고 하고 $F_X$를 $X$의 분포함수 라고 하자. 만약에 $F_X$가 아래와 같은 방식으로 표현된다면 $f_X$를 $X$를 밀도함수 (density function) 이라고 한다.

$$F_X(x)={\int }_{-\mathrm{\infty }}^x{f}_X(y)dy$$

- 저런 표현이 존재하지 않는다면 어쩌지?