13wk: 밀도함수

Author

최규빈

Published

May 30, 2023

강의영상

youtube: https://youtube.com/playlist?list=PLQqh36zP38-xzs1sJhhsXTzssLICsc9t6

칸토어집합

ref: https://en.wikipedia.org/wiki/Cantor_set

정의

- 아래의 집합열 Cn의 극한 C=limnCn를 생각하자.

실제수열

  • C0=[0,1]
  • C1=[0,13][23,1]
  • C2=([0,19][29,13])([23,79][89,1])

언어버전: created by iteratively deleting the open middle third from a set of line segments.

  • C0: [0,1]
  • C1: C0에서 정의된 line을 3등분한뒤 가운데를 제거
  • C2: C1에서 정의된 line segments를 각각 3등분한뒤 각각 가운데를 제거

수식버전

  • C0=[0,1]
  • C1=C03(23+C03)
  • C2=C13(23+C13)
  • Cn=Cn13(23+Cn13)

단, 여기에서

  • 13[a,b]=[a3,b3]
  • 23+[a,b]=[23+a,23+b]

와 같이 정의한다.

그림버전

그림1: 칸토어 집합

성질

- 3진법의 표기: 칸토어 집합의 원소는 [0,1]사이의 원소를 삼진법으로 표현할때 모든 자리수가 0 또는 2가 되는 수만 모은 집합이다.

  1. [0,1] 사이의 모든 실수를 3진법을 표현한다고 생각하자.
  2. C10.1xxxx3와 같은 숫자가 빠지고, C2에서는 0.01xxx3 혹은 0.21xxx3 에 대응하는 숫자가 빠지는 과정이 반복적으로 일어난다고 볼 수 있다.
  3. 2의 결과를 잘 생각하면 칸토어 집합에 포함되는 수는 삼전법 소수로 표기했을 때 모든 자리수가 0 또는 2가 된다는 점을 쉽게 눈치챌 수 있다.

- 카디널리티: 칸토어 집합의 카디널리티는 구간 [0,1]의 카디널리티와 같다. 즉 20 이다.

  1. y[0,1] 사이의 모든 실수는 임의의 2진수로 표현할 수 있다.
  2. 예를들어 y=35=0.100110011001...2와 같이 표현할 수 있다.
  3. 만약에 2의 결과에서 1을 모두 2로 바꾸어 3진법수를 만들면 0.200220022002...3=710와 같이 쓸 수 있는데, 이는 칸토르 집합의 원소가 된다.
  4. 3을 2의 출력으로 바꾸는 과정을 수행하는 함수 f를 정의하자. 즉 이 예제의 경우 f(710)=35.
  5. f는 전사함수이므로 card([0,1])card(C).

- 잴 수 있는 집합: CR

  1. C0,C1,C2R
  2. C=limnCn=n=0Cn (C0,C1,C2, 이 감소하는 집합열임을 이용)
  3. 시그마필드 R은 countable intersection에 닫혀있으므로 CR

- 르벡측도값(길이): λ(C)=0이다. 여기에서 λ은 르벡측도이다. 즉 칸토어집합의 길이는 0이다.

  1. 칸토어 집합을 만드는 과정에서 제외되는 집합의 길이는 순서대로 13,29,427 이다.
  2. 이것은 첫째항이 13이고 공비가 23인 등비수열이므로 무한등비급수의 합을 이용하면 제외되는 길이의 합은 1이 됨을 계산할 수 있다.

- 굉장히 오래전에 만들었던 표

집합 카디널리티 분류 르벡메져
{1,2,3} 3 가산집합 0
N 0 가산집합 0
Z 0 가산집합 0
Q 0 가산집합 0
[0,1] 20 비가산집합 1
[0,1]Q 0 가산집합 0
[0,1]Q 20 비가산집합 1
[0,1]Qc 20 비가산집합 1
[0,) 20 비가산집합
비탈리집합 20 비가산집합 NA
칸토어집합 20 비가산집합 0
강의설명 오류 정정

이부분의 설명에서 제가 “가산집합이면 대부분 르벡메져가 0이다” 라는 식으로 설명했는데요, 이는 잘못된 설명입니다. 대부분의 가산집합이 르벡메져가 0이 아니고 “모든 가산집합은 무조건 르벡메져가 0입니다.” 왜냐하면 임의의 가산집합 A는 아래와 같이 한점의 집합의 countable union으로

A=i=1{ai}

으로 표현가능한데요, 여기에 르벡메져를 취하면

λ(A)=λ(i=1{ai})=i=1λ({ai})=0

와 같이 됩니다. 두번째 등호는 메져의 정의 (σ-additivity) 에 의하여 성립합니다. 강의오류에 발견에 도움을 준 김보람학생 감사합니다.

밀도함수 (density function)

정의

- (정의) X를 확률공간 (Ω,F,P)에서 정의된 확률변수라고 하고 FXX의 분포함수 라고 하자. 만약에 FX가 아래와 같은 방식으로 표현된다면 fXX를 밀도함수 (density function) 이라고 한다.

FX(x)=xfX(y)dy

- 저런 표현이 존재하지 않는다면 어쩌지?

  • FX(x)가 불연속인 경우: 미분 불가능
  • FX(x)가 연속인 경우: 미분가능할 수도 있고, 아닐 수도 있고

다양한 밀도함수 예시

- 교양: 함수 FX(x)가 연속인 경우는 연속확률변수 X의 분포함수 (distribution fucntion) 혹은 CDF라고 하고 함수 FX(x)가 jump만 존재하는 불연속인 경우는 이산확률변수의 분포함수 (distribution function) 혹은 CDF라고 한다.

(예제1) – 균등분포

아래와 같은 distribution function FX을 가지는 확률변수 X를 고려하자.

FX(x)={0x<0x0x111<x

이러한 함수 FX의 density가 존재하는가?

체크: 일단 Fx(x)는 (1) 비감소하며 (2) limxFX(x)=FX(0)=0, limxFX(x)=FX(1)=1 (3) 오른쪽연속 (그냥 연속임) 이므로 분포함수의 정의를 만족한다. 따라서 FX(x)에 대응하는 확률변수 X가 있다.

(해설)

  1. 대충 생각하면 (진짜 말 그대로 대충) 아래와 같이 생각할 수 있다.

fX(x)=ddxFx(x)

  1. fX(x)Fx(x)의 도함수 같은 것으로 생각할 수 있다.
  2. 문제는 FX(x)는 연속이지만 x=0x=1에서 미분가능하지는 않다는 점이다.
  3. 그래서 FX(x)는 미분가능하지 않다.
  4. 하지만 미분가능의 개념을 “함수”에 적용하는 것이 아니라 “하나의 포인트”에 적용한다면 어떨까?
  5. FX(x)x=0x=1을 제외한 모든 점에서 미분가능하며 그 도함수는 대략적으로 아래와 같이 표현할 수 있다.

fX(x)={0x<0??x=010<x<1??x=101<x

  1. 어차피 유한개의 점을 제외하여도 적분값에 영향이 없으므로 ??의 값은 아무값이나 넣어도 상관없다. 편의상 아래와 같은 fX(x)를 고려하자.

fX(x)={10x10o.w.

  1. 위와 같은 fX(x)에 대하여 아래식이 성립한다고 볼 수 있다. FX(x)=xfX(y)dy

FX(x)는 미분불가능하지만 또 어떠한 의미에서는 가능하다고 볼 수 도 있다.

(a) 균등분포의 cdf

(b) 균등분포의 pdf

그림2: 위키에서 긁어온 균등분포의 pdf, cdf 그림. 실제로는 x=0,1에서 FX(x)의 값이 존재하지 않으나 편의상 정의함.

(예제1의 정답에 대한 의문)

만약에 누군가가 아래와 같은 fX(x)들이 pdf라고 주장한다면?

  1. fX(x)={10<x<10o.w.
  2. fX(x)={10x<10o.w.
  3. fX(x)={10<x10o.w.

별로 상관없을듯 하다. 어차피 λ({0})=λ({1})=0 이므로 넓이에 영향이 없다. 위의 함수는 x=0,1을 제외한 모든곳에서는 함수값이 일치하므로 거의 같다고 보아도 무방하다. 즉 아래의 함수들은 거의 모든 곳에서 같다.

  1. fX(x)={10<x<10o.w.
  2. fX(x)={10x<10o.w.
  3. fX(x)={10<x10o.w.
  4. fX(x)={10x10o.w.

여기에서 두 함수 f, g가 거의 모든 곳에서 같다라는 표현은

λ({x:f(x)g(x)})=0

을 의미한다. 즉 함수값이 다른 집합의 르벡측도값이 0이라는 의미이다.

(예제2) – 혼합된 균등분포

아래와 같은 distribution function FX을 가지는 확률변수 X를 고려하자.

FX(x)={0x<032x0x<1212+12x12x<111x

이러한 함수 FX의 density가 존재하는가?

체크: 일단 Fx(x)는 (1) 비감소하며 (2) limxFX(x)=FX(0)=0, limxFX(x)=FX(1)=1 (3) 오른쪽연속 (그냥 연속임) 이므로 분포함수의 정의를 만족한다. 따라서 FX(x)에 대응하는 확률변수 X가 있다.

(해설)

함수 FX(x)x=0,12,1 에서 미분불가능하지만 어차피 미분불가능한 점이 countable 하므로 여기에서는 무시하고 fX(x) 값을 편의상 정의하여도 무방하다. 따라서 아래와 같은 함수 fX(x)가 pdf가 될 수 있다.

fX(x)={320x<121212<x<1

그 외에도 x=0,12,1에서의 함수값을 어떻게 정의하느냐에 따라서 여러개의 정답이 있을 수 있지만, 그러한 함수들은 fX(x)거의 모든 곳에서 같은 함수이다.

여기서도 FX(x)는 미분불가능하지만 또 어떠한 의미에서는 가능하다고 볼 수 도 있다.

- 주장: FX(x)모든 곳에서 연속 이고 거의 모든 곳에서 미분가능하다고 가능하면 아래를 만족하는 (도함수 비스무리한) fX(x)가 존재한다.

FX(x)=xfX(x)dx

이때 FX(x)가 미분가능하지 않은 집합에 대하여서는 적분을 정의함에 있어서 제외하고 정의해도 무방하다.

엄청 그럴듯해보이지만 칸토어함수의 존재로 인하여 이 주장은 틀렸다.

칸토어함수, 칸토어분포

- 아래와 같은 과정으로 얻어지는 함수 F0,F1,F2,를 고려하자.

그림3: 위키에서 긁어온 칸토어함수의 생성예제

그림에서는 f0,f1,f2 와 같이 표현하였지만 우리는 편의상 F0,F1,F2와 같이 표현하도록 하겠다.

- 이제 이러한 함수의 극한을 F라고 하자. 즉

F(x)=limnFn(x)

이다. 이것을 기호로 간단하기 FnF 와 같이 표현하기도 한다. 여기에서 FnF의 의미는 Fn의 임의의 고정된 점 x에 대하여 Fn(x)F(x)라는 의미이다.

- 함수 Fn의 정의역을 칸토르 집합 C와 연계하여 이해하면 아래와 같은 사실을 관찰할 수 있다.

  1. F0C0에서는 양의 기울기를 가지고 [0,1]C0 에서는 기울기가 0이다.
  2. F1C1에서는 양의 기울기를 가지고 [0,1]C1 에서는 기울기가 0이다.
  3. F2C2에서는 양의 기울기를 가지고 [0,1]C2 에서는 기울기가 0이다.

따라서 아래의 사실을 유추할 수 있다.

  • FC에서는 양의 기울기를 가지고 [0,1]C 에서는 기울기가 0이다.

- 함수 F를 칸토어 함수라고 부른다. 칸토어함수는 아래와 같은 특징이 있다.

  1. 칸토어 함수는 모든 곳에서 연속이다.
  2. 칸토어 집합의 외부 [0,1]C에서는 상수함수이다. 즉 칸토어집합의 외부에서는 기울기가 0이다. m(C)=0 이므로 이 함수는 거의 모든 곳에서 기울기가 0이다.
  3. F는 비감소함수이다.
  4. F(0)=0 이고 F(1)=1이다.

- 1,3,4에 의하여 F는 분포함수의 정의를 만족한다. 1에 의하여 F는 연속형확률변수의 분포함수가 된다. 칸토어 집합의 외부에서 (그러니까 [0,1]의 거의 모든 점에서) 도함수는 0 이므로

ddxF(x)=f(x)=0,a.e.

이다. 하지만 f(x)는 pdf의 정의를 만족하지 않는다.

- 요약

  • 칸토어함수 F는 분포함수의 정의를 만족한다. 따라서 F에 대응하는 확률변수 X가 반드시 있다.
  • 심지어 칸토어함수는 연속함수이므로, F에 대응하는 확률변수 X는 연속형 확률변수가 된다.
  • F거의 모든 점에서 도함수가 존재하지만 그 도함수의 적분이 아니다.
  • 그래서 X의 pdf는 존재하지 않는다.

칸토어함수는 미적분학의 기본정리 성립하지 않는 반례를 찾기 위해 고안되었다. 즉 어떠한 함수 F거의 모든 곳에서 미분가능하며, 그 도함수를 f르벡적분 가능 할지라도 xf(y)dy=F(x) 가 성립하지 않을 수 있다.

절대연속

- 모티브

  1. FX의 “도함수 비슷한 함수”를 일반화 할 수 없을까? 라돈니코딤 도함수
  2. FX의 1과 같이 도함수 비슷한 함수가 언제 존재하는지 조건을 알 수 있을까? 절대연속
함수 도함수 라돈니코딤 도함수
연속 X X
절대연속 X O
미분가능 O O
  • 1 칸토어함수!!!

  • 암기: 절대연속은 연속보다 강하고, 미분가능보다 약한 조건이다.

    - 정의: 함수 FX(x)가 분포함수의 정의를 만족한다고 가정하자. FX(x)에 대응하는 분포 μX:R[0,1]를 생각하자. FX(x)가 절대연속이라는 뜻은 아래가 성립한다는 의미이다.

  • 2 원래는 이러한 가정이 없음

  • BR:λ(B)=0μX(B)=0

    이럴 경우 아래와 같이 표현한다.

    • A measure μX is abosolutely continous with respect to Lebesgue measure λ
    • μX<<λ

    - 정의: 좀 더 일반적으로는 아래와 같이 정의할 수 있다. (, p 470)

    가측공간 (R,R)를 고려하고 μ, λ(R,R)에서의 메져라고 하자. μabsolutely continuous w.r.t. λ 라는 의미는

    BR: λ(B)=0μ(B)=0

    라는 의미이며 기호로는 μ<<λ 와 같이 나타낸다.

    여기에서 공간 (R,R) 은 이해를 돕기위해서 제한한 것이며, 대부분 교재에서는 좀 더 일반적인 가측공간에서 절대연속을 정의한다.

    - 절대연속의 예제를 살펴보기전에 필요한 예비학습

    이런게 있었거든요.. // 7주차 강의노트

    함수 μ가 잴 수 있는 공간 (Ω,F)에서 정의된 메져라고 하자.

    • AiA μ(limnAn)=limnμ(An)
    • AiA with μ(A1)< μ(limnAn)=limnμ(An)
    • 감소하거나 증가하는 집합열에서는 lim을 넣거나 뺼 수 있다. (정확하지 않은 state, 그냥 기억을 위한 문장)

    - 예제1: – 베르누이

    아래와 같은 함수를 고려하자.

    FX(x)={0x<0120x<11x1

    이 함수는 르벡메져에 대하여 absolutely continuous 하지 않다.

    (해설1)

    연속이 아니므로 절대연속이 아니다.

    (해설2)

    임의의 {x}에 대하여 μX({x})를 계산하기 위해서는 아래와 같이 하면 된다.

    1. μX({x})=μX(limn(x1n,x])=limnμX((x1n,x])
    2. (x1n,x]=(,x](,x1n]
    3. μX((x1n,x])=FX(x)FX(x1n)
    4. μX({x})=FX(x)limnFX(x1n)

    이를 이용하면

    • λ({0})=0μX({0})=FX(0)limnFX(1n)=120
    • λ({1})=0μX({1})=FX(1)limnFX(11n)=112
    • λ({0,1})=0μX({0,1})=μX({0})+μX({1})=1

    위에서 언급한 경우 이외에서는 연속임. λ({0.77})=0μX({0.77})=FX(0.77)limnFX(0.771n)=1212

    - 예제2: – 균등분포

    아래와 같은 함수를 고려하자.

    FX(x)={0x<0x0x11x>1

    이 함수는 르벡메져에 대하여 absolutely continuous 하다.

    (해설)

    BR:μX(B)λ(B) 이므로 자명함

    - 예제3 – 혼합된 균등분포

    아래와 같은 distribution function FX을 가지는 확률변수 X를 고려하자.

    FX(x)={0x<032x0x<1212+12x12x<111x

    이러한 함수 FX는 르벡메져에 대하여 absolutely continuous 한가?

    (해설)

    BR:μX(B)32λ(B) 이므로 자명함.

    예제2,3으로 관찰하고 착각할 수 있는 것: 그냥 연속이면 다 절대연속 아니야?

    - 예제3 – 칸토어함수

    칸토어함수 FX는 르벡메져에 대하여 absolutely continuous 하지 않다.

    (해설)

    칸토어함수 FXabsolutely continuous 하다고 하자. 그러면 μX((a,b])=μX([a,b]) 가 성립한다.

    n=0:

    • C0=[0,1]
    • μX(C0)=μX((0,1])=FX(1)FX(0)=1

    n=1:

    • C1=[0,13][23,1]
    • μX(C1)=μX((0,13])+μX((23,1])=FX(13)FX(0)+FX(1)FX(23)=1

    정리하면 아래와 같다.

    n Cn μX(Cn)
    0 [0,1] 1
    1 [0,13][23,1] 1
    2 [0,19][29,13][23,79][89,1] 1
    1

    그런데 λ(C)=0 이지만 μX(limnCn)=μX(C)=1 이므로 μ<<λ에 모순이다.

    라돈니코딤 정리

    - 이론: 분포함수 FX:R[0,1]가 (르벡메져에 대하여) 절대연속이라면 아래를 만족하는 함수 fX:RR+가 존재한다.

    FX=(,x]fXdλ

    여기에서 함수 fXFX의 밀도함수 (density function) 이라고 한다. 일반적으로 밀도함수 fX는 유일하지 않지만, 르벡측도로 재었을때 0인 집합을 제외한 부분에서는 유일하게 결정된다. (요약: 분포함수 FX가 절대연속이면 밀도함수 fX가 존재하고, 거의 유일함)

    위에서 “르벡측도로 재었을때 0인 집합을 제외한 부분에서는 유일하게 결정된다”라는 부분은 “르벡메져 λ에 대하여 거의 유일하다” 라고 이해해도 무방. 엄밀하게 쓰면 “분포함수 FX가 있다면 밀도함수의 정의하는 만족하는 함수가 반드시 하나는 존재한다. 만약에 두 함수 fg가 모두 밀도함수의 정의를 만족한다면 ‘f=g a.e. with respect to λ’ 가 성립한다.” 와 같은 식으로 쓸 수 있음.

    위에서 f의 공역이 R+인 이유는 FX가 증가함수라서..

    - Thm (라돈니코딤 정리)(, Thm A.4.8.): 가측공간 (S,S)를 고려하자. 그리고 μλ(S,S)에서의 σ-finite measure 라고 하자. 만약에 μ<<λ 이라면 아래를 만족하는 가측함수 f:(S,S)(R+,R+)거의 유일하게 (w.r.t. λ) 존재한다.

    Durrett, Rick. 2019. Probability: Theory and Examples. Vol. 49. Cambridge university press.

    BS: μ(B)=Bfdλ.

    여기에서 fRadon-Nikodym derivative of μ w.r.t. λ 라고 하며, 이러한 의미에서 f=dμdλ와 같이 표현하기도 한다.

    강의 오류 정정

    f:(S,S)(S,S)f:(S,S)(R+,R+)로 정정합니다.

    - 예제1 – 균등분포

    아래와 같은 함수를 고려하자.

    FX(x)={0x<0x0x11x>1

    또한 아래와 같은 함수 fX:RR 를 고려하자.

    fX(x)={10x10o.w.

    fX(x)FX(x)의 라돈니코딤 도함수임을 설명하라.

    (해설)

    1. μXλ는 모두 (R,R)에서 σ-finite 하다.
    2. μX<<λ이다. 따라서 적당한 RR+ measurable function이 존재하여 라돈니코딤 도함수의 조건을 만족함을 알 수 있다.
    3. 우리가 생각하는 후보는 fX인데 이것이 만약에 (1) RR+ 가측함수이고 (2) 라돈니코딤 도함수의 조건을 만족한다면 fXFX의 거의 유일한 (w.r.t. λ) 밀도함수라고 주장할 수 있다.
    4. fX는 simple function이므로 RR+ 가측함수이다.
    5. 임의의 x에 대하여 FX(x)=μX((,x])=(,x]fXdλ 이 성립한다.
    6. 5와 π-λ thm을 이용하면 모든 BR에 대하여 μX(B)=BfXdλ 가 성립한다. (풀이참고)
    7. 따라서 fXFX의 밀도함수이다.

    - 예제2 – 베르누이 분포

    아래와 같은 함수를 고려하자.

    FX(x)={0x<0120x<11x1

    이 함수에 대응하는 μX를 아래와 같이 정의하자.

    • μX()=0
    • μX({0})=12
    • μX({1})=12
    • μX({0,1})=1
    • μX(B)=0 , BR{0,1}{0}{1}

    μXλ에 대한 라돈니코딤 도함수를 가지지 않음을 보여라.

    (해설) – 절대연속이 안되는걸?