14wk-1: 연습문제 (3)

최대가가능도

1. 동전을 던져 얻은 3회의 실험결과가 아래와 같다고 하자.

0 1 0 

1이 나올 확률 \(\theta\)를 최대가능도 기법으로 추정하고자 한다.

(1) \(L(0.1)\)의 값과 \(L(0.9)\)의 값을 구하라.

(2) 아래의 확률분포표를 채우라.

\(\theta\)	\(L(\theta) = \theta(1-\theta)^2\)
0.495
0.496
0.497
0.498
0.499
0.500
0.501
0.502
0.503
0.504
0.505

(3) \(L(\theta)\)를 확률로 해석할 수 없는 이유를 (2)의 결과를 통하여 설명하라.

(4) \(L(\theta)\)를 \(\theta\)와 관련된 수식으로 표현하라.

(5) \(L(\theta)\)를 최대화하는 값을 이론적으로 구하라. 즉 성공확률을 최대가능도방법으로 추정하라.

(6) 실패확률을 최대가능도방법으로 추정하라.

(6) 모분산을 최대가능도방법으로 추정하라.

힌트: 베르누이분포의 모분산은 \(\mathbb{V}(X)=\theta(1-\theta)\)으로 알려져 있음.**

(7) 모표준편차를 최대가능도방법으로 추정하라.

(8) 1이 나올때까지 기대시행수를 최대가능도방법으로 추정하라.

힌트: 동전을 1이 나올 때까지 반복해서 던진다고 하자.

• 0 0 0 1 \(\to\) 4번째에 처음 1이 나옴 (시행수 = 4)
• 0 1 \(\to\) 2번째에 처음 1이 나옴 (시행수 = 2)
• 1 \(\to\) 1번째에 바로 1이 나옴 (시행수 = 1)
• 0 0 0 0 0 0 1 \(\to\) 7번째에 처음 1이 나옴 (시행수 = 7)

이러한 “첫 성공까지의 시행수”를 \(Y\)라 하면 \(E[Y] = 1/\theta\)로 알려져 있다. (기하분포)

2. \(X_1,\dots,X_4 \overset{iid}{\sim} U(0,\theta)\)를 관측한 결과가 아래와 같다고 하자.

0.1 0.2 0.6 0.85

(1) \(L(0.8)\), \(L(0.9)\), \(L(1.0)\)의 값을 구하라.

(2) (1)의 결과로 볼때 \(\theta\)는 0.8, 0.9, 1.0 중 어떠한 값으로 추정하는게 가장 합리적인가? (이유도 쓸것)

(3) \(L(\theta)\)를 최대화하는 값을 이론적으로 계산하라.

(4) 모평균을 최대가능도방법으로 추정하라.

(5) 이 분포의 모분산을 최대가능방법으로 추정하라.

힌트: \(X \sim U(0,\theta)\)일때, \(V(X)=\theta^2/12\)로 알려져 있다.

3. \(X_1, X_2 \overset{iid}{\sim} N(\theta, 1)\)을 관측한 결과가 아래와 같다고 하자. (분산 \(\sigma^2=1\)은 알려져 있음)

2.1, 2.5

(1) \(L(\theta)\)를 \(\theta\)와 관련된 수식으로 표현하라.

(2) \(L(2.1)\), \(L(2.3)\), \(L(2.5)\)의 값을 구하라.

힌트: \(X \sim N(\mu, 1)\)일 때, \(f(x) = \frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2}\right)\)

(3) (2)의 결과로 판단하면 최대가능도방법의 관점에서 \(\theta\)가 2.1, 2.3, 2.5중 어떠한 값이라고 추정하는것이 가장 타당한가? (이유도 쓸 것)

(4) \(L(\theta)\)의 값을 최대화하는 \(\theta\)를 이론적으로 구하라.

(5) \(E[X^2]\)을 최대가능도방법으로 추정하라.

힌트: \(X \sim N(\theta, 1)\)일 때, \(E[X^2] = \theta^2 + 1\)

(6) \(E[(X-1)^2]\)을 최대가능도방법으로 추정하라.

힌트: \(E[(X-1)^2] = \text{Var}(X) + (E[X]-1)^2 = 1 + (\theta - 1)^2\)