10wk-2: 최대가능도추정 (1)

Author

최규빈

Published

November 6, 2025

강의영상

의문: 가능도라는 건 그냥 말장난 아닌가?

일견 그렇게 보일 수 있는 이유

  • Fisher의 1922년 논문은 개념적으로 단순해 보임
  • 확률과 가능도의 구분이 수식적으로는 동일해 보임
  • 단지 관점의 차이로만 보일 수 있음

하지만 이는 중요한 패러다임의 전환이다

  • 수학적 엄밀성: 가능도는 관측된 데이터를 고정하고 모수 공간에서의 함수로 취급함으로써, 추정 문제를 최적화 문제로 명확히 정식화
  • 일관된 추론 체계: 최대가능도추정(MLE)은 큰 표본에서 일치성(consistency), 점근적 정규성(asymptotic normality), 효율성(efficiency) 등의 바람직한 통계적 성질을 갖춘다
  • 실용적 유용성: 복잡한 모형(회귀분석, GLM, 시계열, 생존분석 등)에서 일관되게 적용 가능한 추정 원리를 제공
  • 현대 통계학의 기초: 가능도 원리는 베이지안 추론, 정보이론, 모형선택(AIC, BIC) 등 현대 통계학의 핵심 개념들의 토대가 됨

단순히 “말장난”이 아니라, 통계적 추론을 위한 강력하고 범용적인 수학적 프레임워크를 제공한 것이 Fisher의 공헌이다.

최대가능도 추정

# 예제1

앞면이 확률이 \(\theta\)인 동전을 10번 던져서 아래와 같이 나왔다고 하자.

  • data: 0, 1, 0, 0, 1, 1, 1, 0, 1, 0

이때 가능도함수는 아래와 같이 정의된다.

\[L(\theta|data) = \mathbb{P}(data|\theta)\]

  • 만약에 \(\theta=0.1\) 이었다면 가능도는 \(L(\theta|data) = 0.9^5 \times 0.1^5\) 이다.
  • 만약에 \(\theta=\star\) 이었다면 가능도는 \(L(\theta|data) = (1-\star)^5 \times \star^5\)와 같이 계산될 것이다.

따라서 가능도함수 \(L(\theta)=L(\theta|data)\)는 아래와 일반화 할 수 있다.

\[L(\theta) = (1-\theta)^5 \theta^5\]

몇개의 점에서 가능도함수값을 계산하면 아래와 같다.

\(\theta\) 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
\(L(\theta)\) 0.0001 0.0003 0.0010 0.0082 0.0098 0.0082 0.0010 0.0003 0.0001
  • (\(\theta=0.1\) vs \(\theta=0.2\)): 어떠한 사람의 주장이 더 그럴듯하게 들리는가?
  • (\(\theta=0.2\) vs \(\theta=0.5\)): 어떠한 사람의 주장이 더 그럴듯하게 들리는가?
  • \(\theta=0.5\) 라고 주장하는 사람을 이길 수 있는 사람이 있을까?

더 많은 가능도함수 값을 조사하여 그림을 그려보자.

theta = 1:100/100
likelihood = (1-theta)^5 * theta^5
plot(theta,likelihood)

그림1: 예제1의 \(L(\theta)\)를 나타내는 산점도. 육안으로 파악하였을 경우는 대충 \(\theta=0.5\) 근처에서 최대값을 가지는 것 처럼 보인다.

결론: 동전을 던져서 결과가 아래와 같이 나왔다면

  • data = (0, 1, 0, 0, 1, 1, 1, 0, 1, 0)

동전을 던져서 앞면이 나올 확률은 \(\theta=0.5\)라고 추정할 수 있다. 왜냐하면 가능도함수 \(L(\theta)\)가 \(\theta\)에서 최대값을 가지니까. 따라서 이 문제의 경우 \(\theta\)에 대한 추정치는 \(\hat{\theta}=0.5\)라고 볼 수 있다.

#

# 정의 – 모수에 대한 추정치는 모수 그 자체 (흔히 \(\theta\)로 표기하는)와 구분짓기 위해서 \(\hat{\theta}\) 같은 기호로 사용한다. 즉

\[\hat{\theta} = 0.5 \Leftrightarrow \text{``$\theta=0.5$로 추정''}\]

이다.

의문

이 예제를 다 살펴보면 사실 이런 의문이 들죠.. 어차피 \[\bar{x}=\frac{0+1+0+0+1+1+1+0+1+0}{10}=0.5\]니까 당연히 \(\theta=0.5\)라고 주장해야 하는것 아니냐고..

# 예제2

앞면이 나올 확률이 \(\theta\)인 동전을 7번 던져서 아래와 같이 나왔다고 하자.

  • data: 0, 1, 0, 0, 1, 1, 1

이 경우는 동전을 던져서 앞면이 나올 확률 \(\theta\)를 어떻게 추정하는게 맞을까?

(풀이)

theta = 1:100/100
likelihood = (1-theta)^3 * theta^4
plot(theta,likelihood)

그림2: 예제2의 \(L(\theta)\)를 나타내는 산점도. 육안으로 파악하였을 경우는 대충 \(\theta=0.6\) 근처에서 최대값을 가지는 것 처럼 보인다.

최대값을 엄밀하게 조사하기 위해서 아래를 구해보자.

likelihood
  [1] 9.702990e-09 1.505907e-07 7.392651e-07 2.264924e-06 5.358594e-06
  [6] 1.076437e-05 1.931261e-05 3.189506e-05 4.944179e-05 7.290000e-05
 [11] 1.032145e-04 1.413100e-04 1.880750e-04 2.443473e-04 3.109008e-04
 [16] 3.884345e-04 4.775622e-04 5.788041e-04 6.925792e-04 8.192000e-04
 [21] 9.588672e-04 1.111667e-03 1.277567e-03 1.456417e-03 1.647949e-03
 [26] 1.851776e-03 2.067396e-03 2.294191e-03 2.531436e-03 2.778300e-03
 [31] 3.033850e-03 3.297058e-03 3.566812e-03 3.841913e-03 4.121091e-03
 [36] 4.403013e-03 4.686283e-03 4.969463e-03 5.251072e-03 5.529600e-03
 [41] 5.803520e-03 6.071292e-03 6.331380e-03 6.582256e-03 6.822415e-03
 [46] 7.050381e-03 7.264723e-03 7.464058e-03 7.647066e-03 7.812500e-03
 [51] 7.959191e-03 8.086062e-03 8.192134e-03 8.276535e-03 8.338507e-03
 [56] 8.377417e-03 8.392760e-03 8.384166e-03 8.351406e-03 8.294400e-03
 [61] 8.213214e-03 8.108071e-03 7.979347e-03 7.827578e-03 7.653455e-03
 [66] 7.457830e-03 7.241708e-03 7.006249e-03 6.752762e-03 6.482700e-03
 [71] 6.197655e-03 5.899349e-03 5.589626e-03 5.270441e-03 4.943848e-03
 [76] 4.611987e-03 4.277070e-03 3.941363e-03 3.607167e-03 3.276800e-03
 [81] 2.952575e-03 2.636774e-03 2.331627e-03 2.039281e-03 1.761771e-03
 [86] 1.500990e-03 1.258656e-03 1.036274e-03 8.350992e-04 6.561000e-04
 [91] 4.999115e-04 3.667932e-04 2.565818e-04 1.686418e-04 1.018133e-04
 [96] 5.435818e-05 2.390291e-05 7.378945e-06 9.605960e-07 0.000000e+00
max(likelihood) 
[1] 0.00839276
which.max(likelihood)
[1] 57

likelihood는 여기에서 길이가 100인 벡터이고 (칸이 100개 있는 array), 100개의 값 중에서 최대값은 0.00839276이다. 그리고 최대값은 100칸중 57번째 칸에 위치하여 있다.

그런데 사실 likelihood는 아래와 같은 theta에 대응하여 구해진 숫자이다.

theta
  [1] 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10 0.11 0.12 0.13 0.14 0.15
 [16] 0.16 0.17 0.18 0.19 0.20 0.21 0.22 0.23 0.24 0.25 0.26 0.27 0.28 0.29 0.30
 [31] 0.31 0.32 0.33 0.34 0.35 0.36 0.37 0.38 0.39 0.40 0.41 0.42 0.43 0.44 0.45
 [46] 0.46 0.47 0.48 0.49 0.50 0.51 0.52 0.53 0.54 0.55 0.56 0.57 0.58 0.59 0.60
 [61] 0.61 0.62 0.63 0.64 0.65 0.66 0.67 0.68 0.69 0.70 0.71 0.72 0.73 0.74 0.75
 [76] 0.76 0.77 0.78 0.79 0.80 0.81 0.82 0.83 0.84 0.85 0.86 0.87 0.88 0.89 0.90
 [91] 0.91 0.92 0.93 0.94 0.95 0.96 0.97 0.98 0.99 1.00

따라서 theta=0.57에서 likelihood가 최대화된다고 볼 수 있다. 이 숫자는 우리가 가지는 직관적인 숫자

4/7
[1] 0.5714286

와 비슷하다.

#

# 예제3

정규분포에서 아래와 같은 데이터를 관측하였다고 하자.

set.seed(12)
x = rnorm(10)
x
 [1] -1.4805676  1.5771695 -0.9567445 -0.9200052 -1.9976421 -0.2722960
 [7] -0.3153487 -0.6282552 -0.1064639  0.4280148

정규분포의 평균과 분산을 추정하라.

(풀이)

정규분포의 pdf는 아래와 같다.

\[f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\]

가능도함수는 아래와 같이 정의된다. \[L(\theta|data) = f(data|\theta)\]

여기에서 \(\theta = \mu,\sigma^2\) 이므로 가능도함수는 아래와 같이 된다.

\[L(\mu,\sigma^2|data) = f(data|\mu,\sigma^2)\]

\(data = (-1.4805676, \dots, 0.4280148)\) 에 대하여 정리하면 아래와 같다.

\[L(\mu,\sigma^2)=\frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(-1.4805676-\mu)^2}{2\sigma^2}}\times\dots\times\frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(0.4280148-\mu)^2}{2\sigma^2}}\]

\((\mu, \sigma^2)=(0,1)\)에 대한 가능도함수값은 아래와 같이 계산할 수 있다.

1/sqrt(2*pi) * exp(-x^2/2)
 [1] 0.13332324 0.11501758 0.25243070 0.26128504 0.05424603 0.38442326
 [7] 0.37959099 0.32749226 0.39668776 0.36402349
prod(1/sqrt(2*pi) * exp(-x^2/2))
[1] 3.786165e-07

몇개의 \(\mu\)와 몇개의 \(\sigma^2\) 에 대한 가능도값을 구하면 아래와 같다.

\(\sigma^2=0.8\) \(\sigma^2=0.9\) \(\sigma^2=1.0\) \(\sigma^2=1.1\) \(\sigma^2=1.2\)
\(\mu=-0.7\) 8.0e-07 8.6e-07 8.6e-07 8.2e-07 7.7e-07
\(\mu=-0.6\) 1.0e-06 1.0e-06 1.0e-06 9.7e-07 8.9e-07
\(\mu=-0.5\) 1.1e-06 1.2e-06 1.1e-06 1.0e-06 9.6e-07
\(\mu=-0.4\) 1.1e-06 1.1e-06 1.1e-06 1.0e-06 9.4e-07
\(\mu=-0.3\) 9.4e-07 9.9e-07 9.8e-07 9.3e-07 8.5e-07
\(\mu=-0.2\) 7.1e-07 7.8e-07 7.9e-07 7.6e-07 7.1e-07
\(\mu=-0.1\) 4.8e-07 5.5e-07 5.7e-07 5.7e-07 5.5e-07
\(\mu=0.0\) 2.9e-07 3.4e-07 3.8e-07 3.9e-07 3.9e-07
\(\mu=0.1\) 1.5e-07 1.9e-07 2.3e-07 2.4e-07 2.5e-07

대략적으로 \(\sigma^2=0.9\) \(\mu=-0.5\) 근처에서 최대값을 가지는 듯 하다.

이를 그림으로 그려보자.

그림3: 예제3의 가능도함수 \(L(\mu, \sigma^2)\)의 곡면

역시 표로 얻은 직관과 비슷하다. 따라서 \(\mu\)와 \(\sigma^2\)을 대략적으로 \(-0.5\), \(0.9\)로 추정하는 것이 바람직해보인다. 이는 우리의 직관과 대략적으로 일치한다.

mean(x)
[1] -0.4672139
sd(x) # 이게 약간 달라보이는 것은 기분탓일까?? 
[1] 1.000657

# 예제4

분산이 1인 정규분포에서 아래와 같은 데이터를 관측하였다고 하자.

set.seed(12)
x = rnorm(10)
x
 [1] -1.4805676  1.5771695 -0.9567445 -0.9200052 -1.9976421 -0.2722960
 [7] -0.3153487 -0.6282552 -0.1064639  0.4280148

정규분포의 평균을 추정하라.

(풀이)

정규분포의 pdf는 아래와 같다.

\[f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\]

가능도함수는 아래와 같이 정의된다.

\[L(\theta|data) = f(data|\theta)\]

여기에서 \(\theta\)는 정규분포의 모평균으로 생각해야 한다. (원래는 \(\theta=(\mu,\sigma^2)\)이고 \(L(\theta|data)\)는 원래 \(\mu\)와 \(\sigma\) 모두에 영향받는 함수이겠지만, 이 문제에서는 \(\sigma=1\)으로 고정되었으므로 \(L(\theta)\)역시 \(\mu\)에만 영향받는 함수가 된다.) 따라서 아래와 같이 쓸 수 있다.

\[L(\mu|data) = f(data|\mu)\]

정리하면 아래와 같다.

\[L(\mu)=\frac{1}{\sqrt{2\pi}} e^{-\frac{(-1.4805676-\mu)^2}{2}}\times\dots\times\frac{1}{\sqrt{2\pi}} e^{-\frac{(0.4280148-\mu)^2}{2}}\]

그래프를 그리면 아래와 같다.

그림4: 예제4의 \(L(\mu)\)를 나타내는 곡선. \(\mu=-0.5\)와 \(\mu=-0.4\) 사이에서 최대값이 있는듯하다.

대략적으로 \(\mu\)는 -0.4xx 와 같은 값으로 추정하면 맞을것 같다. 그리고 이는 우리의 직관과 일치한다.

mean(x)
[1] -0.4672139