[수리통계학] 불의 부등식(Boole's Inequality)

Review
# 해당 포스팅은 KOCW 김충락 교수님의 수리통계학 강의와 Hogg의 수리통계학개론(Introduction to Mathematical Statistics)를 기초로 작성되었습니다.

---

안녕하십니까, 간토끼입니다.
이번 포스팅에서는 집합의 성질을 좀 더 다뤄보고, 이를 바탕으로 불의 부등식(Boole's Inequality)를 다뤄보겠습니다.

 

---

 
잠시 용어를 정립하고 넘어가겠습니다.

 
임의의 $i\ne j$에 대하여, 집합 $C_i$ 와 $C_j$ 의 교집합이 공집합이라면,
$$C_i\cap C_j=\varnothing ,\mathrm{\forall }i\ne j$$
이를 Mutually Exclusive 라고 합니다. 번역하면 상호 배반적인 관계 입니다.
 
이때 Mutually Exclusive한 집합들의 합집합(Union)이 Sample Space를 이룬다면, 이를 Collectively Exhaustive 하다고 합니다.
$$C_1\cup C_2\cup \cdots =\bigcup _{i=1}^{\mathrm{\infty }}=C$$ 
우리 말로는 전체 포괄적인 관계라고 하는데 ... 어색하네요. 그냥 Exhaustive하다고 합시다.
그리고 이러한 사건의 모임은 Sample Space $C$ 의 분할(Partition)을 형성한다고 합니다.
 
 
자 본론으로 돌아와서 예전 포스팅에서 다뤘던 단조 집합열에 대해 잠깐 짚고 넘어가보죠.
지난 포스팅에서 단조(Monotone) 집합열에 대해 다뤘었는데요.

모든 $n$ 에 대해서 $A_n\subset A_{n+1}$ 관계가 성립하면 사건열 $A_n$은 비감소, 즉 증가열(Increasing Set)이라고 정의할 수 있었습니다.
물론 Decreasing set에 대해서도 마찬가지로 보일 수 있겠죠.
 
이때 사건열에 확률을 취한 $P(A_n)$에 limit를 취한 $limP(A_n)$에 대하여, 확률 $P$ 와 $lim$ 를 바꿔도 결과가 동일할까요?

이를 보이는 것을 확률의 연속 정리라고 합니다.
 
만약 집합열 $C_n$가 increasing set이라면,
사건열에 확률을 취한 $P(C_n)$에 limit를 취한 $\underset{n\to \mathrm{\infty }}{lim}P(C_n)$ 에 대하여, 확률 P와 lim를 바꿔도 결과가 동일함을 보일 수 있습니다.
$$\underset{n\to \mathrm{\infty }}{lim}P(C_n)=P(\underset{n\to \mathrm{\infty }}{lim}{C}_n)=P(\bigcup _{n=1}^{\mathrm{\infty }}{C}_n)$$
 

위 증명 과정에 의해 같음을 보일 수 있습니다.
$R_n$이라는 새로운 notation을 도입합니다.
$$Let{R}_1=C_1,R_n=(C_n\cap C_{n-1}^c)$$
$$Then\bigcup _{n=1}^{\mathrm{\infty }}{C}_n=\bigcup _{n=1}^{\mathrm{\infty }}{R}_n,\mathrm{\forall }m\ne n{R}_m\cap R_n=\varnothing$$
 
$C_n$의 Countable Union과 $R_n$ 의 Countable Union이 같음을 이용하고,
확률의 세 번째 공리(Countable additivity)를 이용해 $P(R_n)$을 변형해주는 포인트만 기억한다면 쉽게 보일 수 있습니다.
$$P(\bigcup _{n=1}^{\mathrm{\infty }}{R}_n)=\sum _{n=1}^{\mathrm{\infty }}P(R_n)=\underset{n\to \mathrm{\infty }}{lim}\sum _{j=1}^{n}P(R_j)=\underset{n\to \mathrm{\infty }}{lim}[P(R_1)+\sum _{j=2}^{n}P(R_j)]$$
$$\underset{n\to \mathrm{\infty }}{lim}[P(R_1)+\sum _{j=2}^{n}P(R_j)]=\underset{n\to \mathrm{\infty }}{lim}[P(R_1)+\sum _{j=2}^n[P(C_j)-P(C_{j-1})]]=\underset{n\to \mathrm{\infty }}{lim}P(C_n)$$
$$\therefore \underset{n\to \mathrm{\infty }}{lim}P(C_n)=P(\underset{n\to \mathrm{\infty }}{lim}{C}_n)$$ 
 
어렵진 않죠?
 

728x90

 
이제 이를 이용해서 불의 부등식을 정의해보겠습니다. 부울의 부등식이라고도 합니다.
위에서 다룬 확률의 연속정리에서는 사건열이 Increasing Set, 즉 monotonous set이었는데요.
물론 Decreasing set에 대해서도 확률의 연속정리가 성립함을 보일 수 있습니다.
 
그렇다면 monotonous가 아닌 임의의 사건열에 대해서는 확률의 연속정리를 보일 수 있을까요?
이때 필요한 게 불의 부등식(Boole's Inequality)입니다.
 

불의 부등식은 사건의 집합열이 monotonous set이 아닌 arbitrary set일 때 Union과 Summation의 대소를 파악할 수 있도록 도움을 주는 부등식입니다.
증명도 어렵진 않습니다.

임의의 집합 $C_i$ 의 Union을 $D_i$ 라고 정의하면, 이때 $D_i$는 increasing set입니다.
$$D_1=C_1,D_2=C_1\cup C_2,D_3=C_1\cup C_2\cup C_3,\cdots ,D_n=C_1\cup C_2\cup \cdots \cup C_n$$
 
그러므로 $D_j=D_{j-1}\cup C_j$라고 할 수 있겠죠.
만약 $j=3$ 이라고 하면 $D_3=C_1\cup C_2\cup C_3$ 인데, 이는 $D_2\cup C_3$와 같잖아요?
 

 
그래서 위 과정을 이용하면 임의의 집합열 $C_n$에 대하여 $C_n$의 Union의 확률은 각 $C_n$의 확률을 summation 한 것보다 작거나 같음을 알 수 있습니다.
이를 불의 부등식이라고 합니다.
$$P(\bigcup _{n=1}^{\mathrm{\infty }}{C}_n)\le \sum _{n=1}^{\mathrm{\infty }}P(C_n)$$ 
 
뭔가 직관적으로 이해가 안 되시죠?

그냥 직관적으로 이 얘기입니다.
A∪B의 확률은 A와 B의 확률을 더한 것보다 작거나 같죠. 클리는 없으니깐요.
$$P(A\cup B)\le P(A)+P(B)$$
 
만약 A와 B가 disjoint, 즉 교집합이 공집합인 case라면 이때는 A∪B의 확률은 A와 B의 확률을 더한 것과 같죠.
$$P(A\cup B)=P(A)+P(B)ifA\cap B=\varnothing$$ 
이를 증명해보이는 것이 불의 부등식(Boole's Inequality)입니다.
 
다음 포스팅에서는 조건부 확률과 독립, 그리고 베이즈 정리에 대해 2번의 포스팅동안 다뤄보겠습니다.
기초통계학에서 다뤘던 주제긴 하지만, 수리통계학에서 나오는 notation 등을 좀 더 보완해서 다뤄볼게요.
 
감사합니다.
잘 읽으셨다면 게시글 하단에 ♡(좋아요) 눌러주시면 감사하겠습니다 :)
(구독이면 더욱 좋습니다 ^_^)
* 본 블로그는 학부생이 운영하는 블로그입니다.
따라서 포스팅에 학문적 오류가 있을 수 있으며, 이를 감안해서 봐주시면 감사하겠습니다.
 

---

- 간토끼(DataLabbit)
- B.A. in Economics, Data Science at University of Seoul