【筆記】台大電機 Prof. 葉丙成 機率與統計 Part 1.B

Axioms 公理 Link to heading

  • 作為理論基石
  • e.g. 線性代數有8個公理
  • 公理不可被證明 就是直觀的理解

Axioms of Probability 機率三大公理 Link to heading

Axioms 1

  • $P(A) \ge 0, \quad \forall A \in \mathcal{F}$ (Event Space $\mathcal{F}$)

Axioms 2

  • $P(S) = 1$
  • $P(S)$ 即「實驗做完後，結果落在樣本空間裡的機率」
  • 樣本空間也算一種事件

Axioms 3

  • $\text{If } A \cap B = \emptyset, \text{ then } P(A \cup B) = P(A) + P(B)$
  • $\text{If } A_i \cap A_j = \emptyset \ (\forall i \neq j), \text{ then } P\left( \bigcup_{i=1}^{\infty} A_i \right) = \sum_{i=1}^{\infty} P(A_i)$

機率的性質 Link to heading

性質 1 Link to heading

$$ \text{Event } E = {o_1, o_2, \dots, o_n} \ \text{Then} \ $$ $$ \begin{aligned}P(E) &= P({o_1} \cup {o_2} \cup \dots \cup {o_n}) & \text{Since } o_1, o_2, \dots, o_n \text{ 互斥} \ \implies P(E) &= \sum_{i=1}^{n} P({o_i})\end{aligned} $$

性質 2 Link to heading

$$ P(\emptyset) = 0 $$

性質 3 Link to heading

$$ P(A) = 1 - P(A^c) $$

性質 4 Link to heading

$$ P(A) = P(A - B) + P(A \cap B) $$

性質 5 (排容原理) Link to heading

$$ P(A \cup B) = P(A) + P(B) - P(A \cap B) $$

性質 6 (切麵包定理) Link to heading

$$ \text{若 } C_1, C_2, \dots, C_n \text{ 互斥 } \ \text {且 } C_1 \cup C_2 \cup \dots \cup C_n = S $$ $$ \text{則對任何事件 } A, \ P(A) = P(A \cap C_1) + P(A \cap C_2) + \dots + P(A \cap C_n) $$

機率不等式 Link to heading

1 Link to heading

$$ \text{If } A \subset B \text{, then } P(A) \le P(B). $$

2 布爾不等式（Boole’s Inequality） Link to heading

$$ \text{For any set of events } A_1, A_2, \dots, A_n,\ P\left( \bigcup_{i=1}^{n} A_i \right) \le \sum_{i=1}^{n} P(A_i) $$

  • 這邊是 for any set 不要求每個set要互斥

3 龐費洛尼不等式（Bonferroni’s Inequality） Link to heading

$$ \text{For any set of events } A_1, A_2, \dots, A_n,\ P\left( \bigcap_{i=1}^{n} A_i \right) \ge 1 - \sum_{i=1}^{n} P(A_i^c) $$

條件機率 Conditional Probability Link to heading

$$ P(X \mid Y) $$

X = 我們關心的事件

Y = 已發生的事件

  • 事件Y發生後，樣本空間就縮小了

$$ P(X \mid Y) = \frac{P(X \cap Y)}{P(Y)} $$

條件機率的性質 Link to heading

$$ \textbf{Property 1 (非負性):} \quad P(X \mid Y) \ge 0 $$ $$ \textbf{Property 2 (規範性):} \quad P(Y \mid Y) = 1 $$ $$ \textbf{Property 3 (可加性):} \quad P(A \cup B \mid Y) = P(A \mid Y) + P(B \mid Y) \quad (A \cap B = \emptyset) $$

Total Probability 定理 Link to heading

$$ \text{若 } C_1, C_2, \dots, C_n \text{ 互斥 } \ \text {且} C_1 \cup C_2 \cup \dots \cup C_n = S \ \text{則對任意事件 } A \text{，我們有}P(A) = \sum_{i=1}^{n} P(A \mid C_i) P(C_i) $$

  • from 切麵包定理

貝氏定理 （Bayes’ Rule / Bayes’ Theorem） Link to heading

$$ \text{若 } C_1, C_2, \dots, C_n \text{ 互斥且 } C_1 \cup C_2 \cup \dots \cup C_n = S $$ $$ \text{則對任意事件 } A \text{，任何 } j = 1, 2, \dots, n \ \text{我們有}P(C_j \mid A) = \frac{P(A \mid C_j) P(C_j)}{\sum_{i=1}^{n} P(A \mid C_i) P(C_i)} $$