Bayesian 1 - Think Bayesian approach

Think Bayesian approach 👨‍🌾

 

확률론에서 Frequentist와 Bayesian은 빼놓을 수 없는 논쟁 중 하나입니다. 두 개의 접근법은 근간이 되는 가정이 서로 다르기 때문에, 모델과 데이터에 대한 서로 다른 견해를 보여줍니다. 

 데이터와 모델에 대한 이야기로 시작해보겠습니다. 로또를 구매했을 때, 우리는 당첨이 될 확률이 굉장이 낮다는 것을 알고 있고, 실제로 그 확률을 수치상으로 표현할 수 있습니다. 그러나 수치를 안다고 해서 내가 로또에 당첨될 수 있는 것은 아닙니다. 이러한 불확실한 현상과 랜덤의 성질이 Frequentist와 Bayesian을 나누는 근간이 됩니다. 

 

  2월의 넷째 주 토요일에 로또 번호 $X$ 가 나왔습니다. $X$는 어떠한 모델 $\theta$에 의해서 생성된 것입니다.  즉 데이터를 생성하는 모델이 있습니다. 그렇다면 위에서 설명한 현상은 $X$와 $\theta$ 중에 어떤 곳에서 발생된 것일까요? 데이터 자체에 Random한 성질이 있는지 아니면 모델에 있는지 확신할 수는 없지만, 이에 대해서 이야기해볼 수는 있을 것 같습니다. 

 

🍊 Bayesian vs Frequentist 

View point

 

Frequentist는 일어난 현상에 대해서 생각을 하는 반면에 Baysian은 그 현상을 유발하는 무언가에 대한 조건을 이야기합니다. 

 

-	Frequentist	Bayesian
View point	Objective	Subjective
Data and parameters	$X$ is random and $\theta$ is fixed	$\theta$ is random and $X$ is fixed
Size	$|X|>>|\theta|$	For any $|X|$
Training	Maximum Likelihood : $\hat{\theta} = argmax_\theta{P(X|\theta)}$	Bayes Theorem $\frac{P(X|\theta)P(\theta)}{P(X)}$

 

---

🍊 Classification of Bayesian

Training

Bayesian의 훈련은 주어진 데이터에 대해서 모델의 확률분포를 훈련시키는 것 입니다. 이로 인해서, 데이터에 대해서 가장 높을 확률을 지니게 되는 파라미터를 찾을 수 있습니다. 

 

$P(\theta|X_{tr}, y_{tr}) = \frac{P(y_{tr} | X_{tr}, \theta)P(\theta)}{P(y_{tr}|X_{tr})}$

Prediction

수많은 모델 파라미터가 존재하기 때문에, Prediction은 모든 $\theta$에 대해서 확률을 Integral하는 방식으로 진행됩니다. 

 

$P(y_{tr}|X_{ts}, X_{tr}, y_{tr} ) = \int P(y_{ts}|X_{ts},\theta)P(\theta|X_{tr},y_{tr})d\theta$

 

 

on-line Learning

Bayesian의 장점 중 하나는 On-line Learning이 가능하다는 것 입니다. On-line learning은 현재 학습된 상태에서 추가로 데이터가 주어졌을 때, 모델의 파라미터를 업데이트 하는 방식입니다.  $x_k$데이터가 주어졌을 때, Bayes Theorem을 이용해서 기존의 모델 파라미터 $P_k(\theta)$를 Prior로 설정하는 방식입니다. 

 

$P_k(\theta) = P(\theta|x_k) = \frac{P(x_k|\theta)P_{k-1}(\theta)}{P(x_k)}$

 

 

Classification of Frequentist

Frequentist는 참인 모델이 존재하므로, 데이터를 가장 잘 설명하는 모델을 제시합니다. 

 

---

🍊 Bayesian Network

 

Bayesian에서 중요한 요소는 현재 상태를 설명하기 위해서, Prior가 존재한다는 것 입니다. 동전의 확률을 구하기 위해서, 무수히 반복하는 것이 아닌, 우리가 가정하는 동전의 확률이 Prior로 작용하고, 이를 토대로 Likelihood를 계산한다면, 최종적으로 모델에 대한 확률인 Posterior가 구해집니다. 이러한 관계를 설명하기 위해서 Bayesian Network에 대해서 알아보겠습니다. 

 

Nodes : Random variables
Edges : direct impact

$P(X_1, \cdots , X_n) = \prod_{k=1}^{n}P(X_k|Pa(X_k))$

Here $Pa(B)={C}$ and $P(A,B,C) = P(C)P(A|C)P(B|A,C)$

 

여기서 Parent(Pa)가 우리가 기존에 가지고 있는 믿음 Prior가 됩니다. 이러한 믿음 때문에, 위해서 Bayesian의 View point를 Subject라고 이야기 했습니다. 

---

Naive Bayes Classifier

 

Bayesian과 Classification모델의 관계를 나타내보겠습니다. 

 

Assume that there is a class c and $f_i, i=1,\cdots n$ be infered by c.

 

Class인 C에 대해서 각각의 특성(Feature)에 대한 선호도 혹은 확률을 생각할 수 있습니다. 타이타닉을 예로 들어보자면, 생존한 사람(C)과 성별 특성(Feature)에 대하여 C=생존 이라면, 여성일 확률이 남성일 확률보다 높습니다. 

(이는 타이타닉 EDA를 통해서 확인 할 수 있습니다.) 

 

$P(c, f_1, \cdots f_N) = P(c)\prod_{i=1}^{N}P(f_i|c)$

 

머신러닝과 딥러닝 같은 경우 보통, 파라미터의 수가 무척이나 많이 때문에 이러한 형태는 아래와 같이 축약해서 사용할 수 있습니다. 

we can use a $Plate notation$

---

🍊 Linear Regression

[설명 추가 예정]

 

 

Univariate normal

$\mathcal{N}(x|\mu, \sigma^2) = \frac{1}{\sqrt{(2\pi\sigma^2)}}e^-\frac{(x-\mu)^2}{2\sigma^2}$

Multivariate normal

$\mathcal{N}(x|\mu, \sum) = \frac{1}{\sqrt{|(2\pi\sum)|}}exp[-\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)]$

Covariance Matrix and Number of parameters

Full : D(D+1)/2

Diagonal : D

Spherical : 1

Least squares problem

$$L(w) = \sum_{i=1}^N(w^Tx_i -y_i)^2 = ||w^TX -y ||^2 -> min$$

We can define the model like this

$$
P(w,y | X) = P(y|X,w)P(w) \
P(y|w, X) = \mathcal{N}(y|w^TX, \sigma^2\mathit{I}) \
P(w) = \mathcal{N}(w|0, \gamma^2 \mathit{I})
$$

$P(w|y,X)$ is what we have to maximize.

$$
P(w|y,X) = \frac{P(y,w|X)}{P(y|X)}
$$

Since $P(y|X)$ term is not dependent on $w$, we should maximize $P(y,w|X)$

Since log function is concave, we get

$$
P(w,y | X) = P(y|X,w)P(w) \\
\log{P(w,y | X)} = \log({P(y|X,w)P(w))} \\
\log{P(w,y | X)} = \log{P(y|X,w)}+\log{P(w)}
$$

$$
\begin{aligned}
\log{P(y|X,w)}+ \log{P(w)} &= \log{C_1 exp(-\frac{1}{2}(y-w^TX)(\sigma^2\mathit{I})^{-1}(y-w^TX))} \\
&+ \log{C_2 exp(-\frac{1}{2}w^T(\sigma^2\mathit{I})^{-1}w)} \\
&= -\frac{1}{2\sigma^2}(y-w^TX)^T(y-w^TW) - \frac{1}{2\gamma^2}w^Tw
\end{aligned}
$$

If we change the maximization problem to the minimization problem, we get the least squeare problem plus L2 regularization.

$$
||y-w^TX||^2 + \lambda||w||^2
$$

 

References 

 

[1] Coursera www.coursera.org/learn/bayesian-methods-in-machine-learning/home/welcome