딥러닝 썸네일형 리스트형 [Remark] Implicit Neural Representations with Periodic Activation Functions이 잘되는 이유 [Remark] Implicit Neural Representations with Periodic Activation Functions 이 잘되는 이유 Implicit Neural Representation 은 데이터에 대한 좌표나 위치를 입력으로 받아서 해당 점의 값을 반환하는 함수를 학습시키는 딥러닝 기법 중 입니다. 이미지나 영상과 같은 시그널 프로세싱에 많이 쓰이며, 신경망에 데이터에 대한 정보를 압축하고 더 나은 표현방법을 학습시켜 데이터의 크기를 줄일 수도 있고, 더 좋은 퀄리티로 복원하는데 사용됩니다. ReLU position encoding과 같이 데이터의 좌표에 시그널 값을 주는 방법이나, Sine activation을 사용하는 방법이 주로 사용됩니다. 이 포스팅에서는 Sine activ.. 더보기 [Remark] Power method의 원리와 python 코드 구현 Power method의 원리와 코드 구현 Pytorch로 구현한 Power method 는 다음과 같습니다. import torch import numpy as np def power_method(weight, power_iteration=1): # --- variables dim_in, dim_out = weight.size(1), weight.size(0) u = torch.rand(dim_out) v = torch.rand(dim_in) # --- iteration for i in range(power_iteration): u = torch.matmul(weight, v) / torch.matmul(weight, v).norm() v = torch.matmul(weight.T, u) / torch.. 더보기 [Remark] All the probability metrics we need. All the probability metrics we need This post explains the probability metrics, including only the essential parts of the them. Kullback-Leiber Total variation Kolmogorov-Smirnov Wasserstein Maximum mean discrepancy Kullback-Leiber Consider two probability distributions $P$ and $Q$. The Kullback-Leiber Distance is defined by $$\begin{aligned}KL(P||Q) &= \sum_x P(x) \log \frac{P(x)}{Q(x)} \\ KL(P.. 더보기 [Remark] Sarsa와 Q-learning 비교하기 [Remark] Sarsa와 Q-learning 비교하기 강화학습의 목적은 Reward 혹은 Return을 최대화하는 Policy를 학습하는 것이다. 마리오 게임에서 내 손으로 게임을 하면 버섯을 밟기도 하고, 장애물에 빠지기도 하면서 게임 플레이 시간이 오래걸리거나 혹은 도착지에 도달하지 못할 수도 있다. 그러나 충분히 학습된 인공신경망 policy를 이용하면, 게임을 쉽게 깰 수 있다. 물론 초기상태에서는 내 손보다 게임을 못하겠지만, 지속적으로 플레이하면서 점점 policy가 발전할 것이다. 물론 내 손으로 플레이 하는 것도 점차적으로 실력이 향상될 것이다. 내 손과 인공신경망 policy를 비교하기 위해서는 policy를 평가해야 한다. 강화학습에서는 이를 policy evaluation 라고 한.. 더보기 [Remark] Why contraction property is important for Bellman operator [Remark] Why contraction property is important for Bellman operator Bellman Equation은 value function이 만족하는 방정식으로 주어진 policy에 대해서 $V_\pi(s)$값에 대한 관계를 나타냅니다. 주어진 policy $\pi$에 대해서 Bellman operator $\mathcal{T}_\pi$와 Bellman optimal operator $\mathcal{T}_*$은 다음과 같습니다. $$\mathcal{T}_\pi v = R_\pi + \gamma P_\pi v ~~~~~ (1)$$ $$(\mathcal{T}_\pi v)(s) = \max_{a\in \mathcal{A}} R_s^a + \gamma \sum_{s' .. 더보기 [Remark] Support Vector Machine 이해하기 [Remark] Support Vector Machine 이해하기 Support Vector Machine (SVM)은 Machine Learning의 분류기 중에 한 종류이다. Margine을 최대화하는 방향으로 학습한다는 말을 자주 사용하는데, 이번 포스팅에서는 Margine을 최대화하는 것의 의미를 짚어보고자 한다. 해당 글은 ratsgo blog 와 wikipedia를 참고하여 작성하였습니다. 1. 문제를 풀기 전, 주어진 상황 $(x_1, y_1), \cdots, (x_n, y_n) $ 점들이 있다. $y\in \{ -1, 1 \}$ 레이블이다. * 여기서, -1, +1 으로 레이블을 고정하는 것은 나중에 최적화 문제를 푸는데 도움을 주기 때문입니다. 2. SVM의 목표 $w * x -b $ 값.. 더보기 [StyleGAN] 이해하기 StyleGAN을 이해하기 위해서 StyleGAN을 4부분으로 나눠서 이해하겠습니다. 1. Mapping Network Part 2. Constant Input 3. Adaptive Instant Normalization 4. Noise 1. Mapping Function 목적: Random한 Latent Variable을 Encoding함으로써 랜덤한 스타일을 나타낸다. 2. Constant Input 목적: Synthesis Network의 시작점으로 항상 Constant Input을 넣는다. (학습을 통해 업데이트가 된다) 3. Adaptive Instant Normalization 목적: 스타일에 대한 정보로 Feature를 다시 Scaling 한다. 4. Noise 목적: Synthesis Ne.. 더보기 BLEU Score의 소개와 계산하는 방법 (Python) Last Updated on July 23, 2021 Bilingual Evaluation Understudy (BLEU) 딥러닝의 발달로 텍스트를 생성하는 Generative Model은 챗봇, 문서 요약등 다양한 분야에서 사용되고 있습니다. Generated Sentence를 평가하는 방식은 크게 BLEU 방식과 ROUGE 방식이 있습니다. 여기서는 BLEU 와 이를 계산할 파이썬 라이브러리를 소개합니다. (TMI: BLEU 는 블류라고 읽어주시면 됩니다) Generative Model은 주로 Supervised Learning 방식으로 정답이 되는 Reference Sentence가 있습니다. 모델로부터 생성되는 문장을 Generated Sentence 그리고 비교하는 정답을 Reference Se.. 더보기 이전 1 2 3 4 5 6 ··· 8 다음
