Prototypical Networks for Few-shot Learning

원시 신경망(prototypical network)은 퓨 샷 러닝의 한 방법으로, 소수의 예시만으로도 효과적인 학습이 가능한 모델입니다. 이미지 분류를 비롯한 여러 분야에서 그 성능이 입증되었으며 제한된 데이터로도 정확한 분류가 가능하다는 장점이 있습니다.

원시 신경망의 군집화 로직을 보여주는 도표

퓨 샷 학습과 같은 극히 제한된 데이터 환경에서 분류기는 단순하고 귀납적 특성을 가져야 과대적합을 피할 수 있습니다. 이를 위해 각 클래스를 대표하는 원형을 중심으로 군집화가 이루어집니다. 이는 입력 데이터의 비선형 매핑과 분산 공간(embedding space)을 활용하는 네트워크를 통해 수행되며, 이 공간에서 각 클래스의 원형이 정의됩니다.

해당 내용은 이 논문을 기반으로 합니다.

Formulation

계급 $k$에 대한 서포트 세트 $S_k$는 다음과 같이 수식화됩니다:

• $S_k = \{(x_i,y_i),...,(x_N,y_N)\} \quad\text{where is: }$

  • x_i \in \mathbb{R}^D$

  • $y_i \in \{ 1, …, K \}$

  • $k \text{ is index of a class}$

이때, 다음이 정의될 수 있습니다:

• 원시 신경망은 $M$-차원에 대해 그 계급의 대표인 원형 $c_k \in \mathbb{R}^M$을 사용합니다. 이를 위한 분산 값을 얻기위해 매개변수 $\theta$를 가진 분산 함수 $f_{\theta}:\mathbb{R}^D \rightarrow \mathbb{R}^M$를 사용합니다. 각 원형은 다음과 같이 계산됩니다.

  • $\text{Prototype} = c_k = \frac{1}{|N_C|}\sum_{(x_i, y_i) \in S_k}{f_{\theta}(x_i)}$

• 거리 함수 $d: \mathbb{R}^M \cdot \mathbb{R}^M \rightarrow [0, +\inf)$가 주어졌을 때, 원시 신경망은 분산 공간에서 각 계급의 원형에 쿼리 지점 $x$ 대한 거리, 그에 대한 소프트맥스를 계산합니다.

  • $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$

  • 거리를 구하는 함수 $d(., .)$는 다음과 같습니다: $d(x,y) = \sqrt{\sum_{i=1}^{n}{(x_i - y_i)^2}}$

• 학습은 네거티브 로그 확률 $J(\theta) = -\log{p_{\theta}(y = k | x) }$과 $SGD$를 통해 계산됩니다. 한 에피소드를 위한 데이터셋은 무작위로 선정된 계급의 부분집합과 그에 대한 무작위 샘플 몇 개로 구성됩니다. 나머지는 쿼리 지점으로 사용됩니다.

Algorithm

모델 $f_{\theta}(x)$의 훈련 알고리즘은 두 학습 단계로 설명될 수 있습니다. 단계 1에선 서포트 세트를 통해 원형 $c_k$를 계산합니다. 단계 2에선 쿼리 세트를 통해 손실 $J$을 계산하고 임베딩 네트워크를 가중치 $\theta$를 갱신합니다.

• 소프트맥스: $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$

• 네거티브 로그 확률: $J(\theta) = -\log{p_{\theta}(y = k | x) }$

1. 단계 1:

   1. $S = \text{RandomSample}(D, N_k)$

   2. $c_k = \frac{1}{S_k} \cdot \sum_{(x_i, y_i) \in S_k}{f_{\theta}(x_i)}$

2. 단계 2:

   1. $Q = \text{RandomSample}(... S + D, N_q)$

   2. for $k$ in $Q$

      1. $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$

         • $J(\theta) = -\log{p_{\theta}(y = k | x) }$

         • $\theta \leftarrow \theta + \Delta{J(\theta)}$

제가 직접 작성한 구현 코드를 확인하세요!