Prototypical Networks for Few-shot Learning

PreviousMeta Learning NextModel-Agnostic Meta-Learning for Fast Adaption of Deep Networks

Last updated 13 days ago

원시 신경망(prototypical network)은 퓨 샷 러닝의 한 방법으로, 소수의 예시만으로도 효과적인 학습이 가능한 모델입니다. 이미지 분류를 비롯한 여러 분야에서 그 성능이 입증되었으며 제한된 데이터로도 정확한 분류가 가능하다는 장점이 있습니다.

퓨 샷 학습과 같은 극히 제한된 데이터 환경에서 분류기는 단순하고 귀납적 특성을 가져야 과대적합을 피할 수 있습니다. 이를 위해 각 클래스를 대표하는 원형을 중심으로 군집화가 이루어집니다. 이는 입력 데이터의 비선형 매핑과 분산 공간(embedding space)을 활용하는 네트워크를 통해 수행되며, 이 공간에서 각 클래스의 원형이 정의됩니다.

해당 내용은 이 논문을 기반으로 합니다.

Formulation

계급 $k$ 에 대한 서포트 세트 $S_k$ 는 다음과 같이 수식화됩니다:

$S_k = \{(x_i,y_i),...,(x_N,y_N)\} \quad\text{where is: }$
- x_i \in \mathbb{R}^D$
- $y_i \in \{ 1, …, K \}$
- $k \text{ is index of a class}$

이때, 다음이 정의될 수 있습니다:

원시 신경망은 $M$ -차원에 대해 그 계급의 대표인 원형 $c_k \in \mathbb{R}^M$ 을 사용합니다. 이를 위한 분산 값을 얻기위해 매개변수 $\theta$ 를 가진 분산 함수 $f_{\theta}:\mathbb{R}^D \rightarrow \mathbb{R}^M$ 를 사용합니다. 각 원형은 다음과 같이 계산됩니다.
- $\text{Prototype} = c_k = \frac{1}{|N_C|}\sum_{(x_i, y_i) \in S_k}{f_{\theta}(x_i)}$
거리 함수 $d: \mathbb{R}^M \cdot \mathbb{R}^M \rightarrow [0, +\inf)$ 가 주어졌을 때, 원시 신경망은 분산 공간에서 각 계급의 원형에 쿼리 지점 $x$ 대한 거리, 그에 대한 소프트맥스를 계산합니다.
- $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$
- 거리를 구하는 함수 $d(., .)$ 는 다음과 같습니다: $d(x,y) = \sqrt{\sum_{i=1}^{n}{(x_i - y_i)^2}}$
학습은 네거티브 로그 확률 $J(\theta) = -\log{p_{\theta}(y = k | x) }$ 과 $SGD$ 를 통해 계산됩니다. 한 에피소드를 위한 데이터셋은 무작위로 선정된 계급의 부분집합과 그에 대한 무작위 샘플 몇 개로 구성됩니다. 나머지는 쿼리 지점으로 사용됩니다.

Algorithm

모델 $f_{\theta}(x)$ 의 훈련 알고리즘은 두 학습 단계로 설명될 수 있습니다. 단계 1에선 서포트 세트를 통해 원형 $c_k$ 를 계산합니다. 단계 2에선 쿼리 세트를 통해 손실 $J$ 을 계산하고 임베딩 네트워크를 가중치 $\theta$ 를 갱신합니다.

소프트맥스: $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$
네거티브 로그 확률: $J(\theta) = -\log{p_{\theta}(y = k | x) }$

단계 1:
1. $S = \text{RandomSample}(D, N_k)$
2. $c_k = \frac{1}{S_k} \cdot \sum_{(x_i, y_i) \in S_k}{f_{\theta}(x_i)}$
단계 2:
1. $Q = \text{RandomSample}(... S + D, N_q)$
2. for $k$ in $Q$
  1. $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$
    $J(\theta) = -\log{p_{\theta}(y = k | x) }$
    $\theta \leftarrow \theta + \Delta{J(\theta)}$

제가 직접 작성한 구현 코드를 확인하세요!

계급 $k$ 에 대한 서포트 세트 $S_k$ 는 다음과 같이 수식화됩니다:

$S_k = \{(x_i,y_i),...,(x_N,y_N)\} \quad\text{where is: }$

$y_i \in \{ 1, …, K \}$

$k \text{ is index of a class}$

원시 신경망은 $M$ -차원에 대해 그 계급의 대표인 원형 $c_k \in \mathbb{R}^M$ 을 사용합니다. 이를 위한 분산 값을 얻기위해 매개변수 $\theta$ 를 가진 분산 함수 $f_{\theta}:\mathbb{R}^D \rightarrow \mathbb{R}^M$ 를 사용합니다. 각 원형은 다음과 같이 계산됩니다.

$\text{Prototype} = c_k = \frac{1}{|N_C|}\sum_{(x_i, y_i) \in S_k}{f_{\theta}(x_i)}$

거리 함수 $d: \mathbb{R}^M \cdot \mathbb{R}^M \rightarrow [0, +\inf)$ 가 주어졌을 때, 원시 신경망은 분산 공간에서 각 계급의 원형에 쿼리 지점 $x$ 대한 거리, 그에 대한 소프트맥스를 계산합니다.

$p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$

거리를 구하는 함수 $d(., .)$ 는 다음과 같습니다: $d(x,y) = \sqrt{\sum_{i=1}^{n}{(x_i - y_i)^2}}$

학습은 네거티브 로그 확률 $J(\theta) = -\log{p_{\theta}(y = k | x) }$ 과 $SGD$ 를 통해 계산됩니다. 한 에피소드를 위한 데이터셋은 무작위로 선정된 계급의 부분집합과 그에 대한 무작위 샘플 몇 개로 구성됩니다. 나머지는 쿼리 지점으로 사용됩니다.

소프트맥스: $p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$

네거티브 로그 확률: $J(\theta) = -\log{p_{\theta}(y = k | x) }$

$S = \text{RandomSample}(D, N_k)$

$c_k = \frac{1}{S_k} \cdot \sum_{(x_i, y_i) \in S_k}{f_{\theta}(x_i)}$

$Q = \text{RandomSample}(... S + D, N_q)$

for $k$ in $Q$

$p_{\theta}(y = k | x)=\frac{\exp{-d(f_{\theta}(x), c_k)}}{\sum_{k’}{\exp(-d(f_{\theta}(x),c_{k’}))}}$

$J(\theta) = -\log{p_{\theta}(y = k | x) }$

$\theta \leftarrow \theta + \Delta{J(\theta)}$