Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

MAML(Model-Agnostic Meta-Learning)은 퓨 샷 러닝 모델의 한 종류로, 적은 예시만으로도 문제를 해결, 새로운 작업에 대한 빠른 적응력을 성취하는 방법으로 소개되었습니다. 기존의 경사 하강법과 호환되어 강화 학습, 회귀, 분류와 같은 전통적인 머신러닝 문제에 폭넓게 적용할 수 있다고 합니다.

Model-Agnostic이란 표현 덕분에 어떤 작업에 대해서도 잘 작동할 것이라는 식의 인상을 줄 수 있습니다. 하지만 실제로는 MAML은 작업 간 분포가 유사한 경우에만 일반화 성능이 높습니다. 이를 작업 간 변동량(task variance)가 적다 표현합니다.

인간의 지능은 한 예시를 통해 패턴을 정형화하여 다른 상황에서도 유사한 작업을 수행할 수 있습니다. 인공지능 역시 이러한 능력을 갖추어야 한다는 생각에서 MAML이 시작되었습니다. MAML은 기존 메타 학습이 추구했던 함수 최적화나 학습율에 대한 갱신법에 대한 학습과는 다른 접근법을 취합니다. 특히, 학습율이나 초매개변수 최적화와 직접적인 연관성을 갖지 않는다는 점에서 그러합니다.

해당 내용은 이 논문을 기반으로 합니다.

Formulation

MAML 알고리즘은 문제 상황을 서술하기 위해 작업 $T$를 다음과 같이 수식화합니다.

$$\mathcal{T} = \{ \mathcal{L}(x_1, a_1, …, x_H, a_H), q(x_1), q(x_{t+1} | x_t, a_t), H \}$$

• $H$는 회차(episode length)로 시간적 순서를 의미합니다.

• 모델 $f$는 관찰값 $x$를 입력 받아 $a$를 출력합니다.

• $\mathcal{L}$은 손실함수입니다. $q(x_1)$의 분포가 반영됩니다.

• $q(x_1)$은 초기 관찰값입니다.

• $\mathcal{L}(x_1, a_1, …, x_H, a_H) \rightarrow \mathbb{R}$

• q(x_{t+1} | x_t, a_t)$는 $x_t$, $a_t$q(x_{t+1} | x_t, a_t)$는 $x_t$, $a_t$에 연관된 전이분포(transition distribution)입니다.

위의 시나리오에서 모델은 $p(T)$에 대한 분포에 대해 적응함을 목표로 합니다. 이를 케이-샷 프레임워크로 설명할 수 있습니다: 모델 $f(x)$은 $T_i$를 수행하는데 있어 $K$ 만큼의 표본 $q_i$를 사용합니다. 이와 $f$ 간의 반응 $\mathcal{L}_{T_i}$로 $T_i$를 수행할 수 있어야 합니다.

일반적인 퓨 샷 학습 관점에서 본다면 각 작업 분포는 서포트 세트, 전체 분포는 쿼리 세트로 생각될 수 있습니다.

Algorithm

MAML은 한 루프에 또 하나의 루프를 감싸는 메커니즘을 가지고있습니다. 이 알고리즘을 설명하기 위해 이너루프, 아우터루프와 지역 매개변수 $\theta_i$, 메타 매개변수 $\theta$에 대해 생각해볼 수 있습니다:

• 요구 사항: $p(T)$—작업에 대한 분포, $\alpha$, $\beta$: 초-매개변수에 대한 발자국 크기

  • $\alpha$는 학습율, 발자국 크기입니다.

  • $\beta$는 학습율, 발자국 크기입니다.

1. $\theta$를 무작위로 시작한다.

2. 끝나기 전까지 다음을 반복한다.

   1. 업무에 대한 샘플 $T_i, ..., p(T)$을 배치한다.

   2. 모든 $T_i$에 대해 다음을 한다.

3. $K$ 표본에 연관된 $\nabla_{\theta}\mathcal{L}{T_i}(f{\theta})$을 평가해 그라디언트를 매개변수에 반영한다: $\theta'i = \theta - \alpha\nabla{\theta}\mathcal{L}{T_i}(f{\theta})$

4. $\theta \rightarrow \theta - \beta\nabla_{\theta}\sum_{T_i, …, p(T)} \mathcal{L}_{T_i}(f_{\theta'_{i}})$로 갱신한다.

• 이너루프(2)에선 각 개별 작업에 연관되는 지역 매개변수 $\theta_i$를 갱신합니다.

• 아우터루프(4)는 이너루프 이후에 작동합니다. 앞서 갱신된 매개변수를 통한 모든 작업의 손실의 총합에 관련하여 메타 매개변수 $\theta$를 갱신합니다.

여기서 지역 매개변수와 메타 매개변수는 모두 같은 대상입니다. MAML은 이를 각각의 관점의 서로 다른 개념으로 설명하려 합니다.

이런 메커니즘은 전이학습과 상충되는 개념이 있지만 실제로 이 둘은 다른 접근을 가지고 있습니다:

• 전이학습은 이미 학습된 가중치를 새 작업에 대해 적합함을 목적으로 합니다.

• MAML은 새 작업에 대한 적합 대신 그 작업을 빠르게 수행하는 가중치를 학습하는 걸 목적으로 합니다.

제가 직접 작성한 구현 코드를 확인하세요!