Overview on Meta Learning

메타학습(meta learning)은 학습 과정 자체를 향상시키기 위한 알고리즘에 대한 연구입니다. 이를 통해 신경망은 새로운 작업을 효과적으로 학습합니다. 또 빠르게 변화하는 환경에서 모델을 최적화하는데 특히 유용합니다. 다음은 메타학습의 주요한 분야들입니다:

• 모델 기반 메타 학습(model-based meta learning)은 이전 경험을 저장하기 위해 확장된 메모리를 가진 신경망이나 순환 신경망을 사용합니다.

• 메트릭 기반 메타 학습(metric-based meta learning)은 유사성이나 거리 측정을 활용하여 새로운 작업에 대한 빠른 학습을 촉진합니다.

• 최적화 기반 메타 학습(optimization-based meta learning)은 최적화 알고리즘을 학습함으로써 새로운 작업에 대한 학습 효율성을 향상시킵니다.

• TAML(Task-Agnostic Meta Learning)은 특정 업무 분포와 관련된 학습 전략을 규정하는 데 초점을 맞춥니다. 이를 통해 다양한 업무를 효과적으로 범주화할 수 있습니다.

Learning Level

메타학습 알고리즘은 두 개의 하위 알고리즘(또는 루프)를 연관하여 활용하는 구조로 이루어져 있는 경우가많습니다. 이를 각각의 단계로 생각한 서술을 단계별 학습(learning level)라 합니다.

• 메타 단계 학습(meta-level learning)은 고차원적 학습 과정으로 여러 작업에서 공통점을 파악하고 문제 해결 방법 그 자체를 학습합니다. 일반화된 학습 전략을 개발하거나 새로운 과제나 환경에 빠르게 적응하는 능력을 키웁니다.

• 기본 단계 학습(base-level learning)은 일반적인 기계 학습과 유사하게 진행됩니다. 작업 또는 문제 해결을 위한 학습에 중점을 둡니다. 이미지 분류나 자연어 처리와 같은 구체적인 과제를 위한 학습 알고리즘이 이에 해당합니다.

각 단계에서 작동하는 알고리즘에 대해 기본 학습자(basic learner), 메타 학습자(meta-learner)라 부르기도 합니다.

대부분의 메타학습 알고리즘은 훈련 과정과 검증 과정으로 이루어지며 각각 메타 훈련 단계(meta training phase), 메타 검증 단계(meta evaluation phase)라 부릅니다. 이는 앞선 단계별 학습과는 다른 개념으로 메타 단계 학습과 기본 단계 학습이 모여 메타 훈련 단계를 만든다 이해하면 됩니다.

Query Set, Support Set

메타학습에서 한 데이터셋은 서포트 세트, 쿼리 세트를 통해 설명되곤합니다. 각각 서로 다른 역할이 정의되며 모델은 이들을 활용하여 정규화, 빠른 학습, 적은 자료에서의 학습 등을 성취해야 합니다.

• 서포트 세트(support set)는 학습과 직접적으로 연관되는 데이터셋입니다. 모델은 서포트 세트를 학습해 쿼리 세트를 분류하게 됩니다.

• 쿼리 세트(query set)는 성능 평가를 위한 데이터셋입니다. 하지만 알고리즘에 따라 다양한 역할로 정의되는 경우가 많습니다.

작업(task)이란 용어를 사용하기도합니다. 이는 그 학습에서 정의된 문제들입니다. 예시로 이미지 분류기의 작업들은 '고양이 판별', '양 판별', '돼지 판별' 등이 있을 수 있습니다.

Unseen Classes and Seen Classes

안 본 계급과 본 계급은 메타학습의 중에서도 정규화와 관련된 개념입니다. 안 본 계급(unseen classes)는 학습 과정에선 나타나지 않고 검증 또는 운영 과정에서만 등장하는 계급입니다. 반면, 본 계급(seen classes)은 훈련과정에 포함됩니다. 잘 정규화된 모델은 안 본 계급에 대한 처리 능력을 가지고 있어야 합니다.

이에 대한 예시로 질병 분류기를 생각해볼 수 있습니다. 이 분류기는 학습에서 본 질병 외에도 새로운 희귀 질병의 진단도 요구될 수 있습니다. 일반 학습된 모델은 안 본 계급을 처리하는 데 큰 어려움을 겪습니다. 이는 정규화를 학습하기보다는 훈련 과정에서 가능한 모든 클래스에 대해 학습하도록 설계되었기 때문입니다.

N-way K-shot Framework

메타학습 알고리즘의 성능은 특정한 문제를 해결하기 보단 학습하는 법을 학습함에 있습니다. 따라서 알고리즘의 성능 측정을 위해 모델의 성능 수치와 더불어 전반적인 문제 설정 또한 같이 기술되어야 합니다. 이에대한 표준을 엔-웨이 케이-샷 프레임워크(n-way k-shot framework)라 합니다.

• 엔-웨이(n-way): 한 업무에 관한 계급의 총 수를 지칭합니다.

• 케이-샷(k-shot): 서포트 세트에서 계급 당 제공될 예시의 총 수를 지칭합니다.

Few Shot Learning and Zero Shot Learning

퓨 샷 학습(few shot learning), 제로 샷 학습(zero shot learning) 등의 명칭은 엔-웨이 케이-샷 프레임워크에서 기원합니다. 퓨 샷 학습은 적은 케이-샷을 위한, 제로 샷 학습은 0의 케이-샷을 설정한 메타학습에 대한 연구 또는 알고리즘입니다.

이런 정의는 엄격하게 사용되진 않습니다. 메타학습이 아니라도 zero-shot, few-shot 등의 표현이 사용되는 표현이많습니다.

Meta Regularization

메타 정규화(meta regularization)란 모델의 정규화 성능에 기여하는 상수, 절편, 변환에 대한 연구입니다.

• 드롭아웃(dropout): 학습 과정에서 무작위로 일부 뉴런을 비활성화하여 모델의 과적합을 방지하고 일반화 능력을 향상시키는 정규화 기법입니다.

• 사전 지식(prior knowledge): 도메인 전문가의 지식이나 이전 학습 경험에서 얻은 통찰을 활용하여 학습 알고리즘을 최적화하고, 더 효율적이고 견고한 학습 과정을 설계합니다.

• 그외 변환, 클러스터링에 관련된 상수 등

이는 단순히 메타학습에만 국한되는 개념은 아닙니다. 그러나 메타학습의 주요 목표인 정규화와 맥락을 같이 서로 자주 연관되곤 합니다.