Modern AI Systems: An In-depth Guide to Cutting-edge Technologies and Applications

현대 인공지능 시스템은 다양한 첨단 기술과 접근 방식을 통해 발전하고 있습니다. 이 문서에선 현대 인공지능에서 가장 주요한 기술 및 연구 분야에 대해 상세히 살펴보겠습니다.

• 멀티 모달 학습: 여러 형태의 데이터(이미지, 텍스트, 음성 등)를 동시에 처리하고 이해하는 기술입니다.

• 트랜스포머: 자연어 처리와 시퀀스 데이터 분석을 위한 혁신적인 신경망 아키텍처입니다.

• 전이 학습: 한 도메인에서 학습된 지식을 다른 도메인에 적용하는 방법론입니다.

• 연합 학습: 데이터 프라이버시를 보존하면서 분산된 데이터로 모델을 학습하는 접근법입니다.

• 실행 가능한 AI: 분석을 넘어 구체적인 행동 방안을 제시하는 의사결정 지원 시스템입니다.

---

Multi-modal Learning

멀티 모달 학습(multi-modal learning)은 두 개 이상의 모달리티(modality) 데이터를 활용하는 기계학습 모델을 연구하는 분야입니다.

• 이미지 생성 모델은 사진과 텍스트를 함께 입력으로 받도록 설계될 수 있습니다.

• 비디오 생성 모델은 단순한 비디오뿐만 아니라 자막, 영상, 표정 정보 등의 추가적인 모달리티를 이해할 수 있어야 합니다.

• 자율주행 자동차는 카메라를 통한 시각 정보, 라이다를 통한 거리 측정, 현재 속도 등을 종합적으로 이해할 수 있어야 합니다.

멀티 모달 학습은 모달리티들이 조합되는 방식에 따라 크게 네 가지로 분류됩니다.

• 초기 융합(early fusion) 또는 피쳐 단계 융합(feature level fusion): 서로 다른 모달의 입력들을 하나로 융합하여 처리합니다.

• 후기 융합(late fusion) 또는 의사 단계 융합(decision level fusion): 각 모달별로 개별 모델을 훈련한 후, 이들의 예측을 종합합니다.

• 하이브리드 융합(hybrid/intermediate fusion): 초기와 후기 융합을 결합한 방식으로, 여러 층에 걸쳐 모달 간 상호작용이 일어나도록 설계됩니다.

• 크로스 모달 학습(cross-modal learning): 하나의 모달이 다른 모달을 보조하는 역할을 하도록 설계됩니다.

실제 적용 사례

• CLIP, DALLE, Florence, Whisper, BEiT-3, GPT-4V

Transformers Architecture/Transformers

트랜스포머스(transformers) 또는 트랜스포머스 구조(transformers architecture)는 셀프 어텐션 메커니즘을 통해 연속 데이터를 병렬로 처리하는 구조입니다. 이 구조는 자연어 처리, 컴퓨터 비전, 멀티 모달 과제를 위한 혁신적인 방법으로 평가받으며, 이를 통해 현대의 모델은 더 확장성이 높고 빠른 성능을 가지게 됩니다.

• 셀프 어텐션 메커니즘(self-attention mechanism)은 입력의 각 부분에 대한 중요도(attention/importance of the part)를 반영하는 가중치로 작동합니다. 이를 통해 모델은 문장 내 단어들이 서로 어떻게 연관되는지를 학습합니다.

• 멀티 헤드 어텐션(multi head attention)은 여러 개의 셀프 어텐션 층(self-attention layer)을 병렬로 배치하여 다양한 관계를 포착하는 구조입니다. 예를 들어, 한 어텐션 층은 동사에, 다른 층은 목적어에 주목할 수 있습니다.

• 앞선 방식은 단어의 연속성 정보를 잃을 수 있습니다. 포지셔널 엔코딩(positional encoding)은 이를 해결하기 위해 코사인/사인 함수로 생성된 위치 정보를 입력에 추가하는 처리 과정입니다.

• 엔코더-디코더 구조(encoder-decoder structure): 엔코더는 입력을 처리하는 단계이며, 디코더는 처리된 정보를 적절한 출력 형식으로 변환하는 단계입니다.

트랜스포머스 이전에는 RNN, LSTM, CNN 등이 연속 데이터 처리에 사용되었습니다. RNN과 LSTM은 긴 시퀀스 데이터를 처리할 때 성능이 크게 저하되는 한계가 있었으며, CNN은 이미지 처리에는 탁월했으나 텍스트 처리에는 효과적이지 않았습니다.

트랜스포머라는 용어는 연속 데이터 처리뿐만 아니라 더 넓은 의미의 데이터 처리 모듈 전부를 지칭하는 데 사용되기도 합니다.

실제 적용 사례

• 자연어 처리: GPT-4, BERT, T5

• 컴퓨터 비전: ViT

• 멀티 모달: DALLE

Transfer Learning

전이 학습(transfer learning)은 한 작업을 위해 훈련된 모델을 다른 작업에 재사용하는 기술입니다. 이는 시간이 제한된 데이터에 대한 모델의 재사용성을 높이거나 더 높은 성능을 달성하기 위해 활용됩니다.

• 사전 학습(pre-training) 단계에서는 모델이 광범위한 데이터셋으로 훈련되어 일반적인 특징들을 학습합니다.

• 전이 및 파인 튜닝(transfer & fine-tuning) 단계에서는 사전 학습된 모델을 새로운 작업에 적용하며, 다음 두 가지 방식으로 진행할 수 있습니다:

  • 옵션 1: 마지막 계층만 교체하여 재학습을 수행한다.

  • 옵션 2: 전체 계층을 대상으로 재학습을 수행한다.

기존의 모델이 완전히 초기화된 설정을 가지고 학습되는 것과 다르게 전이학습은 이미 훈련된 모델을 새 지식에 엮으려 합니다.

실제 적용 사례

• 컴퓨터 비전: VGG, ResNet, EfficientNet

• 자연어 처리: BERT, GPT, T5

• 멀티 모달: CLIP, DALLE

Federated Learning

연합 학습(federated learning)은 탈중앙화를 핵심으로 하는 머신 러닝 접근 방식입니다. 여러 기기나 조직이 원본 데이터를 공유하지 않고도 함께 모델을 학습하고 발전시키는 것을 목표로 합니다. 중앙 서버로 데이터를 전송하는 대신, 모델이 각 기기로 전송되어 로컬에서 학습됩니다.

1. 초기화 단계(initialization): 중앙 서버가 전역 모델을 초기화합니다.

2. 로컬 학습(local training): 서버가 참여 기기들에 모델을 전송하면, 각 기기는 자신의 로컬 데이터로 모델을 학습합니다.

3. 모델 업데이트(model updates without data): 기기들은 원본 데이터 대신 학습된 모델의 변화값만을 암호화하여 중앙 서버로 전송합니다.

4. 연합 평균화(federated averaging): 서버는 받은 업데이트들을 통합하여 전역 모델을 개선합니다.

Actionable AI

실행 가능한/행동 유도형 인공지능(actionable AI)은 단순히 데이터를 분석하고 결과를 예측하는 것을 넘어 결정과 행동을 직접적으로 유도하는 인공지능 시스템입니다. 기존의 인공지능이 인사이트를 제공하는 데 그쳤다면, 행동 유도형 인공지능은 분석과 실행을 연결하여 자동화된 반응까지 이끌어냅니다.

• 기존의 인공지능은 패턴 감지나 모델링을 통한 예측에 초점을 맞췄습니다. "다음 분기 판매가 10% 감소할 것으로 예상됩니다."

• 반면 행동 유도형 인공지능은 구체적인 행동을 추천합니다. "다음 분기 매출 감소에 대응하려면 광고 지출을 15% 증가하십시오."

이러한 시스템은 다음 세 가지의 요소를 구현하고 확보하는 데 있습니다.

• 실시간 데이터 처리(real-time data processing): 실시간으로 유입되는 데이터를 정확하게 분석할 수 있어야 합니다.

• 의사결정 자동화(decision automation): 인공지능은 명확하고 실행 가능한 행동 방안을 제시해야 합니다.

• HITL, Human-In-The-Loop: 인공지능은 행동을 제안하되, 최종 결정은 인간의 승인이 필요합니다. 따라서 인간은 제안을 검토하고 승인하는 체계적인 규칙을 수립하고 이를 따라야 합니다.

자동화 시스템(automated system)은 의사결정과 조정을 완전히 자동화하는 방식을, 처방적 시스템(prescriptive system)은 인간에게 의사결정을 제안하는 방식을 목표로 합니다.

Human In The Loop

HITL(Human-In-The-Loop)는 인공지능 시스템이 생성한 추천이나 결정에 대해 인간의 검토와 수정 과정을 포함하는 하이브리드 접근 방식을 말합니다. 이를 통해 인간의 전문성, 신뢰성, 윤리, 최악의 시나리오에 대한 대처를 높일 수 있습니다.

• 행동 이전 검토(pre-action review)

• 행동 이후 검사(post-action auditing)

• 활동적 학습(active learning)