[논문리뷰] 딥러닝 중심의 자연어 처리 기술 현황 분석(2021)

---

박상언. (2021). 딥러닝 중심의 자연어 처리 기술 현황 분석. 한국빅데이터학회 학회지, 6(1), 63-81.

- 본 글은 노션에 더 자세히 정리함

딥러닝 중심의 자연어 처리 기술 현황 분석(2021)

논문요약

• 자연어 처리는 기계학습, 딥러닝 기술의 발전과 적용으로 빠르게 향상, 활용 분야도 넓어지는 중
• 자연어 처리의 전반적 이해를 위해 활발히 연구되고 있는 자연어 처리의 주요 분야와 기계학습, 딥러닝 중심의 주요 기술 현황
• 자연어 처리 주요 분야를 언어 모델, 문서 분류, 문서 생성, 문서 요약, 질의응답, 기계번역으로 나누어 정리
• 각 분야의 뛰어난 성능을 보이는 모형들과, 주요 딥러닝 모형에 대해 정리

 

딥러닝 기반 자연어 처리 주요 분야

1) 언어모델(Language Model)

• 문서에 주어진 앞부분의 단어들의 시퀀스를 이용해 다음 단어 예측 수행
• Transformer에 기반한 BERT, GPT로 사전 학습을 수행함으로써 언어의 구조, 문맥을 학습한 후 파인튜닝을 통해 다양한 자연어처리 어플로 활용
• 현재 GPT-3이 가장 뛰어난 성능을 보이는 알고리즘, SOTA(State of the art)로 알려져 있음

2) 문서 분류(Text Classification)

• 주어진 문서에 대해 미리 정의된 클래스로 분류하는 작업
• 감성 분석, 스팸 메일 분류, 뉴스 기사 분류 등 다양한 응용 분야가 있음
• CNN, RNN, DBN 등의 다양한 딥러닝 기법들이 개발되고 사용됨
• 최근 SOTA는 BERT에 기반한 DocBERT

3) 문서 생성(Text Generation)

• 사람이 쓴 것과 유사한 문장을 만드는 것
• 다른 자연어 처리가 주어진 문장에 대한 새로운 문장을 만드는 sequence to sequence 형태에 작업인 것에 비해 문서 생성은 변환할 입력 데이터가 없다는 점이 가장 큰 차이점
• 시(문학) 생성, 농담 생성, 이야기 생성 등의 분야가 있음 → 실질적 응용 분야는 많지 않은 편
• GPT, LSTM, GAN, VAE 등 다양한 딥러닝 방법들이 사용됨 → GPT-3이 등장하면서 현재 가장 뛰어나다고 알려져 있음(But 성능평가를 명확히 하기 어렵다는 단점有)
• 음성 대화 시스템에서 질문에 대한 답변을 생성하기 위해 활용됨

4) 문서 요약(Summarization)

• 주어진 문서에서 중요하고 흥미있는 내용을 추출해 요약문을 생성하는 작업
• sequence to sequence 형태
• 추출적(Extractive) 요약과 추상적(Abstractive) 요약 두 가지 형태가 있음
• 추출적(Extractive) 요약 : 원문에 있는 단어나 문장 이용
• 추상적(Abstractive) 요약 : 원문에 없는 단어나 문장 이용, 문장을 새로 생성하여 요약
• 인코더-디코더 모형, BERT 등 다양한 딥러닝 방법이 사용됨.
• 현재는 BERT에 기반한 모형이 SOTA

5) 질의응답(Question Answering)

• 주어진 문장을 읽고 주어진 문제에 대한 올바른 답을 생성하는 작업
• 공학적으로 문서 요약과 유사함
• CNN, LSTM, BERT 등 다양한 방법 사용 → BERT를 이용한 모형이 SOTA 기록중

6) 기계번역(Machine Translation)

• 한 언어로 작성된 문서를 다른 언어로 번역하는 작업
• RNN, CNN, BERT 등 다양한 기법 사용
• RNN의 경우 GRU를 이용한 모형을 많이 사용
• 언어의 종류가 많기 때문에 어느 한 알고리즘이 SOTA라고 말하긴 어려움 → 영어에서 독일어와 불어로 번역하는 데이터에 대한 SOTA는 트랜스포머에 기반한 모형

 

자연어 처리의 주요 딥러닝 기법

1) 순환 신경망(RNN)

2) 합성곱 신경망(CNN)

3) Sequence to Sequence

4) 어텐션 매커니즘(Attention Mechanism)

5) 트랜스포머(Transformer)

6) GPT(Generative Pre-Trained Transformer)

7) BERT

느낀점

• 자연어 처리의 주요 분야와 각 분야에서 사용되는 최신 기술에 대해 간략히 알아보며 전반적인 자연어 처리 관련 모형에 대해 알게 되었다. 자연어 처리의 전반적인 이해에 도움을 주는 논문이었다. BERT, GPT 등에 대해 알아보고, 논문에 소개된 데이터들을 가지고 직접 실험을 해봐야겠다.

---