용어 정리
- 인공지능>머신러닝>딥러닝
- 신경망 : 단순한 기능만 가진 뉴런이 층을 이루어, 층 사이에서 연결이 수행되는 것을 통해 형태가 만들어진다.
- 딥러닝 : 많을 층을 가진 깊은 신경망을 사용해 학습한다.
- 층의 수가 많아질수록 표현련은 향상하지만, 학습은 어려워진다.
- 역전파(back-propagation) : 신경망에서 한 층씩 거슬러 올라가도록 오차를 전파시켜 기울기를 계산 및 그 기울기에 기반해 매개변수를 갱신한다.
자연어 처리 개념
- 자연어 처리 : 컴퓨터가 사람의 자연어를 이해하는 것을 목적으로 한다.
- DeepL : 일상언어의 미묘한 뉘앙스까지 번역할 수 있다.
- 형태소 분석 : 자연어를 형태소로 분할하는 것
word2vec
- 단어를 벡터화(=텍스트를 숫자화하기)하고, 유사도가 높은 단어를 찾거나, 단어끼리 연산을 수행한다.
- 원핫인코딩: 각 단어를 1과 0으로 구성된 벡터로 나타낸다.
- 분산 표현을 작성할 수 있다. (단순한 수치가 아닌 연관성을 나타낸 벡터)
- CBOW, skip-gram 신경망을 사용한다.
- CBOW : 전후 단어로부터 대상 단어를 예측할 수 있도록 분산 표현을 작성한다.
- skip-gram : 어떤 단어로부터 전후 단어를 예측한다. 학습 시간이 길지만 정확도가 높다.
RNN (순환 신경망)
- 시계열 데이터를 입력으로 받을 수 있다.
- 다음 단어나 문장을 예측하도록 학습시키면 문장을 자동으로 생성할 수 있다.
- 단점
- 장기 기억을 유지할 수 없다. -> LSTM, GRU가 보완할 수 있다.
- 동시에 여러 데이터 입력을 처리하는 병렬처리가 뛰어나지 않다.
- 중간층이 루프를 도는 구조
- 문제점 : 기울기 폭발, 기울기 소멸
Sez2Seq
- 시퀀스를 받아 다른 계열로 변화하는 모델
- 구성 : 인코더, 디코더(RNN으로 구현됨)
- 시계열 데이터를 다른 시계열 데이터로 변환할 수 있다.
트랜스포머
- 시계역 데이터를 처리하며 어텐션 층만 사용한다.
- 병렬 처리에 용이해 대량의 데이터를 빠른 속도로 처리할 수 있다.
- 인코더의 구조
- 임베딩층 : 인코더는 해당 층에서 입력 문장을 벡터로 압축한다.
- 포지셔널 인코딩층 : 위치 정보를 추가한다. (문장 안에서의 위치)
- 멀티헤드 어텐션층 : 여런 어텐션 처리를 동시에 병렬로 수행할 수 있다.
- 정규화 등
- 순방향 신경망
BERT
- 구글에서 발표한 새로운 딥러닝 모델이다.
- 트랜스포머를 기반으로 파인 튜닝(훈련 완료한 모델을 각 태스크에 맞춰 조정하도록 훈련)을 사용한다. + 양방향
- 사전 학습
- 사전에 범용적인 모델을 훈련시켜 둔다.
- 시간이 오래 걸린다.
- 양방향 학습 : 트랜스포머가 문장을 앞에서 뒤로, 뒤에서 앞으로 학습한다.
- 마스크 언어 모델 : 문장에서 특정한 단어를 무작위로 15%가량 선택해 [MASK] 토큰으로 치환한다.
- 다음 문장 예측 : 2개의 문장의 관계성 여부를 판정하도록 학습한다.
- 2개의 문장의 뒤쪽 문장을 50% 확률로 관계없는 문장으로 치환
- 의미적으로 연결O : IsNext
- 의미적으로 연결O : NotNext
- 2개의 문장의 뒤쪽 문장을 50% 확률로 관계없는 문장으로 치환
- 파인 튜닝
- 사전 학습을 통해 얻어진 매개변수를 초기값으로 설정한다.
- 라벨(=정답 데이터)을 붙인 데이터로 추가로 학습을 수행한다.
- 토큰
- [CLS] : 문서의 시작
- [SEP] 문장 사이에 간격을 넣기 위해
