정리용

[NLP] 자연어 처리의 고전적인 방법 0 (개요) 본문

딥러닝/이론

[NLP] 자연어 처리의 고전적인 방법 0 (개요)

무룡룡 2022. 1. 18. 22:21

Google 에서 발표한 Attention is All you Need (2017) 를 기점으로 

 

해당 논문에서 다룬 Transformer는 encoder / decoder 과정에서 LSTM의 단점을 제거하고 Positional encoding을 사용한 모델로

 

순차적으로 계산하는 RNN 과 달리 병렬적으로 한번에 이 과정을 처리하며 자연어 처리의 혁명적인 변화를 일으켰다.

 

때문에 Attention is All you Need 이전의 모델들은 고전적인 방법으로 분류된다.

 

 

 

 

저작자표시 (새창열림)

'딥러닝 > 이론' 카테고리의 다른 글

[NLP] word2vec ( CBOW , Skip-gram)  (0) 2022.01.27
[NLP] LSA (잠재 의미 분석 ), SVD ( 특이값 분해 )  (0) 2022.01.26
[NLP] 문서의 유사도 측정 방법 ( 유클리드 거리 / 코사인 유사도 )  (0) 2022.01.25
[NLP] TF-IDF  (0) 2022.01.24
[NLP] BOW ( Bag of Word )  (0) 2022.01.21
'딥러닝/이론' Related Articles more
Comments