반응형 나동빈1 [Transformer] Attention is all need(1) Seq2Seq 한계점 트랜스포머는 2017년에 구글이 발표한 논문인 " Attention is all you need "에서 나온 모델로 기존의 seq2seq의 구조인 인코더와 디코더를 사용하면서, Attention만으로 구현한 모델이다. RNN이나 LSTM을 사용하지 않으면서 인코더 디코더 아키텍처를 활용하였는데, 성능은 RNN 보다 우수한 것을 보여주었다. 1. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 트랜스포머 아키텍처를 기반으로 하고 있다. - GPT : 트랜스포머의 디코더 (Decoder) 아키텍처 활용 - BERT : 트랜스포머의 인코더 (Encoder) 아키텍처 활용 Transformer 논문에서는 RNN을 사용하지 않고 오직 Attention 기반의 아키텍처를 활용하여 성능을.. 2023. 2. 12. 이전 1 다음 반응형
