반응형 transformer2 [Transformer] Attention is all need(2) Architecture 이전에 Seq2Seq에 대한 한계점과 해결 방안인 Attention 기법 위주로 논문을 읽어 보았다. 2023.02.12 - [Review a paper] - [Transformer] Attention is all need(1) Seq2Seq 한계점 오늘은 트랜스포머 (Transformer)에 대해서 알아보고 핵심기능은 Attention 을 더 자세히 알아보고자 한다. 1. 트랜스포머(Transformer)란? 2021년 기준으로 현대의 자연어 처리 네트워크에서 핵심이 되는 논문이다. 논문의 원제목은 Attention Is All You Need이다. Attention 기능 하나만 잘 사용해도 NLP 분야에서 좋은 성능을 얻을 수 있다. 트랜스포머는 RNN이나 CNN을 전혀 필요로 하지 않는다는 특징이 .. 2023. 2. 14. [Transformer] Attention is all need(1) Seq2Seq 한계점 트랜스포머는 2017년에 구글이 발표한 논문인 " Attention is all you need "에서 나온 모델로 기존의 seq2seq의 구조인 인코더와 디코더를 사용하면서, Attention만으로 구현한 모델이다. RNN이나 LSTM을 사용하지 않으면서 인코더 디코더 아키텍처를 활용하였는데, 성능은 RNN 보다 우수한 것을 보여주었다. 1. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 트랜스포머 아키텍처를 기반으로 하고 있다. - GPT : 트랜스포머의 디코더 (Decoder) 아키텍처 활용 - BERT : 트랜스포머의 인코더 (Encoder) 아키텍처 활용 Transformer 논문에서는 RNN을 사용하지 않고 오직 Attention 기반의 아키텍처를 활용하여 성능을.. 2023. 2. 12. 이전 1 다음 반응형
