반응형 Positional Encoding1 [Transformer] Attention is all need(2) Architecture 이전에 Seq2Seq에 대한 한계점과 해결 방안인 Attention 기법 위주로 논문을 읽어 보았다. 2023.02.12 - [Review a paper] - [Transformer] Attention is all need(1) Seq2Seq 한계점 오늘은 트랜스포머 (Transformer)에 대해서 알아보고 핵심기능은 Attention 을 더 자세히 알아보고자 한다. 1. 트랜스포머(Transformer)란? 2021년 기준으로 현대의 자연어 처리 네트워크에서 핵심이 되는 논문이다. 논문의 원제목은 Attention Is All You Need이다. Attention 기능 하나만 잘 사용해도 NLP 분야에서 좋은 성능을 얻을 수 있다. 트랜스포머는 RNN이나 CNN을 전혀 필요로 하지 않는다는 특징이 .. 2023. 2. 14. 이전 1 다음 반응형
