• 레퍼런스

• 의문 / 추가학습

Abstract & Introduction

• 2017년 Transformer의 발표 이후, NLP 분야에서는 지금까지 Transformer 구조가 표준으로 사용되고 있다.

  • 대부분은, Large Dataset으로 pre-train한 이후, task에 맞는 dataset으로 fine-tuning하는 방식으로 이용하고 있다.
  • Transformer 이후 계산적 효율 및 확장성으로 인해, 모델의 크기(# of param)가 굉장히 커짐.

• 현재(2021)까지 Computer Vision 분야는 CNN 구조에서 벗어나지 못하고 있었다.

  • CNN에 Attention을 융합하여 사용하려는 시도가 있었으며,
  • transformer와 같이 CNN 구조를 attention을 이용하여 완전히 대체하려는 시도 또한 있었다.
  • 그러나 성능 및 효율성이 아직 수준에 미치지 못해, ResNet과 같은 구조가 여전히 SOTA 모델로써 사용되고 있다.

• 이 논문에서는 최소한의 수정만을 거쳐, Image를 그대로 Transformer 구조에 적용했을 때의 실험 결과를 보여준다.

  • 이미지를 여러 개의 patch로 분할한 후,
  • 이 patch의 linear embedding 결과를 그대로 transformer의 input으로 사용한다.
  • 다른 과정은 기존 transformer와 거의 동일하다.

• 이 구조는 중간 크기의 dataset으로 학습한다면, ResNet보다 성능이 좋지 않다.

  • 강한 regularization 없이는, ImageNet과 같은 mid-size dataset으로 학습했을 때 성능이 좋지 않다.
  • 이는 translation equivariance, locality와 같은 CNN에서의 Image의 Inductive bias가 존재하지 않기 때문.

• 그러나 큰 dataset으로 학습했을 때는 성능이 좋아진다.

  • Large Dataset으로의 training을 통해 Inductive bias가 없더라도 충분한 성능을 낼 수 있음을 확인했다.
  • ViT를 ImageNet-21k, JFT-300M과 같은 Large Dataset으로 pre-train한 이후, fine-tuning하였을 때, 다른 SOTA 모델들보다 Image Recognition 성능이 우수했다.

(사견) 결국 기본적인 RNN 구조 - Seq2Seq, LSTM.. 과 같은 구조들이 지배적인 모델일 시기에는, (물론 데이터의 양도 중요했지만) 모델의 구조가 어떻느냐에 따라 성능이 좌우되는 경향성이 어느 정도 있었다. 그러나 Transformer의 등장 이후, 학습에서의 병렬처리가 가능해짐에 따라 Scalability, Efficiency가 폭발적으로 확장되었고.. 대규모 dataset이 생겨남에 따라, 작금에 들어서는 얼마나 많은 데이터로 pre-train했느냐가 성능을 좌우하는 큰 요소가 되었겠구나 하는 생각이 든다.

Method

• ViT(Vision Transformer)의 구조는 위 그림(그림1)과 같다.
  • 모델 구조는 의도적으로 Transformer와 거의 유사하도록, 간단하게 구성하였다.
  • 이를 통해 NLP에서의 Transformer의 scalability와 efficiency를 가질 수 있었다.