An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale (ICLR2021)



Original Source Here

An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale (ICLR2021)

Introduction

  • 由於 Transformer 在 NLP 上表現很好,最近流行拿來做在影像上,俗稱 Vision Transformer (ViT),較不容易飽和,在大的資料集表現得比一般 Convolution 還好, 且可以有任意長度的 input,但這部分會受到記憶體的限制。

Method

  • 故意用和原始 NLP 的 Transformer 相似的架構,原本 Transformer 的 input 是一串 1D 的 embeddings,為了處理影像便將其改成 input 為 N 個 P*P 大小的 Patch,而 Transformer 需要固定大小為 D 的 Latent Vector 當作輸入,所以要先透過(1)把 Patch 變成 D 維的 patch embeddings,這部分也可以改成 feature map,MSA 是 multiheaded self-attention,LN 是 Layernorm。

Experiment

  • 沿襲 BERT 的架構使用 Base、Large、Huge。
  • ViT-H/14 表示 ViT-Huge,patch 大小為 14×14。
  • 在許多 VTAB 的 benchmark 表現都很好。
  • 但其實裡面還有很多實驗,主要可以看出來 ViT 需要在比較大的 Dataset 才會有比較好的 Accuracy。
  • Hybrid 就是用 backbone output 的 feature map 當作 ViT 的 input。
  • 從數據來說看起來很強,除了需要比較多的 data ,不意外最近新的論文都是做 Transformer,可以得到比較 global 的資訊,算是最近的趨勢,連特斯拉大老也用 ViT 相關的架構,連結可看後面 Reference。

Reference

[arxiv]

[Tesla workshop]

AI/ML

Trending AI/ML Article Identified & Digested via Granola by Ramsey Elbasheer; a Machine-Driven RSS Bot

%d bloggers like this: