3つの要点 ✔️BERTの構造に2つの改善を施し、大幅なパラメーター削減を実現 ✔️BERTで効果がないとされていた学習タスクを改善し、より文法を捉えた学習を実現 ✔️パラメーター削減による速度の向上だけでなく、性能の向上をも実現 ALBERT: A Lite BERT for Self-supervised Learning of Language Representations written by Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut (Submitted on 26 Sep 2019 (v1), last revised 9 Feb 2020 (this version, v6)) Comments: Published by ICLR 202