3つの要点 ✔️ 損失関数/入力空間/タスク/モデルに依存しない新しい正則化手法（flooding）を提案 ✔️ 「training lossが0になるまで学習し続けると汎化性が低下する」という自然な仮定に基づく ✔️ floodingを使った副次的な効果として、早い段階（epoch数100前後）でdouble descentという現象が確認できる Do We Need Zero Training Loss After Achieving Zero Training Error? written by Takashi Ishida, Ikko Yamane, Tomoya Sakai, Gang Niu, Masashi Sugiyama (Submitted on 20 Feb 2020) Comments: Published by arXiv Subjects: Machine Le
3つの要点 ✔️BERTの構造に2つの改善を施し、大幅なパラメーター削減を実現 ✔️BERTで効果がないとされていた学習タスクを改善し、より文法を捉えた学習を実現 ✔️パラメーター削減による速度の向上だけでなく、性能の向上をも実現 ALBERT: A Lite BERT for Self-supervised Learning of Language Representations written by Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut (Submitted on 26 Sep 2019 (v1), last revised 9 Feb 2020 (this version, v6)) Comments: Published by ICLR 202
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
