[B! attention] incepのブックマーク

incep id:incep

attentionに関するincepのブックマーク (3)

Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する | AI専門ニュースメディア AINOW
著者のDale Markowitz氏はGoogleクラウド部門に所属するGoogle社員で、最近ではGoogle主催の開発者会議Google I/O 2021で「機械学習のよくある問題の発見と解決」というセッションを担当しました。同氏がMediumに投稿した記事『Transf ormer解説：GPT-3、BERT、T5の背後にあるモデルを理解する』では、現代の言語AIにおける技術的基礎となっているモデルのTransf ormerが数式を使わずに解説されています。 Transf ormer以前に自然言語処理で使われていたモデルは、リカレントニューラルネットワーク（Recurrent Neural Network：RNN）でした。このモデルには長い文章を正しく処理するのが難しい、勾配消失問題の影響を受けやすい、そして処理の並列化が難しいためにモデルの大規模化が困難、というみっつの欠点があったため、自
incep 2023/04/17
dl

ai

ml

llm

mlm

glm

transformer

attention
リンク
残差接続 (residual connection) [ResNet] | CVMLエキスパートガイド
1. 残差接続 (residual connection)とは [概要] 残差接続 (residual connection)とは，CNNの1種である ResNet [He et al., 2016a], [He et al., 2016b] の構成部品である残差ブロックにおいて，毎ブロックに配置される「スキップ接続 + そのあとの2経路の出力の足し算」の部品のことである．要は「残差接続 ≒ スキップ接続」ではあるが，スキップ接続のうち，ResNetの場合の残差ブロックを形成する形を，特に残差接続と呼ぶ．ResNetで，提案された「残差ブロックの多層化」の文脈では，スキップ接続を「残差接続」と別途呼び分けたほうが「残差ブロックを反復して構成しているネットワーク構造である」ことが伝わりやすくなる．関連記事：ResNetの，従来のCNNと最も異なる点は？【Q and A記事】この記事
incep 2022/05/20
"要は「残差接続＝スキップ接続」である．スキップ接続のうち，ResNetの場合を特に「残差接続」と呼ぶというだけである．"

dl

attention

ml
リンク
最近のDeep Learning (NLP) 界隈におけるAttention事情
7. - Background1: Neural Network - Background2: Recurrent Neural Network - Background3: Encoder-Decoder approach (aka. sequence to sequence approach) - Attention mechanism and its variants - Global attention - Local attention - Pointer networks - Attention for image (image caption generation) - Attention techniques - NN with Memory Agenda
incep 2016/11/30
dl

ml

attention

encoder-decoder
リンク
1