Bytenetとは2016/10/31にDeepMindから投稿された論文,"Neural Machine Translation in Linear Time"にて提案された機械翻訳をするニューラルネットワークです.音合成をするニューラルネットワークとして提案されたWaveNetと同じように,Dilationを導入することによって,遠い時系列の相関を学習することができます.さらに,学習にかかる時間が,文章の長さにたいして線形となっており,比較的速いと言われています. Bytenetの概要 翻訳タスクをするニューラルネットワークです.元の言語の文字列を${\bf s}=s_0,\dots,s_{N_s}$として,翻訳後の言語の文字列を${\bf t}=t_0,\dots,t_{N_t}$とすると,$p({\bf t}|{\bf s})$を推定するタスクです. この確率分布をByteNetで