Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo

文献紹介：Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

•
•
Shohei Okada
Shohei Okada

動画 http://youtu.be/cQXAALuAFoI?list=PL6SnxjlP6lpHdWaieYa0BGVuj8fgfiIw1

1 of 35
Download to read offline
文献紹介 2014/10/07 長岡技術科学大学 自然言語処理研究室 岡田正平
文献情報 Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng and Christopher Potts Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp 1631-1642. 2013. 2014/10/7 文献紹介 2
概要 • 感情解析における言語のcompositional effect を扱う • Stanford Sentiment Treebank の作成 – 構文木のsubtreeレベルでsentiment label を付与 • Recursive Neural Tensor Network (RNTN) の提案 – 感情極性推定の精度でstate of the art を上回る – 否定語の影響を正しく扱えていることを確認 2014/10/7 文献紹介 3
Stanford Sentiment Treebank
Stanford Sentiment Treebank • 初の完全にタグ付けされた構文木コーパス • Pang and Lee (2005)によるdataset に基づく • 映画のレビューより抽出された11,855文（単文） – 215,154 unique phrases – Stanford parser による構文解析 • 言語現象と感情の複雑な関係を解析できるようになる 2014/10/7 文献紹介 5
Stanford Sentiment Treebank • Amazon Mechanical Turk を利用 – 作業者は3人 – 215,154句に25段階 の値をつける 2014/10/7 文献紹介 6
Stanford Sentiment Treebank 2014/10/7 文献紹介 7
Recursive Neural Models
Recursive Neural Models • 構文型・可変長の句を扱うためのモデル • 入力文（n-gram）は2分木の構文木にparseされる – 各単語が葉に相当 • 子ノードのベクトルから親ノードのベクトルを計算 – 葉からbottom up的に，再帰的に行う • まず既存のRecursive Neural Models 2種類を説明 次に提案手法のRNTN を説明 2014/10/7 文献紹介 9
Recursive Neural Models • 各単語は푑次元ベクトル – word embedding matrix: 퐿∈ℝ푑×푉 • 5値分類の例 – 各ラベルに対する 事後確率を求める 푦푎= softmax푊푠푎 푊푠∈ℝ5×푑 2014/10/7 文献紹介 10
Recursive Neural Models • Recursive Neural Network 푝1=푓푊푏푐 , 푝2=푓푊 푎 푝1 푊∈ℝ푑×2푑 2014/10/7 文献紹介 11
Recursive Neural Models • Matrix-Vector RNN • 各単語や句をベクトルと 行列の両方で表現する 푝1=푓푊퐶푏 퐵퐵 , 푃1=푓푊푀 퐵퐶 푊푀∈ℝ푑×2푑 2014/10/7 文献紹介 12
Recursive Neural Models • RNN – 入力ベクトル（語や句）は非線形関数を通じてしか 相互作用しない • MV-RNN – 語彙数に対するパラメータ数の増加が大きい （各単語に対して푑×푑行列） 2014/10/7 文献紹介 13
Recursive Neural Models • RNTN（提案手法） 푝1=푓푏푐 푇 푉1:푑푏푐 +푊푏푐 , 푝2=푓 푎 푝1 푇 푉1:푑푎 푝1+푊 푎 푝1 푉1:푑∈ℝ2푑×2푑×푑 2014/10/7 文献紹介 14
実験 2014/10/7 文献紹介 15
実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
実験| 比較手法 • bag of words を素性としたナイーブベイズ(NB) • bag of words を素性としたSVM (SVM) • bag of bigrams を素性としたナイーブベイズ(BiNB) • neural word vector の平均を用いる手法(VecAvg) • RNN • MV-RNN • RNTN （提案手法） 2014/10/7 文献紹介 17
実験| データセット • Sentiment Treebank を分単位で次のように分割 （括弧内の数字はneutral を除いたもの） – train: 8,544 (6,920) – dev: 1,101 (872) – test: 2,210 (1,821) 2014/10/7 文献紹介 18
実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
実験| 結果 • 左：5値分類，右：2値分類の精度 2014/10/7 文献紹介 20
実験| 結果 • RNTNが最高精度を達成 • 2値分類ではstate of the art でも80%を超えていなかった  sentiment treebankを用いるとbaselineでさえ80%超  粗いアノテーションでは，強力なモデルを用いていても 複雑な言語現象を捉えることができていなかった 2014/10/7 文献紹介 21
実験| 結果 2014/10/7 文献紹介 22
実験| 結果 2014/10/7 文献紹介 23
実験| 結果 • RNTNはほとんどのn-gramの長さにおいて最高精度 • bag of feature では長い句に対してのみ性能を発揮 – 短い句においては，否定や構造の影響を強く受ける 2014/10/7 文献紹介 24
実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
実験| 結果 • 対比接続詞‘Xbut Y’ – XとYは句で，異なる感情を持つ（neutralを含む） – XとYの極性分類が正しく，接続詞’but’と句Y全体を表 すノードを支配する最も低いノードがYと同じ極性を 持つ場合に正解とする • 131事例に対して，RNTNは41%の精度を達成 – MV-RNN: 37%, RNN: 36%, biNB: 27% 2014/10/7 文献紹介 26
実験| 結果 2014/10/7 文献紹介 27
実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
実験| 結果 High level negation • 評価のためにデータセットを2つに分割 1. positive sentence の否定 2. negative sentence の否定 2014/10/7 文献紹介 29
実験| 結果 positive sentence の否定 • 否定により極性はpositive からnegative に変わる 2014/10/7 文献紹介 30
実験| 結果 negative sentence の否定 • 否定によりnegative の 度合いが弱まる （positiveとは限らない） 2014/10/7 文献紹介 31
実験| 結果 2014/10/7 文献紹介 32
実験| 結果 • RNTNが否定の振舞いを最も正しく扱えている 2014/10/7 文献紹介 33
実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
実験| 結果 • 上位10 positive n-gramのsentiment value の平均値 2014/10/7 文献紹介 35

More Related Content

文献紹介：Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

  • 1. 文献紹介 2014/10/07 長岡技術科学大学 自然言語処理研究室 岡田正平
  • 2. 文献情報 Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng and Christopher Potts Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp 1631-1642. 2013. 2014/10/7 文献紹介 2
  • 3. 概要 • 感情解析における言語のcompositional effect を扱う • Stanford Sentiment Treebank の作成 – 構文木のsubtreeレベルでsentiment label を付与 • Recursive Neural Tensor Network (RNTN) の提案 – 感情極性推定の精度でstate of the art を上回る – 否定語の影響を正しく扱えていることを確認 2014/10/7 文献紹介 3
  • 5. Stanford Sentiment Treebank • 初の完全にタグ付けされた構文木コーパス • Pang and Lee (2005)によるdataset に基づく • 映画のレビューより抽出された11,855文（単文） – 215,154 unique phrases – Stanford parser による構文解析 • 言語現象と感情の複雑な関係を解析できるようになる 2014/10/7 文献紹介 5
  • 6. Stanford Sentiment Treebank • Amazon Mechanical Turk を利用 – 作業者は3人 – 215,154句に25段階 の値をつける 2014/10/7 文献紹介 6
  • 7. Stanford Sentiment Treebank 2014/10/7 文献紹介 7
  • 9. Recursive Neural Models • 構文型・可変長の句を扱うためのモデル • 入力文（n-gram）は2分木の構文木にparseされる – 各単語が葉に相当 • 子ノードのベクトルから親ノードのベクトルを計算 – 葉からbottom up的に，再帰的に行う • まず既存のRecursive Neural Models 2種類を説明 次に提案手法のRNTN を説明 2014/10/7 文献紹介 9
  • 10. Recursive Neural Models • 各単語は푑次元ベクトル – word embedding matrix: 퐿∈ℝ푑×푉 • 5値分類の例 – 各ラベルに対する 事後確率を求める 푦푎= softmax푊푠푎 푊푠∈ℝ5×푑 2014/10/7 文献紹介 10
  • 11. Recursive Neural Models • Recursive Neural Network 푝1=푓푊푏푐 , 푝2=푓푊 푎 푝1 푊∈ℝ푑×2푑 2014/10/7 文献紹介 11
  • 12. Recursive Neural Models • Matrix-Vector RNN • 各単語や句をベクトルと 行列の両方で表現する 푝1=푓푊퐶푏 퐵퐵 , 푃1=푓푊푀 퐵퐶 푊푀∈ℝ푑×2푑 2014/10/7 文献紹介 12
  • 13. Recursive Neural Models • RNN – 入力ベクトル（語や句）は非線形関数を通じてしか 相互作用しない • MV-RNN – 語彙数に対するパラメータ数の増加が大きい （各単語に対して푑×푑行列） 2014/10/7 文献紹介 13
  • 14. Recursive Neural Models • RNTN（提案手法） 푝1=푓푏푐 푇 푉1:푑푏푐 +푊푏푐 , 푝2=푓 푎 푝1 푇 푉1:푑푎 푝1+푊 푎 푝1 푉1:푑∈ℝ2푑×2푑×푑 2014/10/7 文献紹介 14
  • 16. 実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
  • 17. 実験| 比較手法 • bag of words を素性としたナイーブベイズ(NB) • bag of words を素性としたSVM (SVM) • bag of bigrams を素性としたナイーブベイズ(BiNB) • neural word vector の平均を用いる手法(VecAvg) • RNN • MV-RNN • RNTN （提案手法） 2014/10/7 文献紹介 17
  • 18. 実験| データセット • Sentiment Treebank を分単位で次のように分割 （括弧内の数字はneutral を除いたもの） – train: 8,544 (6,920) – dev: 1,101 (872) – test: 2,210 (1,821) 2014/10/7 文献紹介 18
  • 19. 実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
  • 20. 実験| 結果 • 左：5値分類，右：2値分類の精度 2014/10/7 文献紹介 20
  • 21. 実験| 結果 • RNTNが最高精度を達成 • 2値分類ではstate of the art でも80%を超えていなかった  sentiment treebankを用いるとbaselineでさえ80%超  粗いアノテーションでは，強力なモデルを用いていても 複雑な言語現象を捉えることができていなかった 2014/10/7 文献紹介 21
  • 22. 実験| 結果 2014/10/7 文献紹介 22
  • 23. 実験| 結果 2014/10/7 文献紹介 23
  • 24. 実験| 結果 • RNTNはほとんどのn-gramの長さにおいて最高精度 • bag of feature では長い句に対してのみ性能を発揮 – 短い句においては，否定や構造の影響を強く受ける 2014/10/7 文献紹介 24
  • 25. 実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
  • 26. 実験| 結果 • 対比接続詞‘Xbut Y’ – XとYは句で，異なる感情を持つ（neutralを含む） – XとYの極性分類が正しく，接続詞’but’と句Y全体を表 すノードを支配する最も低いノードがYと同じ極性を 持つ場合に正解とする • 131事例に対して，RNTNは41%の精度を達成 – MV-RNN: 37%, RNN: 36%, biNB: 27% 2014/10/7 文献紹介 26
  • 27. 実験| 結果 2014/10/7 文献紹介 27
  • 28. 実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
  • 29. 実験| 結果 High level negation • 評価のためにデータセットを2つに分割 1. positive sentence の否定 2. negative sentence の否定 2014/10/7 文献紹介 29
  • 30. 実験| 結果 positive sentence の否定 • 否定により極性はpositive からnegative に変わる 2014/10/7 文献紹介 30
  • 31. 実験| 結果 negative sentence の否定 • 否定によりnegative の 度合いが弱まる （positiveとは限らない） 2014/10/7 文献紹介 31
  • 32. 実験| 結果 2014/10/7 文献紹介 32
  • 33. 実験| 結果 • RNTNが否定の振舞いを最も正しく扱えている 2014/10/7 文献紹介 33
  • 34. 実験 1. 各句に対する5値分類(very negative ~ very positive) 2. 各文に対する2値分類(positive or negative) 3. モデルの解析：対比接続詞‘Xbut Y’ 4. モデルの解析：High level negation 5. モデルの解析：強いpositive/negativeを表す句
  • 35. 実験| 結果 • 上位10 positive n-gramのsentiment value の平均値 2014/10/7 文献紹介 35