視線と表情を用いた議論の場の空気の推定手法の検討

視線と表情を用いた議論の場の空気の推定手法の検討
名古屋工業大学熊崎滉大
白松俊
一ノ瀬修吾
1

研究背景と目的
背景
• 議論による合意形成を支援する研究を行っている
• Web議論システムCollagreeで社会実験がなされている
• 合意形成にはファシリテータの役割が重要
目的
• ファシリテータエージェントを作成したい
• 人間のファシリテータは場の空気に応じて議論を進行
• 参加者の視線や表情から場の空気を自動で推定したい
（ファシリテータエージェント開発の手助けに）
Web上の議論はテキストだけであり、場の空気の推定が困難
まずは対面の議論の推定から知見を得る
2

本研究のアプローチ
• 顔から得られる情報のうち視線、表情を用いることが
空気推定に役立つと考える
• 視線、表情の解析にIntel社のRealSense™を用いる
データを元に誰が誰を向いているか自動で判定する機構、
表情を自動で判定する機構を開発する
• 場の空気が良い時は聞き手が話し手の方を向き、
表情は豊かであると思われる
3

4
RealSense™の機能
Intel社のRealSense™は手や指の検出、顔の検出、音声の検出
が可能である
本実験では顔の検出機能を用いる
顔の検出機能では顔の位置座標、顔の姿勢、顔の部位の位置座標
表出情報の取得が可能
表情、感情推定機能も存在したが今は切り離されている模様

予備実験(1)の設定
• RealSense™の機能を用いて(1)顔の向き、(2)眼球が左を向い
ているか(3)右を向いているかの3つのパラメータを取得
• 被験者AがB,C,Dを見ている時のパラメータの時間変化を記録
• 100ミリ秒ごと、35秒間程度
• 被験者間の距離が狭まるほど精度は低くなると考えられる
5

6
予備実験(1)の結果
0
10
20
30
40
50
60
70
80
90
100
0
1.61
3.03
4.49
5.9
7.4
8.82
10.23
11.66
13.12
14.6
16.06
17.5
18.92
20.41
21.82
23.32
24.72
26.18
27.6
29.05
30.51
31.97
33.4
34.81
0
5
10
15
20
25
30
35
40
45
0
1.46
2.74
4.03
5.32
6.65
7.94
9.21
10.48
11.77
13.08
14.4
15.73
17.02
18.3
19.59
20.91
22.22
23.52
24.78
26.1
27.37
28.68
29.99
31.3
32.59
33.88
35.13
眼球右向き眼球左向き
正面を向いた時の顔の向き
縦軸：パラメータ
横軸：時間
-50
-40
-30
-20
-10
0
10
20
30
40
50
0
1.3
2.4
3.6
4.7
5.8
7
8.1
9.2
10.3
11.4
12.5
13.7
14.9
16
17.1
18.2
19.3
20.5
21.6
22.8
23.9
25
26.1
27.2
28.3
29.5
30.6
31.8
32.9
34
35.1
真横を向いたときの値

7
-70
-60
-50
-40
-30
-20
-10
0
0
1.47
2.94
4.55
5.96
7.2
8.49
9.76
11.17
12.45
13.74
15.07
16.35
17.59
18.84
20.4
21.94
23.32
24.64
26.3
27.73
29.22
30.67
31.96
33.37
34.73
36
-100
-90
-80
-70
-60
-50
-40
-30
-20
-10
0
0
1.37
2.52
4.02
5.54
6.68
7.87
9.04
10.18
11.51
12.66
13.84
15.07
16.26
17.39
18.53
19.89
21.35
22.62
23.88
25.1
26.76
27.94
29.36
30.67
31.85
33.15
34.41
35.56
0
20
40
60
80
100
120
0
1.72
3.44
5.46
6.95
8.49
10.01
11.7
13.2
14.8
16.35
17.84
19.33
21.36
23.06
24.64
26.7
28.23
30.17
31.72
33.37
34.98
右斜め前を向いた時(顔の向き)
右を向いた時(顔の向き)
右を向いた時(眼球左向き)
縦軸：パラメータ
横軸：時間

8
• 正面を向いている時は顔の向きを示すパラメータはおおよそ０
付近を推移している
• 更に、眼球左向きの値が大きく変化している
• 右向きに関してはそこまでの変化はなかった
• 右斜めを向いた時の顔の向きを示すパラメータはおおよそ-35
付近を推移している
• 右を向いた時の顔の向きを示すパラメータはおおよそ-50付近
を推移している
• 右斜め、右向きは眼球左向きを示す値が100を取り、右向きを
示す値は常に0であった

9
予備実験(2)の手法
• 既存研究のゲーム（Misrepresentation Game）を参考にして、
被験者1名、他の参加者3名の4名で騙し合いゲームを行う
• 被験者の様子をカメラに取り、顔の向きが変化している時点の
RealSense™で取れたパラメータを確認する
• 各対象を見ている時、予備実験(1)で得たパラメータに近づくは
ずである

10
動画を載せその時間のグラフを貼る
はやくつくる
2分51秒から54秒までのデータをグラフ化
7184〜7303まで
-45
-40
-35
-30
-25
-20
-15
-10
-5
0
0.02
0.1
0.22
0.32
0.42
0.49
0.56
0.65
0.73
0.8
1.05
1.17
1.29
1.36
1.49
1.62
1.75
1.9
2.03
2.13
2.19
2.32
2.39
2.46
2.56
2.62
2.69
2.76
2.87
2.96
顔の向きのパラメータ
の時間推移
縦軸：顔の向きのパラメータ
横軸：時間
実験の様子

考察
11
• 顔の向きに関しては信頼しうる結果が得られた
• 視線に関しては、特に顔を傾けている時に検出できない
• 基本は顔の向きを使い、正面を向いている時だけ視線を使う
• しかし、顔の向きだけで判断すると、人と人との距離が近
い時に誤認識を起こす可能性がある
• 予備実験(2)では、眼球だけ動かした場面は非常に少ない
• 顔の向きをベースにし、誰が誰に向いているのか判定したい
• テーブルのサイズや、座っている位置の初期設定が必要

12
関連研究
坊農らの先行研究では、視線を一つのジェスチャー要素として
扱う手法を検討 [坊農05]
• 視線が別の対象へ移行する時からその対象を
見ている間を視線句として扱う
• 見ている対象が変わるタイミングで表情が変化することが考え
られるので表情推定の機構を考える時に参考にしたい
[坊農05]対話コミュニケーションにおける相互行為的視点，
社会言語科学，Vol．7，No．2，pp．3-13，2005．

まとめと今後の展望
13
まとめ
• 眼球の動きと顔の角度を同時に検出することは困難であった
• 基本は顔の向きを用い、視線は補助的に用いる
• どの方向を向いているのか判定することは可能だが、「誰に向
いているか」を判定するには座っている位置の情報が必要
今後の展望
• 「誰に向いているか」を自動判定する機構を完成させ、今回触れ
られなかった表情判定と合わせて空気推定手法を確立していく
• 現状では未定義の「場の空気」を、どう定義すれば良いか検討
• 本研究室では脳波[北川 17]、音声[幸浦 17]の観点から「場の空気」の
推定手法を検討中
• 将来的にはこれらの研究と統合して「場の空気」を推定
[北川 17] 北川他: 議論参加者の脳波による議論の場の空気推定手法の検討. H29東海支部連合大会, D4-5, 2017.
[幸浦 17] 幸浦他: 韻律情報による議論の場の空気推定手法の検討. H29東海支部連合大会, B2-3, 2017.

視線と表情を用いた議論の場の空気の推定手法の検討

More Related Content

視線と表情を用いた議論の場の空気の推定手法の検討

Editor's Notes