藤吉研究室10周年記念「これまで10年，ここから10年」

藤吉研究室10周年
これまで10年，ここから10年．

www.facebook.com/FujiyoshiLaboratory

藤吉弘亘
中部大学工学部情報工学科

OB&OG

• 学部卒業生：75名（情報工学科：69名）
• 修士：24名
‒ 大学院進学率：32%

• 博士：4名（＋1名）
‒ 博士進学率：5%

2001年度（研究室の立ち上げ）

• 小寺晴久「カラーキュービックスペースによる輝度変化に関する研究」

• 田中智也「ピクセル分析による物体検出」

• 中田和秀「ShockWave3DによるWebToyに関する研究」

2001年度MVP(Most Valuable Paper)

• 小寺晴久「カラーキュービックスペースによる輝度変化に関する研究」

• 田中智也「ピクセル分析による物体検出」

• 中田和秀「ShockWave3DによるWebToyに関する研究」

2001年度MVP

ピクセル分析による物体検出
指導教授藤吉弘亘
D98129 田中智也

1.目的
近年，犯罪発生率の急増に伴い，画像理解技術を用いた
ビデオ監視システムの重要性が高まっている．屋外監視を
対象とする場合，天候等による環境変動の影響を受けずに t-J t t+K
侵入物体を検出することが重要な課題となる．本研究では，
ピクセル分析による物体検出法を提案し，その有効性を評
価する．
図 3: ピクセル分析の動作概要
2.ピクセル分析
従来の背景差分等の物体検出法では，各ピクセルの状態 3.セグメンテーションとノイズ除去
を背景と物体の 2 状態に判別するのに対し，本手法ではピクセル分析により判定された背景以外のピクセル群に
図 1 のように背景 (BG), 静 (ST), 動 (TR) の 3 状態を考対してセグメンテーションを行う．その後，各領域に対し
える．て図 4 に示すアルゴリズムによってノイズ除去を行う．占
pixel 有値は，領域面積に対する動と静ピクセルの総数の割合で
region
ある．連結値は，動と静ピクセルの 4 近傍に対する連結度
TR MO である．
SO
BG ST

図 1: ピクセル分析の概念
屋外カメラで撮影した画像上のあるピクセルの輝度変化
は，状況に応じて以下の 3 つの特徴に大別でき，上記の 3
図 4: ノイズ除去のアルゴリズム
状態で表現することができる．次に，各領域を移動物体と静止物体の 2 種類に判定す
物体がピクセル上を通過輝度値は背景から急激に変化する（図 1 参照）．領域が動ピクセルで構成されている場合
る．続いて一時的に不安定な状態が続き，再度急激な変化を移動物体，また領域が全て静ピクセルである場合を静止
の後，背景である元の輝度値に戻る (BG → TR → BG)．物体と判定する．
物体がピクセル上で停止輝度値は背景から急激に変化す 4.評価実験結果
る．続いて一時的に不安定な状態が続き，最終的には物体
図 5(a) はピクセル分析の動作例を示しており，人の胴
の輝度値に安定する (BG → TR → ST)．
体部は静，腕の領域は動と判定されている．図 5(b) は，検
環境の変化輝度値は緩やかに変化する (BG → BG)．
出した領域を移動物体 (Moved)，静止物体 (Stopped) と
これらの状態遷移を捉えるため，次の 2 つの変化に着目
判定した例である．
した．
輝度値の急激な変化急激な輝度変化を捉えるモーション
トリガーを考える．ここで，It を現在のフレームから K
フレーム前の輝度値とする．輝度値の変化量 T を求める
には，t よりさらに過去のフレームに着目する．変化量 T
は次式より求められる．
変化量 T = max |It − I(t−i) |, ∀i ∈ [1, J ]

急激な輝度値の変化がピクセル上に生じたとき，変化量 T
の値は大きくなる．図 5: ピクセル分析の動作画面
不安定な状態から安定した状態への遷移ピクセルの時間
変動を表す安定度について考える．安定状態の検出には t 表 1 に屋外の 2 箇所 (カメラ 1, 2) で撮影したビデオ映
より未来のフレームに着目する．安定度 V は次式より求像 (約 8 時間) から目視により評価した検出率を示す．
められる．表 1: 検出率 [%]
K K
背景差分法本手法
2
K I(t+i) − ( I(t+i) )2 カメラ 1 カメラ 2 カメラ 1 カメラ 2
安定度 V =
i=0 i=0 晴れ 58.4 89.9 84.4 94.7

CMUポスドク時代の研究をベースに研究室が始動
K(K − 1) 曇り 92.1 93.8 92.7 96.2
これはフレーム t から t + K までの分散であり，安定した平均 83.5 92.0
状態のとき安定度は小さくなる．
画面上の全ピクセルについて変化量と安定度を求め，ピピクセル分析による検出法では，ピクセルの状態を判定す
クセルの状態を図 2 に示すアルゴリズムにより決定する．るのに時間軸における分析窓の中心 (最新のフレームより
K フレーム前) で決定しているため，より正確な検出が可
能であり，従来の背景差分法より高い検出率 92[%] を得る
ことができた．
5.まとめ
図 2: ピクセルの状態判定アルゴリズムピクセル分析による物体検出法の有効性を確認した．本
なお，本手法では常に複数フレームの画像を分析窓として手法は，各ピクセルの状態を静/動と判定しているため，ト
保持している．状態の判定結果は，最新より K フレームラッキングを行わずに物体の移動/静止状態を容易に判定
過去 (実験では約 0.5 秒) の時点における結果となる (図 3 できる．今後は，人間の動作解析等への応用について検討
参照)．したい．

2002年度（小村の加入）

• 小村剛史「屋外環境下における移動体検出法とその評価に関する研究」

• 松野良紀「カラー情報を用いた道路状況判別に関する研究」

• 吉川高行「3面図を基にした3Dモデルキャラクタの作成に関する研究」

2002年度MVP

• 小村剛史「屋外環境下における移動体検出法とその評価に関する研究」

• 松野良紀「カラー情報を用いた道路状況判別に関する研究」

• 吉川高行「3面図を基にした3Dモデルキャラクタの作成に関する研究」

2002年度MVP

屋外環境下における移動体検出法とその評価に関する研究
指導教授藤吉弘亘
D99074 小村剛史

1.目的体通過フレームを全て検出できていないのは，フレーム間
屋外環境を対象とした移動体検出を行う場合，影領域に差分を用いているためである．T ht の場合，37 フレーム
おける検出精度の低下が問題となる．本研究では，輝度変目の輝度変化に追従しており，40 フレーム目を検出でき
化のしきい値に分散を用いることで影領域における移動体ていない．一方，T ht ではしきい値の変動が抑えられ，40
検出率を向上させることを目的とする．フレーム目を検出できている．

2.移動体検出法
従来，動画像から移動体を検出する手法として，背景差
分とフレーム間差分が用いられている．
背景差分法あらかじめ用意された背景画像と現在の入力
画像の差分を取ることにより，物体領域を検出することが
できる．天候等による環境変化に対応して背景画像を更新
する必要がある．
フレーム間差分法時刻 t と時刻 t − i の画像の差分を取
ることにより，移動体を検出する手法である．動的な環境
変化に適応的であるが，移動体の全領域を抽出することは
不可能である．図 1 輝度変化としきい値の関係
本研究では，しきい値設定法の検討を行うため，背景変
化の影響を受けにくいフレーム間差分を用いる．フレーム 4.評価実験結果
間差分は次式により求められる．図 2 に検出例を示す．固定しきい値では検出できない影
D = |It − It−i | 領域の移動体 (右下) を分散しきい値では検出できている．

急激な輝度値の変化がピクセル上に生じたとき，変化量 D
の値は大きくなる．ここで，ピクセルの状態を表す M は，
D の値をしきい値処理することにより，物体 (1) と背景
(0) に判定する．次式の T h は，急激な変化を判定するし
きい値である．

Mt =

この操作を全ピクセルについて行う．
1， D > T h
0， D ≤ T h
学生と書いた最初の査読付き論文！
図 2 影領域での検出結果の違い
3.分散しきい値
フレーム間差分のしきい値 T h には，固定値もしくはピ表 1 に各状況 (朝，昼，曇り，夕方，夜) ごとの移動体検
クセル毎に設定した値を用いることが考えられる．本手法出率と誤検出数を示す．評価用データとして，昼は 3600
では，変動しきい値として過去フレームにおける輝度値のフレーム，それ以外は 1800 フレームを用いた．分散しき
2
分散を用いる．分散値 St は次式より求められる．い値においては K = 8，α = 0.2 とした．夜間に歩行者
が通過する場合，目視においても移動体の確認が困難なた
K K
2
め，今回は評価の対象外としている．
K I(t−i) − ( I(t−i) )2
2 i=1 i=1 表 1 移動体検出率 [%] (誤検出数)
St =
K(K − 1) 固定しきい値変動しきい値
Th=30 Th=15 T ht T ht
これはフレーム t − 1 から t − K までの分散であり，安定
朝 97.0(62) 96.2( 252) 98.0(145) 97.8(132)
した状態のとき分散値は小さくなる．この分散をしきい値
に反映させることで，各ピクセルに対応したしきい値を設昼 57.3(13) 81.7(1052) 85.1( 23) 92.6( 60)
定することが可能となる．これにより，検出率の向上が期曇り 85.5( 0) 93.1( 527) 96.6( 0) 96.2( 0)
待できる．夕方 68.3( 0) 89.9( 50) 88.4( 0) 93.3( 2)
しきい値の更新方法変動しきい値は次式によりフレーム夜 5.9( 0) 12.6( 30) 5.9(145) 17.4( 0)
毎に更新される．平均 61.9(14) 75.9( 574) 76.5(233) 81.6( 45)
T ht = 4St
表 1 より，固定しきい値を 30 から 15 に下げると昼の検
しかし，分散の変動が激しい領域では，T ht の変動も激し出率が 57.3%から 81.7%に向上するが，それに伴い誤検出
く移動体検出がうまくできない場合がある．そこで本研究数も 1052 に増える．一方，分散しきい値 T ht を用いた場
では，しきい値の変動を抑制するために過去のしきい値を合，検出率，誤検出数ともに良い結果を得ることができた．
用いた更新を行う．しきい値 T ht を次式により更新する．これは，分散をしきい値に用いることで適応的にしきいが
設定されているからである．また，分散しきい値 T ht を
T ht = αT ht + (1 − α)T ht−1 用いると，昼は 6%，夕方は 4%検出率が向上した．これ
(0 < α < 1) は，しきい値の急激な変動を抑えることで，影領域におけ
る検出性能が向上したためである．
ただし，Mt−1 = 1 の場合は T ht = T ht−1 とする．α は，
新しく計算した分散値 St をしきい値にどれだけ反映させ 5.まとめ
て更新するかを決定する定数である．移動体検出におけるしきい値の選定法について提案し，
図 1 に，あるピクセルにおける輝度の変動としきい値評価実験によりその有効性を確認した．今後は，カラー情
を示す．移動体は 33∼55 フレームに通過している．移動報の変化軌跡を用いた検出率の向上を目指す．藤吉弘亘, 小村剛史, 矢入（江口）郁子, 香山健太郎, 吉水宏, "歩行者ITSのため
のフレーム間差分による移動体検出法とその評価", 情報処理学会論文誌CVIM,
Vol. 45, No. SIG13, pp. 11-20, 2004.

2003年度（情報工学科1期生）

• 大場慎一郎「自動移動型ロボットにおける次世代プラットホームの開発」

• 小川泰広「視体積交差法による3次元形状復元の高速化」

• 奥村幸司「視体積交差法による3次元形状復元の高速化」

• 香川祐樹「輪郭線に着目したオプティカルフローの算出」

• 清水彰一「複カメラによる高速3次元位置推定」

• 高畠綾子「グラフィックデザイナーのための視覚化プログラミング環境に関する基礎検討」

• 田中佑典「PostScriptを出力するDBNコンパイラの作成」

• 遠山聖司「黒板を対象としたイメージモザイキングによる板書の再現」

• 西貴行「ピクセル状態分析によるオブジェクトベース符号化」

• 外園和也「歩行者移動支援システムにおける物体情報のリアルタイム配信サーバの構築」

• 水野裕一「異なるビジョンシステムの統合による自律移動型ロボットの制御」

• 横井隆雄「非同期カメラ映像間の同期フレーム検出と講義のインデキシングについての検討」

2003年度MVP

• 大場慎一郎「自動移動型ロボットにおける次世代プラットホームの開発」

• 小川泰広「視体積交差法による3次元形状復元の高速化」

• 奥村幸司「視体積交差法による3次元形状復元の高速化」

• 香川祐樹「輪郭線に着目したオプティカルフローの算出」

• 清水彰一「複カメラによる高速3次元位置推定」

• 高畠綾子「グラフィックデザイナーのための視覚化プログラミング環境に関する基礎検討」

• 田中佑典「PostScriptを出力するDBNコンパイラの作成」

• 遠山聖司「黒板を対象としたイメージモザイキングによる板書の再現」

• 西貴行「ピクセル状態分析によるオブジェクトベース符号化」

• 外園和也「歩行者移動支援システムにおける物体情報のリアルタイム配信サーバの構築」

• 水野裕一「異なるビジョンシステムの統合による自律移動型ロボットの制御」

• 横井隆雄「非同期カメラ映像間の同期フレーム検出と講義のインデキシングについての検討」

2003年度MVP

歩行者移動支援システムにおける物体情報のリアルタイム配信サーバの構築
P00123 外園和也指導教授：藤吉弘亘
1. はじめに
高齢者や障害者を対象とした歩行者移動支援システム
(Robotic Communication Terminals，RCT) は，屋外に
設置したカメラからリアルタイムで人や車の往来等を自動
検出し，道路状況を歩行者の携帯型情報端末に提供する [1]．
本研究では，RCT システムにおいて道路状況等をリア
ルタイムにクライアントへ配信するサーバ (以下：Object
サーバ) の構築を目的とし，通信時間による評価実験によ
り，本システムの有効性を示す．
2.RCT システム
RCT システムは，道路等に設置されている環境端末
(Environment-Embedded Terminal，EET) よりリアルタ図 3 : Object サーバの構成
イムで提供される物体情報 (クラス，位置) と，掲示板によ 3.2. 物体情報の XML 化
り歩行者間で共有される情報を歩行者が携帯するマップ型 EET により検出した物体情報は，XML 形式を用いて記
情報端末上に表示することで歩行者の最適な経路選択を支述する．物体情報タグを 8 種類，2 台の EET を区別するた
援する．マップ型情報端末には，検出された物体情報に応めの Camera タグを 2 種類，送信する際に一つにまとめる
じたオブジェクトアイコンと歩行者から提供された道路状 OBJECTs タグを使用した (図 4 参照)．XML を用いるこ
況の情報を掲示板アイコンとしてマップ上に表示する (図とで，解析が容易になり他のアプリケーションとのデータ
1 参照)．マップ型情報端末は，Flash を用いて作成されて通信が可能になる．また，XML データベース化すること
いるため，Web ブラウザ内で実行可能である．で実データに基づいた交通量の再現や調査が可能になる．

図 1 : マップ型情報端末上での情報表示例
図 4 : 物体情報の XML フォーマット
情報通信研究機構との共同研究
現在，中部大学のキャンパスに構築中の RCT システム 4. 通信評価実験
では，物体情報を検出する EET(2 台)，物体情報をクライ
歩行者が安全に移動するためには，EET が自動検出し
アントに配信する Object サーバ，掲示板データを管理す
た物体情報をより速くクライアントに配信する必要がある．
る BBS サーバ，マップ型情報端末から構成される (図 2 参
そこで，EET 上で物体検出されてから端末のマップ上に
照)．以下に本 RCT システムにおける Object サーバにつ
表示されるまでの時間を測定した結果を図 5 に示す．クラ
いて述べる．
イアントには，同一サブネット内のコンピュータを 10 台
用いて評価した．自動車が時速 40[km/h] で走行している
場合，クライアント数 1 台であれば，マップ上に表示され
→外部の研究機関や企業との共同研究が始まる
るまでに 0.055[sec] の通信時間を要し，その際に自動車は
0.61[m] 進んでいることになる．突発的な危険や事故等の
事前回避を行うには，クライアント数 3 台 (1.40[m]) まで
が許容範囲であることが分かる．

図 2 : RCT システムの構成
3.Object サーバ
Object サーバは，EET で自動検出された物体情報 (ク
ラス，位置) を受信後 XML 形式に変換し，各クライアン
トである情報端末へ配信する．
3.1.Object サーバの構成
Object サーバでは，EET(2 台) から物体情報を受信し
XML 形式に変換する EET スレッド，それぞれ受信した物図 5 : 通信時間の評価
体情報を結合する fusion スレッド，クライアントへ最新の
5. まとめ
物体情報を送信する Client スレッドと，各スレッドの起動本研究では，RCT システムにおける Object サーバに
とクライアントの接続要求を待つ main スレッドで構成さついて検討し，その有効性を通信時間により示した．今後
れている (図 3 参照)．Client スレッドは接続要求毎に生成は，通信速度の向上を目指しクライアント数の許容範囲を
し，複数クライアントへの対応を可能としている．Flash 広げていく必要がある．
は TCP/IP 通信対応のみのため，Object サーバ-クライア参考文献
ント間では TCP/IP 通信となる．EET-Object サーバ間 [1] 矢入，猪木：“高齢者・障害者の自立的移動を支援する
は最新のデータを速く送信する必要があるため，UDP 通 Robotic Communication Terminals(3)”，人工知能学
信とする．会誌，Vol.18，No.1，pp.29-35(2003)．

2002-2004：RCTプロジェクト

プロジェクトメンバー：小村剛史，外園和也，坂下祐輔

2004年度（研究室らしくなってきた）

• 水野宏基「未校正マルチカメラにおける3次元シーンフロー推定」

• 箕浦良文「幾何変換差分を用いた車載カメラにおける移動体検出」

• 小関亮介「スケール変化に適応した複数のMean-Shiftトラッカによる移動体追跡」

• 西井智哉「物体識別に用いる特徴量の評価」

• 林裕司「イメージモザイクによるグローバルビジョンシステム」

• 仲村圭介「レイヤー型検出法を用いた板書のノート化に関する基礎検討」

• 坂下祐輔「瞳孔抽出による生体運動画像計測 -高速楕円検出法-」

• 中川哲志「3D物体の移動操作におけるユーザビリティの評価」

• 野村太一「連続DPマッチングを用いたContour Morphing」

2004年度MVP

• 水野宏基「未校正マルチカメラにおける3次元シーンフロー推定」

• 箕浦良文「幾何変換差分を用いた車載カメラにおける移動体検出」

• 小関亮介「スケール変化に適応した複数のMean-Shiftトラッカによる移動体追跡」

• 西井智哉「物体識別に用いる特徴量の評価」

• 林裕司「イメージモザイクによるグローバルビジョンシステム」

• 仲村圭介「レイヤー型検出法を用いた板書のノート化に関する基礎検討」

• 坂下祐輔「瞳孔抽出による生体運動画像計測 -高速楕円検出法-」

• 中川哲志「3D物体の移動操作におけるユーザビリティの評価」

• 野村太一「連続DPマッチングを用いたContour Morphing」

2004年度MVP

瞳孔抽出による生体運動画像計測 -高速楕円検出法-
EP01074 坂下祐輔指導教授：藤吉弘亘
1. はじめに
近年，生体の運動状態を計測するために，瞳孔中心から
視線方向を推定する研究が盛んである．既に，瞳孔を円や
楕円として捉え，最小 2 乗法やハフ変換を用いて瞳孔中心
を求める手法が提案されている．しかし，これらの手法は
検出精度や処理時間において問題がある．
そこで，本研究では瞳孔抽出を高精度，かつ高速に検出
する手法を提案し，リアルタイムアプリケーションとして
の有効性を示す．
2. 楕円検出
本研究では赤外線照明と可視光カットフィルタを通した図 3 : アウトライアの除去
CCD カメラを用いており，反射率の高い虹彩は写らず瞳 Ax2 + Bxy + Cy 2 + Dx + Ey + F = 0 (2)
孔領域が観測される．瞳孔は視線の向きによって楕円形に
となる．(2) 式に LM 法を適用し，各パラメータ (A ª F )
なる場合があり，瞳孔抽出では円ではなく楕円を検出する
を推定する．LM 法は非線形最小 2 乗法であり，解から遠い
必要がある．また，照明等の反射が眼球に写ることがあり，
場合は最急降下法に，解に近づいた場合は Gauss-Newton
楕円形状が欠損する場合がある．そのため，本手法では，
法に切り替わり，収束領域が広く収束速度が速いという特
まずアウトライアを除去し，楕円パラメータを推定する．
性をもつ．アウトライアを除去した輪郭点に対して，約 20
2.1. 楕円中心の算出回の反復計算を行うことにより，楕円パラメータの推定が
図 1 に楕円中心算出法を示す．楕円に内接する平行四辺可能になる．
形を求め，相対する辺の中点同士を連結すると 2 本の直線パラメータの推定後，式 (1) と式 (2) の関係から長軸の
が交わり，その直線の交点が楕円の中心となる．実際には回転角を，次式で求める． ≥
欠損した楕円にも対処できるように上下，左右から順に平 ¥
1 B
µ = tan°1 (3)
行四辺形を求めて楕円中心候補に投票し，中心を算出する． 2 A°C
3. 評価実験
評価実験として，実画像 500 枚よりアウトライアを除去
する前と，除去した後の輪郭点から楕円パラメータを求め，
真値を比較した．図 4 に瞳孔検出例を示す．表 1 に楕円検
出率，長軸の測定誤差，短軸の測定誤差を示す．

図 1 : 楕円中心算出法
2.2. アウトライアの除去
瞳孔が正楕円であれば，楕円中心から各輪郭点までの距
離を求め，最大になる組み合わせが長軸，最小になる組み
合わせが短軸となる．しかし，カメラから瞳孔画像を取得
する場合，赤外線照明の光が眼球で反射し，図 2 のような
反射像や，上下左右の欠けが存在する．従って，欠損した
瞳孔から楕円を検出するにはアウトライアの除去が必要で
ある．図 4 : 実画像での結果
表 1 : 楕円検出精度の比較
検出率長軸誤差短軸誤差
[%] [pixel] [pixel]
アウトライアあり 37.3 23.2 15.7
アウトライアなし 97.8 1.9 1.4
表 1 より，アウトライアを除去しないでパラメータを推
定すると，欠損した輪郭点の影響を受けるため推定誤差が
大きい．一方，アウトライアを内接する平行四辺形により
図 2 : アウトライアを含む楕円除去した本手法では，欠損した輪郭点の影響を受けないた
ある輪郭点と楕円中心を対称とした輪郭点との距離が等め，検出率が大幅に向上した．
しい輪郭のみを残すことで，アウトライアを除去する．図また，輪郭にアウトライアを含む割合が 0 %，10 %，20
3 にアウトライアを除去する過程とアウトライアを除去し %，30 % の場合，検出率はそれぞれ 100 %，99.8 %，92.5
た後の楕円の輪郭点を示す． %，77.5 % であった． NEWOPT ET-60
2.3.Levenberg-Marquardt 法による楕円パラメー長軸が約 200 pixel，短軸が約 150 pixel の楕円に対し
タの推定て処理時間は，楕円中心の算出に 3 ms，アウトライア除
楕円の方程式は次の形で表現できる．去に 4 ms，LM 法に 0.5 ms，合計 8 ms 以下 (120 fps) で
あり，本手法は従来のハフ変換等を用いた手法では困難で
((x ° x0 ) cos µ + (y ° y0 ) sin µ)2 あったリアルタイム処理が可能であることがわかる．
+
a2 4. まとめ

製品化につながる初の研究成果
((x ° x0 ) sin µ ° (y ° y0 ) cos µ)2 本研究では，アウトライア除去と LM 法を適用したパラ
2
=1 (1)
b メータ推定による楕円検出法を提案し，リアルタイムアプ
(x, y) は楕円上の点，(x0 , y0 ) は楕円の中心座標，a，b はリケーションにおける有効性を検出精度と処理時間により
長軸，短軸の長さ，µ は x 軸方向から長軸への回転角であ示した．今後は，視線方向の推定を行う予定である．
る．また，式 (1) はパラメータに対して線形な形で表すと，

2005年度（CV研究に注力）

• 豊田泰弘「動的3次元ボクセル空間におけるMean-Shiftによる頭部追跡」

• 都築勇司「画像情報を用いた交通流計測」

• 土屋成光「Adaboostを用いた物体識別のための入力特徴の評価」

• 永橋知行「物体構造に基づく特徴量を用いたグラフマッチングによる物体識別」

2005年度MVP

• 豊田泰弘「動的3次元ボクセル空間におけるMean-Shiftによる頭部追跡」

• 都築勇司「画像情報を用いた交通流計測」

• 土屋成光「Adaboostを用いた物体識別のための入力特徴の評価」

• 永橋知行「物体構造に基づく特徴量を用いたグラフマッチングによる物体識別」

2005年度MVP

物体識別のための Adaboost を用いた入力特徴の評価
EP02132 土屋成光指導教授：藤吉弘亘
1. はじめに Algorithm The Adaboost algorithm
1. Input: n, Training dataset (xi , yi )
ビデオ監視や ITS における高精度な物体識別能力の実現 2. Initialize: w1 (i) = 1/n(i = 1 · · · n), h0 (x) = 0
には，識別器の構築と入力特徴の選定が重要な課題である． 3. Do for t = 1, . . . , T. t (h) =
n
I(yi = h(xi ))wt (i)
i
SVM や Neural Network（ANN）等の識別器は，非線形 (a) t (h(t) ) = min t (h)
1− t (h(t) )
な識別境界により汎化能力の高い識別を実現する．しかし， (b) αt = 1
2 ln( t (h(t) )
)
入力特徴がクラスの分離を表現できないと，その識別能力 (c) wt+1 (i) = wt (i) exp(−αt h(t) (xi )yi ))
は低下する．本研究では，弱識別器を逐次学習し，重みつ 4. Output: Final hypothesis with weights αt
T
き多数決で最終的な識別結果を得る Adaboost を用いて構
sign(Ht (x)), where HT (x) = αt ht (x)
築した識別器から各特徴量の識別能力に対する貢献度を求
め，特徴量評価の一指標として用いることを提案する． t=1

2. 物体識別に用いる特徴量図 1 : Adaboost 学習アルゴリズム
屋外環境下で撮影された人や自動車等の認識には，見え各特徴量が最終的な識別器に貢献している度合いを表す貢
の違い，車種，照明の変動等に影響を受けない特徴量を選献度 Cp を以下のように定義する．
T
択する必要がある．本研究では，移動体検出後，物体識別
Cp = αt · δK [P (ht ), p] (4)
の入力として，形状，テクスチャ，時間に基づく情報から
t=1
なる以下の 7 つの特徴量を用いる．
• 形状に着目した特徴量 p は特徴ベクトル次元、すなわち特徴量の種類であり，P ()
– 正規分布の縦横比と傾き（AS）は，選択された弱仮説に採用された特徴量を求める関数
– 複雑度（CS）である．また，α は (3) 式により正規化した重み，δK は
• テクスチャに着目した特徴量 Kronecker’s delta である．貢献度 Cp は対象クラスの識別
– 垂直方向エッジ（V）能力に対して特徴ベクトル p がどの程度寄与するかを示す
– 水平方向エッジ（H）指標となる．
– 右上がり方向エッジ（R-U） 4. 実験結果
– 左上がり方向エッジ（L-U）各特徴量に対する貢献度と，その特徴量を用いずに学習
• 時間変化に着目した特徴量した ANN 識別器における誤識別率（未検出データと誤検
– オプティカルフローの分散（OF）出データの和の割合）を図 2 に示す．また，図中の R は貢
本稿では，移動体を，上記の特徴量を用いて自動車 (VH)，献度と誤識別率との相関係数である．提案する貢献度とそ
人 (SH)，複数の人 (HG)，自転車 (BK) に識別するタスクの特徴量を欠損した際の誤識別率には強い正の相関がある
を目的とする．ことがわかり，貢献度が高いとその誤識別率が高くなるこ

AdaBoostの導入
3.Adaboost による各特徴の識別に対する貢献度の評価とがわかる．
学習には，屋外の 2 カ所に設置したカメラより撮影し
50 0.004 30
た画像から，各識別クラス（VH/SH/HG/BK）について 0.12
40 R= 0.50 25 R= 0.74
400 枚の画像を取得し，200 枚の画像を学習用に，残りの 0.003
[% ]

[% ]

0.1
[%]

[%]

200 枚を評価用に用いる．まず，VH，SH，HG，BK の各 30
0.002
20

0.08
クラスに対して，対象クラスかそうでないかを出力とする 20 15
0.001
2 クラス識別器 H c を，図 1 に示すアルゴリズムにより構 10 10 0.06

築する．c は対象クラスのラベルである．この際，各 2 ク 0
AS CS V H R-U L-U OF
0 5
AS CS V H R-U L-U OF
0.04

ラス識別器構築に用いる学習入力サンプルは全て同じデー (a) (VH) (b) (SH)

タ x と，(1) 式により設定するラベル y を用いる（(1) 式
→AdaBoostベースの研究が始まる
40 0.12 30
0.07

は対象クラスが VH の場合の例）． 30
R= 0.83 0.1 R= 0.85
[% ]

[% ]

20 0.06
[%]

[%]

+1, if xi ∈ V H 0.08

yi = (1) 20
0.05
−1, otherwise 0.06
10
10 0.04
0.04

このとき，他クラスの positive サンプルが自クラスにとっ 0 0.02 0 0.03
AS CS V H R-U L-U OF AS CS V H R-U L-U OF
ての negative サンプルとして学習される．2 クラス識別器 (c) (HG) (d) (BK)
T
の出力は，全弱仮説の重み α の過半数を得た推論
i=0 i 図 2 : 貢献度と誤識別率
結果（入力 x は自クラスである/他クラスである）となる．
選択された特徴量
ここで，αt は t 番目の仮説 h()t の識別性能から決定され
図 2 から，自動車クラス (VH) の識別にはエッジ情報，特
た重みであり，正規化すると，ある弱仮説の重みは
αt に水平成分の特徴が貢献度が高く，かつ誤識別率も高いこ
αt = T
(2) とから最も識別に貢献しているといえる．二番目に高い
α
i=0 i 右上成分のエッジ情報に関しては，当該特徴量を除いても
となる．よって 2 クラス識別器は，各 ht (x) の推論結果結エッジ情報同士で補い合うため，その変化は誤識別率に顕
T
果 (1/0) が与えられたとき， i=0 αi hi (x) が 0.5 以上で著に影響しない．また，人単体クラス (SH)，人複数クラ
あれば入力 x は対象クラスであると判別する．この値は，ス (HG)，自転車クラス (BK) においては形状特徴の貢献
識別器ごとに正規化された，入力データが対象クラスであ度が高く，有効であることがわかる．見えがよく似た SH，
るという判断に対する一意の確信の度合である．よって， BK の判別にはオプティカルフローを用いた時間変化の特
その値を比較することで，入力データを最も対象クラスら徴が有効であることが判明した．
しいクラスへ識別する．最終的な結果は，(2) 式のように
5. おわりに
全識別器の重みつき多数決を行うことで，マルチクラス識本稿では，Adaboost を用いた入力特徴量の評価として
別としての結果を出力する． T 各特徴量の貢献度を提案し，識別性能に相関があることを
Class = c argmax HG, BK} H c (x) = αt ht (x) (3) 示した．このような特徴量の貢献度を予め求めることで，
∈ {V H, SG,
t=1
より多くの学習サンプルを用いて高性能な識別器（例えば
貢献度 Adaboost の学習において，弱仮説は最もよく識 ANN) を構築する際の特徴選択の指針に貢献できる．今後
別できる識別器が選ばれ，その識別性能に応じて重み α がは，より頑健な Multi-classBoosting と，各特徴量の相関
付与される．そこで，弱仮説として選択された特徴量から，関係の評価法を検討する予定である．

CMU：2005年9月-2006年8月

• Visiting ResearcherとしてCMU に1年間滞在（M2清水と伴に）

• SIFT, HOG, ST-Patch, Graph Cuts等，新しいアルゴリズムにチャレンジ

多くの学生がピッツバーグを訪問：高畠，遠山，永橋，都築，林，水野ヒロキ，村井ヤス，村井ヨウ，山内，平田
先生！

Dec 13, 2005 @ Pittsburgh

ゼミAの紹介ビデオ

2006年度（新しいチャレンジ）

• 山内悠嗣「アピアランスと時空間特徴に基づく人検出」

• 須田浩揮「混合正規分布モデルを用いた類似物体判別に基づくパーティクルフィルターによる
物体追跡」

• 村井泰裕「Space-Time patchを用いた物体の移動方向識別とセグメンテーション」

• 桐井孝嘉「視聴者の注目点を考慮した高解像度映像からの自動講義映像生成」

• 芝崇雅「グラフカットの繰り返し処理による画像セグメンテーション」

• 村井陽介「形状と見えを特徴量としたレンジデータのキーポイントマッチング」

• 西川真美「ロボカップ小型リーグにおける経路生成の際の最適な目標位置の決定法」

• 高井慎也「UMLモデルを対象とした客観的評価基準の検討」

2006年度MVP

• 山内悠嗣「アピアランスと時空間特徴に基づく人検出」

• 須田浩揮「混合正規分布モデルを用いた類似物体判別に基づくパーティクルフィルターによる
物体追跡」

• 村井泰裕「Space-Time patchを用いた物体の移動方向識別とセグメンテーション」

• 桐井孝嘉「視聴者の注目点を考慮した高解像度映像からの自動講義映像生成」

• 芝崇雅「グラフカットの繰り返し処理による画像セグメンテーション」

• 村井陽介「形状と見えを特徴量としたレンジデータのキーポイントマッチング」

• 西川真美「ロボカップ小型リーグにおける経路生成の際の最適な目標位置の決定法」

• 高井慎也「UMLモデルを対象とした客観的評価基準の検討」

2006年度MVP

グラフカットの繰り返し処理による画像セグメンテーション
EP03082 芝崇雅指導教授：藤吉弘亘
1. はじめにと判定された領域内の色ヒストグラムから確率 P r(Ip |O)
一枚の画像から対象となる領域をセグメンテーションと，背景と判定された領域内の色ヒストグラムから確率
する手法として，Yuri らは，Interactive GraphCuts Seg- P r(Ip |B) を求め，t-link をアップデートする．
mentation を提案している [1]．グラフカットセグメンテー
ションでは，ユーザが正解ラベル (シード) を与えること
で物体と背景を分割する．しかし，複雑なエッジの画像に
対しての正確なセグメンテーションは困難である．そこで，
本研究では平滑化度合を変化させながらグラフカットを繰
り返し行うことにより，正確なセグメンテーションを行う
手法を提案し，その有効性を示す．図 2 : 手法の流れ
2. グラフカットによるセグメンテーション
図 3 に，平滑化度合を変化させた時のセグメンテーショ
セグメンテーションにおける物体と背景のラベル L の対ン例を示す．
応付けを行う問題の解法の一つとして以下のように定義す
るエネルギー関数 E(L) の最小値を求める方法がある．
・
E(L) = λ R(Li ) + B(Li , Lj )・ i , Lj )
δ(L (1)
i∈V (i,j)∈E

1 if L = L i j
δ(Li , Lj ) = (2)
0 otherwise
ここで，V はノード，E はエッジを示し，R(Li ) は i ∈ V
の観測データに対してのペナルティ関数，B(Li , Lj ) は近傍
ノード (i, j) ∈ E の相互関係を表した関数である．定義した
エネルギー関数 E に基づきグラフを作成し，min-cut/max-
ﬂow algorithm より最適解を求める．この時，作成するグ
ラフは，以下のように定義する．式 (1) のエネルギー関数図 3 : 平滑化度合を変化させた時のセグメンテーション
E(L) に基づき，グラフのエッジコストを計算する．
4. 評価実験
Rp (”obj”) = −lnPr(Ip |O) (3)
飛行機，車，人，バイクの計 92 枚の画像を用意し，この
Rp (”bkg”) = −lnPr(Ip |B) (4) うち従来法でうまく出来ない画像 18 枚を用いて提案手法
(Ip − Iq )2 1 の評価を行う．提案手法及び，従来法には同一のシードを
B{p,q} ∝ exp − ・ (5)
2σ2 dist(p, q) 与え，従来法と提案手法の出力と真値との差分をとり，比
較を行う．セグメンテーション結果を表 1 に示す．
K = 1 + max B{p,q} (6) 表 1 : 従来法と提案手法の比較 [％]
p∈P
q:{p,q}∈N 誤検出率未検出率正解率
ここで，O, B はそれぞれ物体と背景のシードを表し，画従来法 13.5 4.8 81.7
像 P 内の注目ピクセル p ∈ P と，近傍ピクセル q ∈ P の
輝度値をそれぞれ Ip , Iq とし，dist(p, q) をピクセル間の
提案手法 4.6 1.8 93.6
表 1 から，提案手法では従来法より正解率を 11.9 ％向
永橋知行, 藤吉弘亘, 金出武雄. "平滑化処理の繰り返しによる画像セグメンテ
距離とする．従来のグラフカットセグメンテーションでは，
上させることができた．図 4 にセグメンテーション例を示
図 1 に示すように，ユーザが与える正解ラベルを基に物体
す．単純なエッジの画像からは従来法と同様な結果，複雑ーションのためのグラフカット", 第10回画像の認識・理解シンポジウム
と背景のセグメンテーションを行う．
なエッジの画像からは，精度のよいセグメンテーションを
グラフを作成する際に，シー
ド以外のピクセルに対応
行うことができた． (MIRU2007), pp. 241-248, Jul, 2007.
するノードからの t-link
が 0 となると，ノード間の
n-link への依存が高くな
る．そのため，複雑なエッ
MIRU2007学生優秀論文賞受賞
ジを持つ画像に対しての正
確なセグメンテーションが
困難である．図 1 : グラフ
3. 平滑化画像を用いた繰り返しセグメンテーション
本手法では，複数の平滑化画像を用いてセグメンテー
ションを行う．平滑化度合の大きな画像は，エッジ情報が永橋知行, 藤吉弘亘, 金出武雄, "平滑化処理の繰返しによるグラフカットを用
減少することにより，n-link が反映されにくいため大まか
なセグメンテーションとなる．逆に，度合の小さな平滑化
画像からは，エッジ情報が n-link に大きく反映され，細
いた画像セグメンテーション", 情報処理学会論文誌CVIM, Vol. 1, No. 2, pp.
かなセグメンテーションとなる．セグメンテーション結果
から得られる物体と背景の色の確率を求め，t-link に反映
図 4 : 従来法と提案手法の比較 10-20, 2008.
させ，平滑化度合を小さくした画像から n-link を決定し， 5. おわりに
再度グラフを作成し，グラフカットを行う．これを繰り返本研究では，複数の平滑化画像をグラフカットの繰り返
し行うことで，大域的情報を保持したまま局所的セグメン
テーションを行う．図 2 に提案手法の流れを示す．
し処理による画像セグメンテーション法を提案し，その有
効性を示した．今後は，初期平滑化度合の自動決定，終了
条件の検討を行っていく予定である．
情報処理学会CVIM論文賞受賞
Step1. 平滑化ガウシアンフィルタによる平滑化．
Step2. グラフカットセグメンテーション平滑化画像を参考文献
入力としてグラフを作成し，セグメンテーションを行う． [1] Y.Boykov,M.Jolly, “Interactive Graph Cuts for Optimal
Step3. 繰り返し処理 σ の値を更新し，度合を変更した Boundary & Region Segmentation of Object in N-D Images,”
平滑化画像から n-link を決定する．また，Step2 で物体 ,ICCV,vol.I,pp.105-112,2001. 海外からのリクエストが多いのでソースコードを公開：
http://www.vision.cs.chubu.ac.jp/GraphCuts/

2007年7月：ロボットミュージムでの展示

2007年7月30日NHK（ほっとイブニング）

ロボカップメンバー：
清水彰一，水野裕一，大場慎一郎，林裕司，都築勇司，永橋知行，西村孝

旭川市科学館での対戦型ロボットサッカーの常設展示

2012年2月から：
「人工知能を搭載したロボットチーム」VS「体験者が動かすロボットチーム」で
サッカーの対戦し，ロボット技術を体験できる展示

→旭川へ行こう！

2007: CVIMチュートリアル

2007年9月4日(火) 13:40 - 15:10（発表80分, 質疑10分)

藤吉弘亘, "Gradientベースの特徴抽出 - SIFTとHOG -", 情報処理学会研究報告
Gradient ベースの特徴抽出
-SIFT と HOG- CVIM 160, pp. 211-224, September ,2007.

藤吉弘亘
中部大学工学部情報工学科
E-mail: hf@cs.chubu.ac.jp →都築, 村井, 山内が協力
あらまし Scale-Invariant Feature Transform(SIFT) は，特徴点の検出と特徴量の記述を行うアルゴリズ
ムである．検出した特徴点に対して，画像の回転・スケール変化・照明変化等に頑健な特徴量を記述するた
め，イメージモザイク等の画像のマッチングや物体認識・検出に用いられている．本稿では，SIFT のアル
ゴリズムについて概説し，具体例として SIFT を用いたアプリケーションや応用手法への展開について紹介
する．また，SIFT と同様に gradient ベースの特徴抽出法である Histograms of Oriented Gradients(HOG)
のアルゴリズムとその応用例として人検出についても紹介する．

Gradient-Based Feature Extraction
-SIFT and HOG-

Hironobu Fujiyoshi

Dept. of Computer Science, Chubu University
E-mail: hf@cs.chubu.ac.jp

Abstract Scale-Invariant Feature Transform(SIFT) is an approach for detecting and extracting local
feature descriptors that are reasonably invariant to changes in illumination, image noise, rotation, scaling,
and small changes in viewpoint. Because the SIFT algorithm can describe characteristics of feature
points that are invariant to scale and rotation changes, it has been used for image matching such as
image mosaicing and generic object recognition. In this paper, we describe the SIFT algorithm and
introduce applications that use it. We also describe another algorithm called “Histograms of Oriented
Gradients(HOG)” which is based on gradient feature extraction similar to the SIFT algorithm. We also
introduce an example of how HOG can be used for people detection. コンピュータビジョン最先端ガイド2
単行本: 169ページ
1 はじめに転に頑健な局所特徴量を記述した [3](1997 年)．これ
により，回転変化が生じても画像間のマッチングや出版社: アドコム・メディア (2010/6/9)
画像間の対応点を求めるために必要な局所特徴
認識を行うことが可能となった．しかし，Schmid ら
量を抽出するには，対象となる画像から特徴点を
の手法に用いられている Harris corner detector は，
言語日本語
検出する必要がある．Harris らは，1988 年に特徴
画像のスケール変化に敏感であるため拡大・縮小等
点としてコーナーを検出する手法 (Harris Corner ISBN-10: 4915851370
の異なるスケールの画像間ではマッチングが困難で
Detector)[1] を提案した．Lindeberg はスケールス
ある．Lowe は Schmid らの局所領域の特徴量記述
ISBN-13: 978-4915851377
ペースを用いることで画像の構造を解析し，blob の
という考えを拡張し，スケールスペースを用いるこ
検出と自動スケール選択を行う手法 [2] を提案した
とで，画像のスケール変化や回転に不変な特徴量を
(1994 年)．また，Schmid らは Harris corner detec-
記述する Scale-Invariant Feature Transform(SIFT)
tor によって検出された特徴点に対し，その点の画素
を提案した [4]．SIFT は，回転・スケール変化等に
値や微分値から算出した値を特徴量とし，画像の回

–1–

2007年度（FLABを代表する研究が開花）

• 尾崎貴洋「Joint HOG特徴を用いた2段階AdaBoostによる車両検出」

• 西尾和晃「マルチカメラを用いた複数移動物体の3次元モーション推定」

• 西村孝「道路状況把握のための空撮画像を用いた物体移動方向の可視化」

• 王毅捷「空撮画像と衛星画像のレジストレーションにおける特徴量の評価」

• 伊原有仁「異なる部分空間を用いたPCA-SIFTによる対応点マッチングの高速化・高精度化」

2007年度MVP

• 尾崎貴洋「Joint HOG特徴を用いた2段階AdaBoostによる車両検出」

• 西尾和晃「マルチカメラを用いた複数移動物体の3次元モーション推定」

• 西村孝「道路状況把握のための空撮画像を用いた物体移動方向の可視化」

• 王毅捷「空撮画像と衛星画像のレジストレーションにおける特徴量の評価」

• 伊原有仁「異なる部分空間を用いたPCA-SIFTによる対応点マッチングの高速化・高精度化」

2007年度MVP

特徴を用いた段階による車両検出
尾崎貴洋指導教授：藤吉弘亘

はじめに
本研究では，車載カメラ画像から後方車両を検出するこ
とを目的とする．車両は人工物特有の直線的なエッジを多
最終識別器
段目の
識別器，
では，特徴で構築した強
の中から，最も識別に有効な
Joint-HOGの提案
く含み，その形状には左右や上下の対称性や連続性といっ特徴を選択して学習を行う．これは，車の識別に有効なセ
た特徴がある．本稿では，対称性や連続性の特徴を自動的ルの位置関係を選択することになる．段目の
に選択する特徴と，段階によるにより得られる最終的な強識別器を次式に示す．
後方車両検出法を提案し，その有効性を示す．
特徴と識別器の構築

→山内, 三井, 池村, 後藤雄飛を中心に人検出の研究が
提案する特徴は，段階にを構
ここでは段目のより得られる強識別
築することで，位置の異なるつのな特徴を組
器，，は検出器の
み合わせた特徴のを作り，最終識別
閾値を表す．
器により特徴を自動的に選択するものである．
評価実験
提案手法の概要を図に示す．
提案手法の有効性を示すため，従来法である
徴のみを用いた検出法と特徴のみを用い
特大きく進展
た検出法との識別精度の比較を行う．評価には，車載カメ
ラの映像から車両部分を切り出したデータベースを用い，
カーブを用いて比較を行
う．図に各手法のカーブを示す．また，図
に，提案手法による車載カメラの映像から後方車両を検出
した例を示す．特徴のみを用いて識別した場合と比
山内悠嗣, 山下隆義, 藤吉弘亘, "Boostingに基づく特徴量の共起表現による人検出", 電子情報
べ，特徴と段階のを組み合わせ
ることで，誤検出率が％の場合，未検出率が約％と通信学会論文誌, Vol. J92-D, No. 8, pp. 1125-1134, 2009.
なり，約％検出性能を向上させることができた．

三井相和, 山内悠嗣, 藤吉弘亘, "Joint特徴量を用いた2段階Boostingによる物体検出", 電子情報
通信学会論文誌, Vol. J92-D, No. 9, pp. 1591-1601, 2009.
図提案手法の概要
特徴
本手法では，特徴として
を用いる．特徴は図に Yuji Yamauchi, Hironobu Fujiyoshi, Yuji Iwahori, and Takeo Kanade, "People Detection
示すように，セル（ × ピクセル）における勾配方向を図カーブと後方車両検出例
ヒストグラム化した特徴であり，
別器
図に最終識別器のｔ番目の弱識
として選択されたつのセルの組み合わせを示
Based on Co-occurrence of Appearance and Spatio-temporal Features", National Institute of
物体の形状を表すことが可能である．隣接画素の勾配を局
所領域毎にヒストグラム化するため，照明の変化を受けにす．また，図に最終識別器のそれぞれのセ Informatics Transactions on Progress in Informatics, No. 7, pp. 33-42, 2010.
くく，局所的な幾何学変化に頑健な特徴となる．ルの組み合わせで，特徴により選択された勾
配方向を示す．図より，車両の識別には，図，
のようなセルの位置関係が有効であることがわかる．また
図は左右対称となるセルの位置関係が，図は連
池村翔, 藤吉弘亘, "距離情報に基づく局所特徴量によるリアルタイム人検出", 電子情報通信学
続性を捉えたセルの位置関係が自動的に選択されている．
さらに図に注目すると，特徴におい会論文誌, Vol.J93-D, No.3, pp. 355-364, 2010.
ても，それぞれのセルから左右対称な勾配方向や連続的な
図特徴勾配方向が自動的に選択されていることがわかる．提案す
る特徴では，車両形状の対称性や連続性を捉
特徴
える特徴量を予め用意することなく，学習により自動的に高木雅成, 山内悠嗣, 藤吉弘亘, "Geometric Contextを用いた特徴量間の共起による物体検出の
位置の異なるつのセル，の特徴の関係を
対称性や連続性を表現したセルの位置関係を選択し，車の
段目の
つずつ
により捉える．そのために，各セルから
特徴，を選択し，車と車以外の識別
識別に有効な特徴セットを得ることができる．高精度化", 電子情報通信学会論文誌 D, Vol.J93-D, No.8, pp.1429-1438, 2010.
を行う．ここで，とはの特徴の勾配方向を表す．
この結果を組み合わせて共起を表現した特徴
量を算出する．次に，この計算をとの全組み合わせの
回数行い，共起を表現した特徴量を用いて，車の学習サン
三井相和, 藤吉弘亘, 秋田時彦, "近似texton特徴量を用いた高速な人検出法", 電子情報通信学
プルの出現確率と車以外の出現確率を算出する．識別時に
は，学習により得られる各クラスの出現確率の大小関係か会論文誌 D, Vol.J94-D, No.7, pp. 1135-1144, 2011.
ら車と車以外の識別を行う．これにより，次式に示す強識
別器，が構築される．

おわりに
図識別器により選択された特徴
松島千佳, 山内悠嗣, 山下隆義, 藤吉弘亘, 電子情報通信学会論文誌D, Vol.J94-D, No.8, pp.
，，
本稿では，特徴と段階のによ
ここで，は学習回数，は段目の弱識別器
の重み，とはセルの組み合わせを表す．段目のる学習法を用いた車両検出法を提案し，有効性を確認した． 1172-1182, 2011.
により，つのセル間における特徴が参考文献
選択される．その組み合わせはセルの位置関係からエッジ
の対称性や連続性を自動的に捉えたものとなる．

2008年度（研究の深化）

• 三井相和「アピアランスと時空間特徴を用いたJoint特徴量による人検出」

• 松島千佳「人検出のためのReal AdaBoostに基づくHOG特徴量の効率的な削減法」

• 池村翔「距離情報に基づく局所特徴量によるリアルタイム人検出」

• 安藤寛哲「分解能探索による非剛体上の特徴点追跡の高精度化」

• 加藤浩史「SIFT対応点による拘束と疎密探索を用いたグラフカットによるレジストレーション」

• 加藤光「楽曲マッチングによるテンポに不変な特徴量抽出法」

• 栗山嘉唯「パーソナル映像における編集点と特徴量の傾向」

2008年度MVP

• 三井相和「アピアランスと時空間特徴を用いたJoint特徴量による人検出」

• 松島千佳「人検出のためのReal AdaBoostに基づくHOG特徴量の効率的な削減法」

• 池村翔「距離情報に基づく局所特徴量によるリアルタイム人検出」

• 安藤寛哲「分解能探索による非剛体上の特徴点追跡の高精度化」

• 加藤浩史「SIFT対応点による拘束と疎密探索を用いたグラフカットによるレジストレーション」

• 加藤光「楽曲マッチングによるテンポに不変な特徴量抽出法」

• 栗山嘉唯「パーソナル映像における編集点と特徴量の傾向」

2008年度MVP

人検出のための Real AdaBoost に基づく HOG 特徴量の効率的な削減法
EP05109 松島千佳指導教授：藤吉弘亘
1. はじめに 2.3.Real AdaBoost に基づくパターンの統合
近年，人検出には Dalal らが提案した HOG 特徴量 [1] 2.2. 節で述べた問題を解決するために，バイナリパター
が用いられている．しかし，HOG 特徴量は特徴次元数がンを統合することにより，図 2(b) に示すような密な確率
多いため，大量のメモリが必要となる．そこで，本研究で密度分布を生成する．
は Real AdaBoost に基づく HOG 特徴量の効率的な削減問題点 1 への対応弱識別器の出力 h(x) の絶対値が 2 以
を目的とする．上である場合，出力値が極端な値であると判断し，他のバ
2. バイナリパターン化による HOG 特徴量の削減イナリパターンと統合する．
提案手法は，HOG 特徴量を抽出後，閾値処理によりバイ問題点 2 への対応図 2(a) に示す A，B，C のような確率
ナリパターン化し，特徴量数の削減を行う．このとき，学習が低く，かつクラス間の確率の差が小さいバイナリパター
サンプルが少ないと識別時に用いる確率密度分布が疎になンは，識別に不要であるため．確率の差の絶対値が最小で
るという問題がある．そこで，本研究では Real AdaBoost あるバイナリパターンを他のバイナリパターンと統合する．
に基づいたバイナリパターンの統合を行い，密な確率密度統合する際は，クラス間の確率の差を算出し，符号が
分布を生成する方法を提案する．変化しないバイナリパターンと統合する．提案する Real
2.1.HOG 特徴量のバイナリパターン化 AdaBoost に基づく統合アルゴリズムを図 3 に示す．
HOG は，セル領域における輝度の勾配方向をヒストグ
ラム化した特徴量である．1 つの検出ウィンドウ (30 × 60 松島千佳，山内悠嗣，山下隆義，藤吉弘亘, "Relational Binarized HOG特徴量
ピクセル) から求められる特徴量数は 2,880 個となり，1 個
の特徴量は 8 バイト (浮動小数点型) であるため，計 23,040 とReal AdaBoostによるバイナリ選択を用いた物体検出", 第13回画像の認識・
バイトのメモリを必要とする．
特徴量数とメモリを削減するために，1 セルより得られ
る 8 方向の HOG 特徴量を固定閾値によりバイナリパター理解シンポジウム(MIRU2010), 2010.
ン化する (図 1 参照)．1 つの検出ウィンドウの特徴量数は
360 個あり，1 個の特徴量は 1 バイト (符号なし整数型) で
あるため，バイナリパターン化することにより計 360 バイ
トとなる．浮動小数点型と比べメモリは 64 分の 1 となる．

二人目となるMIRU2010学生優秀論文賞受賞
図 3 : Real AdaBoost に基づくバイナリパターンの統合
統合されたバイナリパターンは，“＊” により表現され
る．00000000 と 00000001 の場合，値の異なるビット (下
図 1 : HOG 特徴量のバイナリパターン化
一桁) が統合され “＊” により表現されるため，0000000*
2.2. バイナリパターン化による問題となる．図 2(b) に，提案手法によりバイナリパターンの
バイナリパターン化した特徴量を抽出後， Real AdaBoost 統合をした結果を示す．識別に重要でないバイナリパター
により識別器を学習する．図 2(a) は，学習過程において生ンを統合することで，密な確率密度分布となりメモリ量を
成された確率密度分布であり，確率の低いバイナリパター削減することが可能となる．
ンが多く，確率密度分布が疎であることがわかる．これは， 3. 評価実験
8 方向で 1 個のバイナリパターンを生成することにより，評価実験では，従来法である HOG 特徴量，ベクトル
多数のパターン (256 パターン) が得られるためである．こ量子化 (VQ)，提案手法の識別精度とメモリ使用量の比較
れにより，以下の 2 つの問題が発生する．
問題点 1: 弱識別器の極端な出力ポジティブクラスとネ
を行う．学習用には，ポジティブサンプル 2,054 枚，ネガ
ティブサンプル 6,258 枚，評価用には，ポジティブサンプ
→バイナリコードに関する研究へ展開
ガティブクラスの学習サンプルから生成される確率密度分ル 1,000 枚，ネガティブサンプル 1,234 枚を用いる．表 1
布 W+ , W− において，一方のクラスの確率が 0 に近い値に誤検出率 5.0% における検出率と画像 1 枚 (720 × 480
の場合，式 (1) で表わされる弱識別器の出力 h(x) が極大ピクセル) に対する特徴抽出に必要なメモリ量を示す．
値，もしくは極小値となる．
表 1 : 検出率と画像 1 枚に対し必要なメモリ量の比較
竹ノ内信寛，藤吉弘亘，“ワイルドカードを用いたRandom Ferns によるノイ
1 W+ + 手法検出率 [%] メモリ量 [MB]
( = 10−10 )
h(x) = ln
2 W− +
(1)
HOG [1](連続値) 74.3 1,098.63 ズに頑健な特徴表現”，電子情報通信学会パターン認識・メディア理解研究会
HOG(64 クラスタに VQ) 63.8 198.75
このとき，識別に用いる弱識別器の線形和が極大値や極小
値に依存する可能性があるため，多くの未検出や誤検出が
256 パターン 63.8 (PRMU), 2012.
提案手法 128 パターン 76.4 17.17
発生する恐れがある． 64 パターン 76.4
問題点 2: 疎な確率密度分布図 2(a) に示す A や B，C の
ような確率が低く，クラス間の確率の差が小さいバイナリ
32 パターン 74.3
山内悠嗣，金出武雄，山下隆義，藤吉弘亘, "量子化残差に基づく特徴量の遷
パターンは識別に不要である．このようなバイナリパター提案手法は，従来法に比べ必要なメモリを約 2.0%に削
ンが存在するために，確率密度分布が疎となる．減し，かつ同等以上の識別精度を得ることができた．移尤度モデルを導入した識別器の提案", 画像の認識・理解シンポジウム
4. おわりに
HOG 特徴量をバイナリパーン化し，精度を維持したまま
特徴量数を削減することができることを確認した．今後は，
(MIRU2011), 373-380, 2011．
リアルタイム人検出の実現について検討する予定である．
参考文献
[1] N. Dalal and B. Triggs: “Histograms of Oriented Gradients
図 2 : 1 ラウンド目の学習で選択された確率密度分布
for Human Detection”, CVPR, vol. II, pp. 886-893, 2005.

2009年：仮想カメラワーク技術が製品化

仮想カメラワーク＋時間短縮処理
panning
Original A B C D E F G H I J

Speech
Writing

Output B C E F' G H I' J

zooming

入力：HF(1980*1024) 90分出力：QVGA(320*240) 60分
入力：MPEG-HD(1920*1080) 90分

関連メンバー：横井隆雄，遠山聖司，桐井孝嘉，篠木雄大，古川拓弥

2009年：仮想カメラワーク技術が製品化

2010年6月4日NHK（Bizスポワイド）
2007年7月30日NHK

関連メンバー：横井隆雄，遠山聖司，桐井孝嘉，篠木雄大

2009年度（さらなる展開）

• 鷲見政明「平面セグメント情報を用いた距離画像のエッジ検出」

• 近藤壮一郎「Inside-Outカメラを用いた自己動作識別」

• 服部旭「蛍光特性を利用した線虫検出」

• 石野将寛「Saliency Detection結果を用いたレベルセット法による効率的な線虫検出」

• 北村優希「Bag-of-featuresにおける局所特徴のサンプリング手法の評価」

• 山内一祥「Geometric Context特徴を用いたRandomized treesによるIM2GPS」

• 川合俊輔「距離情報を用いたHaar-likeフィルタリングによる人検出」

• 藤原忠「近似texton特徴量による人検出の実現」

• 纐纈直也「人体シルエットの生成型追加学習による人検出の高精度化」

2009年度MVP

• 鷲見政明「平面セグメント情報を用いた距離画像のエッジ検出」

• 近藤壮一郎「Inside-Outカメラを用いた自己動作識別」

• 服部旭「蛍光特性を利用した線虫検出」

• 石野将寛「Saliency Detection結果を用いたレベルセット法による効率的な線虫検出」

• 北村優希「Bag-of-featuresにおける局所特徴のサンプリング手法の評価」

• 山内一祥「Geometric Context特徴を用いたRandomized treesによるIM2GPS」

• 川合俊輔「距離情報を用いたHaar-likeフィルタリングによる人検出」

• 藤原忠「近似texton特徴量による人検出の実現」

• 纐纈直也「人体シルエットの生成型追加学習による人検出の高精度化」

藤吉研究室10周年記念「これまで10年，ここから10年」

藤吉研究室10周年記念「これまで10年，ここから10年」

More Related Content

藤吉研究室10周年記念「これまで10年，ここから10年」