Road damge ai
- 1. AIを使った道路の異常検知 株式会社パソナテック IoEソリューション事業部 夏谷 1 HUMANWARE® change the world 2018/06/02
- 2. 今日お話しすること 2 第一部 道路の故障検出について 第二部 Deep Learningの物体検出について 論文 データ ニューラルネットワーク 異常検出 ・物体検出のNNの紹介 ・物体検出の評価基準 ・物体検出のNNのアーキテクチャ 第三部 弊社のサービスの紹介
- 3. 自己紹介 夏谷実 株式会社パソナテック IoEソリューション事業部 TFUG KANSAI 最近は半導体関連の仕事が多い FPGAが好き プログラミングも好き Deep Learningも好き 3
- 6. Deep Learningのすごさ 6 データ ①異なる検出対象を一つのアルゴリズムで検出可能 パラメータのチューニングはDeep Learningが自動的に行う ②低解像度でも検出可能 VGAクラスで十分 ③撮影条件に左右されにくい ④データがあれば、新しい検出対象を簡単に追加できる。 → 道路のダメージ検出以外にも簡単に応用できる。 ニューラルネットワーク 飛び出し坊や → 600 600
- 8. 論文の紹介 Title：Road Damage Detection Using Deep Neural Networks with Images Captured Through a Smartphone Hiroya Maeda, Yoshihide Sekimoto, Toshikazu Seto, Takehiro Kashiyama, Hiroshi Omata 8 https://arxiv.org/abs/1801.09454 ニューラルネットワークとスマートフォンで撮影した画像を 使った道路損傷の検出
- 9. データセットの紹介 9 https://github.com/sekilab/RoadDamageDetector#download-road-damage-dataset 今回は、ニューラルネットワークの学習に使うデータがCC BY-SA 4.0 ライセンスで公開され ています。中身は約9000枚の道路のダメージ画像が含まれています。 中身の詳細は後で説明 •共有 — どのようなメディアやフォーマットでも資料を複製したり、再配布できます。 •翻案 — 資料をリミックスしたり、改変したり、別の作品のベースにしたりできます •営利目的も含め、どのような目的でも。 条件を満たせば自由に使用可能 一般的にDeep Learningで何かをするためには、学習用に大量のデータが必要。
- 22. 使い道その1 22 道路の故障を8割見つけるニューラルネットワーク road1 road2 road3 road4 road 49 road 50 road 51 年代 road5 1kmあたりの異常数 road 52 自治体が管理してる道路をスマホで撮影し、異常検出を行う 専門家による点検 の優先順位をつける 資料になる おかしな状態の道路を早期発見 ：
- 24. 第一部まとめ Deep Learningを使って道路の故障検出をする 故障の種類によってアルゴリズムを変える必要が無い 低解像度でもOK 撮影条件に左右されにくい 故障検出を行う為にやること データを集める ニューラルネットワーク、フレームワークを選択する 学習する 分析する 使い道 検出率が100％に近づかなくても役に立つシーンがある。 24 一緒に応用事例を作るパートナーを探しています。
- 26. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 26
- 27. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 27
- 28. 物体検出とは 28 sheep 0.814217 (415, 145), (571, 336) person 0.665931 (172, 109), (273, 371) cow 0.438520 (64, 267), (182, 356) 'Norwegian_elkhound', 0.6510464 'malinois', 0.20971657 'German_shepherd', 0.124572 'kelpie', 0.0050396309 'Border_terrier', 0.0034161564 Deep Learningの応用の一つ。通常の識別に加えて、画像上の場所も検出する。 ①識別 (Classification) ②物体検出 (Object detection) 与えられた画像が何かを識別する。 例）SNSに投稿された画像が何の画像かを判断 どこに何があるかを検出する。 例）自動運転時に人間を検出
- 29. 物体検出のNN 29 名前 発表年数 説明 R-CNN (Regions with CNN features) 2014年 ニューラルネット（CNN）とSVMの組 み合わせ Fast R-CNN 2015年 普通に学習できるようになった。 Faster R-CNN 2015年 速度、精度ともに向上。SVM不要。 YOLO 2016年 構造をシンプルにし、精度は若干落 ちつつも、速度向上 SSD 2016年 さらに精度向上 DSSD 2017年 SSDにDeconvolution層を追加する ことで、精度向上
- 32. 物体検出のNN 32 名前 発表年数 説明 R-CNN (Regions with CNN features) 2014年 ニューラルネット（CNN）とSVMの組 み合わせ Fast R-CNN 2015年 普通に学習できるようになった。 Faster R-CNN 2015年 速度、精度ともに向上。SVM不要。 YOLO 2016年 構造をシンプルにし、精度は若干落 ちつつも、速度向上 SSD 2016年 さらに精度向上 DSSD 2017年 SSDにDeconvolution層を追加する ことで、精度向上
- 33. YOLO 33 You only look once (YOLO) Figure 3: The Architecture. https://arxiv.org/abs/1506.02640 NNに画像を入れると、1パスで物体検出を行う。 学習も通常のDeep Learningと同じEnd to End (大量の画像と正解データのペアがあればOK） ここが通常のCNN FC層
- 35. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 35
- 36. 物体検出の性能評価 36 機械学習の基本 評価器（NN)の性能評価に一つの連続値を用いる。 最小二乗誤差 クロスエントロピー誤差 新しい手法、パラメータを変更したときに、どれだけ評価器が良くなったかを比較する ときに使用する。 手法A: E = 0.10 手法B: E = 0.09 手法C: E = 0.12 Bが一番 性能が良い 非連続はなぜ駄目なのか？ 例えばテストデータ100個に対する正解 率を指標にした場合 手法A: 89％ 手法B: 90% 手法C: 90% どちらが良いの か判断できない
- 38. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 38
- 39. 物体検出の性能評価 39 IoU (Intersection Over Union) 𝐼𝑜𝑈 = 𝑎𝑟𝑒𝑎(𝑅 𝑝 ∩ 𝑅 𝑔) 𝑎𝑟𝑒𝑎(𝑅 𝑝 ∪ 𝑅 𝑔) 𝑅 𝑝 予測した領域 𝑅 𝑔 正しい領域 青：正解 オレンジ：予測結果 緑の領域の比を正解の目安として使う。 完全に一致すると1.0 IoUを1.0に近づけるように学習する。 VOC(コンテスト）では、IoUが0.5以上 を正解と定義している。 http://homepages.inf.ed.ac.uk/ckiw/postscript/ijcv_voc09.pdf
- 40. 物体検出の性能評価 40 AP (average precision) 正解 1 1 1 0 1 1 0 0 1 0 信頼度 1.00 0.95 0.90 0.80 0.70 0.70 0.65 0.60 0.60 0.55 一つのクラス（識別対象）に対して、NNの出力を信頼度順に並べて正解と比べる。 この面積がAP （AP=0.88) 真のラベルが正 真のラベルが負 予測結果が 正 TP FP 予測結果が 負 FN TN 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛＝ TP TP+FP Recall＝ TP TP+FN この2つにトレードオフの関係があるので、 その関係をプロットする。
- 43. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 43
- 46. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 46
- 49. アンカーボックス 49 125個を抜き出す .01 .03 .05 .01 .00 .21 .67 .12 .01 .00 .01 .5 .7 .92 .87 5つのアンカーボ ックスに対応する Birdの確率 5つのアンカーボ ックスに対応する bicycleの確率 オブジェクトが何 も無い確率 検出したアンカー ボックスにこの値 を補正して、最終 的な領域とする。 (x, y, w, h)
- 50. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 50
- 53. 物体識別のNN 53 名前 発表年数 説明 AlexNet 2012年 ImageNetの分類タスクで、他の手法に大 差をつけて圧勝。Deep Learningブームの 火付け GoogLeNet 2014年 コンテストで優秀な成績を収める。インセプシ ョンアーキテクチャが特徴。 VGG16 2014年 単純なアーキテクチャで良い成績を収める。 エッジ動作、HW化のベンチマークとしてよく 使われる。 ResNet 2015年 MSから発表。なんと152層。 SqueezeNet 2016年 AlexNetと同等の精度を、1/500の重みで 実現 MobileNet 2016年 計算の回数を1/10程度に削減
- 54. 物体識別のNNの比較 54 AN ANALYSIS OF DEEP NEURAL NETWORK MODELS FOR PRACTICAL APPLICATIONS
- 55. 物体検出のNNアーキテクチャ 55 Huang, Jonathan, et al. (2017)) メタアーキテクチャ 特徴抽出器 識別用NN CNN
- 56. 第2部 アジェンダ 物体検出とは 物体検出の性能評価 IOU, AP, mAP NMS アンカーボックス メタアーキテクチャ アーキテクチャの決め方 56
- 59. 物体検出のNNまとめ 物体検出用のNNの紹介 最近は、YOLO、SSDベースが多い 性能評価 IOU、AP mAPを一つの基準として使う 物体検出用NNのアーキテクチャ メタアーキテクチャとCNNの組み合わせ まずはベースラインを作る 59
Editor's Notes
- テンサーフローユーザーグループ関西 パソナテック公認キャラ