Googleの公開した人工知能ライブラリTensorFlowを触ってみた

こんにちは。おうちハッカーの石田です。 いつもはおうちハックネタばかりですが、今日は人工知能関連の話題です。

今日2015/11/10、Googleが自社サービスで使っているDeepLearningを始めとする機械学習技術のライブラリを公開しました。 TensorFlowという名前で、おそらくテンソルフローと呼びます。

テンソルは、数学の線形の量を表す概念で、ベクトルの親戚みたいなものです。それにフローをつけるということは、そういった複雑な多次元ベクトル量を流れるように処理できる、という意味が込められているのだと思います。

こちらをさっそく触ってみたので、紹介したいと思います。

TensorFlowの特徴

公式紹介ページから特徴をいくつかピックアップします。

Deep Flexibility ~深い柔軟性~

要望に応じて、柔軟にニューラルネットワークを構築できます。ニューラルネットワークのモデルをツールで組み立てる、Pythonで自分の思う通りに書く、C++で低レベル処理を書くことなど、柔軟に記述できます。

True Portability ~真の携帯性~

ディープラーニングは計算量が多いため、グラフィックボードの計算能力を使った演算が一般的です。CPU演算、GPU演算でコードが異なるフレームワークがある中、TensorFlowではCPU,GPU用とコードを分けなくても大丈夫です。CPUで試しにやってみて、うまくいきそうならGPUに切り替えることが容易にできます。またモバイルの移植性にも優れています。

Connect Research and Production ~研究と製品の接続~

かつては研究成果を製品にする際には、大量にコードを書き直す必要があったのですが、Googleでは研究者もエンジニアも同じくTensorFlowを用いているようです。こうすることで、素晴らしい研究成果をすぐに製品に生かすことが可能になりました。

実際に使ってみる

ということで触ってみないと分からないことも多いので、実際にインストールしてみます。

インストール

今回はUbuntu14.04にインストールします。Python2.7の開発環境が初めからあるはずなので、実質インストールは１行で終わります。

$ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl

はい、これでCPU演算のみですが、TensorFlowを使うことができます。とても簡単ですね。

MNISTを試す

それでは、定番のMNISTを試してみたいと思います。

MNISTとは？

MNISTとは、手書きの数字を学習して判別するものです。プログラミングの世界でHello, World!が初心者の第一歩とされるように、MNISTは各種機械学習フレームワークの第一歩となります。

MNISTのデータセットはこのようなものです。

MNISTを学習させる

MNISTはチュートリアルに含まれているため、すぐに実行することができます。 fully_connected_feed.pyを実行すると、データセットの取得から訓練、ログの記録をやってくれます。

# ソースを取得
$ git clone --recurse-submodules https://github.com/tensorflow/tensorflow

### 実行
$ python tensorflow/g3doc/tutorials/mnist/fully_connected_feed.py

これを行うと、訓練の経過が流れ始めます。

Step 0: loss = 2.30 (0.021 sec)
Step 100: loss = 2.15 (0.005 sec)
Step 200: loss = 1.84 (0.005 sec)
Step 300: loss = 1.49 (0.005 sec)
Step 400: loss = 1.22 (0.005 sec)
Step 500: loss = 0.82 (0.005 sec)
Step 600: loss = 0.72 (0.005 sec)
Step 700: loss = 0.72 (0.005 sec)
Step 800: loss = 0.79 (0.005 sec)
Step 900: loss = 0.61 (0.005 sec)
Training Data Eval:
  Num examples: 55000  Num correct: 47371  Precision @ 1: 0.8613
Validation Data Eval:
  Num examples: 5000  Num correct: 4350  Precision @ 1: 0.8700
Test Data Eval:
  Num examples: 10000  Num correct: 8663  Precision @ 1: 0.8663
Step 1000: loss = 0.46 (0.013 sec)
Step 1100: loss = 0.40 (0.106 sec)
........................
........................

lossは予測と正解の一致が多くなると小さくなる値で、学習が進むにつれて小さくなっていきます。 Precisionは精度にことで、定期的に学習したモデルで精度を計測します。 精度の計測には、３種類のデータによって行われ、それぞれ
①訓練データでの精度
②バリデーションデータでの精度
③テストデータでの精度

となります。①②は訓練に使うデータ、③はテストにのみ使うデータです。 どんどん精度が上がっていく様を眺めましょう。

しばらくすると学習が終わります。最終的な精度は、96.3%となりました。

Training Data Eval:
  Num examples: 55000  Num correct: 53231  Precision @ 1: 0.9678
Validation Data Eval:
  Num examples: 5000  Num correct: 4830  Precision @ 1: 0.9660
Test Data Eval:
  Num examples: 10000  Num correct: 9629  Precision @ 1: 0.9629

学習結果をグラフ化する

このように数字で羅列されても分かりづらいので、グラフにします。 学習が終わると、先ほどの実行したファイルの場所(tensorflow/g3doc/tutorials/mnist/)に、dataというディレクトリができています。 こちらに学習経過がログとして記録されています。

TensorFlowでこれをグラフ化するには、TensorBoardを使います。TesorBoardとは、WEBインターフェイスで学習の状況やニューラルネットワークを可視化したり、操作したりできるものです。

今回の学習結果をもとにTensorBoardを起動する場合は、以下のコマンドを打ちます。

$ tensorboard --logdir=/home/ec2-user/work/tensorflow/tensorflow/g3doc/tutorials/mnist/data

すると、TensorBoardが立ち上がり、WEBブラウザでアクセスできるようになります。アドレスは、 http://localhost:6006 となります。これをWEBブラウザに入力すると、このようなインターフェイスが現れます。

メインの画面には、zentropy_meanという文字が表示されています。複数のログを取っている場合、選択して表示できるようです。今回はデフォルトで生成したログしかないので、zentropy_meanを選択します。

すると、メイン画面には、このような学習回数とlossのグラフが表示されます。

これなら一目で学習状況が分かりますね！！　始めにガーンとlossが減り、それからは少しづつlossが減っていることが分かります。

ニューラルネットワークのグラフ化

さらにはこの画面で、モデルのグラフ化したものも見ることができます。 上のタブのGRAHPをクリックすると、このようなグラフの画面が現れます。

全体像が見えますが、思ったより大きなグラフで、詳細がよく見えません。 なのでGoogleMapの要領で拡大するとこんな感じに見えます。

ここは入力から隠れ層に出力し、勾配法で誤差を小さくしていく部分のようです。 隠れ層のhiddenのボタンにマウスオーバーすると、「+」のマークが出てくるので押してみると、隠れ層の詳細をさらにみることができます。

実際の使用感は、このようになっています。 youtu.be

この画面からさらにモデルを変更することもできるようなのですが、まだ触って間もないので把握できていません。 ただ、こんなに簡単にモデルをグラフ化してみることができるのは感動ものです！

使ってみての感想

WEBインターフェイスのTensorBoardがやはりスゴイです。Chainerでも学習過程のグラフ化は可能ですが、WEBインターフェイスが用意されているわけではなく、コマンドラインからplotなどを使用する形でした。しかしこの方法では、AWSのインスタンスといった画面がない端末での結果表示ができませんでした。WEBインターフェイスを介せば、立ち上げて接続元の端末のWEBブラウザから閲覧することができるので便利です。 またコードだけでは分かりづらいモデルのグラフ化ができることにより、研究者と開発者が議論する際にやりやすくなると思いました。また、ネットワークの構成がわかってないけどとりあえずサンプルを動かしてみたという初心者にとっては、グラフをみることでソースの理解がしやすくなるのではないかと思います。

まだTensorFlowでコードを書いていないので、本質的な使いやすさはまだ分からないのですが、ディープラーニングがより一般的になっていく未来を感じました。