Masaponto's Blog

お勉強メモ

TensorFlowと数式パーサで手書き電卓をつくった - Aizu Advent Calendar 2015

この記事はAizu Advent Calendar 2015 - Adventar 18日目の記事です。

前の人 @ababupdownba
Scala.jsを全力でオススメする - Qiita

次の人 @GUCC1_sp1ritu4l

タイトルどおり、手書き電卓を作ったのでそれについて書きます。

手書き電卓 dentaku

Webで見れます。これです

http://dentaku.herokuapp.com
masaponto/dentaku · GitHub

言語はPython 2.7.10です。
サーバにFlask0.10.1、学習にTensorFlow0.5.0を用いました。
CSSフレームワークはMaterial Design Liteを使っています。

使い方

左上のテキストボックスに数式を入力すると、パース(evalじゃないぞ)されて計算結果が下のテキストボックスに出力されます。
例えば、"30+12" と入力すると、"42"と出力されます。
うっかりコーヒーをキーボードにぶちまけて、キー入力ができなくなってしまっても安心してください。dentakuは手書き入力をサポートします!!
右側のキャンバスにマウスまたはタッチで "3" と上手に描くと、キャンバス上部に This is 3 ? と表示されると思います。
そのままYesボタンを押せば、テキストボックスに入力されます。
認識結果が間違えていた場合はNoボタンを押してください。無限に書き直すことができます。
今のところ、0 ~ 9の数字と、+、-、×、÷の演算子記号に対応しています。
Generatorと書かれたタブがありますが、それについては後述します。

TensorFlowによる手書き数字認識

手書き数字認識を行うにあたって、TensorFlow手書き数字データセットのMNISTを用いました。
学習方法はTensorFlowのエキスパート用チュートリアルと同じです。
こちらのページが参考になります。
http://qiita.com/haminiku/items/36982ae65a770565458d

また、Webアプリにするにあたってこちらのページを参考にさせていただきました。
http://d.hatena.ne.jp/sugyan/20151124/1448292129
http://qiita.com/ginrou@github/items/07b52a8520efcaebce37

演算子記号の認識

MNISTは0から9のアラビア数字の画像からなるデータセットです。
なので、MNISTのみを学習させただけでは、数字しか認識できません。
手書き電卓として機能させるには、+や-などの演算子の記号も認識させたいですよね。
という訳で、Tegaki Feature Vector Generator なるものを作りました。
dentakuのGeneratorタブをクリックしていただければ見れます。
左側のキャンバスに好きな記号を描いて、Generateボタンを押すと、右側のテキストエリアにキャンバスから生成された特徴ベクトルが表示されます。
MNISTと同様(?) 28×28次元で[0, 255]の範囲の特徴です。
生成した特徴ベクトルはDownloadボタンでcsv形式でダウンロードできます。
このデータとMNISTをくっつけて学習させれば、任意の記号を学習させられるという訳です。
今回は、+、-、× 、÷ の4つの記号をそれぞれ20個生成して学習をさせました。 データが少ないかと思っていましたが、それなりに学習、認識できてるかなと感じています。
どこかで手書き記号のデータセットが公開されていたら教えてください。

数式パーサ

数式パーサはHaskellサブセットであるFayを用いて作成したものを用いてます。
詳しくは下記のエントリを参照してください。

masaponto.hatenablog.com

おわりに

Webやディープラーニングについての知識が未熟なので、おかしい所を指摘していただければ幸いです。