Masaponto's Blog

お勉強メモ

TensorFlowと数式パーサで手書き電卓をつくった - Aizu Advent Calendar 2015

機械学習

この記事はAizu Advent Calendar 2015 - Adventar 18日目の記事です。

前の人 @ababupdownba
Scala.jsを全力でオススメする - Qiita

次の人 @GUCC1_sp1ritu4l

タイトルどおり、手書き電卓を作ったのでそれについて書きます。

手書き電卓 dentaku

Webで見れます。これです

http://dentaku.herokuapp.com
masaponto/dentaku · GitHub

言語はPython 2.7.10です。
サーバにFlask0.10.1、学習にTensorFlow0.5.0を用いました。
CSSフレームワークはMaterial Design Liteを使っています。

使い方

左上のテキストボックスに数式を入力すると、パース(evalじゃないぞ)されて計算結果が下のテキストボックスに出力されます。
例えば、"30+12" と入力すると、"42"と出力されます。
うっかりコーヒーをキーボードにぶちまけて、キー入力ができなくなってしまっても安心してください。dentakuは手書き入力をサポートします!!
右側のキャンバスにマウスまたはタッチで "3" と上手に描くと、キャンバス上部に This is 3 ? と表示されると思います。
そのままYesボタンを押せば、テキストボックスに入力されます。
認識結果が間違えていた場合はNoボタンを押してください。無限に書き直すことができます。
今のところ、0 ~ 9の数字と、＋、-、×、÷の演算子記号に対応しています。
Generatorと書かれたタブがありますが、それについては後述します。

TensorFlowによる手書き数字認識

手書き数字認識を行うにあたって、TensorFlowと手書き数字データセットのMNISTを用いました。
学習方法はTensorFlowのエキスパート用チュートリアルと同じです。
こちらのページが参考になります。
http://qiita.com/haminiku/items/36982ae65a770565458d

また、Webアプリにするにあたってこちらのページを参考にさせていただきました。
http://d.hatena.ne.jp/sugyan/20151124/1448292129
http://qiita.com/ginrou@github/items/07b52a8520efcaebce37

演算子記号の認識

MNISTは0から9のアラビア数字の画像からなるデータセットです。
なので、MNISTのみを学習させただけでは、数字しか認識できません。
手書き電卓として機能させるには、+や-などの演算子の記号も認識させたいですよね。
という訳で、Tegaki Feature Vector Generator なるものを作りました。
dentakuのGeneratorタブをクリックしていただければ見れます。
左側のキャンバスに好きな記号を描いて、Generateボタンを押すと、右側のテキストエリアにキャンバスから生成された特徴ベクトルが表示されます。
MNISTと同様(?) 28×28次元で[0, 255]の範囲の特徴です。
生成した特徴ベクトルはDownloadボタンでcsv形式でダウンロードできます。
このデータとMNISTをくっつけて学習させれば、任意の記号を学習させられるという訳です。
今回は、＋、-、× 、÷ の4つの記号をそれぞれ20個生成して学習をさせました。 データが少ないかと思っていましたが、それなりに学習、認識できてるかなと感じています。
どこかで手書き記号のデータセットが公開されていたら教えてください。

数式パーサ

数式パーサはHaskellサブセットであるFayを用いて作成したものを用いてます。
詳しくは下記のエントリを参照してください。

masaponto.hatenablog.com

おわりに

Webやディープラーニングについての知識が未熟なので、おかしい所を指摘していただければ幸いです。

多層パーセプトロンを実装してみた

機械学習

こんにちは。
Aizu Advent Calendar 2014 19日目の記事です。

前の人 @takuti
会津若松〜東京間の高速バス（往復約8時間）に日帰りで4月から9月まで毎週乗った話 - きたくち

機械学習アルゴリズムである多層パーセプトロンを実装したので、それについて書きます。
間違えや、Pythonについて教えてください。
厳密性は犠牲になりました。

多層パーセプトロン

単純では

単純パーセプトロンの式はこれでした。

{ \displaystyle \ f( g(\boldsymbol{x}) ) = f( \sum_{i=1}^{N} w_i x_i ) = f( \boldsymbol{w}^t\boldsymbol{x} )\ }

ここで簡単のため、特徴ベクトルの次元 N = 3 とします。

{ \displaystyle \ f( g(\boldsymbol{x}) ) = f( \sum_{i=1}^{3} w_i x_i) = f( \boldsymbol{w}^t\boldsymbol{x})\ }

さらに、この式を図で表すと次のようになります。

f:id:masaponto:20150608232424p:plain

左の入力層の x1, x2, x3 が特徴ベクトルxの要素。
出力層のwが重みベクトルです。

見方としては、まず入力層にベクトルxの要素のx1, x2, x3 が入ります。
その後、出力層で特徴ベクトルxと重みベクトル wの内積計算をし、
最後に活性関数が適用され結果が出るていう流れです。

多層パーセプトロン

一方、多層パーセプトロンの式はこれ (厳密ではない) です。(中間層1層、ユニット数2)

{ \displaystyle \ y = f( \sum v_k h( \sum w_i x_i ) ) = f( \boldsymbol{v}^t h( \boldsymbol{w}^t\boldsymbol{x}) )\ }

wは中間層の重み、v は出力層の重みです。
図はこれです。

f:id:masaponto:20150608232627p:plain

まさに、単純パーセプトロンの式を2回適用した感じですね。
図を見ると、多層と呼ばれる由縁がわかると思います。
図では2クラス分類の場合のため、出力ユニットがひとつです。 他クラス分類では、クラス数の数だけ出力ユニット用意します。

重み修正 ~誤差逆伝搬法 (バックプロパゲーション)~

多層パーセプトロンでの重み修正方法は誤差逆伝播法というものがよく使われます。
誤差逆伝播法はバックプロパゲーションとも呼ばれます。

詳しくは下記のリンクを参照してください。

多層パーセプトロンによる関数近似 - 人工知能に関する断創録

多層パーセプトロン-Stephen Machine Learning- - gerumaniumの日記

Pythonで多層パーセプトロンの実装例 - stMind

田舎な爺だ 多層パーセプトロンの仕組み

実装

上記のサイトを参考にPython3で実装してみました。
中間層は1層での合計3層の多層パーセプトロンです。
活性関数は中間層、出力層ともに、シグモイド関数。
重み修正法はバックプロパゲーションです。

多クラス分類、公開されてるデータ・セットに対応させたコードはこちらを参照してください github.com

今回は、多層パーセプトロンを用いて、XOR問題をといてみました。 XOR問題は、線形分類不可能のため前回の単純パーセプトロンでは分類することができません。

gistb2eab035acc8198a1f4b

ちなみに、XORの真理値表はこれ。

f:id:masaponto:20141219003545p:plain

結果

中間層のユニット数2, 出力層1です。 また、学習率0.5でやってみました。

[1, 1]:[ 0.50196166]
[1, 0]:[ 0.9771374]
[0, 1]:[ 0.97709995]
[0, 0]:[ 0.01843416]

また、中間層ユニット数を5にしてみたら。精度が上がりました。

[1, 1]:[ 0.01694916]
[1, 0]:[ 0.98602664]
[0, 1]:[ 0.98414518]
[0, 0]:[ 0.0134073]

おわり

出力層のユニット数を増やすことで、多クラス分類できるそうなので、実際に何かを(識別)認識させてみたいと思います。

参考

多層パーセプトロンによる関数近似 - 人工知能に関する断創録

多層パーセプトロン-Stephen Machine Learning- - gerumaniumの日記

Pythonで多層パーセプトロンの実装例 - stMind

田舎な爺だ 多層パーセプトロンの仕組み

多層パーセプトロンの動きを可視化する - StatsFragments