【機械学習】入門⑬ ２層ニューラルネットワークモデルをPythonで実装①

前回考えたニューラルネットワークモデルをPythonで実装することによりイメージをつかみます。

イメージ概要

前回考えたニューラルネットワークモデルに少し修正をしたイメージです。

データの準備の実装

データの説明

まずはニューラルネットワークにかけるデータの準備を行います。
基本データは以前の分類に用いた「アヤメの品種データ」を使います。
※データ自体はなんでもよいです。

■説明変数

0	sepal length (cm)	がく片の長さ
2	petal length (cm)	花弁の長さ

今回はがく片の長さと花弁の長さを使ってみます。

■目的変数
３クラスに分類するという点だけ抑えておけばよいです。

0	setosa（ヒオウギアヤメ）
1	versicolor（ブルーフラッグ）
2	virginica（バージニカ）

データの保存

scikit-learnからデータを抜いてきてファイルに保存するところまで。

# データ準備
import numpy as npy
import matplotlib.pyplot as plt
%matplotlib inline
# アヤメ品種データの読み込み
from sklearn.datasets import load_iris

iris_data = load_iris()

# 説明変数
X_array = iris_data.data
# カラムデータを取得
X0=X_array[:,0]
X1=X_array[:,3]

# 目的変数
t_array = iris_data.target
T=t_array

N=len(X0)
petal_data=npy.zeros((N,2))
T3 = npy.zeros((N,3), dtype=npy.uint8)

#データの設定
for i in range(N):
    petal_data[i]=[X0[i], X1[i]]
    
    # 0[1,0,0]　1[0,1,0]　2[0,0,1]
    if T[i] == 0:
        T3[i]=[1,0,0]
    elif T[i] == 1:
        T3[i]=[0,1,0]
    else:
        T3[i]=[0,0,1]


X_range0=[min(X0)*0.9,max(X0)*1.1]
X_range1=[min(X1)*0.9,max(X1)*1.1]

# データをclassdata3.npzファイルに保存する
npy.savez('neural_rawdata.npz',X=petal_data,T3=T3,X_range0=X_range0,X_range1=X_range1,X_n=N)

訓練データとテストデータに分割

今回はデータを訓練データと検証のためのテストデータに分けてみます。
データセットは150個のデータが50個ごとにクラス１、２、３の順にならんでいるので各クラスから25個をそれぞれ訓練データとテストデータに分割しました。

・実装

# 生データファイルから取り出す
sample_data = npy.load('neural_rawdata.npz')
# 入力値の設定
X=sample_data['X']
# がく片の長さの表示範囲設定
X_range0=sample_data['X_range0']
# 花弁の長さの表示範囲設定
X_range1=sample_data['X_range1']
# クラス（答え）の設定
T3=sample_data['T3']

# データの並び替え
X1 = X[:50,:]
X2 = X[50:100,:]
X3 = X[100:150,:]

npy.random.shuffle(X1)
npy.random.shuffle(X2)
npy.random.shuffle(X3)

X_test=npy.r_[X1[:25,:], X2[:25,:], X3[:25,:]]
X_train=npy.r_[X1[25:50,:],X2[25:50,:],X3[25:50,:]]
T_test=npy.r_[T3[:25,:], T3[50:75,:], T3[100:125,:]]
T_train=npy.r_[T3[25:50,:],T3[75:100,:],T3[125:150,:]]

npy.savez('neural_data.npz',X_train=X_train, T_train=T_train,X_test=X_test,T_test=T_test,X_range0=X_range0,X_range1=X_range1)

データのプロット

分割した訓練データとテストデータをグラフ上にプロットします。

・実装例

import matplotlib.pyplot as plt
%matplotlib inline

# データの表示
def Show_data(x,t):
    wk,n=t.shape
    c=[[0,0,0],[.5,.5,.5],[1,1,1]]
    for i in range(n):
        plt.plot(x[t[:,i]==1,0],x[t[:,i]==1,1],linestyle='none',marker='o',markeredgecolor='black',color=c[i],alpha=0.8)
    plt.grid(True)

plt.figure(1,figsize=(8,3.7))
plt.subplot(1,2,1)
Show_data(X_train,T_train)
plt.xlim(X_range0)
plt.ylim(X_range1)
plt.title('Training Data')
plt.subplot(1,2,2)
Show_data(X_test,T_test)
plt.xlim(X_range0)
plt.ylim(X_range1)
plt.title('Test Data')

plt.show()

・出力結果

訓練データとテストデータがそれぞれ違うデータで表示されていればとりあえずOK。

ニューラルネットワークの実装

シグモイド関数の実装

ニューラルネットワーク内で使用されるシグモイド関数を先に実装しておきます。

・シグモイド関数

・実装例

# シグモイド関数
def Sigmoid(x):
    y=1/(1+npy.exp(-x))
    return y

ニューラルネットワークの実装

# ニューラルネットワーク（wv重み、M中間層ノード数、K出力層ノード数、x入力層の入力値）
def FNN(wv, M, K, x):
    # Nデータ数　Dデータの入力次元
    N, D = x.shape
    # w 入力層⇒中間層の重み
    w = wv[:M * (D+1)]
    w = w.reshape(M,(D+1))
    # v 中間層⇒出力層の重み
    v = wv[M*(D+1):]
    v = v.reshape((K,M+1))
    # b 中間層の入力総和
    b = npy.zeros((N,M+1))
    # z 中間層の出力値
    z = npy.zeros((N,M+1))
    # a 出力層の入力総和
    a = npy.zeros((N,K))
    # y 出力層の出力値
    y = npy.zeros((N,K))
    
    # データごとに中間層、出力層の計算を行う
    for n in range(N):
        # 中間層の計算（シグモイド関数）
        for m in range(M):
            b[n,m] = npy.dot(w[m,:],npy.r_[x[n,:],1])
            z[n,m] = Sigmoid(b[n,m])
        # ダミーニューロン
        z[n,M]=1
        u=0
        # 出力層の計算（ソフトマックス関数）
        for k in range(K):
            a[n,k] = npy.dot(v[k,:],z[n,:])
            u = u + npy.exp(a[n,k])
        for k in range(K):
            y[n,k] = npy.exp(a[n,k])/u
    return y,a,z,b

# テスト実行
WV = npy.ones(15)
M = 2
K = 3
FNN(WV,M,K,X_train[:2,:])

WV（中間層と出力層の重み）と中間層のノード数（M）、出力層のノード数（K）、入力値（X）をニューラルネットワークに渡して戻り値として各層の出力値と入力総和を返します。

中間層での計算は先ほど実装したシグモイド関数を適用します。

出力層の計算にはソフトマックス関数を適用するので、ニューラルネットワーク内で合計値（ｕ）を求めて各値を割ることで出力値とします。

・テスト実行

テスト実行なので、重みは全て１としています。
入力値については訓練データの頭２つのデータを適用しています。

・出力結果

(array([[0.33333333, 0.33333333, 0.33333333],
[0.33333333, 0.33333333, 0.33333333]]),
array([[2.9955243 , 2.9955243 , 2.9955243 ],
[2.99396317, 2.99396317, 2.99396317]]),
array([[0.99776215, 0.99776215, 1. ],
[0.99698158, 0.99698158, 1. ]]),
array([[6.1, 6.1, 0. ],
[5.8, 5.8, 0. ]]))

注目すべきは最終的な出力結果となる「ｙ」ですが、テスト実行で重みパラメータが全て１なので確率が全ての「0.33」となっています。
なので、現時点では有効に活用できておらず、重みの設定の重要性が分かります。

重みの設定ができていないとニューラルネットワークがあっても活用することはできないので、次回は最適な重みを設定することを検討します。

・今回のソース
python_dev/Neural_net1_prod.ipynb at master · wantanblog/python_dev · GitHub

リンク