機械学習を用いたデータ分析ーテクノロジー最前線 エンジニアリング編（2）

2. データ準備

❖ 前処理

なぜ前処理が必要かというと、入手したデータが不正確であったり、一貫性がなかったりすることから、機械学習に直接使用できないケースが多々見受けられるからです。そのため、何かしらの処理を加えて“きれいな”データに整えてあげる必要があるのです。私が実際のプロジェクトでよく実施する処理としては、大きく分けて5つの項目が挙げられます。

1) 欠損/異常/重複値の処理

これに対応するためには、まずはビジネスロジックを理解することが重要です。欠損値のあるデータについては変換、もしくは削除することが多いですが、場合によってはこれらのデータは無視することが最も適切であることもあります。例えばアンケートデータを整理する時、答えがない、もしくはアンケートの設計に沿って答える必要がない質問は「N/A」（Not Available）のままにしておくほうが、より筋道が通った処理と思います。

2) カテゴリーデータの処理

文字列データを数値データに変換するプロセスです。例えば喫煙状況を調査する場合、タバコの本数を問わず、喫煙する人を「１」、吸わない人を「０」に全て変換し、それ以外の余計な情報を捨てるという処理が考えられます。

3) 特徴量削除

業界知識に基づいた処理です。重複データやモデルでは、不要な特徴量を削除します。特に、性別や人種などの情報は、倫理的な問題を伴う可能性があるので、取り扱いには十分注意すべきです。

4) 学習のための処理

例えば、各特徴量の値の幅を揃え、共通のスケールで、公平に特徴量を比較できるようにするため、「Rescaling / Normalization処理」を行います¹。学習のための処理にはさまざまなテクニックがあります。データの種類によってもまたそれぞれ独自の手法があります。しかし、どのような処理でも必ずアルゴリズムのパフォーマンス向上を保証できるわけではないので、試行錯誤しながら、最適な処理を選ぶ必要があります。

5) 特徴量の変換、追加

モデルの精度を向上するため、手動で特徴量の変換を行う場合もあります。特にデータ量が足りない場合、既存の特徴量からドメイン知識などを活かして、新しい特徴量を作成します。

図表3.データの前処理

❖ 特徴量選択

特徴量を選択することで、「モデルの精度の向上」「計算コストの削減」「説明可能なモデルにする」などのメリットが得られます。余分な特徴量を含めたままで学習させてしまうと、本来のパターンを見つけることができなくなるので、不要な特徴量を削除するのが一般的なやり方です。

その中で、Filter法、Wrapper法とEmbedded法の3種類の手法があります²。

• Filter法は、目的変数と特徴量の相関係数などの統計量を計算し、特徴量を選択する方法です。この3種類の中で最も処理速度が速いため、特に特徴量の数が多い時に使われています。「特徴量」と「目的変数」を一対一で見るので、特徴量同士の関係を考慮しない比較的簡単な選択方法になります。
• Wrapper法は、特徴量の組み合わせを変えてモデルを学習させて、性能を評価することを繰り返し、特徴量を選択する方法です。繰り返し学習させるので、計算コストが高い方法になります。
• Embedded法は、モデルの重要度を利用し、特徴量を選択する方法です。例えば、決定木モデルを作り、feature importanceの重要度が低い特徴を削除するやり方があります。

図表4.特徴量の選択

❖ 可視化

Pythonでの可視化にはmatplotlib.pyplot、seabornといったライブラリがよく使われています。Seabornは初心者でも簡単で綺麗な可視化が得られます。Pyecharts、Bokeh、Plotlyを使うと、インタラクティブなグラフを作ることできます。TableauとPower BIはプログラミングをする必要がないので、プログラミング経験のないビジネスエキスパートでも使うことができます。

4. 評価・検証

モデルの評価と検証方法は技術者やプロジェクトによって異なりますが、私が参加したプロジェクトでは業務ロジックの検証とモデルのパフォーマンス検証の２種類を実施しました。

• 業務ロジックの検証は、なるべくモデルを解釈し、ビジネスエキスパートに説明するための工夫が必要です。あるプロジェクトではRandom Forestを使ったので、木の可視化および重要度表示をlimeというライブラリを使うことで解釈しました 。モデルによっては、可読性が低い場合もあるので、別の解釈可能モデルで局所近似モデルを作成し、説明することも必要となります。
• パフォーマンス検証は、ホールドアウトを使うのが一般的なやり方です。評価するテストデータを訓練、評価に分割し、使用します。また、サンプル数が少ない場合には、交差検証を行います。交差検証とは訓練データの中を、さらに訓練、検証に分割する手法です（図表6）。分類と回帰モデルはそれぞれ異なる指標を使用し、結果の評価を行います。例えば、二項分類は適合率、再現率、ROC/AUC、多クラス分類はF1 Score、回帰モデルはMSE（平均二乗誤差）などがよく使われます。

図表6.ホールドアウト交差検証

参考資料

1.機械学習に向けてのデータ前処理
https://avinton.com/blog/2018/01/data-processing/

2.機械学習で特徴量を正しく選択する方法
https://rightcode.co.jp/blog/information-technology/feature-selection-right-choice

3.Choosing the right estimator
https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

4.代表的な機械学習手法一覧
https://qiita.com/tomomoto/items/b3fd1ec7f9b68ab6dfe2