統計学的検定で数字に隠された真実を見抜く！

統計学的検定とは？

統計学的検定とはデータ同士の差に意味があると言えるのか分析するものです。

例えば、キャンペーンの実施によって利益が増えていると言えるのか分析する、WebサイトのA／Bテストを実施してデザインの違いによってクリック率に違いが生じるか分析するといった場面で統計学的検定を活用します。

新入社員のWebデザイナーXさんが新しくデザインしたWebサイトで旧デザインよりもアクセス数が増えて、統計学に詳しい先輩社員Ｙさんと会話している場面を考えてみましょう。

Ｘさんが喜んでいるところにＹさんが水を差しています。人間関係に亀裂が生じかねないので関係構築という意味では不正解で空気が読めない発言かもしれません。
ところが、データ分析の世界ではＹさんのツッコミが正解です。

Webサイトのアクセス数が数字上増えるのはもちろんいいことですが、学生時代にテストでいつもより良い成績が取れてしまうことがあるように、偶然上振れすることがあります。
単にデータの数字の差だけでは偶然であることを否定することができないので、数字が良くなっているのは必然なのか、それとも偶然なのか検証できる統計学的検定が役立ちます。

統計学的検定の考え方と流れ

統計学的検定の考え方の基本は、データ同士に差が出たのが偶然と仮定した上で偶然である確率を計算することです。偶然である確率が十分に低ければ、データ同士の差が偶然発生したことを否定して意味がある差だと考えます。統計学では、「統計的に有意」や「有意差」といった言葉がよく使われ、データ同士の差に意味があることを表します。

次の例を見てみましょう。

統計学的検定は次のような流れで行います。

1. データの差は偶然発生したと仮定する
2. 偶然と仮定した時に、偶然である確率が何％以下なら偶然を否定するか基準を決める
   （一般的には５％以下が基準）
3. 統計学的に偶然である確率を計算する

統計学的検定は数字の差を分析して偶然発生する確率が５％以下なら、偶然ではなく必然で発生したと考えます。Webデザインの例ならば、デザインの違いによってアクセス数の差が発生したと考えることができるのです。

次の節ではExcelで実際に統計学的検定を行って、例におけるWebデザインによるアクセス数の違いは必然で発生したのか、偶然で発生したのか検証してみましょう。

Excelで統計学的検定を実践！

統計学的検定には様々な種類があります。
例のようなデータで統計学的検定を行うにはｔ検定が適しているので、Excelでｔ検定を行います。以下では、デザインＡの方がデザインＢよりもアクセス数が多いと言えるのか検証することを目的としてExcelでｔ検定を行う操作方法を見ていきます。

1. Excelでｔ検定を行うにはアドインを設定する必要があるのでその作業を行います。
   「ファイル」タブをクリックします。
   
2. 「オプション」をクリックします。
   
3. 「アドイン」をクリックした後、「設定」をクリックします。
   
4. 「分析ツール」にチェックを入れて、「OK」をクリックします。
   これでアドインの設定は完了です。
   
5. ｔ検定を行います。「データ」タブのリボンから「データ分析」をクリックします。
   
6. 「ｔ検定：分散が等しくないと仮定した2標本による検定」を選択して、「ＯＫ」をクリックします。
   
7. 「変数１の入力範囲」にＢ列３行目からＥ列４行目、「変数２の入力範囲」にＢ列４行目からＥ列４行目を選択し（平均を表すＦ列は含めません）、「ラベル」にチェックを入れて、「ＯＫ」をクリックします。
   
8. ｔ検定の結果が出力されます。
   
9. データ同士の差が偶然発生する確率を調べるには、「P（T<=t）片側」をチェックします。
   出力結果によれば0.14...となっているので、デザインＡとデザインＢのアクセス数の差が偶然発生する確率は約14％です。
   

この例のデータではデータ同士の差が偶然発生する確率が約14％です。
統計学の一般的な基準では、デザインＡがデザインＢよりアクセス数が多いと言えるには偶然である確率が5％以下である必要がありますが、14％では満たしていません。したがって、デザインＡとデザインＢのアクセス数の差はデザインの違いによって必然的に発生したとは主張できず、デザインＡの方が優れていると結論づけることができないという結果になります。
つまり、アクセス数の差は偶然による誤差の範囲としてありうると考えます。

最後に

データ分析を行うと、データの単純な増減に注目しがちです。しかし、その増減に意味はあるのか、統計学を用いて検証しなければただの偶然に意思決定を左右されることになりかねません。

施策を行った結果の数字が施策による必然なのか、それとも偶然なのかを統計学的検定によって検証することで、より強い科学的根拠のあるビジネスの改善に繋がると言えるでしょう。