検定に用いる検定統計量を選択し、手元にあるデータからそれを求める際、様々にある検定統計量から何を選択するか、つまりどんな種類の検定を進めるかは、検定の目的や変数の特性を考慮して決めていきます。検定の目的によって、例えば平均値の差について検討したいのか分散の差について検討したいのか、また尺度の水準によって用いる検定が違ってくるからです。
分布を利用して検定をおこなう方法をパラメトリック検定と呼びます。一方で、分布を利用せずに検定をおこなう方法をノンパラメトリック検定と呼びます。
t検定
間隔あるいは比率尺度から得られた「量的なデータ」において、2つの標本平均間の相違が母平均間においても相違として認められるかについて推測したい場合は、t検定をおこないます。t検定では計算式からt値という検定統計量を算出してt分布を利用し、帰無仮説の採否を判断します。
推定をおこなう際には、1つの母集団から標本を取り出して平均を求めて戻すということを繰り返して平均の確率分布を明らかにしました。平均の差についても似た手順で分布を明らかにします。2つの母集団から１つずつ標本を取り出し、その標本の平均の差を計算して母集団に戻します。この作業を仮に無限に繰り返すと2群の標本平均の差についての確率分布ができあがるはずです。この確率分布と、実際に得られた手元にある2群の標本の差を比較検討していくのです。
統計的検定の考え方に基づけば、平均Aと平均Bはもともと同じ母集団から取り出した標本から得られた値のはずなので、その差に関するt値はt分布と比較した場合、分布の中心0付近に分布することが想定されます。もしもt値が、分布の端によっている場合には、確率的にAとBは同じ母集団から取り出したといえないということで、差があると結論づけられるのです。
2つの標本間に何らかの関連性が考えられる場合は、それを考慮してあるt分布と比較する必要があるため、対応のあるt検定をおこなっていきます。
F検定
間隔あるいは比率尺度から得られた「量的なデータ」において、2つの標本分散間の相違が母分散間においても相違として認められるかについて推測したい場合は、F検定をおこないます。F検定では計算式からF値という検定統計量を算出してF分布を利用し、帰無仮説の採否を判断します。ただし、2つの標本間に何らかの関連性が考えられる場合には、t検定がおこなわれます。
分散分析と多重比較
2つの平均値の相違を検討するにはt検定を用いますが、3つ以上の平均値の相違を検討しようとする場合には分散分析を用います。
3つ以上の平均値を比較する場合に、すべての平均値を単純に2つずつ組み合わせてt検定を繰り返すという形をとると、全体の有意水準を不当に大きくして帰無仮説を棄却しやすくしてしまいます。そのため、3つ以上の平均値の有意差を検討する場合には、まず3つ、もしくはそれ以上の平均値のすべてが等しいかどうかを全体として調べます。そして、実際に等しい時には有意な差なしと結論し、等しくない場合つまり有意な差ありとなったときのみ、どの平均対の間に差があるかを調べていきます。
例えば、「対人積極性（低・中・高）」が「テスト得点」に影響を及ぼすかどうかを調べたい場合などに分散分析が用いられます。この場合、独立変数である「対人積極性」のことを「要因」と呼び、要因の中に設定される「（低・中・高）」という段階を「水準」と呼びます。また、明るさという独立変数に対して、テスト得点は従属変数にあたります。
分散分析では、その名前の通り、分散を分析することで仮説を検証していきます。手元には、水準ごと、つまり対人積極性の程度ごとに、複数のテスト得点に関するデータがあります。このデータからは、「データ全体の平均」と、「水準ごとの平均」が計算できるでしょう。これをもとに、「「ある1つのデータの値」と「データ全体の平均」の差を2乗（平方）したものを、全データ分足した（和）もの」を計算します。これをそのまま「全体平方和」と呼びます。つまり、全体平方和は、1つ1つのデータの値と、全体の平均との差を集めたもので、データ全体のばらつきをあらわします。
この「データ全体のばらつき」は、「水準間のばらつき」と、「水準内のばらつき」にわけることができます。「水準間のばらつき」とは、対人積極性（低・中・高）の違いによるばらつきです。「水準内のばらつき」とは、例えば、対人積極性（低）の中での個々のデータのばらつきです。つまり、対人積極性の違いによってテスト得点が変わるか調べたい状況では、水準間のばらつきこそが調べたいものに相当します。一方で、水準内ばらつきは誤差であり、水準間のばらつきでは説明しきれないものです。
「水準間のばらつき」は、「「ある水準の平均」と「データ全体の平均」の差を2乗したものを水準内にあるデータ分足すということを各水準でおこない、それらを足したもの」で、「要因平方和」と呼びます。具体的に言えば、「対人積極性（低）の平均」と「データ全体の平均」の差を2乗するという作業を、対人積極性（低）内にあるデータ分おこない、得られた数値を足し合わせます。同じ作業を「対人積極性（中）」と「対人積極性（高）」においてもおこない、各水準で得られた数値を足したものということです。
また、「水準内のばらつき」は、「「ある1つのデータの値」と「その水準の平均」の差を2乗したものを水準内にあるデータ分足す、ということを各水準でおこない、それらを足したもの」で、「誤差平方和」と呼びます。具体的に言えば、対人積極性（低）内にある1つの「あるデータの値」と「対人積極性（低）の平均」の差を2乗するという作業を、対人積極性（低）内にあるデータ分おこない得られた数値を足し合わせます。同じ作業を「対人積極性（中）」と「対人積極性（高）」においてもおこない、各水準で得られた数値を足したものということです。
このように、「全体のばらつき」を、「水準間のばらつき（要因平方和）」と「水準内のばらつき（誤差平方和）」とにわけ、水準間のばらつき、つまり水準の違いによって説明できるばらつきが、水準内のばらつき、つまり誤差によるばらつきに比べて十分に大きければ、ばらつきが生じた原因を水準の違いによるものとみなせるといった具合に考えるのです。
こういった分散分析の過程で算出される数値は、分散分析表にまとめられます。分散分析表には、要因と誤差ごとに、平方和、自由度、平方和を自由度で割った平均平方、要因の平均平方を誤差の平均平方で割った分散比が算出されます。そして、分散比をF分布に照らして検定がなされます。
今までの例では、要因が1つ設定されているだけでしたが、必要に応じて要因が2つ設定される場合や、3つ設定される場合があります。また、各条件への被験者の割り当て方にも、1人の被験者を1つの条件の実に割り当てるようにした被験者間比較や、1人の被験者が全ての水準で測定をおこなう被験者内比較などがあります。さらにデータの対応の有無など、様々な条件に応じて検定を進めていきます。
2要因の分散分析とは、「対人積極性（低・中・高）」と「指導法（教師・映画）」という2つの要因（独立変数）が、「テスト得点」（従属変数）に与える影響を調べたいような場合です。
こういった2要因の分散分析では、2つの独立変数である各々の要因が単独で従属変数に与える影響と、2つの独立変数を組み合わせたものが従属変数に与える効果が考えられるため、それぞれを調べていくことになります。前者を「単純効果」または「主効果」とよびます。また、後者を「複合効果」または「交互作用」と呼びます。
例えば、仮に対人積極性の低い人には映画による指導法のテスト得点が良く、対人積極性の高い人には教師による指導法のテスト得点が良かったという場合、一方の要因が従属変数に及ぼす影響が、もう一方の要因によって異なることになります。これが交互作用です。
さらに要因の数を増やしたり、水準を増やしたりすることも可能ですが、設定されている要因の数によって計算や解釈が複雑になっていくため、慎重におこなう必要があります。
分散分析の結果、主効果や交互作用に有意差が認められたとしても、差が等しくないという事が分かっただけで、すべての平均の間に有意な差がある事は示していません。そこで、様々な多重比較によって各々の平均値のどれとどれの間に差があるのかを調べていくことになります。
多重比較の方法にも様々なものがありますが、心理学の分野ではテューキー（Tukey）の方法がよく用いられます。
χ2検定
名義尺度から得られた「質的なデータ」において、標本で得られた相違が母集団においても相違として認められるかについて推測したい場合は、χ2検定をおこないます。
参考文献
- 池田郁男 2013 統計検定を理解せずに使っている人のためにⅠ 化学と生物51(5) p.318-525
- 池田郁男 2013 統計検定を理解せずに使っている人のためにⅡ 化学と生物51(6) p.408-417
- 池田郁男 2013 統計検定を理解せずに使っている人のためにⅢ 化学と生物51(7) p.408-417
- 岩淵千明（編著） 1997 あなたもできるデータの処理と解析 福村出版
- 大村平 1980 統計解析のはなし 日科技連出版社
- 服部環・海保博之 1996 Q&A 心理データ解析 福村出版
- 山上暁・佐倉佐一（編著） 2003 新版 要説 心理統計法 北大路書房
- 山田剛史・村井潤一郎 2004 よくわかる心理統計 ミネルヴァ書房
＜ 研究