単回帰分析
因果関係の分析には回帰分析を用います。2つの変数XとYの相関関係を視覚的に概観するために、直交するXとYの両軸を描き、X軸上にはXの値を、Y軸上にはYの値を取り、それぞれの位置から垂直および水平にたどって、両者の交わる位置にプロットした散布図を作成したとします。こうしてつくられた散布図上にプロットされた各々の点からの距離の二乗和が最小になるように直線Y=a+bXを引きます。
この直線を用いると、あるXの値から実際のYの値を近似的に推測することができます。Xの値からYの値を推測することをXのYへの回帰といい、推測に用いられる直線を回帰直線といいます。また、XからYを推測する場合、Xを説明変数（独立変数）、Yを基準変数（従属変数）と呼びます。この、説明変数と基準変数がともに1つの場合を単回帰分析と呼びます。
回帰式がYの値を推測するのにどれくらい適しているかを判断する場合、XとYの相関係数rの二乗がその指標となります。このr2を決定係数と呼び、1に近い程当てはまりが良い事を意味します。
また、F値を用いて回帰式の有意性を検定する事もでき、この場合はF値が大きいほど回帰式は有意になります。
重回帰分析
単回帰分析に対して、複数の説明変数から基準変数を推測するような場合に、重回帰分析が用いられます。
重回帰分析では、説明変数の基準変数に対する影響の大きさを表す、標準偏回帰係数βが得られます。
また、重回帰分析では、重回帰式の適合度を示す指標として重決定係数R2と、単回帰分析同様F値が用いられます。重決定係数は、基準変数Yとその推定値Yの相関関係で、説明変数全体が基準変数とどれくらい関連しているかを表す重相関係数Rの2乗です。
R2の値は説明変数が増えるにつれて大きくなる性質があるため、説明変数の数を考慮して値を修正した調整済み重決定係数R2aという指標もあります。
説明変数と基準変数との間に一定の相関があり、加えて説明変数同士の間に非常に高い相関がある場合には、多重共線性と呼ばれる問題が生じます。この場合、標準偏回帰係数がマイナスの値をとったり1を超えたりすることがあり、高い相関をもつ説明変数のいずれかを取り除くことが必要になります。
参考文献
- 服部環・海保博之（著） 1996 Q&A心理データ解析 福村出版株式会社
- 山上暁・倉智佐一（編著） 2003 新版 要説 心理統計法 北大路書房