[통계개념] 회귀분석 (regression) :: 회귀분석이란? / 회귀계수 / 결정계수 / 표준화된 회귀계수

안녕하세요 :) 오늘은 여러분들과 함께 회귀계수에 대해 알아보려고 합니다.

통계 공부하시는 많은 분들에게 도움이 되길 바라며,

회귀분석의 주요 개념들과 회귀분석과 관련해 헷갈릴 만한 부분에 대해 정리해 보았습니다.

 

 

 

# 회귀분석 (regression)

: 종속변수에 영향을 주는 변수가 무엇이고, 그 변수들 중 가장 큰 영향을 미치는 변수가 무엇인지를 분석하는 통계방법

 

 

회귀분석을 언제 사용할까?
: X로 Y를 예측할 때, 회귀분석을 통해 X가 Y에 얼마나 영향을 주는 지 (영향력의 크기) 를 파악

#회귀분석의 조건

- 종속변수는 양적 변수, 정규분포 가정 충족

- 독립변수는 양적 혹은 질적 변수

 

 

# 독립변수의 개수

 > 독립변수 1개: 단순회귀분석 (simple regression analysis)

 > 독립변수 여러개: 중다회귀분석 (multiple regression amalysis)

 

 

# 회귀 방정식 
 Y =  a +bX + e

  > a: 절편

  > b: 기울기이자 회귀계수

  > e : 오차

 

 

# 결정계수 vs 회귀계수 vs 표준화 회귀계수

- 결정계수 R^2: 종속변수의 총 변화량 중 독립변수가 설명한 총 변화량의 비율

- 회귀계수 B: 각 독립변수가 종속변수에 미치는 영향, 회귀식의 기울기

- 표준화 회귀계수 β: 독힙변수들의 상대적 기여도 비교를 위한 회귀계수

 

 

# 중다 회귀분석에서 독립변수 투입방식

- 전진선택법: 중요하다고 생각되는 독립변수부터 차례대로 회귀모형에 추가

- 후진선택법: 독립변수들을 모두 포함한 모형에서 가장 적은 영향을 주는 변수부터 하나씩 제거

- 단계선택법: 전진선택에 의해 변수를 추가하면서 새로 추가된 변수로 인해 기존 변수의 중요도가 약화되면 해당 변수 제거

- 위계적: 이론에 근거해서 투입 순서를 지정