[시계열분석] 자기회귀오차모형(Autoregressive Error Model)

안녕하십니까, 간토끼입니다.

 

이번 포스팅은 시계열자료를 회귀모형에 적합시킬 때 오차들이 시간에 따른 자기상관관계를 갖는 경우에 적합하는 자기회귀오차모형(Autoregressive Error Model)에 대해 다뤄보도록 하겠습니다.

 

---

 

우리가 일반적으로 회귀모형을 이용하여 자료를 분석할 땐 일반적으로 오차항이 i.i.d 가정, 혹은 최소한 상관성이 없다는 전제를 합니다. (오차항 간 상관계수 = 0)

 

그러나 오차의 독립성 가정이 지켜지지 않고 자기상관관계가 존재할 경우,

OLS회귀분석은 Gauss-Markov Assumption을 만족하지 못하므로 최소제곱추정량은 더이상 BLUE가 아니게 되죠.

즉 추정량에 Bias가 존재하고 예측값의 신뢰구간 및 유의성 검정 등에 오류가 존재하게 됩니다.

 

또한 오차들 간 자기상관관계가 존재한다는 것은, 자기상관관계의 규칙이 어떻게 되는지 파악할 수만 있다면 예측값을 더욱 개선할 여지가 남아있다는 것과 같은 의미가 됩니다.

 

 

통상적으로 다음과 같은 다중회귀모형을 가정할 때 오차항에 i.i.d 가정, 혹은 상관관계가 없다는 약한 독립성 가정을 적용하지만, 시계열 모형이므로 자기상관관계가 존재한다고 가정합시다.

그렇다면 오차항은 다음과 같이 쓸 수 있습니다.

만약 t시점에서의 오차항이 k-시차 전까지의 오차항과 자기상관관계가 있다고 하면,

반응변수를 t시점의 오차항으로 설정하였을 때 그 이전 시차들의 오차항의 선형결합으로 나타낼 수 있습니다.

이를 오차항이 k-차 자기회귀과정(Autoregressive Process)을 따른다고 하며,

위와 같은 모형을 k-차 자기회귀오차모형이라고 합니다.

(오차항에서의 오차 a는 독립이라고 가정합니다.)

 

위에서 다룬 k-차 자기회귀과정은 이전 포스팅에서 다룬 AR(k) Process를 의미합니다.

추후 자세히 다룰 예정이니 그냥 그런가보다~ 하고 넘어가시면 됩니다.

 

그러나 통상적으로 k-차수가 정확히 어떻게 되는지는 임의로 결정하기 어려워, 자기상관의 존재 여부를 검토해보아야 합니다.

이때 이전 포스팅에서 다룬 Durbin-Watson Test를 이용해 오차항 간 1차 자기상관 관계를 검토합니다.

2020/11/11 - [Statistics/Time Series Analysis] - [시계열분석] Durbin-Watson(DW) Test

[시계열분석] Durbin-Watson(DW) Test

 

즉 k=1일 경우 DW 통계량을 사용하며,

k가 2 이상일 경우 "일반화된" DW 통계량을 사용합니다.

 

단, 위 모형에서 보는 것처럼 j차 자기상관의 존재 여부를 알아보는 것은 j보다 작은 차수의 자기상관은 존재하지 않는다는 가정하에서만 가능합니다.

예를 들어 3차 자기상관의 존재 여부를 파악하기 전에, 1차 / 2차에서의 자기상관이 없다는 결론을 내야만 그 이후의 시차인 3차, 4차, ... 의 자기상관이 존재하는지 검정할 수 있다는 것입니다.

 

 

즉, 오차항의 모형에서 이미 j의 이전 시차인 1, 2, ... , j-1 시차까지의 자기상관계수가 모두 0이어야 j 시차의 자기상관계수가 0인지 아닌지를 검정할 수 있습니다. 

 

위 식을 j-시차에서의 일반화된 Durbin-Watson 검정통계량이라고 합니다.

마찬가지로 일반화된 DW 검정통계량에 의한 유의성검정 시 유의할 점은 고차(j-차)의 검정은 해당되는 차수보다 작은 차수(j-차수 이전 : j-1, j-2, ... , 2, 1)에서는 자기상관이 없다는 가정 하에서 시행되는 것이므로 일단 검정을 시행하고자 하는 차수보다 낮은 차수에서 자기상관이 있다는 결론이 나오면 그보다 큰 차수의 자기상관의 검정 결과는 필요없다는 점입니다.

 

만약 DW 검정 결과 오차항들이 k-차 자기상관관계가 있다고 판단되면, 오차항에 대하여 AR(k) 모형 구조를 갖는 자기회귀오차모형을 가정하고 모수 추정을 해야합니다.

다만 자기회귀오차모형의 모수추정은 회귀모형의 추정보다 꽤나 복잡합니다.

 

간단하게 매커니즘을 이해하기 위해 오차항이 AR(1)을 따른다고 가정해보죠.

 

오차항들이 AR(1)을 따르는 위 다중회귀모형을 가정하겠습니다.

이때 (1)식은 t-시점에서의 다중회귀모형, 그리고 (2)식은 t-1시점에서의 다중회귀모형이며,

계산의 용이함을 위해 (2)식에 자기상관계수 Φ 를 곱해 (1)식에 빼줍시다.

그러면 오차항 부분이 AR(1) Process에서의 오차항인 a만 남게 되는데요. 

 

이는 위와 같은 이유때문에 그렇습니다.

t-시점에서의 AR(1) 식에서 t-1시점에서의 오차항 e_(t-1)에 Φ을 곱해준 Φ*e_(t-1) 을 빼주면

AR(1)에서의 오차항인 a만 남게 되죠.

쉽게 이해하실 거라 생각하고 넘어가보겠습니다.

 

그래서 오차제곱합 SSE는 AR(1)에서의 오차항 a의 제곱합이 되겠습니다.

이때의 추정하고자 하는 모수는 자기상관계수인 Φ와, 그리고 다중회귀모형에서의 회귀계수들이 되겠죠.

보시다시피 위 오차제곱합이 모수들에 대해 비선형 구조이므로, 비선형최소화 알고리즘에 의해 최소제곱추정량을 찾아야하는데, 식이 꽤나 복잡해서 손으로 풀기는 어려울 겁니다.

 

 

다음 포스팅부터는 평활법에 대해서 다뤄보도록 하겠습니다.

 

 

감사합니다.

잘 읽으셨다면 게시글 하단에 ♡(좋아요) 눌러주시면 감사하겠습니다 :)

(구독이면 더욱 좋습니다 ^_^)

 

 

 

 

---

- 간토끼(DataLabbit)

- 학부 4학년(a fourth-grade undergraduate)

- University of Seoul

- Economics, Data Science