시계열 분해와 하이브리드 순환신경망 기반 스프레드 예측:
국제 에너지 선물 시장을 중심으로*

김민경**․황수정***․김하영****

논문접수일：2022년 07월 01일   논문게재확정일：2022년 07월 15일

*	이 논문은 2022년 대한민국 정부(과학기술정보통신부)와 한국연구재단의 지원을 받아 수행된 연구임
(NRF-2020R1F1A1071527).

**	공동 제1저자, 연세대학교 정보대학원 비즈니스 빅데이터 분석전공 석사과정,
E-mail: minkkim1228@gmail.com

***	공동 제1저자, 연세대학교 정보대학원 비즈니스 빅데이터 분석전공 석사과정,
E-mail: hwangssu@yonsei.ac.kr

****	교신저자, 연세대학교 정보대학원 비즈니스 빅데이터 분석전공 조교수, E-mail: hayoung.kim@yonsei.ac.kr

		<요 약>
	에너지 선물 스프레드는 안정적 위험 헤지, 수익성 있는 선물 투자, 에너지 및 주식 시장에 대한 신호로써의 유용성 때문에 정확한 스프레드 예측은 여러 시장 참여자들에게 위험관리 및 수익 극대화 차원에서 중요한 과제이다. 따라서 본 연구는 에너지 선물 스프레드에 내포된 여러 가지 시계열적 특성을 고려하여 미래 스프레드 예측력 향상을 목표로 하였다. 이에 본 연구는 RobustSTL을 사용하여 스프레드를 시계열 요소 즉, 추세, 계절성, 노이즈로 나누고, 각 요소의 특성에 따라 ARIMA와 RNN (LSTM, GRU)을 사용하여 요소별로 예측한 후 합산하여 미래 스프레드를 예측하는 STAR-RNN 모형을 제시한다. 본 연구에서는 2005년부터 2021년까지의 WTI 원유, 브렌트유, 난방유, 천연가스 선물로 이루어진 5개의 스프레드 쌍 데이터를 사용하여 실험하였다. 실험 결과, STAR-RNN 중 STAR- LSTM은 평균적으로 LSTM 대비 RMSPE 기준 6.8%, ARIMA 대비 8.6%의 예측 오차가 감소했고, STAR-GRU는 GRU 대비 10.4%, ARIMA 대비 9.9%의 오차가 감소했다. 이러한 결과는 원 시계열로부터 추세, 계절성, 노이즈를 분리하여 예측하는 방식이 최종 스프레드 예측 성능 향상에 있어 중요한 역할을 한다는 것을 의미한다.
주제어：스프레드 트레이딩, 시계열 분해, RNN, 스프레드 예측, 에너지 선물

財務管理硏究 第三十九券 第四號(2022. 8), 89～122

Ⅰ. 서  론

시계열 분해와 하이브리드 순환신경망 기반 스프레드 예측

財務管理硏究

최근 국제 에너지 시장에서 코로나 19 팬데믹으로부터 세계 경제가 회복하면서 에너지원에 대한 수요가 증가하며, 원유, 천연가스, 석탄의 가격이 급등하는 추세를 보였다. 원유, 천연가스, 석탄은 3대 에너지원으로 이를 기초자산으로 하는 선물 시장(Futures Market)은 다양성과 높은 유동성으로 인해 세계에서 가장 활성화된 실물(commodity) 상품 시장이다. 특히 서부텍사스중질유(West Texas Intermediate Crude Oil, WTI 원유)와 브렌트유(Brent Crude Oil)의 가격은 세계 경제의 상태를 나타내는 다양한 지표 중 하나이자 수많은 경제 주체의 의사결정에 영향을 미치는 요인으로 손꼽히며 세계 유가의 벤치마크가 되고 있다(Energy Intelligence Group, 2011; 김상배, 2019).

스프레드는 두 상품 간 가격 차이를 의미하는데, 에너지 선물 시장에서 스프레드의 종류는 크게 세 종류, 즉, 정제 전 다른 종류의 원유 간 스프레드를 의미하는 지역 스프레드(location spread), 원유와 원유에서 정제된 제품 간의 스프레드를 의미하는 크랙 스프레드(crack spread), 그리고 천연가스와 원유 간 스프레드(inter-commodity spread)로 나눌 수 있다(CME Group). 이 중 지역 스프레드는 주로 원유 상품간 스프레드를 의미하며 정제 용이성, 생산지의 지리, 운송 비용, 정치 경제적 상황의 차이에 따른 정보를 담고 있다(Milonas and Henker, 2001; Buyuksahin et al., 2013).

반면 크랙 스프레드는 정유업체의 수익 마진을 의미하는데, 정유사가 원유를 구입하고 정제하고 판매하는 과정에서 발생하는 수익과 직결되기 때문이다. 원유와 정제 제품의 가격 움직임은 일관적이지 않기에, 정유업체들은 이 스프레드가 축소될 위험에 대해 방어할 필요가 있다. 따라서, 손실 방어를 위해 이들은 선물 거래를 통해 스프레드를 고정시키는 헤지 전략을 사용함으로써 스프레드 변동에 따른 위험을 상쇄한다(Milonas and Henker, 2001; Buyuksahin et al., 2013). 따라서 에너지 선물 스프레드의 정확한 예측을 통해 관련 회사들은 위험 관리 목적의 경우 최적의 헤지 타이밍을 알 수 있다(Gatev et al, 1999; Vidyamurthy, 2004).

천연가스와 원유 간 스프레드의 경우 대체 및 경쟁 관계에 있는 두 상품 간 스프레드 추이 예측을 통해 관련업체들은 향후 각 자산의 가격에 대한 단서를 얻을 수 있다. 천연가스와 원유 간 스프레드가 벌어지는 원인은 다음과 같은데, 천연가스는 계절성, 저장 역학, 기상 관련 사건으로 인해 단기적인 가격 충격과 공급 불균형이 발생하기 쉬운 반면 석유는 지정학적 요인 및 세계 경제의 확장과 축소에 더 민감하게 반응한다(Energy Intelligence Group). 반면, 상품 간 스프레드가 좁아지는 이유로는 소비자 관점에서는 대체 가능 제품 중 상대적으로 저렴한 상품에 대한 수요가 높아지기 때문이고, 생산 측면에서는 석유 가격이 높아지면 천연가스보다 원유에 대한 시추를 촉진할 유인이 되며 이는 시장이 다시 안정될 때까지 유가 하락과 천연가스 가격 상승을 초래한다(CME Group).

뿐만 아니라 에너지 가격의 오르내림은 기타 물가 및 실물 경제에 영향을 주기에 경영자들의 의사결정, 주식 투자자의 투자 판단에 있어 신호(signal)로써 유용하게 활용될 수 있으며
(Avonleghi, 2015; Borowski, 2016), 선물 트레이더들은 원자재 선물의 스프레드 예측을 통해 선물 롱숏전략(Long-Short Strategy)을 통해 수익을 낼 수 있을 것으로 기대되는 두 개의 상품을 동시에 사고 파는 전략을 통해 수익을 극대화할 수 있다(Avonleghi, 2015; Borowski, 2016).

이러한 중요성에도 불구하고 에너지 스프레드 예측에 대한 연구는 부족하다. 또한 대부분의 금융 시계열과 마찬가지로 스프레드에는 각 자산에 대한 수요와 공급뿐 아니라 자산별로 고유한 지리, 정치, 계절, 기상, 통화 가치 등의 요인들이 영향을 미치기에 여러 정보로 인해 시계열적 특성이 혼재되어 있음에도(Milonas and Henker, 2001; Buyuksahin et al., 2013) 에너지 스프레드에 대해 계절성과 같은 시계열적 특성을 고려해 예측한 사례가 많지 않은 실정이다.

사실 원자재 시장에 대한 계절성은 선행 연구에서 언급된 바 있는데, Avonleghi(2015)에 따르면 유가증권 대비 원자재 상품들이 상대적으로 뚜렷한 계절성을 띄며, 원자재 중에서도 농산물 및 에너지 상품은 더욱 분명한 계절성을 보인다. 만약 Avonleghi가 주장한대로 개별 에너지 선물에 계절성이 존재하고, 각 자산에서 보이는 계절성의 시기 또는 규모가 각 자산마다 다르다면 두 상품에 공통적으로 영향을 주는 체계적 위험이 제거된 스프레드 내에도 계절성이 남아 있을 것이라 가정할 수 있다. 추세 정보 또한 에너지 스프레드에 있어 중요한 의미를 갖는데, 2009년 무렵 셰일 혁명으로 인한 천연가스와 WTI 원유의 비동조화(decoupling) 현상과 같이 두 상품의 스프레드가 벌어진 상태를 유지할 것인지 여부 등을 예측할 수 있기 때문이다(황광수 외 3인, 2012). 따라서 시계열 분해법을 사용해 시계열을 추세, 계절성, 노이즈로 분리하여 에너지 선물 스프레드를 정확히 예측할 수 있다면 시장 참여자, 경영자 및 정유사들에게 큰 도움이 될 수 있을 것이다.

본 연구에서는 크랙 스프레드뿐만 아니라 국제 에너지 선물 시장에서 원유와 대체재 역할을 하는 천연가스를 반영한 다양한 종류의 에너지 스프레드를 상대로 강건한 스프레드 예측 방법을 제시한다. 특히, 기존 연구와 달리 에너지 스프레드를 예측하는 데 있어 계절성이 중요한 역할을 할 것이라는 가정 하에 시계열 분해 요소를 사용하여 스프레드를 보다 정확히 예측하고자 했다. 이를 위해 추세, 계절성, 노이즈로 분해하고, 각 요소를 최적으로 모델링할 수 있는 선형적 통계 모형(Auto-Regressive Integrated Moving Average, ARIMA)과 비선형 딥러닝 모형(Recurrent Neural Network, RNN)을 결합한 프레임워크를 제안한다. 구체적
으로, 본 연구에서 제안한 방법은 다음과 같은데, 우선, 쌍을 이루는 두 에너지 선물 종가 스프레드를 Qingsong et al.(2018)이 제시한 RobustSTL을 사용하여 시계열 분해 요소 즉, 추세, 계절성, 노이즈로 분리한다. 이후 도출된 시계열 분해 요소를 각 요소의 특성에 따라 선행연구에 기반하여 RNN(Long Short-Term Memory(LSTM), Gated Recurrent Unit
(GRU))과 ARIMA 중 가장 적합한 예측 모형을 사용하여 다음 날에 대해 각 시계열 구성 요소를 예측한다. 마지막으로, 가법적(additive) STL 분해 방법에 근거하여, 예측된 각 시계열 요소를 합산함으로써 최종 스프레드 값을 예측한다(Cleveland et al., 1990; West and Mike, 1997).

실험에 사용된 데이터는 2005년부터 2021년까지의 런던 ICE(Intercontinental Exchange, ICE 선물거래소)의 WTI 원유, 브렌트유, 난방유와 NYMEX(New York Mercantile Exchange, 뉴욕 상업 거래소)에 상장된 천연가스의 선물 종가로 도출한 5쌍의 스프레드로, 크랙 스프레드 2쌍(브렌트유와 난방유, WTI 원유와 난방유), 지역 스프레드 1쌍(브렌트유와 WTI 원유), 기타 상품 스프레드 2쌍(WTI 원유와 천연가스, 브렌트유와 천연가스)이다. 특히 최근 전 세계적으로 경제 전반에 큰 타격을 준 코로나 19 범유행 시기에 대해 강건성을 실험하기 위해 별도의 테스트 기간을 두고 검증을 진행했다.

본 연구는 해당 방식이 기존 단일 RNN(LSTM, GRU) 또는 ARIMA를 사용한 방식에 비해 5가지 에너지 선물 스프레드 쌍에 대해 평균 RMSPE 기준 스프레드 예측 성능이 STAR-LSTM은 LSTM 대비 6.8%, STAR-GRU는 GRU 대비 10.4% 가량 개선됨을 보였으며, 해당 프레임워크가 코로나 19 범유행 기간에 대해서도 기존 모형 대비 높은 성능을 보이는 강건성을 입증하였다. 또한 에너지 선물 스프레드를 예측하기 위해 원 시계열을 그대로 사용하여 예측하기보다 추세, 계절성, 노이즈로 분해하여 예측하는 것이 스프레드 예측 성능에 도움이 되는 것을 확인했다.

본 논문의 구성은 다음과 같다. 제Ⅱ장에서는 본 연구의 방법론과 관련된 연구사례들에 대해 서술하고 제Ⅲ장에서는 본 연구의 방법론과 모형에 대해 설명한다. 제Ⅳ장에서는 분석 대상에 대한 설명 및 실험 결과에 대한 정확도를 분석하여 제시한 모형의 우수성과 이론적 함의를 제시하고, 마지막 장에서는 결론을 제시한다.

Ⅱ. 배경연구

1. 스프레드 트레이딩 및 스프레드 예측 관련 연구

페어 트레이딩(Pairs Trading)이라고도 일컬어지는 스프레드 트레이딩에 대한 연구는 주로 앞서 언급된 위험 관리보다는 초과 수익 목적의 거래에 초점이 맞춰져 있는데, 해당 연구 분야는 크게 둘로 나뉜다. 첫째는 강화 학습을 사용해 스프레드의 흐름으로부터 거래 행동을 결정하고, 결정한 투자 행동을 바탕으로 얻는 손익을 보상에 반영, 수익을 극대화하는 전략에 대해 탐색하는 연구이다(Brim, 2020; Kim et al., 2022). 둘째는 Elliott et al.(2005)가 밝힌 스프레드 시계열의 평균 회귀적 성질에 가정을 두고 스프레드의 예측을 통해 예상되는 스프레드의 수준이 과거 스프레드 시계열에 비해 특정 범위에서 벗어났을 때 진입하고, 다시 원래대로 정해진 범위 내로 복귀하면 포지션을 청산하는 등의 전략을 제시하는 연구이다(김영민 외 2인, 2014; 김범수 외 2인, 2016; Gatev et al., 1999, 2006; Vidyamurthy, 2004; Dunnis et al., 2006). 구체적으로 Gatev et al.(1999, 2006)은 금융 자산 간 시계열이 공통으로 비슷한 패턴을 띄고 있다면 일물일가의 법칙에 따라 이론 가격이 거의 동일하게 책정될 것이며, 이에 따라 일시적으로 두 자산의 가격 흐름의 패턴이 깨지더라도 스프레드가 장기적으로 균형 상태로 돌아오기 때문에 차익거래가 가능하다는 것을 보였다.

따라서 스프레드의 평균 회귀적 성질에 바탕하여 수익성을 극대화할 수 있는 진입 청산 시점을 결정하기 위해 정확한 스프레드 예측이 중요하다. 이러한 중요성을 바탕으로 김영민 외 2인(2014)은 KOSPI 200 지수와 S&P 500 지수 선물 사이의 가격비율을 스프레드로 정의하고, GARCH와 기술적 분석을 사용한 페어트레이딩 전략을 제시하였으며 기존 전략보다 높은 수익률을 도출했다. 김범수 외 2인(2016)은 국내에서 거래가능한 총 85개의 해외 선물 종목에 대해서 직교회귀분석과 공적분 성질을 활용한 페어 트레이딩 전략을 제시하였으며, 해당 전략이 시장 혼란기에 포트폴리오 변동성을 줄이면서 유의한 투자 성과를 낼 수 있음을 밝혔다. 한편 스프레드 시계열을 보다 정확히 예측하기 위해 신경망 모형을 사용한 방법이 제안되었는데, Dunis et al.(2006)은 에너지 선물 중 브렌트유와 WTI 원유 스프레드를 중심으로 MLP(Multi-Layer Perceptron)와 칼만 필터(Kalman filter)를 사용하여 평균에서 멀어지는 수익률 움직임을 필터링 후 거래 수익률을 예측함으로써 스프레드 거래를 수행했으며, 유의한 수익률을 얻은 것으로 밝혀졌다. Su et al.(2022)은 페어 트레이딩 전략에서 주가 스프레드의 규모와 방향성을 주가 데이터 스프레드 및 지정가 주문 장부(Limit Order Book)를 LSTM과 Attention(Bahdanau et al., 2014)을 접목시켜 예측한 바 있다. 이러한 선행 연구 결과를 통해 불규칙하고 급변하는 스프레드 시계열을 보다 정확히 예측하기 위해 변수 간의 비선형적 관계를 찾는 것이 중요하고, 이를 반영하는 데에 LSTM과 같은 딥러닝 방법론이 적합하다는 것을 확인할 수 있다.

2. 금융 시계열 분해 및 평활화 연구

금융 시계열에는 보통 추세와 계절성, 잡음이 혼재되어 있는데, 이를 예측에 적합한 형태로 변환하는 방법은 1950년대부터 연구되어 왔다. 변환 방법은 크게 계절성을 고려한 분해법
(decomposition) 및 계절성을 고려하지 않은 평활법(smoothing)으로 나눌 수 있다. 첫 번째는 시계열 분해를 통해 추세와 계절성을 추출하는 방법으로, 추세 및 계절성을 정의하는 방식에 따라 분해 방법이 나뉜다. 대표적으로 Holt(1957)와 Winters(1960)는 시계열을 수평 성분, 추세 성분, 계절 성분으로 나누어 분석하는 홀트-윈터스 모형을 제시했다. 이후 Cleveland et al.(1990)은 월별 또는 분기별 데이터를 포함하여 다양한 주기의 계절성을 다룰 수 있는 STL(Seasonal and Trend decomposition using Loess) 모형을 제안하였으며, Houtian et al.(2021)은 해당 방식으로 시계열을 추세, 계절, 노이즈로 분해한 후 과적합에 유리한 DNM(Dendritic Neuron Model)을 사용하여 금융 시계열을 효과적으로 예측할 수 있음을 보였다.

두 번째는 시계열 평활화로 디노이징(denoising)이라고도 하며, 시계열에서 계절성과 추세를 구분하지 않고 노이즈를 제거하는 것인데, 선행연구들은 주로 단순 이동평균선, 또는 웨이블릿, 푸리에 등의 주파수 변환 방법론을 활용하였다(Wang et al., 2017; Bao et al., 2017; Song et al., 2021; Tang et al., 2021). Khandelwal et al.(2015)은 이중 변동성이 높은 금융 시계열 정보의 노이즈 제거에 효과적이라고 알려진 웨이블릿 변환과 ARIMA, ANN(Artificial Neural Network)을 결합한 Hybrid 모형을 제시했으며, GBP-USD 환율 예측에 있어 기존 단일 모형보다 높은 정확도를 보임을 확인했다.

3. 시계열 예측 기법의 결합 연구

ARIMA는 현재 시점 데이터를 과거 데이터와 백색 잡음의 선형 결합 형태로 표현하는 모형으로써 시계열의 선형적인 특징을 모델링하는 데 사용되며, 자기 상관성을 반영하기에 단기 예측력이 우수하다고 알려져 있다(Box and Jenkins, 1976). ARIMA와 RNN(LSTM, GRU)는 시계열 예측에 있어 비등한 성능을 보인다고 밝혀진 바 있는데, 금융 분야에서 이러한 ARIMA를 비선형적이고 장기적인 특성을 추출할 수 있는 RNN과 결합하고자 한 시도는 여럿 있었다. 대표적으로, Ji(2019)는 탄소배출권 선물 가격 예측을 하는 데 있어 ARIMA, CNN, 및 LSTM의 결합이 데이터의 선형적 특성, 계층적 구조, 장기 종속성을 모델링하는데 단일 모형보다 효과적임을 보였다. GBP(British Pound)-USD 환율 예측에 이산 웨이블릿 변환을 거친 시계열 구성요소를 ARIMA로 먼저 예측하고, 비선형성을 가질 것으로 예상되는 잔차를 ANN으로 예측하여 예측력을 높임을 확인한 연구도 있었다
(Khandelwal, 2015). Choi(2018)는 ARIMA의 잔차를 LSTM에 입력값으로 넣어 주식 간의 상관관계를 예측하였고 LSTM을 능가하는 성능을 보인 사례가 있었다. Mangalampalli et al.(2020)은 ARIMA와 GRU를 결합하여 대량의 주식의 매매 기록 데이터를 바탕으로 미래 주가를 예측하여 실제 주가와 유사한 예측 성능을 보였다. 그러나 스프레드 예측 분야에 대해서는 시계열 예측 기법을 결합한 방법을 활용한 예측 연구가 부재하다.

이러한 선행연구들의 맥락에서 해당 연구가 가지는 의의는 다음과 같다. 단일 신경망 모형으로 스프레드를 예측하고자 하는 시도(Dunis et al., 2006; Su et al., 2022), 또는 전통적인 시계열 분해 방법을 사용해 일반적 주가 또는 지수의 패턴을 찾는 연구는 있었으나(정인곤 외 2인, 2017; 고봉찬 외 2인, 2021), 스프레드의 계절성과 추세를 고려해 분해를 활용한 스프레드 예측에 대한 연구는 부재한 상황에서, 본 연구는 RobustSTL을 통해 에너지 선물 상품 간 스프레드 내에 계절성과 추세가 존재함을 보이고, 이를 활용해 스프레드 예측의 정확성을 높일 수 있음을 보이고자 한다. 이러한 점에서 본 연구는 단일 상품 종에 대해서만 계절성 또는 추세를 고려한 선행연구들과 차별성이 있다.

Ⅲ. 연구방법론

1. RobustSTL

RobustSTL은 장기 계절성과 추세성 및 시계열 내에서 발생하는 여러 급격한 변화를 반영하는 노이즈를 추출할 수 있는 시계열 분해 알고리즘이며(Wen et al., 2018), Cleveland et al.(1990)의 STL 분해와 같은 기존 기법에 비해 이상치가 있는 데이터에 대해 견고하고 긴 계절성 주기를 지닌 시계열에 분해에 적합하다.

RobustSTL의 근간이 되는 Cleveland et al.(1990)의 STL 분해는 식 (1)과 같이 원 시계열 데이터 [eqn: Y _{t}]를 계절성, 추세, 노이즈 3가지 요소로 분해하는 방법으로써, 각 요소에 대해 Loess smoothing(국소 회귀)을 사용하여 평활화를 통해 추출하는 방식을 사용한다. STL을 설명하는 식 (1)에서 [eqn: Y _{t}]는 시간 [eqn: t]에서의 시계열 관측치를 나타내며, [eqn: Trend _{t}]는 추세 정보, [eqn: Season _{t}]는 계절성에 대한 정보, 그리고 [eqn: Noise _{t}]가 추세와 계절성에 포함되지 않은 나머지 요소를 의미한다. STL은 다음 식 (2)와 같이 [eqn: Noise _{t}]를 급작스러운 변화를 나타내는 [eqn: d _{t}]와 백색 잡음인 [eqn: n _{t}]로 나눌 수 있다고 가정한다.

[eqn: Y _{t} =Trend _{t} +Season _{t} +Noise _{t}]	(1)

[eqn: Noise _{t} =d _{t} +n _{t}]	(2)

그러나 STL은 시계열에서 계절성 기간이 길수록, 노이즈가 심해질수록 유연성이 떨어진다는 단점이 있는데, 이러한 단점을 보완하기 위해 RobustSTL이 제시되었다(Wen et al., 2018). RobustSTL은 STL과 동일하게 가법 방식을 사용하여 시계열 분해 구성 요소를 추출한다. RobustSTL은 시계열에서 급변하는 요소로 인해 나타내는 잡음인 [eqn: d _{t}]는 보존하고 백색 잡음을 띄는 [eqn: n _{t}]에 대해서만 잡음을 제거하여 갑작스러운 시계열의 변화에 대해서도 강건성을 보인다. 다음 업데이트된 식 (3), (4)에서, 식 (4)의 [eqn: ( tilde{n _{t}} )=Y _{t} -Y _{t} ^{prime }]는 필터링을 통해 감소된 노이즈를 의미한다.

[eqn: Y _{t} ^{prime } =Trend _{t} +Season _{t} +Noise _{t} ^{prime }]	(3)

[eqn: Noise _{t} ^{prime } =d _{t} +(n _{t} - {tilde n} _{t} )]	(4)

추가적으로 RobustSTL은 위의 [eqn: n _{t}]항에 대해 노이즈를 감소시키기 위해 Paris et al.(2009)가 제시한 쌍방 필터링(bilateral filtering) 방법을 사용하였으며, 또한, 이상치에 대해 강건성
(robustness)을 확보하기 위해 기존 머신러닝에서 주로 사용되는 일반적인 제곱합 손실(Sum of Squared Loss) 함수 대신 Wang et al.(2007)의 논문에서 제시된 LAD-lasso(Least Absolute Deviations lasso regression), [eqn: SMALLSUM _{t=T+1} ^{N} |y _{t} - SMALLSUM _{i=0} ^{T-1} NABLA omega _{t-i} |+ lambda _{1} SMALLSUM _{t=2} ^{N} `| NABLA omega _{t} |+ lambda _{2} SMALLSUM _{t=3} ^{N} | NABLA ^{2} omega _{t} |]를 손실 함수로 채택하였다. 여기서 [eqn: T]는 계절성 기간, [eqn: N]은 계절성 주기의 갯수, [eqn: t=1,```2,```3,``` CDOTS ,```N]이다. [eqn: y _{t}]는 원 시계열, [eqn: omega _{t}]는 [eqn: t]시점의 추세 정보를 의미하여 [eqn: y _{t} - SMALLSUM _{i=0} ^{T-1} NABLA omega _{t-i}]를 최소화하는 방향으로 최적화한다.

또한, RobustSTL은 기존 STL이 추출하지 못하던 장기 계절성 정보 추출을 위해 non-local seasonal filtering 방법을 사용한다. 기존 계절성 추출 방법은 [eqn: t]시점의 계절성을 추정하기 위해 원 시계열 [eqn: y _{t-kT} ,```y _{t-(k-1)T} ,``` CDOTS ,```y _{t-T}]을 관찰했다. 이때 [eqn: k]는 계절성 주기를 나타내는 계수, [eqn: T]는 계절성을 관찰하고자 하는 기간이다. 반면, non-local seasonal filtering은 장기 계절 정보를 추출하기 위해 각 관찰시점, [eqn: y _{t-kT-H} ,```y _{t-kT-H+1} ,``` CDOTS ,```y _{t-kT} ,```y _{t-kT+1} ,``` CDOTS ,```y _{t-kT+H}]에 대해 총 [eqn: 2H+1] 개의 서로 이웃한 시계열 데이터를 관측하며, 여기서 [eqn: H]는 계절성 주기인 [eqn: k]를 기준으로 시점 [eqn: t-kT]를 전후로 관찰할 이웃한 시계열의 길이를 의미한다. 즉, 기존 STL에서는 [eqn: t]시점의 계절성을 관찰하기 위해 계절성 주기 [eqn: k]만큼의 시계열만 관찰했다면, RobustSTL은 계절 주기에 해당되는 기간으로부터 전후 [eqn: H]일을 추가로 관찰함으로써 보다 장기적인 계절성 정보를 추출할 수 있다(Wen et al., 2018).

결과적으로, RobustSTL 방법론은 시계열 예측에 있어 방해 요소가 되는 노이즈 및 이상치를 효과적으로 분리하며, 길이가 긴 시계열 데이터에 내포된 추세 및 계절성 정보를 포착 및 분석하는 데 유리하다. 이러한 이점을 활용하여 본 연구에서는 최종 스프레드 예측 성능을 높이기 위해 RobustSTL를 이용해 자산 쌍들의 스프레드를 계절 정보, 주기성 정보 그리고 노이즈 정보로 분해 후 예측에 활용하였다.

2. ARIMA

ARIMA 모형은 과거의 데이터와 현시점 데이터 간의 상관관계뿐 아니라 비정상성을 띄는 금융 시계열을 분석하는 데에 우수한 성능을 보이는 모형이다(Box and Jenkins, 1976). 기본적으로 대부분의 전통적 시계열 분석 모형은 크게 AR(Auto-Regressive)과 MA(Moving Average) 모형을 기반으로 하는데, 여기서 AR 모형은 자기 자신의 과거 데이터를 변수로 사용하는, 즉 자기 자신의 과거 정보를 참조하는 모형을 의미한다. 한편, MA 모형은 이전 시점에서의 오차항을 현재 시점에 반영하여 변화율을 추정하는 모델이다(박유성, 김기환, 2002; 이상열, 2013). MA 모형은 두 시계열은 단기적으로는 전혀 관계없는 양상을 보이더라도 장기적으로는 서로 일정한 관계, 즉 추세 정보가 존재한다는 전제 하에 시계열을 분석한다
(이상열, 2013).

ARIMA는 AR과 MA를 결합한 모형에, 시계열에 대해 추세나 계절성을 제거하여 시계열의 평균과 분산이 시간의 흐름에 종속되지 않도록 정상성(stationarity)을 띄는 시계열로 변환할 수 있는 차분 과정(differencing)이 추가된 모형이다. 차분 과정을 통해 시계열은 시간의 흐름과 관계없이 평균과 분산이 불변한 안정적인 상태가 되며, AR과 MA를 통해 높은 정확도로 예측할 수 있게 된다(Box and Jenkins, 1976; Hyndman and Rob, 2018). ARIMA의 일반적인 형태는 식 (5)와 같다.

[eqn: (1- SMALLSUM _{i=1} ^{p} `` delta _{i} L ^{i} )(1-L) ^{d} Y _{t} = zeta +(1+ SMALLSUM _{i=1} ^{q} `` theta _{i} L ^{i} )e _{t}]	(5)

식 (5)에서 관찰시점 [eqn: t]에 대해 [eqn: Y _{t}]는 원 시계열, [eqn: L]은 시차 연산자(lag operator, [eqn: L ^{i} y _{t} =y _{t-i}])를 의미하며, [eqn: e _{t}]는 백색 잡음(white noise)을 나타낸다. 그리고 [eqn: delta _{i}]와 [eqn: theta _{i}]는 각각 AR과 MA의 패턴을 결정하는 매개변수이다. 식 (5)에서 가장 중요한 매개변수는 [eqn: p,```d,```q]로, [eqn: p]는 AR에 있어서 독립변수 개수, [eqn: d]는 1차 차분 횟수 그리고 [eqn: q]는 MA의 [eqn: theta]의 개수를 의미하며 이들은 모형의 형태를 결정하는 데 중요한 역할을 한다. 마지막으로, [eqn: zeta]는 상수 값으로 차분 필요 유무에 따라 달라지는데, 차분이 필요한 경우 [eqn: zeta]를 0으로, 필요하지 않은 경우에는 시계열의 평균값으로 추정한다(Box and Jenkins, 1976; Hyndman and Rob, 2018).

선행 연구들로부터 ARIMA가 선형성을 띄는 추세 예측에 효과적임이 증명되었으며(Suna et al., 2020), 이에 대한 실험 결과 역시 해당 연구와 부합하였기 때문에 본 연구에서는 추세 요소를 예측하는 데 ARIMA 모형을 채택했다.

3. RNN

RNN은 학습 시 이전 시간의 은닉 상태(hidden state) 정보를 함께 사용하므로 순서 정보가 있는 데이터를 분석하는데 효과적인 딥러닝 모형이다. 그러나 기존 RNN는 학습이 진행될수록 장기적인 시간 정보가 소실되는 문제로 인해 장기 의존성(long-term dependency)을 갖고 있는 시계열 데이터 분석에 적합하지 않았다(Géron, 2019). 이를 해결하기 위해 게이트 메커니즘 기반 정보를 기억하고 통제할 수 있는 LSTM과 GRU가 제안되었다.

1) LSTM

LSTM 모형은 게이트 메커니즘을 활용해 과거 정보를 보존 및 통제함으로써 장기 의존성을 모델링할 수 있다. [그림 1]에서 볼 수 있듯이, LSTM은 기억을 담당하는 셀 상태(cell state)와 정보의 흐름을 통제하는 역할을 하는 3개의 게이트(입력 게이트, 출력 게이트 및 망각 게이트)로 이루어져 있다(Hochreiter and Schmidhuber, 1997, Géron, 2019).

[그림 1] LSTM 모형

[eqn: f _{t} = sigma (W _{x} x _{t} +W _{h} h _{t-1} +b _{f} )]	(6)

[eqn: i _{t} = sigma (U _{x} x _{t} +U _{h} h _{t-1} +b _{i} )]	(7)

[eqn: o _{t} = sigma (Z _{x} x _{t} +Z _{h} h _{t-1} +b _{o} )]	(8)

[eqn: {tilde c_t }= it tanh(V_x x_t +V_h h_t-1 +b_c )]	(9)

[eqn: c_t = f_t ⊙ c_t-1 +i_t ⊙ {tilde c}_t]	(10)

[eqn: h _{t} = it tanh(c _{t} ) ODOT o _{t}]	(11)

LSTM의 망각 게이트 [eqn: f _{t}], 입력 게이트 [eqn: i _{t}], 출력 게이트인 [eqn: o _{t}]는 각 네트워크 파라미터([eqn: W _{x}], [eqn: W _{h}], [eqn: U _{x}], [eqn: U _{h}], [eqn: Z _{x}], [eqn: Z _{h}])를 이용하여 연산되고, 이후 시그모이드(sigmoid) 활성 함수 [eqn: sigma]를 통해 0～1 사이의 값으로 출력된다. 먼저 LSTM의 망각 게이트 [eqn: f _{t}]는 모형으로 하여금 과거 정보로부터 불필요한 정보는 삭제하도록 하는 게이트로, 식 (6)과 같이 계산된다. 이때 [eqn: f _{t}]는 값이 0에 가까울수록 과거 정보를 높은 비율로 제거한다. 입력 게이트 [eqn: i _{t}]는 식 (7)을 통해 셀 게이트(cell gate) [eqn: c _{t}]에 업데이트할 정보인 [eqn: {tilde c} _{t}]가 [eqn: c _{t}]에 반영되는 정도를 결정한다. 여기서 셀 게이트 [eqn: c _{t}]는 LSTM에 있어서 장기 기억을 저장하고 전달하는 역할을 하며, 식 (10)과 같이 계산하여 다음 시점에 전 시점의 정보를 전달한다. 마지막으로, 식 (8)에서 출력 게이트는 은닉 상태 [eqn: h _{t}]를 업데이트하기 위한 과정으로 [eqn: h _{t}]에 [eqn: c _{t}]의 일부 정보를 반영하는 역할을 한다. 여기서 [eqn: ODOT]는 아다마르 곱(Hadamard product)을 의미하며, 최종적으로 은닉 상태 [eqn: h _{t}]는 하이퍼볼릭 탄젠트(hyperbolic tangent) 활성 함수 [eqn: it tanh]를 사용하여 업데이트된다.

2) GRU

GRU 역시 게이트 메커니즘으로 기존 LSTM의 구조를 더 간단하게 개선한 모형이다(Cho et al., 2014). [그림 2]에서와 같이 GRU는 게이트의 개수를 2개(업데이트 게이트 [eqn: u _{t}]와 리셋 게이트 [eqn: r _{t}])로 줄이고, 은닉 상태 [eqn: h _{t}]가 셀 상태의 역할을 동시에 수행한다(Cho et al., 2014). GRU 식은 아래와 같다.

[그림 2] GRU 모형

[eqn: r _{t} = sigma (W _{x} x _{t} +W _{h} h _{t-1} +b _{r} )]	(12)

[eqn: u _{t} = sigma (U _{x} x _{t} +U _{h} h _{t-1} +b _{z} )]	(13)

[eqn: g _{t} = it tanh(V _{x} x _{t} +V _{h} CDOT (r _{t} ODOT h _{t-1} )+b _{g} )]	(14)

[eqn: h _{t} =(1-u _{t} ) ODOT h _{t-1} +u _{t} ODOT g _{t}]	(15)

자세히 설명하면, LSTM에서 셀 상태 업데이트에 사용된 망각 게이트 [eqn: f _{t}]와 입력 게이트 [eqn: i _{t}], [eqn: {tilde c}_t]를 GRU에서는 업데이트 게이트 [eqn: u _{t}]하나로 조정하며, 식 (13)과 같이 계산된다. 또한 식 (12)의 리셋 게이트 [eqn: r _{t}]는 과거의 정보([eqn: h _{t-1}])를 얼마나 활용할 지 결정하는 역할을 하여 과거로부터 필요한 정보만을 추출하는 효과가 있다. 또한 식 (15)에서와 같이 GRU는 셀 상태가 별도로 있는 것이 아니라 은닉 상태 [eqn: h _{t}]가 게이트 메커니즘을 통해 장단기기억을 저장하는 역할을 한다. 식 (14)의 [eqn: g _{t}]는 현 시점에서 [eqn: h _{t}]에 반영될 정보를 담고 있는 부분으로 업데이트 게이트 [eqn: u _{t}]의 값에 의해 얼마나 [eqn: h _{t}]에 값이 반영될 지 결정된다. 각 게이트의 활성함수는 LSTM과 동일하게 시그모이드 함수 [eqn: sigma]를 사용한다. 이렇게 간소화된 구조 덕분에 파라미터 수가 감소하여 과적합 가능성이 줄어들어 소규모 데이터 셋에서 GRU가 LSTM와 비등한 성능을 보이면서 더 빠른 연산속도를 자랑한다. 본 연구는 일반적으로 예측 성능이 좋다고 알려진 LSTM과 가볍지만 비등한 성능을 갖는 GRU 모형을 대상으로 실험을 진행하였다.

4. STAR-RNN

본 연구에서 제시하는 모형은 STAR-RNN으로, 스프레드 예측 향상을 위하여 위에서 설명된 시계열 분해 모형인 RobustSTL, 선형 통계 모형인 ARIMA, 비선형 딥러닝 모형인 RNN을 결합한 프레임워크이다. 여기서 RNN 모형으로는 LSTM과 GRU를 사용하고 STAR-LSTM과 STAR-GRU로 부른다. 제안 프레임워크은 세 단계 즉, 시계열 분해와 장기 시계열 요소별 모델링, 그리고 예측 요소 합산을 거쳐 최종적으로 미래 스프레드를 예측하는데, 스프레드의 분해 요소별 시계열 특성에 적합한 예측 모형을 선정하여 원 스프레드 시계열에 대한 표현력을 높이고 선물 가격의 장기 흐름 정보를 효과적으로 분석할 수 있도록 설계하였다.

[그림 3]에서는 본 연구에서 제안한 STAR-LSTM(GRU)의 전반적인 프레임워크를 제시한다. 구체적으로 각 단계는 다음과 같다. 먼저, RobustSTL을 사용하여 스프레드 시계열을 계절성, 추세, 노이즈로 분해한다. 이후, 분해된 정보는 각 요소별로 선행연구에 기반한 최적의 예측 모형, 즉, 추세 정보는 ARIMA, 계절성 정보와 노이즈는 LSTM 및 GRU 네트워크를 사용하여 예측한다. 일반적으로 알려진 ARIMA 모형은 추세 정보를 갖고 있는 시계열을 예측하는 데 효과적이라고 알려져 있으며, 선행 연구에서 밝혀진 바 있어 추세 예측에 ARIMA를 사용하였다(이상열, 2013; Suna et al., 2020). 그러나, 일반적인 ARIMA 모형은 계절성을 제대로 반영하지 못하므로, 계절성이 있는 경우 SARIMA(Seasonal Auto-Regressive Integrated Moving Average) 모형을 사용해야 한다(이상열, 2013). 그러나 SARIMA는 선형성을 기반으로 한 시계열 모형이므로 비선형성 및 높은 변동성을 갖는 계절성에 대해 예측하는 데 한계가 존재한다(Hamzaçebi, 2008). 반면, LSTM(GRU)은 학습을 통해 계절성과 같이 데이터로부터 내포된 비선형적 특성을 추출할 수 있고, 장기 정보를 기억하는 데에 강점이 있어 비교적 복잡하고 긴 계절성을 갖는 시계열에 대해서도 보다 정확히 예측할 수 있다(Hochreiter and Schmidhuber, 1997). 이러한 장점에 기반하여 계절성을 예측하기 위해 LSTM(GRU)을 사용했다. 노이즈 역시 시계열 분해를 통해 미처 분리되지 못한 복잡한 비선형적 시계열 특성이 있을 것이라는 전제 하에 LSTM(GRU)을 채택했다. 마지막으로, ARIMA와 LSTM(GRU)을 통해 예측된 각 시계열 분해 요소의 출력값을 더하여 최종적으로 다음 날 종가 스프레드 값을 예측한다.

[그림 3] STAR-LSTM(GRU) 프레임워크

스프레드는 에너지 선물인 자산 A, B쌍의 종가의 차이, [eqn: Spread _{p} = "Price" _{A} - "Price" _{B}]로 계산하였다.

Ⅳ. 실험 및 결과

1. 데이터 및 표본

1) 분석 대상

국제 에너지 관련 선물거래소는 WTI 원유, 브렌트유, 난방유가 거래되는 런던 ICE 상품거래소, 천연가스가 거래되는 미국 NYMEX 거래소가 대표적이다. 2007년 중동 두바이에 개설되어 두바이유가 거래되는 두바이 상품거래소(Dubai Mercantile Exchange)가 있으나 해당 거래소의 상품거래량은 비교적 소규모에 머물고 있다. 따라서 본 연구에서는 시계열 데이터가 연속적이고 충분한 WTI 원유, 브렌트유, 천연가스, 난방유를 대상으로 실험을 진행했다. 데이터는 인베스팅닷컴(Investing.com)에서 수집하였고, 총 표본 기간은 2005년 1월 3일부터 2021년 12월 31일이며, 거래가 진행되지 않는 토요일, 일요일 및 공휴일은 데이터에서 제외되었다. [그림 4]에서 제시된 것과 같이, 총 4,375개의 표본 중 70%를 학습 데이터(2005-01-03～2017-01-05), 10%는 검증 데이터(2017-01-06～2018-09-04) 그리고 나머지 20%는 테스트 데이터(2018-09-05～2021-12-31)로 사용하였다. 아래 [그림 4]는 WTI 원유, 브렌트유, 천연가스, 난방유의 단위당 가격 흐름의 추이를 보여준다.

[그림 4] 4개 에너지 선물 종가 추이

2005년부터 2021년까지 WTI 원유, 브렌트유, 천연가스, 난방유 선물의 가격 추이를 보여준다. 검정색 얇은 실선은 학습 데이터, 회색 선은 검증 데이터, 굵은 검정색 선은 테스트 데이터를 의미한다. 또한 회색 바탕 영역은 코로나 19 범유행 기간(2020.1.1～2021.12.31)을 나타낸다. 천연가스 선물에 대해서는 2000년대 말부터 미국 셰일혁명 이후 다른 에너지 상품들과의 비동조화 현상이 관찰된다.

셰일혁명이란 오랜 세월에 진흙이 쌓여 이루어진 셰일 층에서도 석유를 추출할 수 있는 석유 시추 방법이 2000년 말에 미국에서 개발되면서 미국이 원유 수출국으로 대두되며 일어난 에너지 기술 혁명이다(김연규, 2015; 진우성, 2017).

WTI 원유와 브렌트유의 경우 평균적으로 북반구 여름철에 오르고 겨울철에 내리는 경향이 있다. 이는 하계 기간에는 휴가로 인한 자동차 연료에 대한 수요 및 농업과 물류 분야에서 활발한 산업 활동으로 수요가 증가하기 때문이다. 반면, 천연가스는 원유와 상호 연관성이 높지 않고 고유한 가격 결정 요인과 추세, 계절성을 보유한다. 난방유의 경우 날씨의 영향을 많이 받으며, 겨울철을 앞두고 선취 구매가 일어나는 시점에서 재고가 낮아지면 가격이 오르는 경향이 있다(CME Group). 다음 <표 1>에는 3대 에너지 선물 상품(석유, 천연가스, 석탄)의 특징을 요약한 것이다.

<표 1> 에너지 선물 상품별 특징, 추세 및 계절성

WTI 원유와 브렌트유는 비슷한 계절성과 추세를 보이는 경향이 있으나, 천연가스와 난방유는 고유의 계절성을 가지고 있음을 알 수 있다(Milonas and Henker, 2001; Buyuksahin et al., 2013).

	특징	추세 및 계절성
WTI 원유	∙북미 지역 원유 가격 벤치마크 ∙높은 거래 유동성과 가격 투명성 ∙원유 선물 거래에 있어서 세계 최고 유동성과 실물 상품 선물 거래에 있어 세계에서 가장 큰 거래량	∙북반구의 여름철에 오르고 겨울철에 낮아지는 경향(여름철 휴가로 인한 드라이빙 시즌 및 농업과 물류 분야 활발한 산업 활동) ∙일반적으로 5월~9월에 상승하며 초가을에 연중 최고치 기록
브렌트유	∙유럽 지역 원유 가격 벤치마크 ∙유럽과 아시아에서 직접적으로 가격의 영향을 받음	∙대체적으로 WTI 원유와 비슷한 양상의 추세와 계절성
천연가스	∙국제 천연가스 가격 벤치마크 ∙미국 에너지 공급의 약 4분의 1 차지 ∙세계 실물 상품 선물시장에서 2번째로 큰 거래량 ∙미국과 유럽 등지에서 도시가스로 사용	∙뚜렷한 계절성 ∙매우 높은 가격 변동성 ∙날씨의 영향을 많이 받으며, 겨울철 한파에 급격한 가격 상승 보이는 경향 ∙2009년 전후부터 미국 셰일가스 혁명으로 기타 에너지 상품 흐름과 비동조화되어 2021년경까지 낮은 가격대 형성
난방유	∙원유의 산출에 있어 4분의 1을 차지하여 가솔린 다음으로 2번째로 큰 비중 ∙선박, 발전소, 공장, 증기 보일러용 연료로 주로 사용	∙날씨의 영향을 많이 받으며, 겨울철을 앞두고 선취구매 일어나는 시점에서 재고가 낮아지면 가격 상승하는 경향

본 연구는 두 상품의 선물 종가로부터 도출된 스프레드만을 사용하여 스프레드를 예측하는 단일 변량 모형을 이용하는데, 이는 기타 외부 요소로부터의 영향력을 배제하고 기술적인 요소의 예측력에만 초점을 맞추기 위함이다. 또한, 선행 연구에 따르면(MacDonald and Taylor, 1994; Chu, 1998; Turner and Witt, 2001), 다변량 모형이 단일 변량 모형보다 더 우수한 예측 성과를 나타낼 것이라는 기대와 달리, 실제로는 많은 경우 단일 변량 모형이 다변량 모형보다 우수한 예측력을 보인다. 가격을 설명하는 많은 외생변수들과 미래 가격과의 관계성을 정확히 모델링하는 것이 실제로 대단히 어려울 뿐만 아니라 사실상 불가능할 수도 있기 때문이다(MacDonald and Taylor, 1994; Chu, 1998; Turner and Witt, 2001).

2) 데이터 전처리

본 연구에서는 쌍을 이루는 두 자산 간 스프레드의 차이를 구하기 전에 각 자산의 종가에 대해 정규화 방법인 min-max scaling을 진행하였다. Min-max scaling은 다른 규모를 가진 2개 이상의 데이터들을 비슷한 범위로 비교하기 위해 각 데이터셋의 최소값을 0, 최대값을 1 기준으로 하여 0～1 사이의 값, 즉, [eqn: {x–min(X)} over {max(X)–min(X)}]으로 변환하는 방법이다(Géron, 2019). 여기에서 [eqn: X]는 데이터셋, [eqn: x]는 개별 샘플을 의미한다. Min-max scaling 는 실무에서 자산 쌍 스프레드 계산 시 개별 자산 가격에 대해 정규화를 할 때 주로 쓰이는 방법이며(Hudson and Thames), 데이터의 분포를 그대로 유지시킬 뿐만 아니라 자산 간 다른 변동성을 정규화하는 효과가 있다(Patro and Kishore, 2015). 본 연구에서는 정규화된 가격을 통해 스프레드를 구하고 스프레드에 대해서 시계열 분해 및 분석이 용이하도록 min-max scaling을 한 번 더 진행하였다. 단, 검증 기간과 테스트 기간에 대해서는 미래 정보가 유출되지 않도록 학습데이터의 정보만 사용하여 계산한 min 값과 max 값을 가지고 min-max scaling을 진행하였다. 다음 [그림 5]는 본 연구에서 사용된 5개 쌍의 에너지 선물 종가 스프레드 추이를 시각화하였으며 <표 2>는 에너지 선물 쌍 별 스프레드 구분을 보여준다.

[그림 5] 정규화된 5개 쌍의 에너지 선물 종가 스프레드 추이

[그림 5]는 본 연구에서 사용된 2005년 1월부터 2021년 12월까지 서로 다른 에너지 선물 상품 조합에 대한 스프레드 시계열 추이를 보여준다. 천연가스가 포함된 쌍은 2009년경부터 비동조화 현상이 관찰된다.

<표 2> 에너지 선물 쌍 별 스프레드 구분

자산 조합	구분
브렌트유-난방유	크랙 스프레드
WTI 원유-난방유	크랙 스프레드
브렌트유-WTI 원유	지역 스프레드
WTI 원유-천연가스	기타 상품 스프레드
브렌트유-천연가스	기타 상품 스프레드

3) 기초통계량 및 최적 시계열 모형 추정

Min-max scaling을 통해 연산된 5개의 스프레드 시계열을 대상으로 기초통계량 분석과 ADF 검정을 실시하였다. <표 2>는 전반적인 기초통계량에 대해 설명한다. 브렌트유와 WTI 원유 스프레드의 경우 높은 첨도 수치를 통해 극단치에 데이터가 분포함을 시사한다.

ADF 검정은 시계열의 정상성을 확인하기 위한 방법으로써, 검정의 귀무가설은 시계열에 단위근이 존재하여 정상성을 띄지 않는다는 것이며, 대립가설은 시계열 자료가 정상성을 만족한다는 것을 의미하는데, ADF 검정 통계량의 값이 작을수록 주어진 유의수준에서 시계열이 정상성을 띌 확률에 가까워진다(Dickey and Fuller, 1979). <표 4>에서는 브렌트유와 WTI 원유 조합을 제외한 모든 쌍의 스프레드가 5% 유의수준에서 비정상성을 띔을 알 수 있다.

<표 3> 정규화된 에너지 선물 쌍 종가로 도출된 스프레드에 대한 기초통계량 분석

자산 조합	평균	분산	최소값	최대값	중위값	첨도	왜도
브렌트유-난방유	0.010	0.035	-0.155	0.101	0.010	-0.014	-0.081
WTI 원유-난방유	-0.019	0.054	-0.543	0.123	-0.015	1.806	-0.509
브렌트유-WTI 원유	0.029	0.052	-0.134	0.517	0.014	3.028	1.466
WTI 원유-천연가스	0.166	0.207	-0.705	0.640	0.164	1.109	-0.505
브렌트유-천연가스	0.195	0.243	-0.732	0.788	0.180	0.562	-0.190
평균	0.076	0.118	-0.454	0.434	0.071	1.298	0.036

<표 4> 에너지 스프레드별 ADF 통계량 및 최적 ARIMA 차수

자산 조합	ADF 통계량	p-value	정상성 여부
브렌트유-난방유	-2.759	0.064	비정상
WTI 원유-난방유	-2.343	0.159	비정상
브렌트유-WTI 원유	-3.055	0.030*	정상
WTI 원유-천연가스	-2.280	0.178	비정상
브렌트유-천연가스	-2.534	0.107	비정상

*p ≤ 0.05.

4) 시계열 분해 요소별 ADF 검정

분해된 각 요소에 대해 정상시계열 여부를 확인하기 위해 ADF 검정을 실시하였다. <표 5> 및 <표 6>에서 분해된 시계열에서 추세 요소를 제외한 계절성 요소와 노이즈 요소는 유의수준 1% 하에서 해당 시계열이 단위근을 가진다는 귀무가설을 기각하여 정상성을 띔을 확인할 수 있다. 반면, 모든 자산 쌍 스프레드의 추세 요소는 ADF 검정을 통해 5% 유의수준에서 귀무가설을 기각하지 못하여 비정상성을 띈다는 것을 알 수 있는데, 이를 통해 시계열 분해 과정을 거치지 않은 스프레드들의 비정상성에 추세 요인이 큰 역할을 했다는 것을 알 수 있다.

여기에서 추세 시계열을 시계열 정상화를 위해 1차 차분하였고, 변환된 추세 요소는 1% 유의 수준에서 정상성을 만족함으로써 ARIMA 모형 적용을 위한 기본조건을 만족함을 확인하였다. 이 결과를 토대로 본 실험에 사용할 추세 요소에 대한 예측모형으로 ARIMA(1, 1, 0)을 채택하였다.

<표 5> 에너지 선물 스프레드 분해 요소에 대한 ADF 검정(추세 및 1차 차분 추세)

자산 조합	추세			추세(1차 차분)
	ADF	p-value	정상성	ADF	p-value	정상성
브렌트유-난방유	-2.577	0.098	비정상	-5.730	0.000***	정상
WTI 원유-난방유	-2.003	0.286	비정상	-5.566	0.000***	정상
브렌트유-WTI 원유	-1.882	0.341	비정상	-6.851	0.000***	정상
WTI 원유-천연가스	-2.548	0.104	비정상	-6.954	0.000***	정상
브렌트유-천연가스	-2.556	0.103	비정상	-6.970	0.000***	정상
평균	-2.313	0.186	비정상	-6.414	0.000***	정상

*p ≤ 0.05, ***p ≤ 0.001.

<표 6> 에너지 스프레드 분해 요소에 대한 ADF 검정(계절성 및 노이즈)

자산 조합	계절성			노이즈
	ADF	p-value	정상성	ADF	p-value	정상성
브렌트유-난방유	-2.210	0.203	비정상	-6.101	0.000***	정상
WTI 원유-난방유	-5.217	0.000***	정상	-16.443	0.000***	정상
브렌트유-WTI 원유	-4.805	0.000***	정상	-9.636	0.000***	정상
WTI 원유-천연가스	-3.704	0.004*	정상	-9.050	0.000***	정상
브렌트유-천연가스	-3.876	0.002*	정상	-12.073	0.000***	정상
평균	-3.962	0.042*	정상	-10.661	0.000***	정상

*p ≤ 0.05, ***p ≤ 0.001.

해당 데이터 기준 다섯 쌍의 스프레드를 데이터 기준 1년 평균 거래 가능일인 255일을 계절성 지수로 설정해 추세, 계절성, 노이즈로 분해하였다. [그림 6]은 RobustSTL 분해 결과의 예시로서 브렌트유와 천연가스 스프레드의 분해 결과를 제시한다. 스프레드는 추세, 계절성, 노이즈로 나뉘었으며, 이와 비슷한 패턴이 모든 쌍에서 관찰되었다.

[그림 6] 브렌트유와 천연가스 스프레드의 RobustSTL 분해

RobustSTL을 255일 계수에 대해 적용한 결과 대부분의 쌍들이 매우 가시적인 계절성을 보였다. 각 그래프는 원 시계열, 추세, 계절성, 노이즈를 나타내며, [그림 6]의 각 그래프의 색깔 구분은 얇은 검정색 선은 학습 기간(2005-01-03～2017-01-05), 회색선은 검증 기간(2017-01-06 ～ 2018-09-04), 굵은 검정색 선은 테스트 기간(2018-09-05 ～ 2021-12-31)을 나타낸다. 또한 회색 바탕 영역은 코로나 19 범유행 기간(2020.1.1～2021.12.31)을 나타낸다.

2. 실험 설정

1) 성능 평가 지표

STAR-LSTM 및 STAR-GRU 모형의 스프레드 예측 성능을 평가하기 위해 회귀 모형 평가 지표로 자주 사용되는 RMSPE(Root Mean Squared Percentage Error)와 MAPE(Mean Absolute Percentage Error) 지표를 사용하였다. RMSPE는 관측된 값의 평균에 대해 상대적으로 표현되어 서로 다른 평균을 가진 데이터셋 간 비교가 쉽다는 장점이 있다(Bibby and Toutenburg, 1977). RMSPE의 계산식은 식 (16)과 같다.

[eqn: "RMSPE"= root { 1 over N smallsum_t=1^N `` left ( {y_t -y_pred,t } over y_t right )^2}]	(16)

MAPE는 식 (17)과 같이 계산되며, 관측된 값 대비 예측값에 대한 오차의 비율에 대한 평균을 나타내므로 직관적으로 해석할 수 있으며 일관성이 있어 다양한 모형이나 데이터의 성능 비교에 용이하다고 알려져 있다(De Myttenaere et al., 2016).

[eqn: MAPE = 1 over N smallsum_t=1^N |{y_t -y_pred,t } over y_t |]	(17)

2) 모형 파라미터 및 하이퍼파라미터

<표 7>은 원 시계열을 분해하는데 사용된 RobustSTL 및 시계열 분해 요소를 예측하기 위해 최종 모형 내 ARIMA와 LSTM, GRU에 사용된 파라미터 및 하이퍼파라미터를 나타낸다. 추세를 예측하기 위한 ARIMA의 차수 p, d, q는 Auto-ARIMA 프로그램을 사용하고(Smith, 2021), LSTM 및 GRU의 하이퍼파라미터는 Optuna 프로그램을 사용하여 도출했다(Akiba et al., 2019). 또한 최대 에포크 내에서 일정 학습 차수동안 검증 오차가 줄지 않을 시 최적의 모형으로 수렴이 되었다고 판단하고 학습을 종료하는 방식을 사용해 과적합을 막고자 하였다. 비교 모델에도 해당 파라미터와 하이퍼파라미터는 동일하게 적용하였다.

<표 7> 최종 STAR-RNN 및 비교 모형에 사용된 파라미터 및 하이퍼파라미터

분석 대상 시계열	모형	파라미터 및 하이퍼파라미터
원 시계열	RobustSTL (STAR-LSTM, STAR-GRU)	계절성 계수: 255 피처수: 1 입력 텐서 사이즈: (43,43,1)
추세	ARIMA (STAR-LSTM, STAR-GRU)	p,d,q: (1,1,0) 피처수: 1 입력 텐서 사이즈: (43,43,1)
계절성 및 노이즈	LSTM, GRU (STAR-LSTM, STAR-GRU)	에포크: 수렴시까지 레이어 수: 1개 은닉상태 노드 수: 44개 시계열 관찰 기간: 43일 예측 기간: 1일 배치 사이즈: 43 피처수: 1개 입력 텐서 사이즈: (43,43,1) 학습률: 0.0005 가중치 감쇠 상수: 0.000001 옵티마이저: Adam 손실함수: MSE

<표 7> 최종 STAR-RNN 및 비교 모형에 사용된 파라미터 및 하이퍼파라미터(계속)

분석 대상 시계열	모형	파라미터 및 하이퍼파라미터
비교모델	LSTM, GRU	에포크: 수렴시까지 레이어 수: 1개 은닉상태 노드 수: 44개 시계열 관찰 기간: 43일 예측 기간: 1일 배치 사이즈: 43 피처수: 1개 입력 텐서 사이즈: (43,43,1) 학습률: 0.0005 가중치 감쇠 상수: 0.000001 옵티마이저: Adam 손실함수: MSE
비교모델	1D-CNN	에포크: 수렴시까지 시계열 관찰 기간: 43일 예측 기간: 1일 배치 사이즈: 43 피처수: 1개 입력 텐서 사이즈: (43,43,1) 학습률: 0.0005 옵티마이저: Adam 손실함수: MSE

3. 실험 결과

1) STAR-LSTM 및 STAR-GRU 알고리즘 평가

제안된 RobustSTL, ARIMA과 LSTM(GRU)의 Hybrid 모형인 STAR-LSTM 및 STAR-GRU의 알고리즘의 예측력을 정량적으로 평가하기 위해 기존 단일 변량 시계열 예측에 있어 대표적인 ARIMA와 LSTM, GRU 모형을 대조군으로 두고 동일 기간 및 데이터를 사용해 대표적인 예측 오차 지표인 RMSPE와 MAPE를 기준으로 예측 성능을 비교하였다.

아래 [그림 7] 및 <표 8>은 기존 시계열 예측 모형 대비 STAR-LSTM 및 STAR-GRU의 5개 쌍에 대한 평균적인 예측 성능 비교 결과를 보여준다. 본 연구에서 제시하는 STAR-LSTM 및 STAR-GRU의 자산 쌍들의 스프레드 예측에 있어 모든 예측 지표에 대해 평균적으로 LSTM, GRU, ARIMA 모형 대비 성능 개선을 보임을 알 수 있다.

구체적으로, [그림 7]을 보면 STAR-LSTM은 LSTM 모형에 비해 평균 RMSPE가 6.8% 감소하였으며, STAR-GRU의 경우 LSTM 모형 대비 평균 8.1%의 RMSPE 감소를 보였다. STAR-LSTM과 STAR-GRU 모형은 GRU와 비교했을 때 평균적으로 RMSPE가 각각 9.2%, 10.4% 감소하였고, ARIMA와 비교했을 때는 각각 8.6%, 9.9% 감소하였다. 또한, [그림 7]에 따르면 STAR-LSTM은 LSTM 모형에 비해 평균 MAPE는 13.0% 감소하였으며, STAR-GRU의 경우 LSTM 모형 대비 평균 12.9%의 MAPE 감소를 보였다. STAR-LSTM과 STAR-GRU 모형은 GRU와 비교했을 때 평균적으로 MAPE가 동일하게 17.2% 감소하였고, ARIMA와 비교했을 때는 각각 20.2%, 20.1% 감소하였다.

[그림 7] 예측오차 지표(MAPE, RMSPE)를 사용한 모형별 평균 예측 성능 비교

(좌: RMSPE, 우: MAPE)

<표 8> RMSPE 및 MAPE을 사용한 모형별 예측 성능 및 학습 시간 비교

*B-H: 브렌트유-난방유, W-H: WTI 원유-난방유, B-W: 브렌트유-WTI 원유

W-N: WTI 원유-천연가스, B-N: 브렌트유-천연가스

다음 표에서 학습 시간은 인퍼런스 시간을 제외한 학습 시간을 쟀으며, 특징적인 점은 STAR-LSTM 모델이 LSTM 보다 빨리 수렴하며 더 적은 학습 시간이 걸리는 것을 알 수 있다. 이는 분해된 요소의 경우 시계열 복잡도가 줄어 더 빨리 수렴하는 것으로 생각된다.

자산 조합*	지표	STAR-GRU	STAR-LSTM	ARIMA	LSTM	GRU	1D-CNN
B-H	RMSPE	0.036	0.039	0.035	0.035	0.035	0.048
	MAPE	0.010	0.011	0.018	0.030	0.017	0.042
W-H	RMSPE	0.097	0.094	0.111	0.098	0.103	0.070
	MAPE	0.027	0.027	0.027	0.024	0.033	0.056
B-W	RMSPE	0.122	0.123	0.133	0.137	0.134	0.116
	MAPE	0.024	0.024	0.031	0.020	0.028	0.097
W-N	RMSPE	0.028	0.030	0.033	0.034	0.030	0.029
	MAPE	0.019	0.019	0.026	0.016	0.021	0.027
B-N	RMSPE	0.015	0.017	0.019	0.021	0.031	0.028
	MAPE	0.016	0.015	0.019	0.021	0.017	0.024
평균	RMSPE	0.052	0.053	0.058	0.058	0.061	0.058
	MAPE	0.019	0.019	0.024	0.022	0.023	0.049
	학습 시간 (초)	381.2	425.0	38.0	531.2	220.8	121.4

[그림 7], <표 8>를 요약하면 다음과 같다.

a) STAR-LSTM과 STAR-GRU는 RMSPE 기준 단일 LSTM 모형 및 ARIMA 모형 대비 낮은 평균 오차를 보인다. 또한 브렌트유와 난방유 쌍을 제외한 대부분의 에너지 선물 상품 쌍에 대해서도 단일 LSTM과 ARIMA에 비해 RMSPE 기준 상회하는 성능을 보였다. STAR-LSTM은 LSTM 대비 평균 RMSPE 기준 6.8%를 감소시켰으며 ARIMA 대비 8.6% 감소시켰다. STAR-GRU는 LSTM 대비 9.8%, GRU 대비 10.4% 감소
시켰으며 ARIMA 대비 9.9% 감소시켰다.

b) 반면, MAPE 기준으로 STAR-LSTM과 STAR-GRU는 모든 자산 쌍에 대해 단일 LSTM 모형 및 ARIMA 모형보다 높은 예측 성능을 보였다. STAR-LSTM은 평균 MAPE 기준으로 LSTM 대비 13.0%, ARIMA 대비 20.2% 감소했다. STAR-GRU는 각각 LSTM 대비 12.9%, GRU 대비 17.2% 감소시켰고 ARIMA 대비 20.1% 감소했다.

c) 다른 다섯 쌍과 다르게 브렌트유와 난방유 쌍만 유일하게 LSTM에 비해 하회하는 성능을 보였는데, 이는 다른 다섯 개의 쌍과 다르게 브렌트유와 난방유의 계절성만 비정상성을 띄는 것과 관련이 있는 것으로 생각된다.

d) STL 분해를 거치지 않은 GRU은 LSTM보다 낮은 예측력을 보임에 반해, STAR-GRU는 스프레드 예측에 있어 STAR-LSTM 보다 높은 성능을 보임을 알 수 있는데, 이는 Roberto Cahuantzi(2021)의 연구에서 언급된 것과 같이 GRU는 낮은 파라미터의 개수에 따라 높은 복잡성이 있는 시계열에서는 LSTM이 더 우수한 성능을 발휘하지만, 낮은 복잡성이 있는 시계열에서는 GRU 모형이 LSTM보다 높은 성능을 보이는 경향 때문인 것으로 생각된다. 즉, STL 분해를 거친 분해 요소 중 대부분이 원 시계열보다 낮은 복잡도를 보여 GRU 모형이 각 요소를 예측하는데 더 유리하게 작용한 것으로 추정된다. 결과적으로 본 연구는 실험을 통해 시계열 요소적 특성을 각각 모델링 및 예측, 합산하는 STAR-LSTM와 STAR-GRU 방식이 스프레드 예측 성능을 높이는 것을 확인하였다.

e) <표 8>에 따르면 선형 모형인 ARIMA는 비선형 모형인 단일 LSTM, GRU와 비슷한 성능을 보이는데 특히 RMSPE 기준 단일 GRU 대비 낮은 오차와 짧은 학습 시간을 보여 예측에 더 적합할 수 있음을 보였다. 그러나 ARIMA는 시계열 분해 요소를 활용한 모형인 STAR-LSTM과 STAR-GRU 와 비교하였을 때 분명한 예측 성능 차이(RMSPE 기준 8.75%, 10.55%, MAPE 기준 20.15%, 20.10%)를 보였고 이에 따라 더 긴 학습 시간에도 불구하고 해당 STAR-RNN 방식을 사용하는 의의를 찾을 수 있었다.

f) 또한 STAR-LSTM의 경우 단일 LSTM 대비 RMSPE 기준 6.8% 성능 개선을 보이면서도 짧은 학습 시간을 기록하며 분해된 시계열의 사용이 딥러닝 모형의 학습에 더 효과적임을 유추할 수 있었다.

g) 1D-CNN의 경우 단순 RNN 모형과 단순 ARIMA 모형과 RMSPE 기준에서는 큰 차이가 없었지만, MAPE 기준에서는 낮은 성능을 기록하였고, STAR-GRU 대비 RMSPE 기준 11.8%, MAPE 기준 153.78% 가량 낮은 성능을 확인할 수 있었다. 단, RNN 대비 짧은 학습 시간의 장점이 있는 것을 확인하였다.

[그림 8] 브렌트유와 천연가스에 대한 STAR-RNN 및 비교 모형 학습 곡선

검은 선은 학습 손실을 나타내며 회색 선은 검증 손실을 나타낸다. 모형의 학습은 미리 정해진 값인 250 에포크 내로 검증 손실이 의미 있는 폭으로 개선되지 않을 시 수렴한 것, 즉 더 이상의 학습이 소용이 없는 것으로 판단하여 학습을 멈추는 방식을 사용한다. 본 연구의 실험에서는 STAR-RNN의 LSTM 및 GRU 모형에 대해 학습 손실 및 검증 손실이 10 에포크 내에서 급격히 감소하며 300 에포크 부근에서 수렴하는 것을 관찰할 수 있다. 단일 LSTM의 경우 1200 에포크 부근에서 수렴하여 STAR-LSTM의 분해 요소에 대한 LSTM보다 더 학습이 오래 걸리는 것을 볼 수 있는데 이는 분해되지 않은 시계열의 더 높은 복잡도에 따른 것으로 추정된다. 반면 LSTM 대비 파라미터 수가 적은 단일 GRU는 LSTM 대비 더 높은 최종 손실을 보이지만 더 적은 수의 에포크에서 수렴하는 것을 확인할 수 있다.

[그림 9]는 대표적으로 브렌트유와 천연가스 쌍에 대해 테스트 기간에 대해 예측된 스프레드 값과 실제 스프레드 값을 비교한 그래프로, 전체 테스트 기간에 대하여 모든 시계열 분해 요소에 대해 실제값과 예측값이 매우 유사한 것을 볼 수 있다. 코로나 19 범유행 시기 역시 노이즈의 높은 변동성이 관찰됨에도 해당 모형은 미래 스프레드 값을 상당히 정확히 예측하고 있다.

[그림 9] 브렌트유와 천연가스 스프레드 시계열 분해 요소별 실제값과 예측값

다음 그림은 브렌트유와 천연가스 쌍에 대해 테스트 기간의 원 시계열, 추세, 계절성, 노이즈에 대해 STAR-LSTM으로 예측한 값과 실제값을 비교한 그래프이다. 삼각형 점선은 예측값, 회색선은 실제값을 나타낸다.

2) RobustSTL 분해의 최종 예측 성능 기여도 비교

[그림 10] LSTM, GRU, ARIMA 모형에 대한 웨이블릿 분해와 RobustSTL 평균 성능 기여도 비교

첫 번째로 RobustSTL 분해를 통해 도출된 개별 요소 예측 방식이 최종 스프레드 예측 성능에 기여함을 확인하기 위해, 분해하지 않은 원 시계열과 시계열 평활화 방법으로 알려진 웨이블릿 변환을 거친 스프레드 데이터를 ARIMA과 LSTM로 각각 예측하여 분해를 거치지 않은 LSTM, GRU, ARIMA와 스프레드 5쌍 평균 RMSPE 기준으로 성능을 비교하였다. [그림 10]은 해당 실험 결과를 시각화한 결과이다.

[그림 10]을 요약하면 다음과 같다.

a) RobustSTL은 모든 모형, 즉 LSTM, ARIMA, GRU와 결합할 시 최종 평균 예측 성능을 향상시키는 역할을 하고 있음을 알 수 있다. 스프레드 5쌍에 대한 평균 RMSPE 기준으로 STL-ARIMA는 시계열 분해를 거치지 않은 ARIMA 대비 7.5%의 성능 개선, STL-LSTM은 분해를 거치지 않은 LSTM 모형 대비 5.1% 성능 개선율을 보였다. STL-GRU는 분해를 거치지 않은 GRU 모형 대비 5.0% 성능 개선율을 보였다.

b) 반면 웨이블릿 변환은 에너지 선물 스프레드 예측에 있어서는 오히려 성능을 떨어뜨림을 보였다. W-ARIMA의 경우, 스프레드 5쌍 평균 RMSPE 기준으로 ARIMA 대비 2.0%, W-LSTM의 경우 LSTM 대비 18.5%, W-GRU의 경우 GRU 대비 17.4%의 성능 감소를 보였다.

c) STAR-LSTM은 ARIMA를 사용하지 않은 STL-LSTM과 LSTM을 사용하지 않은 STL-ARIMA 대비, RMSPE 기준 각각 평균적으로 1.8%, 1.2% 가량 상회하는 성능을 보였다.

d) STAR-LSTM과 STAR-GRU를 단일 모형과 STL 분해를 결합한 STL-LSTM과 STL-GRU, STL-ARIMA를 비교하였을 때 STL-LSTM의 경우 일부 쌍에 대해서는 상회하는 성능을 보였지만, 평균적으로는 STAR-LSTM과 STAR-GRU 모형이 모든 비교 모형 대비 우수한 예측력을 보이는 것을 확인할 수 있었다.

e) 결과적으로 이를 통해 스프레드 예측에 있어 RobustSTL을 통한 시계열 분해 정보의 사용이 에너지 선물 스프레드 예측에 있어 평균적으로 성능을 향상시킴을 확인하였다.

3) 코로나 19 범유행 기간에 대한 알고리즘 강건성 분석

본 연구는 STAR-RNN 알고리즘의 예측력에 대한 강건성을 입증하기 위하여 코로나 19 유행으로 인해 집중적으로 영향을 받은 기간(2020-01-01～2021-12-31)에 대해 추가적인 스프레드 예측 실험을 진행하고, 전체 테스트 기간과 예측 성능을 비교했다. [그림 11]과 <표 9>에서 볼 수 있듯이, STAR-LSTM과 STAR-GRU을 포함한 모든 모형이 코로나 19 범유행 기간에 대해 전체 테스트 기간대비 예측 오차가 높아졌으나, STAR-LSTM과 STAR-GRU 모형은 1D-CNN을 제외하고 상대적으로 우수한 예측 성능을 유지함을 알 수 있었다. 실제로 이미지에 주로 쓰였던 CNN을 시계열에 적합하게 변경해 사용하고자 하는 시도가 최근 몇 년간 이뤄졌으며, 특히 1D-CNN 모형은 이상치가 포함된 데이터에 대해 예측력이 우수하다고 알려져 있는데(Kieu et al., 2018; Wibawa et al., 2022) 코로나 19 범유행 기간에 대한 높은 성능은 이에 따른 것으로 추정되며 향후 이에 대해 RNN과 결합하는 추가 연구를 해보면 좋을 것으로 판단된다.

옥철(2020), 신성식 외 6인(2021)에 따르면 2019년 12월 31일 세계보건기구(WHO)가 중국 우한에서 코로나19 집단 감염이 발생했다는 사실을 최초로 보고 받았다. 이러한 사실에 기반해 코로나19 범유행 기간을 결정했다.

[그림 11] 전체 테스트 기간과 코로나 19 범유행 기간에 대한 평균 RMSPE 비교

<표 9> 테스트 기간별 성능(RMSPE) (상: 코로나 19 범유행 기간, 하: 전체 테스트 기간)

*B-H: 브렌트유-난방유, W-H: WTI 원유-난방유, B-W: 브렌트유-WTI 원유

W-N: WTI 원유-천연가스, B-N: 브렌트유-천연가스

	자산 조합*	STAR-LSTM	STAR-GRU	ARIMA	LSTM	GRU	1D-CNN
코로나 19 기간	B-H	0.039	0.040	0.038	0.037	0.037	0.040
	W-H	0.124	0.128	0.144	0.129	0.137	0.070
	B-W	0.163	0.162	0.173	0.181	0.178	0.073
	W-N	0.015	0.015	0.020	0.019	0.025	0.035
	B-N	0.016	0.016	0.019	0.019	0.026	0.030
전체 테스트 기간	B-H	0.036	0.039	0.035	0.035	0.035	0.048
	W-H	0.097	0.094	0.111	0.098	0.103	0.070
	B-W	0.122	0.123	0.133	0.137	0.134	0.116
	W-N	0.028	0.030	0.033	0.034	0.030	0.029
	B-N	0.015	0.017	0.019	0.021	0.031	0.028

4) 상관계수에 따른 STAR-LSTM과 STAR-GRU 모형 성능 비교

천연가스가 포함된 쌍들은 자산 종가 간 상관계수는 낮았으나 STAR-LSTM과 STAR-
GRU를 통한 스프레드 예측 시 다른 자산 조합에 비해 상회하는 성능을 보였다. 높은 상관관계, 즉 상관계수는 두 변수가 함께 증가 또는 감소하는 경향을 나타내는데, 이로 인해 상관계수가 높은 자산 쌍들은 계절성 또는 추세가 비슷한 흐름으로 보여 시계열 분해를 적용해 각 요소를 예측하는 본 모형의 이점이 LSTM, GRU, ARIMA, 및 1D-CNN 모형 대비 두드러지지 않은 것으로 생각된다. 즉, 낮은 상관관계를 보이는 쌍들은 계절성의 흐름이 달라, 스프레드에 상대적으로 더 명확한 계절성 패턴이 있으며 이에 대한 정확도 높은 모델링이 최종 예측 성능에 기여한 결과로 보인다. 이를 통해 기존의 인식과 다르게 제안된 모형 사용시 상관관계가 낮은 쌍에서 더욱 정확한 스프레드 예측이 가능함을 시사하며, 페어 트레이딩을 통해 수익을 얻을 수 있음을 유추할 수 있다. [그림 12]를 보면 자산간 상관계수와 STAR-LSTM, STAR-GRU 성능이 반비례 관계를 보이는 것을 확인할 수 있다.

[그림 12] 자산 간 상관계수와 STAR-LSTM와 STAR-GRU 모형 성능 (RMSPE 기준)

*B-H: 브렌트유-난방유, W-H: WTI 원유-난방유, B-W: 브렌트유-WTI 원유

W-N: WTI 원유-천연가스, B-N: 브렌트유-천연가스

V. 결론 및 한계점

정확한 에너지 스프레드 예측은 마진에 대한 위험 관리 수요가 있는 헤지 거래자 뿐만 아니라 스프레드 트레이딩을 통해 안정적인 수익을 추구하는 투자자, 초과 수익을 추구하는 투기자, 또 경제 상황을 파악하고자 하는 경영자 및 주식 투자자에게 유의미한 정보를 제공한다. 그러나 에너지 스프레드 예측 성능을 높이는 모형에 대한 연구는 거의 부재한 실정이다. 이런 문제의식으로 본 연구에서는 미국 에너지 선물 상품 스프레드를 대상으로 계절성이 존재한다는 가정 하에 스프레드에 대해 RobustSTL을 통해 추출한 분해 요소, 즉 추세, 계절성, 노이즈를 ARIMA와 LSTM, GRU로 각각 예측 및 결합한 새로운 Hybrid 모형을 제시하였으며, 최종적으로, 실험 결과를 토대로 다음과 같은 가정에 대해 확인을 하고 결론을 내릴 수 있었다.

첫째, RobustSTL 방식이 스프레드를 추세, 계절성, 노이즈로 효과적으로 분리하는 것을 확인했다.

둘째, 추세, 계절성, 노이즈를 포함한 각 분해 요소를 각 요소별 최적의 예측 방식인 RNN(LSTM, GRU)과 ARIMA 방법론으로 예측 후 합산된 예측치는 단일 모형 예측보다 성능이 개선됨을 확인하였다. 구체적으로는, STAR-LSTM의 경우 평균 RMSPE 기준 LSTM에 비해 6.8%, ARIMA에 비해 8.6% 예측 성능이 개선되었고, STAR-GRU의 경우 평균 RMSPE 기준 GRU에 비해 10.4%, ARIMA에 비해 9.9%의 RMSPE 개선율을 보였다.

셋째, 추세가 있는 시계열 즉 비정상적 시계열에 대해 차분이 포함된 ARIMA가 RNN 모형 대비 예측에 효과적이라는 것을 확인하였다.

넷째, 해당 모형은 특히 상관관계가 낮은 쌍의 스프레드에 대해서 기존 단일 모델(LSTM, GRU, ARIMA) 대비 상대적으로 더욱 높은 예측력을 보였다.

그러나 본 연구에는 다음과 같은 한계점도 존재한다. 제시된 모형은 에너지 스프레드의 예측에 대해서는 우수한 성과를 거두었으나 스프레드에 영향을 미치는 외생변수와의 인과 관계는 반영하지 않았다. 이는 외생변수와의 관계를 정확히 모델링하는 데 발생하는 어려움에 따른 것인데, 에너지 상품의 가격은 경제 상황 및 환율 정치 등에 영향을 많이 받기 때문에 이를 효과적으로 반영할 수 있는 모형을 개발한다면 좋을 것이다. 또한, 본 연구에서 제안한 방법은 시계열 내에 여러 기간에 대한 계절성(multi-seasonality)이 존재할 수 있는 가능성을 고려하지 않았으며 제안된 모형을 기반으로 하는 투자전략의 성과에 대한 검증은 진행하지 않았기에 향후 본 연구 결과를 토대로 이를 반영할 수 있는 방법론을 제안한다면 선물투자자, 주식투자자, 헤지 거래자들과 원유 가격의 변동에 관심이 있는 경영자들이 보다 나은 의사결정을 내리는 데 도움이 될 수 있을 것으로 기대한다.

참 고 문 헌

고봉찬, 김진우, 정우성, “주가 추세 요인의 추출방법과 수익성 분석”, 재무관리연구, 제38권 제2호, 2021, 251-288.

김범수, 최흥식, 김선웅, “페어트레이딩 전략의 수익성 연구: 해외 선물시장을 중심으로”, 경영과학, 제33권 제4호, 2016, 1-15.

김상배, “비대칭 오차수정모형을 활용한 유가와 주가지수의 관계 분석: 유가증권시장을 중심으로”, 재무관리연구, 제36권 제3호, 2019, 141-168.

김연규, “제1장: 셰일혁명과 신국제 에너지 질서”, 세계정치, 제23권, 2015, 29-81.

김영민, 김정수, 이석준, “주가지수 선물의 가격 비율에 기반한 차익거래 투자전략을 위한 페어트레이딩 규칙 개발”, 한국산업경영시스템학회지, 제37권 제4호, 2014, 202-211.

박유성, 김기환, “SAS/ ETS를 이용한 시계열자료분석 I”, 자유아카데미, 2002, 105-106.

옥철, “WHO, 코로나19 팬데믹 선언”, 연합뉴스, 2020.

이상열, “시계열 분석 이론 및 SAS 실습”, 자유아카데미, 2013.

정인곤, 박대근, 전덕빈, “구조적 변화 감지 과정이 포함된 페어트레이딩 알고리즘의 성과분석”, 한국경영과학회지, 제42권 제3호, 2017, 13-24.

진우성, “리포트-제 2 의 셰일혁명은 무엇이 다른가?”, Korea Petroleum Association Journal, 2017, 38-41.

Akiba, T., S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna: A Next-Generation Hyperparameter Optimization Framework,” Proceedings of the 25th ACM KDD International Conference on Knowledge Discovery & Data Mining, 2019.

Bao, W., J. Yue, and Y. Rao, “A Deep Learning Framework for Financial Time Series Using Stacked Autoencoders and Long-Short Term Memory,” Plos One, 12(7), (2017), 1-24.

Bibby, J. and H. Toutenburg, “Prediction and Improved Estimation in Linear Models,” Wiley, 1977.

Brim, A., “Deep Reinforcement Learning Pairs Trading with a Double Deep Q-Network,” 2020 10th Annual Computing and Communication Workshop and Conference, IEEE, 2020.

Borowski, K., “Analysis of Selected Seasonality Effects in Markets of Futures Contracts With the Following Underlying Instruments: Crude Oil, Brent Oil, Heating Oil, Gas Oil, Natural Gas, Feeder Cattle, Live Cattle, Lean Hogs and Lumber,” Journal of Management and Financial Sciences, 9(26), (2016), 27-44.

Buyuksahin, B., T. K. Lee, J. T. Moser, and M. A. Robe, “Physical Markets, Paper Markets and the WTI-Brent Spread,” The Energy Journal, 34(3), (2013), 129-151.

Cahuantzi, R., X. Chen, and S. Güttel, “A Comparison of LSTM and GRU Networks for Learning Symbolic Sequences,” arxiv preprint arxiv:2107.02248, 2021.

Choi, H. K., “Stock Price Correlation Coefficient Prediction with ARIMA-LSTM Hybrid Model,” arxiv preprint arxiv:1808.01560, 2018.

Cho, K., B. Van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, “Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation,” arxiv preprint arxiv:1406, 1078, 2014.

Cleveland, R. B., W. S. Cleveland, J. E. McRae, and I. Terpenning, “STL: A Seasonal-Trend Decomposition Procedure Based on Loess (With Discussion),” Journal of Official Statistics, 6, (1990), 3-73.

CME Group, “Introduction to Crack Spreads”, CME Group, 2017, https://www.cmegroup.com/education/articles-and-reports/introduction-to-crack-spreads.html. Accessed Jun 2, 2022.

De Myttenaere, A., B. Golden, B. Le Grand, and F. Rossi, “Mean absolute percentage error for regression models,” Neurocomputing, 192, (2016), 38-48.

Dickey, D. A. and W. A. Fuller, “Distribution of the Estimators for Autoregressive Time Series With a Unit Root,” Journal of the American Statistical Association, (1979), 427-431.

Dunis, C. L., J. Laws, and B. Evans, “Trading Futures Spreads: An Application of Correlation and Threshold Filters,” Applied Financial Economics, 16, (2006), 903-914.

Energy Intelligence Group, “International Crude Oil Market Handbook,” 2011, http://www.energyintel.com. Accessed 2 Jun. 2022.

Gatev, P., “Feedforward Ankle Strategy of Balance during Quiet Stance in Adults,” The Journal of Physiology, 514(3), (1999), 915-928.

Gatev, E., W. N. Goetzmann, and K. Geert Rouwenhorst, “Pairs Trading: Performance of a Relative-Value Arbitrage Rule,” The Review of Financial Studies, 19(3), (2006), 797-827.

Géron, A., “Hands-on Machine Learning with Scikit-Learn, Keras, and Tensorflow: Concepts, Tools, and Techniques to Build Intelligent Systems,” O’Reilly Media, Inc, 2019.

Hamzaçebi, C., “Improving Artificial Neural Networks’ Performance in Seasonal Time Series Forecasting,” Information Sciences, 178(23), (2008), 4550-4559.

Hochreiter, S. and J. Schmidhuber, “Long Short-Term Memory,” Neural Computation, 9(8), (1997), 1735-1780.

Holt, C. C., “Forecasting Seasonals and Trends by Exponentially Weighted Moving Averages,” Journal of American Statistical Association, (1957), 112-125.

Hudson and Thames. https://hudsonthames.org/distance-approach-in-pairs-trading-part-i/. Accessed 17 Jun. 2022.

Hyndman, R. J. and G. Athanasopoulos, “Forecasting: Principles and Practice,” Otexts, 2018.

Ji, L., Y. Zou, K. He, and B. Zhu, “Carbon Futures Price Forecasting Based With ARIMA-CNN-LSTM Model,” Procedia Computer Science, (2019), 33-38.

Khandelwal, I., R. Adhikari, and G. Verma, “Time Series Forecasting Using Hybrid ARIMA and ANN Models Based on DWT Decomposition,” Procedia Computer Science, 48, (2015), 173-179.

Kim, S.-H., D.-Y. Park, and K.-H. Lee, “Hybrid Deep Reinforcement Learning for Pairs Trading,” Applied Sciences, 12(3), (2022), 944.

Mangalampalli, R., “Stock Prediction Using Hybrid ARIMA and GRU Models,” International Journal of Engineering Research & Technology, 9(5), (2020), 2278-0181.

Milonas, N. T. and T. Henker, “Price Spread and Convenience Yield Behaviour in the International Oil Market,” Applied Financial Economics, 11(1), (2001), 23-36.

Patro, S. and K. K. Sahu, “Normalization: A Preprocessing Stage,” arxiv preprint arxiv:1503.06462, 2015.

Smith, T. G., “pmdarima: ARIMA Estimators for Python,” 2017.

Song, D., A. Matias, C. Baek, and N. Kim, “Forecasting Stock Market Indices Using Padding-Based Fourier Transform Denoising and Time Series Deep Learning Models,” IEEE Access, 9, (2021), 83786-83796.

Suna, S., “Seasonal and Trend Forecasting of Tourist Arrivals: An Adaptive Multiscale Ensemble Learning Approach,” Arxiv Preprint Arxiv:2002. 08021,ㅌㄴ 2020.

Tang, Q., T. Fan, R. Shi, J. Huang, and Y. Ma, “Prediction of Financial Time Series Using LSTM and Data Denoising Methods,” arxiv preprint, arxiv:2103. 03505, 2021.

Wang, H., G. Li, and G. Jiang, “Robust Regression Shrinkage and Consistent Variable Selection Through the Lad-Lasso,” Journal of Business & Economic Statistics, 25(3), 2007, 347-355.

Wen, Q., “RobustSTL: A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series,” Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), (2019).

THE KOREAN JOURNAL OF FINANCIAL MANAGEMENT

*	Co-First Author, Master’s Student, Graduate School of Information, Yonsei University,
E-mail: minkkim1228@gmail.com

**	Co-First Author, Master’s Student, Graduate School of Information, Yonsei University,
E-mail: hwangssu@yonsei.ac.kr

***	Corresponding Author, Assistant Professor, Graduate School of Information, Yonsei University,
E-mail: hayoung.kim@yonsei.ac.kr

Volume 39, Number 4, August 2022

Time Series Decomposition and Hybrid RNN-Based Spread Prediction:
Focused on the International Energy Futures Market

Minkyoung Kim*․Sujeong Hwang**․Ha Young Kim***

		<Abstract>
	Since futures spreads are used strategically as a signal for market direction or as an instrument to hedge against risk or make profits, accurate spread prediction is crucial to many market participants who are willing to manage risk or capitalize on profitable opportunities. Therefore, this study aims to improve the predictive power of future spreads by considering various time-series characteristics embedded in energy futures spreads. In this regard, we present STAR-RNN, a spread prediction model that combines RobustSTL, ARIMA, and RNN (LSTM and GRU), by decomposing spreads into time series elements, trends, seasonalities, and noise, to predict future time series. The experiment was conducted using spread data calculated from WTI crude oil, Brent oil, heating oil, and natural gas futures from 2005 to 2021. As a result of the experiment, STAR-LSTM reduced RMSPE by 6.8% and 8.6% on average, compared to LSTM and ARIMA, and STAR-GRU reduced RMSPE by 10.4% and 9.9% on average, compared to GRU and ARIMA. These results indicate that the decomposed elements from the original time series play an important role in improving the final spread prediction performance.
Keywords：Spread Trading, Time-series Decomposition, RNN, Spread Prediction, Energy Futures