워크포워드 검증과 과최적화 (WFE · DSR · PBO)
규칙과 파라미터를 바꿔 가며 같은 과거 데이터로 계속 시험하면, 결국 과거에만 잘 맞는 규칙이 남습니다. 이 페이지는 백테스트에서 소개한 워크포워드 검증을 숫자로 평가하는 법과, 몇 번 시도했는지를 성과 평가에 반영하는 두 가지 통계 도구(DSR, PBO)를 다룹니다.
이 페이지 목차
1개념
- 과최적화: 규칙이 시장의 지속적인 특성이 아니라 그 데이터에 우연히 섞인 잡음에 맞춰진 상태입니다. 시도한 조합이 많을수록, 데이터가 짧을수록 쉽게 생깁니다.
- 워크포워드 검증: 학습 구간에서 파라미터를 고른 뒤 바로 다음 구간(검증 구간)에서 성과를 재고, 창을 옮겨 가며 반복합니다. 로버트 파르도(Robert Pardo)가 『Design, Testing, and Optimization of Trading Systems』(1992)와 개정판 『The Evaluation and Optimization of Trading Strategies』(Wiley, 2008)에서 체계적으로 다뤘습니다.
- 워크포워드 효율(WFE): 검증 구간 성과가 학습 구간 성과의 몇 %인지 나타냅니다. 트레이드스테이션의 워크포워드 최적화 도움말은 연환산 검증 수익을 연환산 학습 수익으로 나눈 값으로 정의합니다.
- 디플레이티드 샤프 비율(DSR): 데이비드 베일리(David H. Bailey)와 마르코스 로페스 데 프라도(Marcos López de Prado)가 2014년 『Journal of Portfolio Management』에 발표했습니다. 여러 전략 중 가장 좋은 것을 골랐을 때 생기는 선택 편향과, 수익률 분포가 정규분포가 아닌 점(치우침, 두꺼운 꼬리)을 반영해 샤프 비율을 할인합니다.
- 백테스트 과최적화 확률(PBO): 베일리, 조너선 보웨인(Jonathan Borwein), 로페스 데 프라도, 짐 주(Qiji Jim Zhu)가 『Journal of Computational Finance』에 발표한 논문에서 제안했습니다. 학습 구간 1등 전략이 검증 구간에서 중간 순위보다 못할 확률을 추정합니다.
2계산과 보는 법
워크포워드 효율
학습 구간 연 24%, 검증 구간 연 12%라면 WFE는 50%입니다. 아래는 다섯 번 창을 옮긴 예입니다. [사이트 계산]
| 회차 | 학습(IS) | 검증(OOS) | 회차별 OOS ÷ IS |
|---|---|---|---|
| 1 | 18.0 | 9.5 | 52.8% |
| 2 | 22.0 | 6.0 | 27.3% |
| 3 | 15.0 | 11.0 | 73.3% |
| 4 | 26.0 | −4.0 | −15.4% |
| 5 | 20.0 | 12.5 | 62.5% |
| 평균 | 20.2 | 7.0 | 34.7% (평균끼리 나눔) |
회차별 비율은 27%에서 73%, 심지어 음수까지 흩어집니다. 평균끼리 나눈 WFE는 34.7%이고, 4회차처럼 검증 구간에서 손실이 난 회차가 있다는 점도 함께 기록해야 합니다. [사이트 계산]
여러 번 시도하면 생기는 일
효과가 전혀 없는 전략을 한쪽 2.5% 유의수준으로 시험하면, 한 번에 우연히 '유의'하게 나올 확률은 2.5%입니다. 서로 독립인 시험을 k번 하면 적어도 하나가 유의하게 나올 확률은 1 − 0.975k입니다.
| 시험 횟수 k | 적어도 하나가 우연히 유의할 확률 |
|---|---|
| 1 | 2.5% |
| 10 | 22.4% |
| 20 | 39.7% |
| 100 | 92.0% |
디플레이티드 샤프 비율
먼저 '이 정도 시도라면 운만으로도 나올 법한 최고 샤프 비율'(SR0)을 구하고, 실제 샤프 비율이 그보다 크다고 볼 확률을 계산합니다.
| 시도한 전략 수 N | SR₀ (연환산) | DSR | 95% 기준 |
|---|---|---|---|
| 10 | 1.113 | 0.994 | 통과 |
| 100 | 1.789 | 0.900 | 미달 |
| 1,000 | 2.302 | 0.640 | 미달 |
같은 SR 2.5라도 시도가 한 번뿐이었다면(SR₀ = 0) 확률은 0.999997로 거의 확실해 보입니다. 하지만 100개 중 1등을 고른 것이라면 0.90으로 떨어져 95% 기준을 넘지 못합니다. 왼쪽 꼬리가 두꺼운(왜도 음수) 수익률일수록 할인이 커집니다. [사이트 계산]
PBO (조합 대칭 교차검증)
여러 전략 후보의 수익률 기록을 시간 순서로 S개 덩어리로 나눕니다. 그중 절반을 학습용, 나머지 절반을 검증용으로 쓰는 모든 조합을 만듭니다. S = 16이면 조합은 C(16, 8) = 12,870개입니다. 각 조합에서 학습 구간 1등 전략을 고르고, 그 전략이 검증 구간에서 몇 등인지 봅니다. 검증 순위가 중간보다 아래인 조합의 비율이 PBO입니다.
3해석
- WFE: 높을수록 학습 성과가 검증에서도 유지된다는 뜻입니다. 트레이드스테이션 도움말은 WFE 50% 이상을 성공적인 결과의 대략적인 기준으로 제시하고, 한 번의 거래나 한 회차가 전체 순이익의 50%를 넘으면 분석을 믿기 어렵다고 덧붙입니다. 파르도 원전의 정확한 기준은 확인하지 못했습니다(미확인). 수치 하나보다 회차별 흩어짐과 손실 회차 수를 함께 봅니다.
- DSR: 0.95 이상이면 시도 횟수를 감안해도 샤프 비율이 0보다 크다고 볼 근거가 있다는 뜻입니다. N을 실제보다 작게 적으면 결과가 부풀려지므로, 시도한 횟수를 정직하게 기록하는 것이 전제입니다.
- PBO: 0.5에 가까우면 '가장 좋아 보이는 것을 고르는 과정' 자체가 잡음을 고르고 있을 가능성이 큽니다. 낮을수록 선택이 의미 있었다는 뜻입니다.
4매매 활용 예시
5주의점 · 한계
- 워크포워드도 반복하면 과최적화됩니다. 워크포워드 결과를 보고 규칙을 고친 뒤 다시 돌리면, 검증 구간이 사실상 학습 구간이 됩니다.
- DSR의 N은 서로 독립인 시도 수를 뜻합니다. 비슷한 파라미터 100개는 실질적으로 그보다 적은 독립 시도입니다. 원 논문은 이를 추정하는 방법도 논의하지만, 정확히 세기는 어렵습니다.
- PBO는 후보 전략들의 전체 수익률 기록이 있어야 계산할 수 있습니다. 머릿속으로 버린 아이디어는 반영되지 않습니다.
- 세 도구 모두 과거 데이터 안에서의 검사입니다. 시장 구조가 바뀌면 통과한 전략도 실패할 수 있습니다. 거래 비용을 빼지 않은 성과로 계산하면 결론이 달라집니다.
+더 알아보기
Robert Pardo, 『The Evaluation and Optimization of Trading Strategies』(Wiley, 2008), David H. Bailey · Marcos López de Prado, 'The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality'(Journal of Portfolio Management, 2014), David H. Bailey · Jonathan Borwein · Marcos López de Prado · Qiji Jim Zhu, 'The Probability of Backtest Overfitting'(Journal of Computational Finance), Marcos López de Prado, 『Advances in Financial Machine Learning』(Wiley, 2018)을 참고할 수 있습니다. 데이터 스누핑이 실증 연구에서 어떻게 다뤄졌는지는 효율적 시장 가설과 실증 연구에서 이어집니다.
다른 분류에서 이어 볼 페이지: 이동평균 (SMA · EMA)
참고한 자료: DSR·PBO 논문 서지와 공개 원고, 트레이드스테이션 워크포워드 최적화 도움말(WFE 정의, 2차 자료), Pardo 책 서지 정보 (2026년 10월 확인)
확인일 · 제도·수치는 이 날짜 기준입니다. 작성 원칙