过拟合与样本外测试:检验参数是否脆弱
回测中常看到一条被反复调参打磨得异常完美的收益曲线,这种好看往往不是规则强,而更可能是过拟合——研究者让规则过多贴合了某一段特定历史。检验这一点最核心的手段,是把数据分成样本内与样本外,看结论在没见过的那段时间还能不能成立。
什么是过拟合
过拟合指规则捕捉了历史样本里的细节噪音而非稳定结构。当研究者自由调整参数,让结果在某区段最大化时,等于把偶然刻进了规则里;拿到另一段历史,表现往往大幅缩水,这便是把运气当成了能力。
样本外与滚动窗口
- 样本外测试:先用前段数据确定参数与规则,再绝不改动地把规则应用到没参与定参的后段数据上检验,这是最基本的防伪手段。
- 滚动窗口:把整段历史切成连续片层,逐段用前段定参、后段验证并滚动推进,让每段结论都至少接受过一次样本外检验。
- 时段交叉:分别检验弱市、强市、震荡等不同制度环境下的表现,若只在某一环境成立,须如实说明适用边界。
分辨技巧
可用不同的参数取值看收益面是否是一条平滑高原而非一座孤峰;若只有极其狭窄的参数带内表现好,多半过拟合。参数越多、改动越频繁,过拟合风险越大。报告时应固定不调用样本外做任何二次优化,否则样本外也悄悄变成样本内。
过拟合检验是回测里最要紧的一课:它提醒我们,好看的历史曲线可能与未来无关。以上办法都用于判断规则的历史稳定程度,讲的是样本内描述与外推置信度,不属于对未来方向的断言。