过拟合的进阶用法:把口径说清楚
过拟合,通常指模型参数对历史数据过度适配,以至于在样本外失效。普通投资者接触到的多是“避免过拟合”的告诫,但进阶用法恰恰是主动把“过拟合”当作一把尺子,用来检验任何统计结论的成立边界。这里的核心不在算法,而在口径——即你如何定义“历史数据”、如何设定“适配”的检验窗口、以及数据来源是否可追溯。
(1)定义边界。过拟合并非绝对错误,它描述的是“参数数量与样本信息量不匹配”的状态。例如,用过去五年日线数据拟合一个含上百个参数的择时规则,必然能完美解释历史,但这不构成预测能力。反过来,若只用两个参数描述同一段行情,拟合残差较大,却可能更接近真实规律。边界在于:当模型复杂度超过数据所能支撑的信息量时,拟合优度不再反映规律,而是反映噪声。
(2)计算前提。任何过拟合讨论都依赖三个前提:样本区间固定、参数优化标准明确、样本外检验规则预先设定。以A股常见指数为例,若用2015年至2019年数据构建“均线交叉”规则,需明确均线周期、交叉方向、持有天数、交易成本假设。若这些口径不写清楚,同一段行情可以得出截然不同的“历史胜率”。更关键的是,样本外检验必须用未参与拟合的数据,比如用2015-2019年定参,再用2020-2023年验证,否则只是自我确认。
(3)数据来源。公开数据平台通常提供前复权、后复权与不复权价格,三者对历史收益率的计算影响显著。例如,某股票在2017年实施高比例送转,不复权价格在除权日出现“断崖”,若用不复权价计算均线,会生成虚假卖出信号;而前复权价则平滑处理,但早期价格可能被调整为负数(极端情况)。因此,复盘时必须注明数据源类型、复权方式、分红再投资假设。以官方披露的指数行情为准,通常比个股数据更少受此类干扰。
可复现的复盘例子如下:选取某宽基指数2010年至2015年日线数据,设定规则为“收盘价高于20日均线则持有,否则空仓”。参数仅两个(均线周期与比较方向),样本内拟合胜率约55%,但若将数据源从后复权改为前复权,因分红调整差异,2012年至2013年部分交易日的信号会翻转,胜率可能降至52%以下。若进一步将样本区间改为2011年至2016年,即便同一规则,样本内胜率又会变化。这个例子说明:同一逻辑、同一参数,仅因口径不同,结论便不可直接比较。
因此,进阶用法的实质是:把过拟合从“避讳”转为“诊断工具”。当有人告诉你某个历史统计结果时,先问三个问题——数据从哪来、参数怎么定的、检验区间是否独立。若对方无法回答,则该结论的适用边界不明,应视为未定论。反之,若口径清晰,即便存在一定过拟合,你也能判断其可信度与局限。财经知识的价值不在于记住结论,而在于能拆解结论的构建条件。简学数据平台在展示历史统计时,均标注样本区间与计算规则,供使用者自行复核,正是基于这一原则。