过拟合在历史复盘中的记录模板
在历史复盘工作中,过拟合是指策略或模型的参数对特定历史数据过度适配,导致其在样本外表现与样本内出现显著差异。为客观记录这一现象,需要一套标准化的记录模板,仅记载已发生的规则、事实与统计结果,不包含任何前瞻性判断。
(1)基础字段。每一条复盘记录应包含以下固定字段,缺一不可:
记录日期:以自然日为单位,格式为YYYY-MM-DD。
标的或组合标识:仅使用公开代码或公开指数名称,不编造内部代号。
复盘区间:起止日期,精确到日。
参数集描述:列出所有被调整过的参数名称及取值,例如“移动平均窗口=20”。
样本内区间与样本外区间:明确划分,通常以时间先后或随机分割方式确定,以官方回测规则为准。
样本内表现指标:如累计收益率、最大回撤、夏普比率等,注明计算频率(日频/周频)。
样本外表现指标:同上,但必须来自未参与参数调整的数据段。
过拟合判定标记:采用“是/否/待观察”三档,判定依据需附一行说明。
(2)记录频率。建议按以下频率执行,以保持记录的一致性与可比性:
每次参数调整后立即记录一次,不得事后补记。
每周汇总一次,检查是否存在同一参数在多个区间反复微调的情况。
每月生成一份过拟合标记统计表,仅统计已发生的“是”与“否”数量,不做趋势外推。
每季度复核一次样本内外划分规则是否被无意修改,修改需单独记录原因与日期。
(3)异常标注方式。当出现以下已发生情形时,应在对应字段后添加统一前缀标注:
标注“【样本内偏优】”:样本内表现指标显著高于样本外,例如样本内夏普比率是样本外的两倍以上,具体倍数以官方统计口径为准。
标注“【参数敏感】”:相邻参数值(如窗口=19与21)导致样本内表现大幅波动,波动幅度通常用百分比记录。
标注“【区间依赖】”:更换样本内起止日期后,最优参数发生改变,需记录新旧参数及各自对应的区间。
标注“【重复调参】”:同一参数在连续三个记录周期内被修改,记录每次修改前后的取值与日期。
标注“【数据窥探】”:在样本外区间上多次尝试不同参数后,仅保留表现最好的一次结果,需记录尝试次数与最终参数。
所有标注仅描述已发生的操作与统计差异,不评价策略优劣,不预测未来表现。记录模板本身不构成任何投资建议,使用者应依据公开数据平台的计算规则与自身合规要求执行。历史复盘记录应保存原始数据与计算脚本的版本号,以便复核时确认无事后修改。对于无法确定具体数值的字段,应填写“以官方规则为准”或“通常”,不得编造数字。