样本外验证在历史复盘中的记录模板
样本外验证,是指用未参与拟合的数据去检验结论稳健性的方法。在历史复盘中,它不用于预测未来,而是回答一个已发生的问题:某个规律在它没见过的历史区间里,是否依然成立。为便于长期对照,记录应当模板化、字段化,并且只写已经发生的事实,不写判断与预期。
一套客观记录模板,通常包含以下字段,每行一条:
记录编号:按时间顺序唯一编号,便于回溯。
记录日期:填写观察或复核发生的日期,非数据所属日期。
数据区间:拟合所用样本的起止时间,以官方规则或数据源标注为准。
验证区间:未参与拟合的样本起止时间,须与拟合区间不重叠。
样本来源:数据出处名称与口径,如指数、统计口径、复权方式。
验证方法:如分段留出、滚动窗口等,只写方法名称与参数。
观察指标:如命中次数、偏差方向、偏差幅度区间等可计量项。
实际结果:填写已发生的数值或事实描述,不写推测。
与拟合期对比:仅陈述两者差异,如“方向一致”“幅度更大”。
异常标注:按统一符号标记,见下文说明。
记录人:填写记录者代号即可。
记录频率一般按验证区间的长度确定。常见做法是:每完成一个独立验证区间记录一次;若采用滚动窗口,则每个窗口结束时记录一次;对同一结论的多次验证,按时间顺序逐条累加,不覆盖旧记录。频率一旦设定,通常保持不变,以便横向比较;如需调整,应在记录中注明调整日期与原因,原因也只写已发生的事实,如“数据源口径变更”。
异常标注方式建议统一,避免歧义,常见符号如下:
“△”:验证区间内结果与拟合期方向相反。
“○”:验证区间内样本量不足,不足以形成有效对照。
“□”:数据缺失或口径不一致,导致无法计算。
“☆”:结果落在拟合期历史波动范围之外。
“—”:无异常,正常记录。
标注只描述现象,不解释成因,也不给出应对动作。例如出现“△”时,只记录“方向相反,幅度为某区间”,不写“说明规律失效”这类判断。所有数值若不确定,应写“以官方规则为准”或“通常”,不臆造具体数字。
历史复盘的价值在于留下可核对的痕迹。样本外验证的记录模板,本质是把“我验证过”变成“我按固定字段、固定频率、固定符号,记录了一段已发生的历史”。它不承诺结论继续有效,也不构成任何操作依据,只是让后来的自己或他人,能沿着同样的字段重新走一遍。对普通投资者而言,养成这种记录习惯,比记住某一个结论更有意义。