样本外验证的记录模板
样本外验证,是指把一部分数据留出来不参与模型或规则的拟合,再用这部分数据检验结论是否稳健。它的核心逻辑是:如果一套规则只在被拟合过的数据上表现良好,而在未见过的数据上表现变差,说明该结论可能只是对历史噪声的过度贴合。对普通投资者而言,理解这一方法的意义不在于自己建模,而在于看懂一份历史复盘记录是否诚实、是否可复核。
一份客观的记录模板,应当只记录已发生的事实,不包含对未来的推断。以下字段可按固定顺序逐条填写,每行一条:
- 记录日期:填写撰写当日,格式为年-月-日。
- 验证对象:说明被检验的规则或结论,用一句话描述,不涉及具体个股名称。
- 拟合区间:参与拟合的起止时间,以官方交易日为准。
- 样本外区间:未参与拟合的起止时间,与拟合区间不重叠。
- 数据来源:注明公开渠道,如交易所公告、指数编制规则文件。
- 样本外样本量:记录区间内的观测条数,通常以交易日或统计期为单位。
- 检验指标:写明所用口径,如命中次数、偏差方向、离散程度。
- 拟合区间结果:只记已发生的统计值,不写评价性词句。
- 样本外结果:同上,与拟合区间分列,便于对照。
- 差异描述:客观陈述两组结果的数值差别,不做因果推断。
- 异常标注:对偏离预期或数据缺失的条目单独标记。
- 备注:记录口径变更、数据修订等已发生事项。
频率方面,记录可按固定周期更新,常见做法是每个样本外区间结束后更新一次,或在数据源发布修订公告后同步更新。频率一旦确定,就应保持一致,避免因结果好坏而选择性记录。若中途调整频率,须在备注中写明调整日期与原因,这也是已发生事实的一部分。
异常标注建议采用统一符号,便于检索。例如:
- 数据缺失:标注为“缺”,并写明缺失的起止日期。
- 口径变更:标注为“改”,并写明变更依据的官方文件。
- 极端值:标注为“极”,并写明该值出现的日期,不解释成因。
- 与拟合区间方向相反:标注为“反”,仅陈述方向,不写判断。
需要强调的是,样本外验证只回答“在留出的历史数据上,结论是否仍然成立”,它不构成对未来的任何推断。样本外结果良好,不代表后续同样良好;样本外结果变差,也不代表规则失效,只说明在该段已发生的数据中表现不同。记录模板的价值在于把“看过哪些数据、用了哪些口径、得到了什么数值”固定下来,使复盘可被他人复核。数字不确定时,应以官方规则和公开披露为准,通常不自行估算。任何带有“预计”“有望”性质的表述,都不属于本模板的记录范围。