标签：评估

• 
  评测去污染：n-gram 重叠与嵌入相似度两种检测的完整流程

  2025-11-27 · ai

  评估数据清洗基准测试

  GSM8K 的解题过程在 GitHub 上被转载、MMLU 的题目进了维基和教科书——公开基准天生泡在训练语料里。这篇走一遍主流的两条去污染流水线：n-gram 重叠（精确、可解释）与嵌入相似度（抓改写），并讨论阈值怎么定、漏网的那部分怎么办。