标签：数据清洗
-
数据去重的三个层次：exact、near 与 semantic 的成本收益账同一份网页可能被爬几十遍，不去重的语料等于把一部分 token 预算花在重复样本上。这篇按 exact → near → semantic 三个层次拆解去重的原理（哈希、MinHash-LSH、嵌入聚类）、各自的去重率和算力成本，给出什么规模该做到哪一层的实操建议。
-
评测去污染：n-gram 重叠与嵌入相似度两种检测的完整流程GSM8K 的解题过程在 GitHub 上被转载、MMLU 的题目进了维基和教科书——公开基准天生泡在训练语料里。这篇走一遍主流的两条去污染流水线：n-gram 重叠（精确、可解释）与嵌入相似度（抓改写），并讨论阈值怎么定、漏网的那部分怎么办。
-
休眠户与不合格账户治理：监管口径如何映射成数据清洗任务休眠户不是"很久没登录"的业务概念，而是中登和证监会有明确定义的监管口径，落到系统里是一组可以逐条翻译成 SQL 的筛选条件。这篇拆解休眠户/不合格账户的认定标准、批量治理流程，以及激活链路的实现要点。