标签：MinHash
-
数据去重的三个层次：exact、near 与 semantic 的成本收益账同一份网页可能被爬几十遍，不去重的语料等于把一部分 token 预算花在重复样本上。这篇按 exact → near → semantic 三个层次拆解去重的原理（哈希、MinHash-LSH、嵌入聚类）、各自的去重率和算力成本，给出什么规模该做到哪一层的实操建议。
-
数据清洗流水线：去重、过滤、脱敏与 MinHash 近重复检测从原始爬取到可训练语料要过语言识别、质量过滤、三级去重、去污染、PII 脱敏五道关。这篇推导 MinHash + LSH 的碰撞概率公式，讲清阈值怎么定，以及每道工序的成本与收益账本。