标签：去重

• 
  数据清洗流水线：去重、过滤、脱敏与 MinHash 近重复检测

  2026-02-18 · ai

  数据工程去重MinHash

  从原始爬取到可训练语料要过语言识别、质量过滤、三级去重、去污染、PII 脱敏五道关。这篇推导 MinHash + LSH 的碰撞概率公式，讲清阈值怎么定，以及每道工序的成本与收益账本。