标签：数据工程
-
合成数据的边界：model collapse 与自产自销数据的退化机制用模型自己生成的数据训下一代模型，表面上省钱，数学上却是分布向均值收缩的递归过程。这篇推导 model collapse 的高斯玩具模型，区分"尾部消失"与"全部退化"两个阶段，再讨论合成数据真正安全的用法。
-
数据清洗流水线：去重、过滤、脱敏与 MinHash 近重复检测从原始爬取到可训练语料要过语言识别、质量过滤、三级去重、去污染、PII 脱敏五道关。这篇推导 MinHash + LSH 的碰撞概率公式，讲清阈值怎么定，以及每道工序的成本与收益账本。