标签:指令微调
-
指令数据的构造:Self-Instruct 的自助扩增与 Evol-Instruct 的演化进化
高质量人工指令数据贵且慢,Self-Instruct 用 175 条种子任务让模型自己扩增出 5 万条,Evol-Instruct 再用"演化算子"把简单题变复杂。这篇走一遍两条流水线的机制、各自的多样性瓶颈和过滤设计,以及为什么不能拿基准题当种子。
高质量人工指令数据贵且慢,Self-Instruct 用 175 条种子任务让模型自己扩增出 5 万条,Evol-Instruct 再用"演化算子"把简单题变复杂。这篇走一遍两条流水线的机制、各自的多样性瓶颈和过滤设计,以及为什么不能拿基准题当种子。