标签：继续预训练
-
领域适配的 continue pretrain 配比：混入通用数据防止遗忘在法律、医疗、金融这类垂直领域做 continue pretrain，配比决定成败：全领域数据会遗忘通用能力，纯通用数据又学不到领域。这篇推导混合配比的损失分解，盘点 Don't Stop Pretraining 以来的证据，给出可操作的配比起点与验收标准。
在法律、医疗、金融这类垂直领域做 continue pretrain，配比决定成败：全领域数据会遗忘通用能力，纯通用数据又学不到领域。这篇推导混合配比的损失分解，盘点 Don't Stop Pretraining 以来的证据，给出可操作的配比起点与验收标准。