永利皇宫官网,永利皇宫赌场,永利皇宫娱乐城,永利皇宫注册,永利皇宫,永利皇宫app,永利皇宫发财车,永利赌场,永利集团,永利娱乐城,永利娱乐场,永利澳门,永利博彩,澳门永利皇宫博彩官网,网上澳门彩官网,澳门永利

　　第二阶段：偏好优化。为优化标注策略，团队设计了策略学习方案。团队对每个样本从 PASTA-SFT 模型采样多种标注方案，然后基于两项指标评估这些方案：理论加速比和内容质量（由 Gemini 1.5 Pro 评估）。根据评估结果，团队构建「拒绝采样数据集」，该数据集包含每个输入的最佳和最差标注方案。最后，团队用 BoNBoN 算法对 PASTA-SFT 模型进行偏好优化，得到最终的 PASTA 模型。

　　质量-速度平衡的 Pareto 前沿。如图所示，PASTA 通过调节质量权重参数生成了一系列的模型。在不同的生成质量的情况下，PASTA 均能提供非常可观的加速。结果显示，即使最注重质量的 PASTA 模型也能提供显著加速，而最快的模型则以一定的质量牺牲换取接近 2 倍的速度提升。与基于手动设计的异步生成方案（Skeleton-of-Thought, APAR）相比，PASTA 模型展现出全面优势。