德邦证券:模型蒸馏技术爆发年 加速AI平权
德邦证券发布研报称,从DeepSeekR1到s1,不断证明着2025年将是大模型普惠的起点,AI应用与端侧或将同时迎来AI成本下降与模型能力提升的全面加强;此外,在蒸馏技术支持下,Jevons悖论或得到持续论证,有望涌现更多现象级的高性价比小模型,在部署在端侧和应用的同时,推动模型逐渐从预训练向推理转变,国产算力有望在推理算力爆发下迎来价值重估。
德邦证券主要观点如下:
成本仅50美元,性能媲美o1与R1,模型蒸馏技术的爆发年。
根据TechCrunch,李飞飞等斯坦福大学和华盛顿大学的AI研究人员的一篇新研究论文表示,他们成功地用不到50美元的费用训练了一个AI推理模型s1(仅为云计算服务费用,不包括服务器、显卡等硬件投入费用)。
1)技术路径:论文指出,推理模型可以通过相对较小的数据集和监督微调(SFT)的过程进行蒸馏,其中AI模型被明确指导去模仿数据集中的某些行为。具体来说,团队构建了“s1K”的数据集,由1000个精心筛选的问题组成,每个问题都配有推理轨迹(reasoning traces)和从Gemini Thinking Experimenta蒸馏而来的答案。接着团队在一个预训练模型上进行监督微调(SFT),仅使用16张H100GPU训练26分钟。此外,为了提高答案的准确度,研究团队还运用了一种“预算强制”技术,可以控制测试时间计算,通过强制提前终止模型的思考过程,或在s1推理时多次追加“等待”指令以延长思考,从而优化性能。
2)测试结果:根据研究团队的测试结果可知,在竞赛数学问题上,s1-32B的表现较o1-preview高27%(MATH和AIME24);且该模型在AIME24上的表现几乎与Gemini2.0 Thinking API相当,显示其蒸馏过程是有效的。
低成本、开源与蒸馏将大幅降低AI模型开发门槛,有望加速AI平权过程
根据极客公园,早在2025年1月,深度求索发布推理模型DeepSeek-R1正式版,采用MIT协议,同步开源模型权重,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。DeepSeek主动引导将R1作为教师模型来蒸馏出一个更小但仍有实力的模型,通过DeepSeek-R1的输出,蒸馏了6个小模型开源给社区,其中32B和70B模型在多项能力上实现了对标Open AI o1-mini的效果。
结合此次李飞飞团队通过超低成本从Gemini Thinking Experimenta模型中蒸馏出的数据中训练了s1,同样取得了优异的模型性能,既印证了蒸馏技术是推动模型小型化与商品化的重要手段,有望缩小开源与闭源模型性能差距,从而加速AI平权过程;又为AI应用与端侧的爆发打下基础。
免责声明:本页所载内容来旨在分享更多信息,不代表九方智投观点,不构成投资建议。据此操作风险自担。投资有风险、入市需谨慎。
推荐阅读
相关股票
相关板块
相关资讯
扫码下载
九方智投app
扫码关注
九方智投公众号
头条热搜
涨幅排行榜
暂无评论
赶快抢个沙发吧