行情中心 沪深A股 上证指数 板块行情 股市异动 股圈 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递 科技龙头指数

德邦证券:模型蒸馏技术爆发年 加速AI平权

来源:智通财经 2025-02-07 15:39
点赞
收藏

德邦证券发布研报称,从DeepSeekR1到s1,不断证明着2025年将是大模型普惠的起点,AI应用与端侧或将同时迎来AI成本下降与模型能力提升的全面加强;此外,在蒸馏技术支持下,Jevons悖论或得到持续论证,有望涌现更多现象级的高性价比小模型,在部署在端侧和应用的同时,推动模型逐渐从预训练向推理转变,国产算力有望在推理算力爆发下迎来价值重估。

德邦证券主要观点如下:

成本仅50美元,性能媲美o1与R1,模型蒸馏技术的爆发年。

根据TechCrunch,李飞飞等斯坦福大学和华盛顿大学的AI研究人员的一篇新研究论文表示,他们成功地用不到50美元的费用训练了一个AI推理模型s1(仅为云计算服务费用,不包括服务器、显卡等硬件投入费用)。

1)技术路径:论文指出,推理模型可以通过相对较小的数据集和监督微调(SFT)的过程进行蒸馏,其中AI模型被明确指导去模仿数据集中的某些行为。具体来说,团队构建了“s1K”的数据集,由1000个精心筛选的问题组成,每个问题都配有推理轨迹(reasoning traces)和从Gemini Thinking Experimenta蒸馏而来的答案。接着团队在一个预训练模型上进行监督微调(SFT),仅使用16张H100GPU训练26分钟。此外,为了提高答案的准确度,研究团队还运用了一种“预算强制”技术,可以控制测试时间计算,通过强制提前终止模型的思考过程,或在s1推理时多次追加“等待”指令以延长思考,从而优化性能。

2)测试结果:根据研究团队的测试结果可知,在竞赛数学问题上,s1-32B的表现较o1-preview高27%(MATH和AIME24);且该模型在AIME24上的表现几乎与Gemini2.0 Thinking API相当,显示其蒸馏过程是有效的。

低成本、开源与蒸馏将大幅降低AI模型开发门槛,有望加速AI平权过程

根据极客公园,早在2025年1月,深度求索发布推理模型DeepSeek-R1正式版,采用MIT协议,同步开源模型权重,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。DeepSeek主动引导将R1作为教师模型来蒸馏出一个更小但仍有实力的模型,通过DeepSeek-R1的输出,蒸馏了6个小模型开源给社区,其中32B和70B模型在多项能力上实现了对标Open AI o1-mini的效果。

结合此次李飞飞团队通过超低成本从Gemini Thinking Experimenta模型中蒸馏出的数据中训练了s1,同样取得了优异的模型性能,既印证了蒸馏技术是推动模型小型化与商品化的重要手段,有望缩小开源与闭源模型性能差距,从而加速AI平权过程;又为AI应用与端侧的爆发打下基础。

(来源:
智通财经)
原标题:
德邦证券:模型蒸馏技术爆发年 加速AI平权

免责声明:本页所载内容来旨在分享更多信息,不代表九方智投观点,不构成投资建议。据此操作风险自担。投资有风险、入市需谨慎。

举报

写评论

声明:用户发表的所有言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。《九方智投用户互动发言管理规定》

发布
0条评论

暂无评论

赶快抢个沙发吧

推荐阅读

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈