行情中心 沪深京A股 上证指数 板块行情 股市异动 股圈 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递 科技龙头指数

计算机行业:阶跃星辰发布万亿参数MOE模型 大模型混战进入新阶段

东方证券股份有限公司 2024-03-22

3 月23 日,阶跃星辰发布了Step-2 万亿参数MoE 语言大模型预览版。Step-2 模型采用了MoE 架构,聚焦深度智能的探索,并提供API 接口给部分合作伙伴试用。

训练万亿参数模型体现了阶跃星辰的核心技术能力,也表明阶跃星辰在通用人工智能领域追赶OpenAI 的实力和决心。

模型规模提升到万亿对算力、系统、数据和算法都提出了新要求。在过去的一年,一些国内领先的大模型基本达到了 GPT-3.5 的水平,业内也开始不断向着GPT-4 的能力去突破。但 GPT-3.5 只是一个千亿参数的模型,要达到 GPT-4 的万亿规模参数,各个维度的要求都上了一个台阶,对算力、系统、数据和算法四大要素都有着极高要求。根据阶跃星辰数据,至少需要等效 A800 万卡单一集群,高效稳定的训练,十万亿 tokens 高质量的数据,加上驾驭新颖的 MoE 架构,任何一环出现短板,就很难将模型Scale Up 至万亿参数。阶跃星辰具备打造万亿参数模型的坚实基础,经过一年沉淀,才能实现万亿级参数模型的成功。

阶跃星辰的Step 系列模型已经开放试用。截至目前,阶跃星辰已经推出了Step-1千亿参数语言大模型、Step-1V 千亿参数多模态大模型,以及 Step-2 万亿参数 MoE语言大模型的预览版。Step 系列模型在图像理解、多轮指令跟随、数学能力、逻辑推理、文本创作等方面性能达到业界领先水平。基于Step 系列模型,阶跃星辰推出了名为“跃问”的聊天机器人平台和“冒泡鸭”AI 智能体平台,目前均可免费试用,用户可以自由和机器人聊天,也可以自己定制个性化的智能体。

大模型领域竞争日益激烈,长文本和多模态技术是重点。近期随着月之暗面Kimi 模型的热度高涨,大模型领域竞争又重新激烈起来,进入了“卷”长文本的阶段。而多模态模型可能是下一个新战场。多模理解和生成的统一是通往 AGI 的必经之路,当前正处于多种模态走向融合的阶段,无论是语言、视觉还是声音,现在都可以映射到同一个空间加以表征。在未来阶段,有了理解和生成的统一,就可以进一步和具身智能结合起来,形成一个世界模型。再进一步,在世界模型的基础上加入复杂任务的规划能力和抽象概念的归纳能力,就真正演化到了 AGI 的阶段。

AI 应用落地的曙光初现,算力需求预计将持续提升。长文本、多模态等技术可以通过提供更多上下文信息、视觉信息等,来辅助模型进一步减少歧义,并且基于所提供事实基础上的归纳、推理也更加准确,进一步推进AI 产业的应用落地。同时,上下文长度的提升和多模态信息的加入必然会带来算力消耗的提升,即使在业界不断优化的情况下,对于算力的需求仍会有较大程度的增长。我们认为,随着各大模型厂商对于模型能力的“内卷”进入新阶段,对AI 算力的需求将会进一步提升。

我们认为,近期大模型领域进展突破不断,有望加速AI 相关应用落地,同时对于算力的需求也会随之大幅提升。

AI 应用:建议关注金山办公(688111,增持)、新致软件(688590,未评级)、科大讯飞(002230,买入)、同花顺(300033,未评级)、彩讯股份(300634,未评级)、上海钢联(300226,增持)等公司

AI 算力:建议关注云赛智联(600602,未评级)、中科曙光(603019,买入)、海光信息(688041,买入)、寒武纪-U(688256,未评级)、润泽科技(300442,未评级)、华铁应急(603300,买入)等公司

其他工具:星环科技-U(688031,未评级)

风险提示

技术落地不及预期;政策监管风险

免责声明

以上内容仅供您参考和学习使用,任何投资建议均不作为您的投资依据;您需自主做出决策,自行承担风险和损失。九方智投提醒您,市场有风险,投资需谨慎。

推荐阅读

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈