行情中心 沪深京A股 上证指数 板块行情 股市异动 股圈 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递 科技龙头指数

Kimi概念盘初大幅跳水 布局长文本并非越大越好

第一财经 2024-03-25 10:59

数据港 --%

3月25日,A股三大指数集体低开,Kimi概念盘初大幅跳水,中广天择闪崩触及跌停,华策影视跌超10%,海天瑞声、世纪天鸿、引力传媒等多股大跌。

与之相对,算力板块组织反扑,润建股份二连板,数据港触及涨停,奥飞数据、依米康、浪潮信息集体走强。二级市场Kimi概念热度逐渐回落,投资逻辑回归产业链本质。

Kimi是AI大模型初创企业月之暗面(Moonshot)推出的AI产品,后者披露Kimi 智能助手在长上下文窗口技术上取得突破,无损上下文长度提升了一个数量级到200万字。该消息在二级市场引发多日追涨,也拉动相关公司布局长文本。

据了解,百度旗下文心一言即将于下月进行升级,开放长文本能力,文本范围在200万-500万。

3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360AI浏览器。目前360AI浏览器已向用户免费开放100万字长文本阅读功能,可一分钟读完《三体》,并就文本外的“超纲”问题进行问答和延展学习。

3月22日,阿里通义千问宣布升级,向所有人免费开放1000万字的长文档处理功能,金融、法律、科研、医疗、教育等领域的专业人士可通过通义千问网站和APP快速读研报、分析财报、读科研论文、总结深度文章。

此前接受媒体采访时,月之暗面创始人杨植麟表示,如果说参数量决定了大模型支持多复杂的“计算”,而能够接收多少文本输入(即长文本技术)决定了大模型有多大的“内存”,两者共同决定模型的应用效果。无损长上下文将是通往AGI(通用人工智能)的关键基础技术。从 Word2vec 到 RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。

OpenAI也在进行相关布局,经过三次升级,GPT-3.5上下文输入长度从4000增长至1.6万token(模型输入和输出的基本单位),GPT-4从8000增长至3.2万token。另外,Anthropic也将上下文长度扩至10万token。

那么,长文档规模是否越大越好?对此,阶跃星辰CEO、前微软全球副总裁姜大昕对记者表示,考虑长文档规模大小的时候还需要看智能水平,后者也是一项重要挑战,目前包括GPT-4、Gemini、Claude等模型均未达到理想水平。另外,长文档规模与智能水平也需要进行工程方面的ROI考量。

记者以“大模型上下文规模是否越大越好”问题向Kimi提问,后者解读称:长文本规模会带来增强理解能力、改善连贯性、提高信息整合能力、减少信息丢失等优点,但也伴随计算资源消耗、过拟合风险、稀疏性问题、更新与维护难度、能源消耗与环境影响等挑战。

总结来看,Kimi认为上下文规模的选择需要根据具体的应用场景和需求来决定。在某些需要处理大量信息和保持话题连贯性的任务中,较大的上下文规模可能是必要的。然而,在其他一些对计算资源有限制或对实时性要求较高的场景中,适中或较小的上下文规模可能更为合适。

另外,算力挑战也是长文本需面对的首要问题。华西证券认为,国内长文本带动大厂长文本能力迅速迭代,一方面将会缩小国内外大语言模型的代差,一方面将会进一步加大对底层算力的需求,算力需求爆发引发国内异构算力的构建,会带来AI行业的又一次变革,AI模型、语料库、算力租赁、算力运维、国产算力等将会继续受益。

信通院数据显示,2021年全球计算设备算力总规模达到615EFlops(每秒浮点运算次数),同比增长44%,其中基础算力规模为369EFlops,智能算力规模为 232EFlops,超算算力规模为14EFlops,预计2030 年全球算力规模将达到56ZFlps,平均年均增长65%,中国目前计算设备总规模达到202EFlops,全球占比约为 33%,增速高于全球。

银河证券研报显示,人工智能产业快速增长,对算力需求提升持续爆发,产业链环节持续受益。其中算力产业链将持续受益,随着目前大模型对训练和推理需求提升,其中AI芯片及服务器、交换机及光模块、IDC机房及上游产业链等需求均将获得快速增长。

免责声明

以上内容仅供您参考和学习使用,任何投资建议均不作为您的投资依据;您需自主做出决策,自行承担风险和损失。九方智投提醒您,市场有风险,投资需谨慎。

推荐阅读

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈