行情中心 沪深京A股 上证指数 板块行情 股市异动 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递

趋境科技联合生态共建伙伴发布国产异构推理方案

上海证券报 11-03 21:28

上证报中国证券网讯趋境科技近日联合智谱、摩尔线程发布“国产异构推理高品质AI Token工厂解决方案”,通过模型、推理系统与芯片的协同优化,提高国产算力资源利用效率,降低大模型推理成本。

随着大模型应用向智能体、长文本处理等场景拓展,推理算力需求持续增长。如何在保障模型性能和服务稳定性的同时降低Token生产成本,成为算力产业面临的重要问题。

据介绍,此次发布的方案采用Prefill-Decode(预填充与解码)异构协同技术,针对大模型推理不同阶段的计算特点,将计算密集型任务与显存带宽密集型任务分配至不同算力资源,并通过异构KV Cache转换、异构计算融合等技术,实现CPU、GPU、内存及高速网络的协同调度。

趋境科技表示,其国产异构PD相关方案已在实际生产环境中投入使用,能够稳定承载万亿参数超大模型及高并发业务流量。公司实测数据显示,通过系统优化,普通算力的整体产出性价比已超越先进算力,同等硬件投入可承载翻倍乃至更大规模的高品质AI Token需求。

商业化方面,趋境科技正以北京、上海、河南、杭州等地为重点推进联合运营及AI Token生产服务网络建设。目前,北京等地已建成多个高品质AI Token工厂,其中一个数千卡规模的异构集群正逐步扩大业务规模,稳定支撑某大模型日均万亿级高品质AI Token交付。

趋境科技目前正参与筹建两个万卡级异构集群。按照公司规划,项目建成后将具备每日数十万亿高品质AI Token的供给能力。

经营层面,趋境科技称,过去半年公司整体业务已跨过盈亏平衡线,高品质AI Token日均产量增长超过十倍。融资方面,公司日前完成单笔超过13亿元的B轮融资,年内累计融资额达24亿元。趋境科技创始人兼CEO艾智远表示,大模型商业化需要解决算力成本问题,未来公司将继续推进推理底层架构优化、万卡集群筹建及产能扩容,推动国产算力在更多实际业务中应用。

免责声明:用户发布的内容仅代表其个人观点,与九方智投无关,不作为投资建议,据此操作风险自担。请勿相信任何免费荐股、代客理财等内容,请勿添加发布内容用户的任何联系方式,谨防上当受骗。

举报

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈