上证报中国证券网讯趋境科技近日联合智谱、摩尔线程发布“国产异构推理高品质AI Token工厂解决方案”,通过模型、推理系统与芯片的协同优化,提高国产算力资源利用效率,降低大模型推理成本。
随着大模型应用向智能体、长文本处理等场景拓展,推理算力需求持续增长。如何在保障模型性能和服务稳定性的同时降低Token生产成本,成为算力产业面临的重要问题。
据介绍,此次发布的方案采用Prefill-Decode(预填充与解码)异构协同技术,针对大模型推理不同阶段的计算特点,将计算密集型任务与显存带宽密集型任务分配至不同算力资源,并通过异构KV Cache转换、异构计算融合等技术,实现CPU、GPU、内存及高速网络的协同调度。
趋境科技表示,其国产异构PD相关方案已在实际生产环境中投入使用,能够稳定承载万亿参数超大模型及高并发业务流量。公司实测数据显示,通过系统优化,普通算力的整体产出性价比已超越先进算力,同等硬件投入可承载翻倍乃至更大规模的高品质AI Token需求。
商业化方面,趋境科技正以北京、上海、河南、杭州等地为重点推进联合运营及AI Token生产服务网络建设。目前,北京等地已建成多个高品质AI Token工厂,其中一个数千卡规模的异构集群正逐步扩大业务规模,稳定支撑某大模型日均万亿级高品质AI Token交付。
趋境科技目前正参与筹建两个万卡级异构集群。按照公司规划,项目建成后将具备每日数十万亿高品质AI Token的供给能力。
经营层面,趋境科技称,过去半年公司整体业务已跨过盈亏平衡线,高品质AI Token日均产量增长超过十倍。融资方面,公司日前完成单笔超过13亿元的B轮融资,年内累计融资额达24亿元。趋境科技创始人兼CEO艾智远表示,大模型商业化需要解决算力成本问题,未来公司将继续推进推理底层架构优化、万卡集群筹建及产能扩容,推动国产算力在更多实际业务中应用。



