行情中心 沪深京A股 上证指数 板块行情 股市异动 股圈 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递 科技龙头指数

AI动态跟踪:从OPENAI SORA看视频生成模型技术进展

中国国际金融股份有限公司 2024-02-18

行业近况

2 月15 日,OpenAI发布最新视频生成模型Sora,能够生成长达一分钟的分辨率为1920*1080 的高质量视频,在生成时长和生成质量上较其他现有模型和产品实现了明显突破。

评论

延续DiTs架构,Sora实现高质量长视频生成。根据技术报告,Sora延续DiTs架构,随训练计算量提升而展现出显著的生成能力提升(Scalable)。

相较先前模型,我们认为其最为突出的创新之处在于:1)LDM自编码器实现时间维度压缩,使得长视频生成成为可能;2)直接对LDM中潜视频进行图块化处理并直接使用Transformer建模,解除输入格式限制的同时,能够创新性地实现任何像素和长宽比视频的生成;3)我们判断其训练数据集中可能包含带有物理信息的合成数据,从而使模型展现出对物理信息的初步理解能力;4)复用DALL·E 3 的重标注技术,对视频数据生成高质量文字标注,借助GPT对提示词进行扩展,提升生成效果。

技术基础一:扩散模型是当前图片/视频生成的主要技术路线。扩散模型(Diffusion model)通过神经网络(主要是U-Net)从纯噪声图像中学习去噪过程,从而通过给定噪声来完成图像生成任务。潜在扩散模型(Latentdiffusion model)通过降维进一步提升了训练效率并降低训练成本,成为图片生成的主要技术路线。在预训练的图片生成模型基础上,学界提出生成关键帧并在时序上实现对齐即可将图片生成模型转化为视频生成模型,但这类模型存在生成时长短、稳定性差等劣势。

技术基础二:Transformer架构的引入使扩散模型能够实现规模效应。

DiTs(Diffusion transformer)将先前扩散模型的骨干U-Net卷积网络替换为可伸缩性更强的Transformer,从而能够实现更强的可拓展性,即能够通过增加参数规模和训练数据量来快速提升模型的性能表现,模型在图片生成任务上表现优异。W.A.L.T.首次将Transformer架构引入视频生成模型,使用窗口注意力降低了对算力的需求,并展现了良好的视频生成能力。

估值与建议

维持行业内覆盖公司的盈利预测、评级和目标价不变。我们认为Sora实现了AI+视频场景的效果突破,通过借助Transformer架构展现了优异的可拓展性(Scalable)。展望未来,我们判断基于Transformer架构的大模型有望在更多模态领域实现复刻,看好多模态领域技术进展。

风险

技术进展不及预期;应用落地不及预期;行业竞争加剧。

免责声明

以上内容仅供您参考和学习使用,任何投资建议均不作为您的投资依据;您需自主做出决策,自行承担风险和损失。九方智投提醒您,市场有风险,投资需谨慎。

推荐阅读

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈