在视频人工智能领域，传统模型往往专注于单一方向——要么专攻视频生成，要么聚焦视频理解任务（如问答、分类和检索）。然而，最近亮相的开源项目UniVid打破了这一界限，开创性地将理解与生成能力融为一体。该项目旨在构建一个统一模型，使其同时具备"看懂视频"和"创作视频"的双重能力。 这一创新理念犹如让同一个大脑既掌握"图像识别"又精通"绘画创作"：模型需要理解文字描述和现有视频内容，进而生成全新的、连贯的动态影像——这在技术实现上具有极大挑战性。 项目核心信息： - 论文标题：UniVid: The Open-Source Unified Video Model - 论文地址：https://arxiv.org/abs/2509.24200 UniVid致力于解决的核心问题是什么？ 该项目旨在构建真正通用的统一视频模型，打造一个既能深度理解视频内容，又能自主生成视频的多模态人工智能系统。 三大技术突破： 1. 统一架构设计：基于适配器的统一结构 传统方案中，理解模型与生成模型各自独立，训练成本高昂且难以互通。UniVid采用创新的适配器插入机制，在现有大型多模态语言模型中嵌入轻量级模块，赋予其视频生成能力。这种设计使得理解与生成模块能够共享大部分参数，仅需训练少量新增参数。 显著优势： - 大幅降低训练开销与计算资源需求 - 增强模型扩展性：已有理解能力的模型可平滑集成生成功能 - 完美平衡理解与生成能力，保留强大的视觉与语言理解基础 2. 模态温度对齐技术 在文本到视频的跨模态生成过程中，文本与视觉特征在表示尺度和语义强度上往往存在不匹配。直接融合注意力机制容易导致"提示偏移"现象，使生成内容逐渐偏离原始文字意图。 UniVid引入模态温度对齐机制，在跨模态注意力层中为不同模态特征设置温度系数，动态调节其注意力权重与融合强度。在生成初期赋予文本提示更高权重以强化语义引导，在后期阶段则让视觉特征主导细节优化。 这一创新确保： - 有效减少提示偏移，提升语义一致性 - 实现从理解到生成的自然过渡 - 保证最终视频既符合提示要求，又具备高质量视觉细节 3. 金字塔反射机制 视频作为时序数据，理解和建模长时域依赖关系成本极高。传统Transformer的全帧注意力计算量呈平方级增长，难以扩展。 UniVid提出的金字塔反射机制： - 在理解任务中采用反射器模块，动态选择关键帧并在金字塔层次进行信息聚合 - 将帧序列映射到不同时间尺度，通过自底向上或自顶向下的信息反射，在多尺度上捕捉时序关系 在视频问答和时序理解任务中，该模块结合执行器-评估器-反射器循环结构，使模型能够以最少的帧数实现精准推理。 性能表现：刷新行业记录 UniVid在视频生成与理解两大领域均达到业界领先水平。 视频生成方面： 在目前最严格的视频生成综合评测集VBench-Long上，UniVid在所有维度均创下新纪录： - 时序一致性：99.88（接近完美） - 运动平滑度：99.25 - 语义对齐度：80.58（超越EasyAnimate的77.01） - 影像质量：73.03（显著优于其他模型） 这些成绩表明UniVid在保持生成质量的同时，极大提升了语义契合度与画面连贯性。 视频理解方面： 在视频问答任务中，UniVid在MSVD-QA和ActivityNet-QA等主流基准测试中均创下最佳成绩，尤其在复杂的长时序视频理解上展现出卓越的时序推理与语义理解能力。 实际应用展示 研究团队提供了丰富的演示案例，涵盖视频生成与理解两大类任务。 视频生成示例提示： - "长着大门牙的老鼠激烈地啃食奶酪" - "戴太阳镜的白猫在阳光明媚的海滩上躺在冲浪板上休息" - "十只毛茸茸的小猫在温暖阳光下共进早餐" 应用场景与价值 1. 视频内容创作 在影视制作、广告创意和短视频领域，创作者只需输入文字脚本或图像提示，UniVid就能自动生成连贯、符合逻辑的视频内容。系统能够理解剧情脉络并创作相应镜头，极大提升内容生产效率。 2. 智能视频分析 无论是体育赛事、安防监控还是教育视频，UniVid都能精准识别动作、人物和事件逻辑，生成准确的内容摘要或问答结果，让机器真正"理解"视频故事。 3. 机器人与具身智能 在机器人导航、自动驾驶等智能系统中，UniVid可以实时理解摄像头输入并预测未来场景，辅助智能体进行决策规划，实现从"感知"到"预判"的跨越。 4. 开源生态建设 与封闭式视频模型不同，UniVid完全开源，研究人员和开发者可以自由使用、复现和二次开发。这为视频智能研究提供了通用基础平台，同时降低产业界构建视频生成系统的成本门槛。 核心团队介绍 罗嘉滨 - 北京大学软微与微电子学院在读博士生，专注于多智能体系统、多模态生成、RAG和AI安全研究，长期致力于构建安全可信的通用人工智能。 林峻辉 - 北京师范大学在读本科生，AI极客社群成员，研究方向包括图像与视频生成处理，积极参与多项科研项目，探索实用有趣的计算机视觉模型。 张泽宇 - 在Richard Hartley教授和Ian Reid教授指导下从事研究的本科研究员，深耕计算机视觉领域，专注于几何生成建模与前沿基础模型的关联性探索，在多个AI研究领域拥有丰富经验。 唐浩 - 北京大学计算机学院助理教授、研究员、博士生导师，博雅和未名青年学者，入选国家级海外高层次人才计划。曾获国家优秀自费留学生奖学金，连续三年入选斯坦福大学全球前2%顶尖科学家榜单。拥有卡耐基梅隆大学、苏黎世联邦理工学院、牛津大学和特伦托大学等多所世界名校的研究经历。在人工智能领域发表顶级期刊会议论文100余篇，引用超万次，曾获ACM Multimedia最佳论文提名奖，现任多个国际顶级会议领域主席。 更多信息请访问：https://ha0tang.github.io/

---

想获取更多AI最新资讯与智能工具推荐， 欢迎访问 👉 AI Tools Nav ——优质的 AI导航平台 与 AI学习社区

---

本文来源：机器之心

原文链接：https://www.jiqizhixin.com/articles/dc585cc7-44e0-4551-8c07-da9d61c9a78c