## OmniPart框架：革命性部件级3D生成技术重塑游戏与虚拟现实开发 **核心研究团队**：香港大学、VAST、哈尔滨工业大学及浙江大学联合研发。第一作者为香港大学博士生杨运涵，通讯作者为香港大学刘希慧教授与VAST首席科学家曹炎培博士。 ### 突破性技术解决3D创作核心难题 在三维内容创作领域，实现类似乐高积木般的自由部件生成、编辑与组合能力，长期以来都是技术发展的关键瓶颈。来自四所顶尖机构的科研团队共同推出了创新性的OmniPart框架，成功攻克了这一技术难关。该研究成果已获得计算机图形学顶级会议SIGGRAPH Asia 2025的正式收录。 ### 现有技术的局限性 随着游戏开发、虚拟现实体验和数字孪生应用的飞速发展，构建高质量三维场景的需求日益迫切。虽然当前的人工智能模型能够生成视觉效果出色的完整三维形态，但这些模型大多采用"整体式"架构，缺乏内在的部件级结构设计。这种结构上的局限性严重制约了模型在部件编辑、动画制作和材质分配等关键应用场景中的实用价值。 ### OmniPart的创新解决方案 研究团队提出的OmniPart框架采用了"部件级别"的三维生成理念，其核心创新在于将复杂的生成任务分解为两个协同工作的阶段："先进行结构规划，再进行部件生成"。这种设计既保证了各个部件之间的语义独立性，又确保了它们能够完美融合为协调统一的整体对象。 ### 技术实现细节 **两阶段生成策略**： **第一阶段：智能结构规划** 系统基于输入的二维图像，通过自回归Transformer模型精确预测三维边界框序列，每个边界框对应一个独立部件的空间定位和尺寸参数。用户可以通过简单的二维部件掩码灵活控制部件的分解精细程度，这些掩码无需与三维部件严格对应，也不需要复杂的语义标注，极大降低了操作门槛。 **第二阶段：空间感知部件合成** 在获得部件的空间布局蓝图后，系统基于预训练的三维整体生成器进行高效微调，采用并行联合优化的方式同步处理所有部件的潜在编码。这种全局与局部信息融合的去噪过程确保了最终生成部件之间的高度一致性。创新的"体素丢弃机制"有效解决了部件边界处的重叠和噪声问题，生成清晰的连接接口。 ### 性能优势显著 **生成质量对比**：与Part123、PartGen等现有方法相比，OmniPart在几何细节丰富度、语义准确性和结构一致性方面均表现出明显优势，能够生成结构完整、细节精致且完美组合的独立部件。 **效率提升显著**：传统方法如Part123需要约15分钟，PartGen约5分钟，而OmniPart的统一框架仅需约0.75分钟即可完成从单张图像到所有三维部件的端到端生成。 ### 多样化应用场景 得益于卓越的部件可控性，OmniPart支持多种创新应用： - **掩码控制生成**：通过编辑二维掩码精确指导三维部件结构生成 - **多粒度生成**：调整掩码精细度实现不同细节层次的部件组合 - **独立材质编辑**：对特定部件进行单独的材质或纹理修改 - **高质量几何处理**：生成部件支持后续网格重构等处理，无连接伪影 ### 技术生态建设 该团队在三维部件技术领域已形成完整的技术矩阵，包括专注于三维部件分割的SAMPart3D、致力于从表面部件信息生成完整三维几何的HoloPart，以及本次推出的生成技术OmniPart，共同构建了围绕"部件级三维物体"的AIGC技术体系。 **相关资源**： - 论文题目：OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion - 项目主页：https://omnipart.github.io/ - 代码仓库：https://github.com/HKU-MMLab/OmniPart - 在线演示：https://huggingface.co/spaces/omnipart/OmniPart

---

想获取更多AI最新资讯与智能工具推荐， 欢迎访问 👉 AI Tools Nav ——优质的 AI导航平台 与 AI学习社区

---

本文来源：机器之心

原文链接：https://www.jiqizhixin.com/articles/3eee5ecb-691a-40b9-bdfb-3c19cb1d38bf