字节跳动
ByteRobust发布:高效故障诊断与容错机制提升大规模语言模型训练稳定性与效率
字节跳动发布的ByteRobust系统通过创新的双平面架构设计,实现了大规模语言模型训练的高效故障诊断与容错处理。该系统采用优先快速隔离而非精确定位的策略,结合自动化容错框架和可控恢复机制,在实际部署中达到97%的有效训练时间比率,显著提升训练稳定性和效率,为超大规模AI模型训练提供了可靠的技术解决方案。
Self-Forcing++突破4分钟长视频生成,自回归扩散模型实现高质量输出
Self-Forcing++是由加州大学洛杉矶分校与字节跳动Seed团队联合开发的突破性视频生成技术,首次实现4分钟高质量长视频生成,无需长视频训练数据。该技术通过创新的教师-学生模型交互机制、反向噪声初始化、扩展分布匹配蒸馏和滚动KV缓存三大核心技术,解决了传统视频生成模型在时长限制、误差累积和画面稳定性方面的根本问题。在50-100秒视频生成测试中全面超越现有基线模型,为AI视频生成领域开辟了新的技术路径。