新闻资讯
Zero123:Stability AI 发布文本转 3D 新模型
00 分钟
2023-12-15
2024-3-14
type
status
date
slug
summary
tags
category
icon
password
URL

Stability AI 发布了新的图像模型和工作流程,以生成更好的 3D 模型。

新车型名为Stable Zero123,是同名车型系列的新版本。
Stable Zero123 并不直接创建 3D 模型 - 相反,它是生成工作流程中的中心构建块,该工作流程以文本提示开始并以 3D 模型结束。具体来说,从一个物体的图像开始,Zero123可以从不同角度生成该物体的几张新图像。
然后,这些全景图像可以被另一个模型使用,例如在这些图像上调节 NeRF,从而最终生成 3D 模型。

稳定的 Zero123 在巨大的 3D 数据集上进行了训练

根据 Stability AI 的说法,Stable Zero123 应该会比其前身 Zero123-XL 取得更好的结果。这主要是通过更好的训练数据集来实现的。为此,这家初创公司仅从 Objaverse 数据集中筛选出高质量的 3D 模型。在训练和推理过程中,Stable Zero123 不仅会接收图像,还会接收支持模型预测的估计摄像机角度。
Zero123 产生的结果比 Zero123-XL 更一致。 |图片:稳定性人工智能
Zero123 产生的结果比 Zero123-XL 更一致。 |图片:稳定性人工智能

StableZero123 plus Threestudio 用于 3D 生成

稳定版 Zero123 仅供研究用途,不适合商业用途。那些有兴趣将 Stability AI 的 3D 解决方案用于商业产品或用途的人应直接联系该公司。
为了使用 Stable Zero123 创建 3D 对象,该团队在 HuggingFace 上发布了带有说明的模型。需要 Threestudio 框架和模型。虽然生成新视图的 VRAM 要求处于稳定扩散 1.5 的水平,但生成 3D 对象需要明显更多的时间,建议使用 24 GB 的 VRAM。
Stable Zero123 还可通过 Stable 3D Private Preview 进行文本转 3D 生成。

总结

  • Stabilty AI 发布了 Stable Zero123,这是一种新的图像模型,可以从不同角度创建物体的多个图像,然后可以将其进一步处理为 3D 模型。
  • 得益于改进的训练数据集和 40 倍的训练效率加速,稳定的 Zero123 比其前身 Zero123-XL 取得了更好的结果。
  • 该模型出于研究目的而发布,不用于商业用途。
 

评论
  • Twikoo