流水线种类(兵马未动，粮草先行，AR、VR之前的3D流水线都干了什么活？)

Posted 2023-05-31

篇首语：知是行的主意,行是知的功夫。本文由小常识网(cha138.com)小编为大家整理，主要介绍了流水线种类(兵马未动，粮草先行，AR、VR之前的3D流水线都干了什么活？)相关的知识，希望对你有一定的参考价值。

流水线种类(兵马未动，粮草先行，AR、VR之前的3D流水线都干了什么活？)

全民写微博、全民拍照、全民拍视频、全民直播，之后呢？你猜？我猜？严肃点说是我推测应该是全民3D资产创作时代，或者叫全民3D建模时代，每一个人都可以按自己想法创建有创意的3D模型，布置个3D场景，设计个故事情节，自己做导演制作一部微型动画电影。

“喂！醒醒，别做梦了！”，旁边负责3D建模的美术同事把我拽回了现实，客户开发项目中3D建模工作量严重超支，建模人员数量不足，还得找外包商把一部分工作分包出去。明明是一个AR、VR开发项目，大把的时间、人力资源却花在3D模型、动画上，唉！理想一直是很丰满，现实也一直是很骨感。

打住！记得有位名人说过“梦想还是要有的，万一实现了呢！”国外现在已经有了基于VR的3D建模软件出现，可以极大程度的降低3D建模的门槛，为了全民3D建模的梦想更好实现，让我们先从了解传统3D资产创建流程开始，出发！

3D 资产创建流程简介

影视、游戏领域3D建模软件

建筑领域3D建模软件

制造领域3D建模软件

3D 资产创建传统上涉及一个复杂的过程，我们称之为流水线(Pipeline)。要创建任何 VR/AR 内容，艺术家必须使用这个流水线的一部分或全部。好消息是，与 Maya、3D Studio Max、Blender 和 Cinema4D 等传统影视游戏领域建模工具和Catia、NX、Creo、Solidworks、Inventor、Solidedge、Caxa、中望、山大华天以及Revit、Bentley、ArchiCAD、Tekla Structures等面向制造业的3D CAD和建筑业的BIM建模工具软件相比，有许多用于资产创建的工具的进入门槛更低。

专业3D艺术家使用这些专业工具已有数十年之久，大多数制作公司也都专门使用它们。但对于我们这些普通大众肯定不想受现有流水线的限制，因为咱们是非专业人员，有想法但是技能不够高，那就只能去寻找更新、更高效流水线工具，幸运的类似我们一样想法的人有很多，未来全民AR、VR会对3D资产产生海量需求，有很多公司看到这个市场机会推出面向普通人的3D资产创作工具，我们也就有了更多选择。不过为了评估新的工具是不是好用、满足要求，在本文中我们先一起来了解一下传统3D流水线是怎么回事，为未来交流探索奠定基础。下面是一个传统 3D 电影流程的示例，说明了从构思到最终输出的所有内容。

传统3D电影生产流程

因为我们的目的是为了创建用于AR/VR的 3D 资产，我将其简化到只是影响AR/VR的精简流程。以下是市场上顶级的 AR、VR 创作应用程序的列表，以及它们对各种 3D 流水线步骤的功能覆盖程度。我们将详细介绍每个步骤以及在探索这些工具时发现的任何细微差别。

AR/VR开发3D资产创建流程

VR 应用程序中的 3D 流水线支持

图表一览

上图表明，目前还没有一种工具拥有流水线的所有组成部分。
Masterpiece Studio Pro 拥有 PC VR 市场上最完整的 3D 流程，并且它们会继续将PC VR作为持续关注的重点。
Dreams 是一款 PSVR 游戏，不能导出任何资产用于其他环境。它仅限于视频和静态图像捕获，这是 PlayStation Share 功能的限制。
优化项下的橙色部分支持圆圈表示这些应用程序支持通过场景复杂性反馈进行优化，但不支持通过抽取简化方式进行网格优化。
脚本项下方的橙色部分支持圆圈表示该应用程序支持在 VR 之外制作的脚本，但不支持在 VR 界面中制作的脚本。
许多应用程序不支持 3D 流水线的许多更复杂的部分，即：通过抽取优化网格、用于纹理的 UV 展开、骨骼和蒙皮，以及外观开发。这些功能是生产可在各种环境中使用的更高质量的生产模型所必需的。
3D 资产创建并不严格要求编写脚本，但将其包括在内是因为它在产品内创建交互时非常实用。这是一个显著的差异化因素，在空间环境中实施也具有挑战性。

前期制作

传统上，前期制作是指如何将一个想法变成一个故事，以动态分镜的形式传达给相关方。在大型工作室中，这个过程可能需要数周甚至数月才能敲定。

动态分镜

但是，使用 VR 工具，我们可以将这个过程缩短到几小时或几天。 Tvori 是一款出色的工具，可以以您能想到的最快速度快速捕捉和传达您的想法的粗略动画剪辑。它可以实时录制动画，使其成为您可以在 3D 中组合在一起的快速粗剪，也可以为相机、灯光甚至一些效果设置动画。可以将其视为分镜和动态分镜的替代品。

概念

在设计阶段，艺术家们制作了大量的草图，试图充实作品的美感。任何支持 3D 素描的软件都可以实现。好消息是上面图表中列出的每个 VR 创作软件都支持这种能力。Tilt Brush 具有额外的笔触效果，让构思变得特别有趣。Gravity Sketch 不仅可以绘制草图，还可以非常快速地为您的模型构建曲面。如果您想采用素描风格并直接进入动画，那么 AnimVR 和 Quill 非常棒。在将草图转换为模型时，几乎所有这些软件都将允许您导出草图或在它们的基础上进行构建。

概念草图

建模

3D建模创建3D几何体和表面，这些几何体和表面经过雕刻、动画和塑造，符合艺术家的创意愿景。创意创新类型的应用通常喜欢流水线的这一部分，因为能够对所创建对象具有完全控制的能力。有一些标准技术：

使用称为体素的数字粘土进行雕刻，需要时将其转换回网格。（SculptrVR、Masterpiece Studio Pro、Medium）
组装原始3D形状并叠加对齐它们（Blocks、Sketchbox、Horizon、Maquette、Masterpiece Studio Pro、Dreas、Tvori）
通过在拖动周围控制点来塑造表面形状(Gravity Sketch)
组合不同的3D资产，创造出新颖独特的东西(Kit-bashing)（Masterpiece Studio Pro、Dreams、Medium）

各种3D模型资产

Kit-bashing方式的组合建模

没有一种技术一直优于其他技术，每种使用的方法在自己合适的场景下都可以产生出良好的结果。我建议经常将您的模型保存为可重用的资产，因为它们可能会在以后派上用场。

优化

在 AR、VR应用中，保持较低的模型多边形数量非常重要，因此建议避免使用高保真度、细节过多的模型。细节可以在纹理贴图阶段重新添加回来。一些产品通过为您跟踪场景只渲染可见场景部分来降低复杂性（Horizon、Dreams）或提供优化工具在尽可能保留更多的细节、变形程度尽可小的前提来自动抽取模型（Masterpiece Studio Pro、Medium）来支持您的场景或模型优化。两者都有助于确保您在 AR、VR 中的场景不会崩溃，并确保性能标准要求得到保持。

面数多的高模优化为面数少的低模

纹理贴图

纹理贴图用于在模型上绘制细节。要利用纹理贴图，您的模型必须首先进行 UV 展开，这是一种定义如何将2D平面纹理贴图包裹对齐到 3D 表面的方式。展开是目前很少有创作工具支持的过程（Masterpiece Studio Pro）。一些使用工具使用3D 图元组装方法作为建模技术，其中3D 图元的UV展开工作已经提前完成，因此用户可以方便地立即开始绘画（Dreams，Medium）。

有多种类型的纹理贴图，并非所有产品都支持在其产品中创建所有类型。以下是它们的列表以及示例。

各种贴图类型及作用效果

漫反射贴图（有时称为反照率或底色）用于为模型区域赋予颜色。
凹凸贴图用于指示模型的哪些区域具有粗糙表面以及哪些区域是光滑的。
不透明度贴图用于指示模型的哪些区域应该是透明的或半透明的。
高光贴图用于指示反射表面，如金属或玻璃。
金属度贴图用于指示模型中像金属一样反射光线的区域——与某些渲染管线一起使用，而不是镜面反射。
法线贴图用于诱使眼睛相信存在的细节比实际存在的要多，因为它会扭曲来自模型的法线，并且经常用于诸如衣服中的折痕或头发纹理之类的东西。
散射图用于指示光线在表面下的反射方式以及光线在穿过表面时拾取的颜色。
半透明贴图用于指示光线部分穿透表面的区域——通常与散射贴图结合使用。
遮挡贴图指示模型在直射光下的区域以及与模型附近其他部分不接近的区域。它通常在渲染之前烘焙到模型上，用于提高性能和真实感。
发光贴图用于指示模型上的任何发光区域以及发光的颜色，即使所有灯都关闭。

由于这一步的复杂性，很少有 VR 应用程序完全支持 VR 中的所有这些纹理级别（Masterpiece Studio Pro）。作为替代方案，可以使用像 Substance Painter 这样的桌面应用程序来创建所有的 UV 展开和纹理贴图，但目前必须在 VR 之外完成。

建模的替代方案

不喜欢建模或没有时间或天赋的人可能想要考虑创建内容的替代方案。他们可以从各种 3D 仓库网站购买、下载和导入模型。或者他们可以使用他们的智能手机和平板电脑对他们周围的物体进行 3D 扫描，以用于他们的项目，并非所有设备都允许这样做，需要设备上有激光雷达传感器的支持。

3D模型下载网站

拍照式3D建模

骨骼和蒙皮

要为不同种类会动的生物制作动画，艺术家必须构建一个底层骨架来保存 3D 几何体的动画属性。骨架是一系列不可见的骨骼，用于移动绑定表面并使其像皮肤一样变形。混合形状精确定义了当骨骼处于特定方向时皮肤是如何变形的。骨骼设置方法是如何创建、镜像、设置或驱动这些骨骼的方式，这些骨骼通常位于皮肤外部以便于操作。

绘制骨骼

蒙皮操作

这是另一个复杂的过程，但对于变形模型来说也是一个关键的过程。同样，目前支持它的 VR 应用程序并不多（Dreams、Masterpiece Studio Pro）。这个过程需要用户为每个骨骼对皮肤几何形状的影响绘制确定权重系数，并且需要大量的时间调整才能正确处理。自动蒙皮有助于加快这一进程，目前正在开发机器学习算法，以使这一过程更轻松、更自动化。

如果想避开流水线的这一部分，您可能希望使用相互重叠的 3D 几何图形，以通过遮挡的方式隐藏没有发生变形的事实——例如，添加球体几何图形以覆盖接头破损位置。在低多边形模型中，这种技术很普遍。一些 VR 应用程序确实支持这种类型的父级绑定（Tvori、Horizons、Masterpiece Studio Pro、Dreams），而不是变形蒙皮绑定（Masterpiece Studio Pro、Dreams）。

动画

市场上有两种不同形式的用于 AR、VR 的 3D 动画应用。第一种依赖于逐帧手绘动画技术，类似于传统 2D 动画中使用的相同风格（Quill、AnimVR）。第二种依赖于带有骨骼的绑定模型来存储和转换关键帧集合之间骨骼上旋转、平移和缩放的属性（Masterpiece Studio Pro，Tvori）。这两种类型都允许用户使用时间线和关键帧随着时间的推移调整模型的外观。

依赖于骨骼绑定的动画制作

Tvori 有一个实时捕捉模式，允许您将模型实时调整到您想要的姿势，它会为您记录并准确播放需要的表现方式。实时捕捉非常适合快速粗剪和走位。

脸部表情动画制作

Tvori 和 Masterpiece Studio Pro 都具有缓动功能，可以更精确地控制关键帧之间的时间和运动。 Tvori 还显示空间中的位置动画曲线，动画师可以使用滑块调整这些曲线，以帮助您可视化运动路径。

动画的替代方案

如果您不熟悉动画技术或时间紧迫且需要快速的捷径，您可以利用 Mixamo 等非 VR 工具将动作捕捉数据应用于到您的骨骼绑定模型。另一种选择是利用 DeepMotion 或 Wrnch 等动作捕捉工具从手机等相机中获取定制化的全身视频，并生成可应用于骨骼绑定模型的动画文件。对于面部捕捉，您可以利用 Face Cap 之类的东西实时捕捉您的头像的面部表现并导出动画文件。此时动画师可能需要在 Blender、Maya、3D Studio Max 等非 VR 应用程序中进行一些组装。

动作捕捉驱动角色脸部表情

动作捕捉驱动角色运动

动作捕捉效果

基于视觉图像识别的表情驱动

灯光

为了对场景的气氛施加一些控制，您需要控制灯光 - 大小、接近度、位置、颜色和类型。列出的几个 VR 应用程序至少可以对灯光进行一些控制，尽管在大多数情况下，它是非常基本的。我希望看到它们能够扩展到包含更多变化的灯光类型（区域、盒子等）和灯光属性（衰减、阴影、雾等），因为在空间上用灯光照亮场景是非常有益的，并且本身就是一种艺术形式。

场景灯光设置

特效

AR、VR 中的特效可以有多种形式：

· 粒子特效从一个源发出，通常在消失之前有一个短暂的生命周期（Tvori、Dreams、Horizons）。适用于火焰、烟雾、火花等。

· 画笔特效是动画形式的画笔纹理，可让您的作品栩栩如生（Tiltbrush、AnimVR）。适用于放电、流动、变色等。

· 表面特效使表面看起来像是在移动，即使它是静止的（Dreams）。适用于流水、瀑布等。

外观开发(Look Dev)

外观开发是艺术家将所有资产收集在一起并使其具有一致的外观和感觉以设定场景基调的过程。它与光照、纹理和颜色分级密切相关，以获得特定的情绪反应。在 VR 中执行此操作的能力在 Dreams 之外的工具中都极为有限，Dreams 似乎从一开始就考虑到这一点，并且是它最强大的功能。艺术家可以通过调整设置、照明、笔触等来决定场景的逼真程度或风格化程度。这对于制作最终的完成品来说非常需要，但目前，您可能需要在 AR、VR 之外的其他应用程序中执行此操作。

外观开发 - 一致性调整

脚本

3D建模流水线过程中脚本编写不是必选项，但有了它会给3D模型资产的创建带来很多好处。门槛低，脚本语言的语句非常简单，并且标点和格式规则非常少，从未学过编程的用户也可以很快学会。建模过程自动化，将一些重复的建模操作过程自动化可以大大提高建模效率。模型交互性，在产品内创建交互时非常实用。这是一个显著的差异化因素，在空间环境中实施也具有挑战性。

输出结果

最后一步，完工交付3D模型资产，后面进入面向行业具体应用场景的AR、VR开发流程中。

总结

现在既然你已经熟悉了AR、VR 的整个 3D 流水线，您就可以做出明智的决定，决定何时将AR、VR 相关的应用程序整合到您现有的工作流水线过程中，或者如何制作满足您特定项目需求的全新流水线。

简单地在 VR 中进行3D空间工作可以将大多数艺术家的效率提高很多倍，因为它比用于制作 3D 资产的传统受约束的 2D 界面更自然。它还降低了进入的门槛，让作为艺术家的你或想成为艺术家的你，立刻变得更有效率。我们不再会在2D平面屏幕上被迫推拉控制点，我们可以在3D空间中自然地雕刻。我们不再被迫在 Photoshop 中进行平面绘画，然后再转到另一个软件更新渲染以查看我们的更改效果；我们可以直接在3D空间网格上绘制并实时查看我们的更新结果。我们不再需要一次手动展开一个网格UV，而是自动展开。带来的好处和节省的时间确实令人印象深刻！

随着AR、VR技术的日益普及，3D模型资产的创作模式我预计将会发生大的改变，全民写作、全民拍照、全民视频直播的时代已经是现在时，取代现在的PC为主的3D资产创作模式，基于VR眼镜的全民3D创作将会是不远的未来。新的工作流程组合不会凭空产生，基于现有3D创作流程优化提升是一条可行的路径，让更多的人了解3D创作流水线各组成步骤的功能以及每个步骤的重要性，为未来参与打下基础，这也是写这篇文章的出发点。朝向全民3D资产创作的光明前景，全速前进！

如果你关心未来全民3D创作时代的到来，请关注我的头条号[微笑]，后续带来更多信息，大家一起探索。

更多AR、VR相关文章：

AR和VR当前面临的技术挑战和未来展望

什么是增强现实(AR)与虚拟现实(VR)？它们是通往元宇宙的入口吗？

距离AR普及应用还有多远？关于增强现实的几点思考

北京冬奥会闭幕式上的数字AR中国结技术实现解析

空战中飞行员如何瞄准目标？谈谈AR头盔的应用

AR和IoT之间是什么关系？相爱相杀？相辅相成？

增强现实(AR)为什么可以无中生有？看一看魔镜背后发生的事情