Create custom environments for your immersive apps in visionOS
Spatial Computing 进阶 20m

为 visionOS 沉浸式应用创建自定义环境

Create custom environments for your immersive apps in visionOS

2024年6月10日

在 Apple 官方观看视频

一句话判断

这场 Session 给出了一套从设计到落地的完整工作流：用 DCC 工具建模、烘焙贴图降低运行时开销、导入 Reality Composer Pro 调材质，核心原则是”能用烘焙解决的就不要留给实时渲染”。

这场 Session 讲了什么

visionOS 的自定义沉浸式环境（Custom App Environment）需要在视觉质量和运行时性能之间找到平衡。这场 Session 以一个”观影工作室”为例，完整演示了从 Blender 到 Reality Composer Pro 的工作流。

设计层面，强调了环境的功能定位要先想清楚——是营造氛围、还是提供功能空间。技术层面，重点讲解了如何通过贴图烘焙（Texture Baking）把所有光照和表面细节压缩到极少数的 UV Map 上，让场景在 Vision Pro 上跑得流畅。最终导出为 USDZ 格式，在 Reality Composer Pro 中替换材质为 Unlit，完成最后调优。整个工作流成熟度很高，已经是一套可以直接照着做的标准流程。

值得深挖的点

贴图烘焙：空间计算的性能生命线

这场 Session 传递了一个非常明确的信息：在 Vision Pro 上，实时全局光照是你负担不起的奢侈品。解决方案是贴图烘焙——在 Blender 中完成所有光照计算，把结果”烧录”到贴图中，运行时只需要一次纹理采样就能得到逼真的效果。

具体做法是把整个场景的 UV 重新打包到 6 个分组中：中部、天花板、地板、前部、后部、道具。每个分组对应一张烘焙贴图，这意味着整个复杂场景最终只有 6 张纹理在运行时参与渲染。在 Reality Composer Pro 中，所有材质切换为 Unlit 模式——因为光照信息已经编码在贴图里了，不需要引擎再计算任何光照。

这个方案的限制也很明显：环境中的光照是静态的，不能动态变化。Session 里的解决方案是预制作多套光照（示例中是亮色和暗色两套），运行时切换。这是一种务实的 trade-off——牺牲动态光照的灵活性，换取在移动端 GPU 上的流畅体验。

场景设计的”不可见即不需要”原则

Session 反复强调一个设计准则：用户看不到的区域就不需要建模。示例中的观影区域用地面上的圆圈标记了”最佳观看位置”，只有从这个位置可见的几何体才需要存在。屏幕前方不要放置可能产生深度冲突的物体。

这个原则在传统 3D 开发中也存在，但在 Vision Pro 上更加关键。头显设备对多边形数量和 draw call 比桌面设备敏感得多，每省下一个看不见的面，都是在为帧率做贡献。另外一个容易忽视的点是：2D 屏幕上感知的尺度和头显中的实际体感不同，需要在两个视角之间反复调整。

代码片段

从 Blender 导出 USD 到 Reality Composer Pro

# Blender 导出步骤：
# 1. File → Export → Universal Scene Description (.usdc)
# 2. 保持默认参数不变
# 3. 关键：修改 Root Prim name
#    这个名称会带入 Reality Composer Pro，影响层级结构

场景：把 Blender 中完成的场景导出为 Apple 空间计算格式。坑：Root Prim 名称如果不规范，导入 Reality Composer Pro 后层级混乱，改名很麻烦。

Reality Composer Pro 中替换烘焙材质

// 在 Reality Composer Pro 中：
// 1. 选中每个材质
// 2. 将 Material Type 改为 "Unlit"
// 3. 连接烘焙好的贴图到对应材质的 base color
// 4. 取消勾选 "Apply Post Process" tone map
//    确保视觉效果和 Blender 中一致

场景：让烘焙贴图在 Vision Pro 上正确显示。坑：如果忘了关掉 tone map，烘焙贴图会被二次处理，颜色和亮度会偏。

为玻璃元素设置物理材质

// 玻璃等透明物体不能用 Unlit，需要 PBR 材质：
// 1. Material Type → Physically Based
// 2. Roughness → 调低（如 0.1）获得清晰反射
// 3. Opacity → 调低（如 0.3）获得透明效果

场景：场景中的玻璃隔断、窗户等透明元素需要单独处理。坑：PBR 材质的透明物体比 Unlit 贵得多，尽量控制数量。

最佳实践

新项目： 从设计阶段就确定”烘焙优先”的路线。用简单几何体做 blockout 验证空间尺度，确认后再进入细节制作。建议在 DCC 工具中就做好 UV 分组规划，把 6 个分组的策略提前定下来。光照方案至少准备亮/暗两套，给用户选择权。

已有项目： 如果你已经有 3D 场景资产，关键是评估哪些物体需要保留实时渲染（如玻璃、动态元素），哪些可以烘焙。建议先从场景中最重的部分（地板、墙壁）开始烘焙，逐步替换，每次替换后在设备上测试帧率。

还有什么值得关注

  • Object Capture 扫描的资产可以用 Blender 的 Decimate 功能降低面数，放在场景远处的物体不需要高精度。
  • 场景中可以嵌入视频组件（Video Component），在烘焙环境中播放视频内容。
  • 多套光照方案之间的切换可以用程序控制，实现”白天/夜晚”等场景模式。
WWDC 2024