苹果WWDC大会AR/VR空间计算主题分享视频汇总
视频汇总
（映维网Nweon 2023年06月14日）在WWDC 2023大会的主题演讲结束后，苹果开始举行一系列的讨论会议，包括针对Vision Pro的一系列开发者专场活动。当然，这家公司后续上传了相关的介绍视频。
实际上，苹果将历史上所有相关的视频都纳入到Spatial Computing空间计算专栏，而更多与空间计算相关的信息可以访问苹果开发者官网。
下面是所有相关视频的汇总及简介。值得一提的是，点击小标题可以超链接进入具体视频，而点击视频页面右下角的“⋮”可以显示英文字幕和调整语速。另外，下方的“Transcript”提供了英文文本转录。
一. WWDC 2023大会
1. 设计空间输入
学习如何为眼睛和双手设计出色的交互。苹果分享了空间输入的设计原则，探索输入方法的最佳实践，并帮助你创造舒适、直观和令人满意的空间体验。
延伸阅读：苹果介绍Vision Pro基于神经科学技术的手眼协调控制
延伸阅读：苹果Vision Pro文本输入支持悬空虚拟键盘和蓝牙外接键盘
例如，苹果团队介绍了Vision Pro如何实现实现眼睛+手势操作，以及可以支持的蓝牙键盘和虚拟键盘。
2. 创建无障碍空间体验
团队将介绍如何制作适合所有人的空间计算应用程序。与所有苹果平台一样，visionOS在设计时有考虑到无障碍性。苹果将将分享如何重新构想VoiceOver和Pointer Control等辅助技术，以及如何设计Dwell Control等功能，从而帮助人们以最适合自己的方式进行交互。学习视觉、运动、认知和听觉无障碍的最佳实践，并帮助每个人享受visionOS的沉浸式体验。
3. 设计空间用户界面
了解如何为空间计算应用程序设计出色的用户界面。苹果分享了现有的基于屏幕的知识如何轻松转化为visionOS的卓越体验。你可以探索UI组件和排版等方面的指导原则，并学习如何设计熟悉、易读且易于使用的体验。
4. ARKit与空间计算
了解如何使用ARKit的追踪和场景理解功能来开发一个全新的沉浸式应用程序和游戏世界。了解visionOS和ARKit如何协同工作，并用于帮助你创建能够理解周围环境，同时保护隐私的应用程序。探索ARKit API的更新迭代，而苹果会演示如何在应用程序中利用手部追踪和场景几何。
探索你可以在visionOS应用程序中创建的SharePlay活动类型，并了解你的应用程序如何使用Spatial Persona模板来支持人与人之间有意义的互动。另外，你可以学习如何围绕共享情景设计用户界面、在共享活动中处理沉浸式内容等。
App Store Connect提供了在App Store中测试、提交和管理visionOS应用程序所需的工具。探索部署第一个空间计算应用的基础知识和最佳实践，为现有应用程序添加对visionOS的支持，以及管理兼容性。苹果同时会向你展示TestFlight for visionOS如何帮助你测试应用程序，并在迭代时收集有价值的反馈。
了解RealityKit如何将你的应用程序带入一个新的维度。开始使用RealityKit entities、组件和系统，学习如何在visionOS向应用程序添加3D模型和效果。苹果同时会介绍将RealityView API，并演示如何将3D对象添加到Windows、Volume和Space，以提高应用程序的沉浸感。另外，你可以探索如何将RealityKit与空间输入、动画和空间音频相结合。
了解如何在iOS应用程序中直接提供端到端的Object Capture对象捕获体验，帮助人们将对象转换为可随时使用的3D模型。学习如何使用的示例应用程序创建完全自动化的对象捕获扫描流程，以及如何帮助用户自动捕获其模型的最佳内容。苹果同时将讨论激光雷达数据，并提供扫描对象的最佳实践。
了解如何在visionOS使用Quick Look为3D内容、空间图像和视频等添加强大的预览体验。苹果将向你展示系统呈现体验的不同方式，演示如何从应用程序或网站拖放Quick Look内容以创建单独窗口，并探索如何在应用程序中直接呈现Quick Look。
10. 空间计算的渲染
了解如何控制RealityKit渲染，如何自定义照明、添加背景阴影和控制内容的色调映射。苹果同时将讨论Rasterization Rate Maps和Dynamic Content Scaling的最佳实践。
11. SwiftUI助你超越窗口的限制
一种全新的SwiftUI场景类型可以帮助你为visionOS创造出色的沉浸式体验。苹果将展示如何使用ImmersiveSpace创建新场景、放置3D内容和集成RealityView。你可以探索如何使用 immersionStyle场景修改器来提高应用程序的沉浸感，并学习管理空间的最佳实践，你可以使用ARKit添加虚拟手部和对SharePlay的支持。
探索在visionOS为Quick Look创建3D内容时的最佳实践。苹果将介绍几种不同的方法来准备模型以进行快速查看，涵盖3D质量和性能的重要考虑因素，并向你展示如何使用Reality Composer Pro和Reality Trace来检查和微调内容。
13. 构建空间SharePlay体验
了解如何使用GroupActivities框架为visionOS构建独特的共享和协作体验。苹果将向你介绍SharePlay与visionOS，并帮助你学习如何创造令人们感觉像在同一个空间里的临在体验，并探索沉浸式应用程序如何尊重参与者之间的共享环境。
了解如何将你的多平台SwiftUI应用程序带到visionOS和Shared Space。苹果将向你展示如何将visionOS目的地添加到现有应用程序中，并在模拟器中查看应用程序。你可以探索SwiftUI代码如何自动调整以支持visionOS平台的独特情景和演示。另外，你可以学习如何更新自定义视图、改进应用程序的UI以及添加平台特定的功能和控件。
15. 探索USD生态系统
了解Universal Scene Description（USD/通用场景描述）的最新更新，学习如何为应用程序、游戏和网站提供出色的3D内容。了解USD for visionOS，探索MaterialX着色器和颜色管理，并了解USD生态系统的其他改进。
16. 探索RoomPlan的优化
随着苹果探索MultiRoom支持和对房间表示的增强，苹果将向你介绍RoomPlan令人兴奋的更新。你将了解如何更详细地扫描区域，捕获多个房间，并将单个扫描合并为一个更大的结构。团队同时将分享处理合并到现有三维模型库中的RoomPlan结果的工作流程和最佳实践。
学习如何使用RealityKit将引人入胜、身临其境的3D内容带到应用程序中。了解SwiftUI场景如何与RealityView协同工作，以及如何将内容嵌入entity hierarchy。苹果同时会介绍如何使用锚点将虚拟内容和现实世界融合在一起，将粒子效果引入应用程序，添加视频内容，并通过传送门创造更多身沉浸式体验。
18. 为Shared Space提升你的iPad和iPhone应用程序
准备好为Shared Space增强你的iPad和iPhone应用程序吧。苹果将向你展示如何为visionOS优化体验，并探索iPad的交互、视觉和媒体。
了解如何使用Reality Composer Pro轻松撰写、编辑和预览3D内容。跟随苹果一起探索这个开发工具，设置一个新项目，合成场景，添加粒子发射器和音频，甚至在设备预览内容。
20. 在Reality Composer Pro中探索材质
了解Reality Composer Pro如何帮助你使用RealityKit材质更改3D对象的外观。苹果将向你介绍MaterialX和PBR着色器，展示如何使用着色器图形编辑器设计动态材质，并探索向材质添加自定义输入，以便你可以在visionOS应用程序中控制它。为了充分利用这节课，建议你首先查看Reality Composer Pro。”
21. Xcode与Reality Composer Pro内容
了解如何在Xcode中将来自Reality Composer Pro的内容变得栩栩如生。苹果将向你展示如何把3D场景加载到Xcode中，将内容与代码集成，并为应用程序添加交互性。团队同时会分享在开发工作流程中使用所述工具的最佳实践和技巧。为了充分利用本节课程，建议你先查看“Reality Composer Pro”和“ 在Reality Composer Pro中探索材质”，以了解有关创建3D场景的更多信息。
22. Metal与沉浸式应用
了解如何使用Metal为visionOS提供完全身临其境的体验。苹果将向你展示如何在平台设置渲染会话并创建基本渲染循环，并分享如何通过结合空间输入来实现体验的交互性。
23. 创建沉浸式Unity应用
探索如何使用Unity为visionOS创造引人入胜的沉浸式体验。苹果将分享Unity如何与苹果框架无缝集成，带你了解可以用于为平台原生构建的工具，并展示体三维摄像头如何将现有场景带入visionOS Window、Volume和Space。你同时会学习如何结合诸如透视和场景理解这样的visionOS功能，使用Shader Graph自定义视觉效果，并调整交互以使用空间输入。
24. 空间计算的原则
探索空间设计的基本原理。学习如何以深度、规模、窗口和沉浸感进行设计，并应用最佳实践来创造舒适的、以人为中心的体验，从而改变现实。了解如何使用这些空间设计原则来扩展现有的应用程序或将新想法带入生活。
25. 隐私
苹果表示，他们相信隐私是一项基本人权。在这个视频中，你将了解用于帮助你更容易实施基本隐私模式的新功能，从而在应用程序中建立客户信任。团队同时会介绍苹果平台的隐私改进，以及隐私如何影响visionOS输入模型的软件架构和设计的研究。
26. 在Shared Space中运行iPhone和iPad应用程序
了解如何在Vision Pro运行现有的iPad和iPhone应用程序，以及iPadOS和iOS应用程序如何在所述平台运行。你同时会学习专为iPad设计的体验，并探索在visionOS增强应用程序体验的途径。
27. 为空间计算升级你的ARKit应用
了解如何将应用程序的AR体验带到visionOS中，同时了解ARKit和RealityKit在空间计算方面是如何发展的：苹果将重点介绍iPadOS和iOS在概念和API方面的变化，并深入指导你，帮助你将AR体验带到这个平台。
28. 开发你的第一个沉浸式应用
了解如何使用Xcode和Reality Composer Pro为visionOS构建身临其境的应用程序。我们将向您展示如何开始新的visionOS项目，使用Xcode预览进行SwiftUI开发，并利用RealityKit和RealityView渲染3D内容。
29. RealityKit Trace
了解如何使用RealityKit Trace来提高空间计算应用程序的性能。探索这个平台的性能评测指南，学习RealityKit Trace模板如何帮助你优化应用程序的渲染。苹果同时会提供有关分析应用中各种类型内容的指导，从而帮助查明性能问题。
30. 把 SwiftUI带到下一个维度
准备好为你的visionOS应用程序添加深度和维度。了解如何使用Volume将3D对象带到应用程序，学习Model 3D API，以及如何定位和动画内容。苹果同时会向你展示如何在RealityView中使用UI附件，以及如何在内容中支持手势。
31. SwiftUI与空间计算
与苹果一起游览太阳系，并探索SwiftUI for visionOS。了解如何通过Window、Volume和Space构建一个全新的应用世界。通过一个沉浸式天文学应用程序，团队将向你展示如何在这个平台开始使用SwiftUI，添加3D内容，并创造一种完全沉浸式的体验。
32. 探索沉浸式音效设计
了解如何使用声音来增强visionOS应用和游戏的体验。看看苹果设计师如何选择声音并构建声景，以创造具有质感、身临其境的体验。团队将分享当你在空间上放置音频提示、改变重复音效并在应用程序中构建声音愉悦时刻的时候，你可以如何用声音丰富应用中的基本交互。
33. 开始构建用于空间计算的应用程序
准备好为visionOS开发应用和游戏。你可以探索构成空间计算的基本构建块：Window、Volume和Space，并了解如何使用所述元素来构建引人入胜的沉浸式体验。
34. 为空间计算优化应用效率和性能
了解如何通过优化性能和效率来为visionOS创建功能强大的应用和游戏。苹果将介绍探索制定性能计划，并分享测试和优化应用的工具和策略。
35. UIKit与空间计算
了解如何将UIKit应用程序带到visionOS。苹果将介绍在visionOS中使用SwiftUI和UIKit时，如何为新的目的地构建内容，探索空间计算的API和最佳实践，并将你的内容带入第三维度。
36. 将你的Unity VR应用程序带到一个完全沉浸式的空间
了解如何将现有的Unity VR应用程序戏带到visionOS。苹果将介绍可以帮助你入门的工作流程，并向你展示如何使用Unity输入系统在应用和游戏中构建眼睛和双手。你同时会学习Unity的XR Interaction Toolkit、注视点渲染技巧和最佳实践。
37. 为空间计算构建优秀的游戏
了解如何为visionOS开发出色的游戏体验。苹果将分享关键可以帮助你为平台创建游戏的关键构造块。另外，你可以探索体验如何在不同级别的沉浸感之间流畅地切换，并为探索ARKit、RealityKit、Reality Composer Pro、Unity、Metal和Composator提供路线图。
38. 视觉和运动的设计考量
了解如何为visionOS设计引人入胜的沉浸式体验，并尊重人类视觉和运动感知的局限性。苹果将向你展示如何使用深度提示、对比度和焦点等，并帮助用户在享受你的应用和游戏时可以获得舒适体验。
二. WWDC 2022大会
39. 出色AR体验的品质
探索帮助为iPhone和iPad打造神奇AR体验的最佳实践和技术。苹果将提供相关指导，以帮助你确定AR是否适合你的体验。另外，团队会展示优秀AR应用程序的示例，并带你了解增强现实设计时的关键考虑因素。
40. 把你的世界带到增强现实
苹果将演示如何使用Object Capture对象捕获和RealityKit将真实世界对象带到增强现实游戏。团队会展示如何使用Object Capture框架捕获详细项目，将它们添加到Xcode中的RealityKit项目中，应用风格化的着色器和动画，并把它们作为AR体验的一部分使用。另外，你将学习到还使用ARKit、RealityKit和Object Capture时的最佳实践。
RoomPlan可以帮助你的应用程序快速创建房间的简化参数3D扫描。你将会了解如何使用这个API轻松添加房间扫描体验。苹果将展示如何采用所述API，探索3D参数化输出，并分享最佳实践，以帮助你的应用程序在每次扫描中都获得出色的结果。
42. 探索USD工具和渲染
了解帮助你生成、检查和转换USDasset的工具的最新进展。你将会学习到相关工具的更新，以及如何将它们集成到内容创建管道中。苹果同时会探索USD Hydra渲染的功能，并展示如何将其集成到自己的应用程序中。
43. 理解USD基础
了解皮克斯USD的基础，以及它如何帮助你构建出色的3D asset和工作流程。苹果同时会介绍USD背后的核心概念，并探讨如何将所述格式集成到你的内容创建管道中。另外，你将会学习如何利用USD的力量，并创建灵活多样的asset。
44. ARKit 6
了解如何使用ARKit 6构建更精细、更强大的增强现实应用程序。苹果将探讨如何创建以4K HDR渲染的AR体验，并带你完成应用程序的摄像头设置自定义。团队同时会分享如何从ARKit会话导出高分辨率静态图像，利用平面估计和运动捕捉，以及在新区域添加AR定位锚点。
三. WWDC 2021
45. 深入RealityKit 2
利用RealityKit，创造引人入胜的AR体验将变得从未如此简单。探索RealityKit框架的最新增强功能，并深入了解一个示例项目。苹果将带你了解改进的entity组件系统、精简的动画管道，以及对面部网格和音频进行增强的即插即用角色控制器。
Object Capture提供了一种快速简便的3D模型创建方法，只需使用几张图像即可创建真实世界对象的逼真3D模型。了解如何开始使用macOS摄影测量并将你的asset变得栩栩如生。发现对象选择和图像捕获的最佳实践，从而帮助你获得最高质量的结果。
47. 探索ShazamKit
当你使用ShazamKit时，请在应用程序中充分利用Shazam的精确音频匹配功能。了解如何利用巨大的Shazam目录来创建各种体验，包括快速识别应用程序捕获的视频背景中播放的确切歌曲，根据房间中播放的音乐提供动态视觉效果，甚至与外部音频同步以提供配套应用程序体验。苹果同时会你展示如何在ShazamKit中构建自定义目录，以匹配任何音频源。
48. AR Quick Look与Object Capture
探索将你的Object Capture asset带到AR Quick Look的简单方法，同时优化视觉质量和文件大小。探索如何将AR Quick Look和Object Capture集成在一起，以帮助创造全新的体验。
使用RealityKit的先进渲染技术来为你的增强现实体验创造令人惊叹的视觉效果。学习编写自定义着色器的艺术，绘制实时动态网格，并探索创造性的后处理效果，以帮助你设置AR场景的风格。
使用Create ML，应用程序理解人手表现力的能力从未变得如此简单。了解如何在视觉中建立对手势检测的支持，并使用Create ML应用程序和框架训练自定义手势和手势分类器。了解收集数据、训练模型并将其与Vision、Camera和ARKit集成以创造有趣、娱乐的应用程序体验有多么简单。
51. 探索ARKit 5
使用ARKit 5构建下一代增强现实应用程序。探索如何在其他地区使用定位锚点，并更容易地将人们带入基于位置的AR体验。了解有关面部追踪和运动捕捉的更多信息。发现将AR内容放在现实世界中的最佳实践。苹果同时会向你展示如何将App Clip Codes集成到AR应用程序中，以便轻松发现和精确定位你的虚拟内容。
52. 空间交互设计
探索在两个或多个设备之间创建直观物理交互的原理，正如为iPhone、HomePod mini和AirTag开发功能的苹果设计师所展示的那样。你将学习如何在为苹果平台设计功能时将相关模式应用于自己的应用程序，并帮助用户更直接地与周围环境交互。
53. 通过USD创建3D工作流程
探索皮克斯的USD将如何为你的3D工作流程提供的灵活性、多功能性和强大功能。了解如何在macOS的专业工作流程中使用USD文件格式：使用Object Capture扫描真实世界对象的3D模型，利用第三方数字内容创建工具的潜力，并构建高质量的渲染序列。
54. 音频触觉设计实践
了解如何在iPhone提供丰富的应用程序体验，包括动画、声音和触觉。学习在Core Haptics框架内设计多模式体验的关键概念。苹果将带你参观我示例性HapticRicochet应用程序，并向你展示如何创造神奇而愉快的体验。
四. Teck Talk
55. AR中的高级场景理解
ARKit 3.5和RealityKit提供了帮助你充分利用了新款iPad Pro激光雷达扫描仪的功能。查看ARKit 3.5，了解场景几何体、增强光线投射、即时虚拟对象放置等。了解RealityKit如何利用所述功能实现与真实世界对象交互的真实世界物理、对象遮挡和照明效果。
56. 人脸追踪与ARKit
ARKit和iPhone X在AR应用程序中实现了强大的人脸跟踪功能。了解你的应用程序如何实时检测用户面部的位置、拓扑结构和表情。了解如何应用实时自拍效果，并了解如何使用面部表情来驱动3D角色。
五. WWDC 2020
57. RealityKit的新功能
RealityKit是苹果为增强现实从零开始构建的渲染、动画、物理和音频引擎：它重新构想了传统的3D渲染器，可帮助开发者轻松制作原型并产生高质量的AR体验。了解如何在应用程序中有效实施RealityKit的每一项最新改进。发现视频纹理、使用iPad Pro的激光雷达扫描仪进行场景理解、定位锚点、人脸追踪和改进的调试工具等功能。
58. 探索ARKit 4
ARKit 4可帮助你构建下一代增强现实应用程序，以改变人们与周围世界的联系方式。苹果将带你了解苹果增强现实平台的最新改进，包括如何使用定位锚点将虚拟对象与真实世界的经度、纬度和海拔高度连接起来。了解如何在iPad Pro使用激光雷达扫描仪，并获取环境的深度图。并学习如何在更多设备追踪A人脸，包括iPad Air（第三代）、iPad mini（第五代），以及所有带有A12仿生芯片或更高版本的前置摄像头的设备。
59. USD的新功能
发现对USD标准提出的架构和结构更新。了解如何使用Reality Composer构建具有交互属性的AR内容，如锚定、物理、行为、3D文本和导出到USDZ的空间音频。另外，你将会学习帮助你将新创建的对象引入应用程序的简化流程。
AR Quick Look为在线购物增加了一个新的维度：苹果将展示如何在增强现实中轻松展示你的产品，以获得“先试后买”体验。了解如何在AR Quick Look中显示产品横幅、集成Apple Pay或显示“添加到购物车”等自定义操作。
61. 美术的AR工具包
Reality Converter和Reality Composer使为iOS或iPadOS应用程序准备增强现实asset比以往任何时候都更容易。了解如何将现有的3D asset转换为USDZ，将其引入Reality Composer以创建AR体验，并与现有的Xcode项目集成或导出到AR Quick Look。我们将详细介绍如何使用各种流行的3D格式asset，构建和测试你的AR场景，以及与美术的工作流程集成。
六. WWDC 2019
62. 介绍RealityKit和Reality Composer
RealityKit专为AR设计，为开发者提供了世界规模的渲染、动画、物理和空间音频功能。了解RealityKit如何重新构想传统的3D引擎，并帮助开发者更快、更容易地进行AR开发。了解开发基于RealityKit的应用程序和游戏的构建块，并了解Reality Composer的原型设计和制作AR体验内容。
63. 了解USD
USD能够对3D场景进行稳健的描述，并帮助工程师和美术能够在整个创意工作流程中无缝协作。苹果将介绍USD的强大功能，探索其令人难以置信的可扩展性。更深入地了解USD asset是如何创建的，并了解如何交付用于ARKit和RealityKit的usdz内容。
64. 通过RealityKit构建应用
通过使用易于学习的API开发游戏，获得对RealityKit功能的实际了解。学习加载资源、构建场景、应用动画和处理游戏输入的推荐方法。了解entity和组件如何在提供定制灵活性的同时表达RealityKit的强大元素。了解如何利用内置网络，并获得有关将游戏扩展到身临其境的多玩家体验的详细信息。
65. 介绍ARKit 3
ARKit是iOS的突破性增强现实平台，可以改变人们与周围世界的联系方式。探索ARKit 3最先进的功能，发现它为RealityKit提供的创新基础。通过了解动作捕捉和人物遮挡的身体位置和运动，了解ARKit如何使AR更加身临其境。
66. 把人带到AR
ARKit 3可以将真实人物稳健地集成到AR场景中。了解应用程序如何使用实时运动捕捉为虚拟角色设置动画或应用于2D和3D模拟。了解People Occlusion人物遮挡如何实现更身临其境的AR体验。
通过创建一款融合了Core ML、ARKit和其他应用程序框架的教育性游戏，你将会深入学习解决具有挑战性的计算机视觉问题的方法。
68. 构建协作式AR体验
在iOS 13中，ARKit和RealityKit使应用程序能够比以往更快、更容易地建立共享式AR体验。了解协作会话如何允许多个设备构建组合的世界地图，并实时共享AR锚点和更新。了解如何将协作会话纳入基于ARKit的应用程序，然后进入SwiftStrike，一款使用RealityKit和Swift构建的多人AR游戏。
Reality Composer这个工具可以让任何人快速原型和构建AR场景。你可以通过Reality Composer强大而直观的功能，在其内置的AR库中发现数百个现成的虚拟对象。另外，你会了解构建动画和交互以丰富3D内容有多么容易，并了解有关将现实文件直接集成到应用程序中的详细信息。
70. AR Quick Look的进步
AR Quick Look是一款内置查看器并用于体验3D和AR中的高质量内容。了解与Reality Composer的集成将如何轻松显示和共享丰富的交互式体验。探索渲染改进和多对象查看，然后深入了解AR Quick Look在零售、教育等方面的实际应用。
