Keynote
Essentials 进阶 20m

WWDC24 主题演讲：Apple Intelligence 与全线平台更新

Keynote

2024年6月10日

在 Apple 官方观看视频

一句话判断

WWDC24 主题演讲是 Apple Intelligence 的正式亮相——Apple 用端侧大模型+私有云计算重新定义了”智能”，同时 visionOS 2、iOS 18、macOS Sequoia 也带来了大量实质性更新。

这场 Session 讲了什么

Tim Cook 开场后直接进入平台更新。visionOS 2 是第一个重磅发布：机器学习可以把 2D 照片转化为空间照片，Mac Virtual Display 升级为超宽屏模式（相当于两台 4K 显示器），新增火车 Travel Mode，TabletopKit 让桌面级应用开发变得简单。已经有超过 2000 个原生 Vision Pro 应用和 150 万个兼容应用。

iOS 18 的重点是个性化：主屏幕图标可以自由摆放、调整大小和着色，控制中心完全可定制，锁屏底部按钮可以替换为其他 App 快捷方式。信息 App 支持 RCS、定时发送和文字效果。密码管理从 iCloud Keychain 独立为 Passwords App。

Apple Intelligence 是整场演讲的核心。它不是单独的 App，而是深度集成在系统中的个人智能系统。端侧运行的语言模型负责文本总结、改写、邮件回复等任务，扩散模型负责生成图像和 Genmoji。当需要更大的模型处理复杂任务时，Private Cloud Compute 提供云端推理，用户数据在处理完成后不会被保留。Siri 也迎来最大升级——更自然的语音、屏幕内容感知能力、以及跨 App 操作能力。

值得深挖的点

Apple Intelligence 的架构选择：端侧优先+私有云

Apple 的做法跟行业主流不同。他们没有用一个超大模型解决所有问题，而是把模型做小、做专。端侧基础模型通过 Adapter（适配器）机制实现多任务：基础模型权重固定，每个任务（总结、校对、回复等）对应一组小的 Adapter 权重，运行时动态加载。量化到平均不到 4 bit/参数，仍然保持质量。

更值得关注的是 Private Cloud Compute 的安全设计。它基于 iOS 安全架构的硬化子集：Secure Enclave 保护密钥，Secure Boot 验证系统签名，Trusted Execution Monitor 确保只有签名代码运行。设备与云端之间建立端到端加密连接，数据在返回响应后不保留。Apple 承诺将每个生产构建的虚拟镜像公开供安全研究者审查——这种透明度在云 AI 领域几乎没有先例。

visionOS 2 的开发者生态定位

从发布到第一个大版本更新只用了四个月，但变化不小。2D 转空间照片的技术说明 Apple 在用机器学习填补空间内容不足的缺口。TabletopKit 和企业 API（手术模拟、设备维护）则指向了明确的方向：Apple 认为 Vision Pro 的短期价值在企业级应用，而不是消费端。

代码片段

Apple Intelligence 的 App Intents 集成思路

虽然 Keynote 没有直接展示代码，但从演讲内容可以梳理出开发者需要关注的集成模式：

// Apple Intelligence 通过 App Intents 理解你的 App 能做什么
// 你需要为每个可执行操作定义 AppIntent

struct PlayPlaylistIntent: AppIntent {
    static var title: LocalizedStringResource = "播放播放列表"
    static var description = IntentDescription("播放指定的音乐播放列表")
    
    @Parameter(title: "播放列表名称")
    var playlistName: String
    
    func perform() async throws -> some IntentResult {
        // 执行播放逻辑
        return .result()
    }
}

场景：Siri 收到”帮我播放我的跑步歌单”时，Apple Intelligence 会通过 App Intents 理解你的 App 可以执行这个操作，并自动调用。

坑点：App Intent 的 title 和 description 需要准确描述操作含义，Apple Intelligence 依赖这些元数据来匹配用户请求。

visionOS 空间照片转换（概念性）

// visionOS 2 中从 2D 照片生成空间照片
// 系统使用 ML 模型自动推算深度信息
// 开发者无需手动处理，系统 Photos 框架自动完成

场景：用户在 Vision Pro 的 Photos App 中查看旧的 2D 照片时，一键转换为带有自然深度的空间照片。

最佳实践

  • 为你的 App 添加 App Intents，让 Siri 和 Apple Intelligence 能发现并调用你的 App 功能
  • iOS 18 主屏幕自定义意味着用户可能把你的 App 图标放到更深的位置，确保 Widget 和通知仍然能触达用户
  • visionOS 开发者关注 TabletopKit，这是桌面协作场景的低门槛入口
  • Passwords App 的推出意味着如果你的 App 还在用自建登录体系，可以考虑切换到 Passkeys

还有什么值得关注

  • watchOS 11 新增 Vitals App，汇总健康指标并在异常时提醒
  • macOS Sequoia 的窗口平铺功能终于赶上了 Windows 的基本体验
  • Messages 支持 RCS 是跨平台通信的重大改进，但 iMessage 生态仍然是核心卖点
  • Genmoji 是 Apple Intelligence 图像生成的入口级体验，开发者可以通过新 API 集成
WWDC 2024