Platforms State of the Union
Essentials 进阶 20m

平台技术综述

Platforms State of the Union

2024年6月10日

在 Apple 官方观看视频

一句话判断

这是 WWDC 2024 技术层面的”全局地图”——Apple Intelligence 的端侧+云端双轨架构、Private Cloud Compute 的安全模型、以及全平台 API 的关键更新都在这里集中展示，如果你只看一场 Session 来把握今年方向，就是这场。

这场 Session 讲了什么

Apple Intelligence 是今年 WWDC 的绝对主角。它是一个个人智能系统，将强大的生成式模型带到了 iOS、iPadOS 和 macOS 上，具备语言理解与生成、图像生成、以及帮用户执行操作的能力，并且深度集成了用户的个人上下文信息。

技术架构上，Apple Intelligence 采用了端侧+云端的双轨设计。端侧有一个经过精心调校的基础大语言模型（LLM），通过 Adapter 机制实现高效的任务特化——每个 Adapter 是一组小型权重，可以动态加载到基础模型上，让同一个模型在不同任务（摘要、校对、邮件回复）间快速切换。模型经过了 16-bit 到平均不到 4-bit 的量化压缩，结合推测解码、上下文裁剪、分组查询注意力等技术优化推理性能和能效。图像生成方面也采用了类似的架构，用 Adapter 支持不同风格和 Genmoji。

对于需要更大模型的复杂任务，Apple Intelligence 通过 Private Cloud Compute（PCC）扩展到云端。PCC 运行在一个基于 iOS 安全基础构建的专用操作系统上，去除了持久化存储等不必要功能，替换了所有标准服务器管理工具以防止特权访问。用户设备通过端到端加密连接与 PCC 集群通信，请求数据在响应返回后不会被保留，Apple 也无法访问。

值得深挖的点

Adapter 机制是 Apple Intelligence 效率的关键

传统的做法是为每个任务训练一个独立的模型——文本摘要一个、校对一个、邮件回复一个。这既浪费存储空间，又让部署变得复杂。Apple 采用了 Adapter 方案：维护一个统一的基础模型，每个功能对应一个小型 Adapter（一组额外权重），运行时根据当前任务动态加载对应的 Adapter。

这个设计的精妙之处在于”够用就好”。Apple 明确说了他们在寻找一个”sweet spot”——强大到足以支撑目标体验，小到能在设备上运行。与其追求最大的模型参数量，不如用更聪明的方式让一个紧凑模型在特定任务上表现出色。4-bit 量化在保持模型质量的同时将内存占用压缩到原来的四分之一。

这个思路对开发者有直接的启发意义：在你的 app 中集成 AI 能力时，不需要追求最大的通用模型，而是可以用较小的模型配合任务特化的 Adapter 来获得更好的性价比。

Private Cloud Compute 的安全架构重新定义了云端 AI 的信任模型

PCC 不是一个加了加密的普通云服务器。它是一个从零设计的系统，每一层都围绕”不让任何人接触用户数据”这个原则构建。硬件层面用 Apple Silicon 的 Secure Enclave 保护加密密钥，Secure Boot 确保 OS 被签名验证，Trusted Execution Monitor 保证只有签名代码能运行。

最有说服力的措施是可验证性（Attestation）：用户设备在发送请求前，会验证目标 PCC 集群运行的是哪个版本、这个版本是否被公开记录可供安全研究人员检查。Apple 承诺将每个生产版本的虚拟镜像公开，安全研究人员可以验证代码是否真的做了它声称做的事，发现的漏洞通过 Apple Security Bounty 获得奖励。

这是一个非常高的透明度承诺。传统的云安全是”相信我们，我们做了正确的事”，而 PCC 的模型是”你可以验证我们是否做了正确的事”。如果这个模型成功，它可能改变整个行业对云端 AI 安全的期望标准。

代码片段

Apple Intelligence 的编排逻辑（概念性描述）

// Apple Intelligence 的内部编排流程（概念模型）
// 当用户发出请求时：

// 1. 通过端侧语义索引获取个人上下文
let personalContext = SemanticIndex.query(userRequest)

// 2. 通过 App Intents 工具箱了解 app 能做什么
let availableActions = AppIntentsToolbox.discoverCapabilities()

// 3. 决策：端侧处理还是需要云端
let requiresCloud = model.needsCloudComputation(userRequest)

if requiresCloud {
    // 4a. 端到端加密发送到 PCC
    let response = PrivateCloudCompute.request(
        userRequest,
        context: personalContext,
        attestation: requiredBuildVersion  // 验证云端运行的版本
    )
} else {
    // 4b. 在设备上用适当的 Adapter 处理
    let adapter = AdapterLoader.load(for: userRequest.taskType)
    let response = OnDeviceModel.infer(
        userRequest,
        context: personalContext,
        adapter: adapter
    )
}

// 5. 通过 App Intents 执行操作
if let action = response.suggestedAction {
    AppIntentsToolbox.execute(action)
}

场景：理解 Apple Intelligence 如何在端侧和云端之间分发任务。这不是你需要直接写的代码，但理解这个流程对设计 app 的 AI 集成方案至关重要。

App Intents 与 Apple Intelligence 的集成入口

import AppIntents

// 定义你的 app 能做什么，让 Apple Intelligence 可以调用
struct PlayPlaylistIntent: AppIntent {
    static var title: LocalizedStringResource = "播放歌单"
    static var description = IntentDescription("播放指定名称的歌单")
    
    @Parameter(title: "歌单名称")
    var playlistName: String
    
    func perform() async throws -> some IntentResult {
        // 执行播放逻辑
        try await MusicPlayer.shared.play(playlist: playlistName)
        return .result(dialog: "正在播放\(playlistName)")
    }
}

// 添加 Shortcut 动作，让 Siri 和 Apple Intelligence 能发现
struct PlaylistEntity: AppEntity {
    var id: String
    var name: String
    // Apple Intelligence 可以通过语义索引理解这个实体的含义
}

场景：让你的 app 功能能被 Apple Intelligence 发现和调用。坑点：Intent 的描述越精确，Apple Intelligence 越能准确地将用户请求路由到你的 app。

图像生成模型的概念流程

// Apple Intelligence 图像生成的架构（概念性描述）
// 使用扩散模型 + Adapter 支持不同风格

// 基础扩散模型生成图像
// Adapter 1: Genmoji 风格
// Adapter 2: 插图风格  
// Adapter 3: 概念草图风格

// 用户请求 -> 选择对应 Adapter -> 扩散模型生成
// 整个过程在设备上完成，不发送到云端

场景：理解 Apple Intelligence 的图像生成不是单一模型而是基础模型+多个风格 Adapter。这对理解 Genmoji 和 Image Playground 的技术基础有帮助。

最佳实践

  • 尽早适配 App Intents：Apple Intelligence 通过 App Intents 理解你的 app 能做什么。你的 Intent 定义得越清晰、描述越准确，Apple Intelligence 就越能有效地把用户请求路由到你。
  • 理解端侧和云端的分工：简单任务（摘要、校对、基本回复）在设备上处理，复杂推理任务发送到 PCC。设计你的功能时要考虑这个边界。
  • 关注隐私声明：PCC 的安全承诺需要体现在你的 app 隐私实践中。如果你的 app 处理用户敏感数据，参考 PCC 的设计思路来构建信任。
  • 语义索引是你的入口：Apple Intelligence 通过端侧语义索引组织用户在各 app 中的信息。确保你的 app 正确地将有意义的内容暴露给系统索引。
  • 追踪性能指标：Apple 强调了量化、推测解码等优化技术的组合使用。如果你在集成自己的 AI 模型，同样的优化思路值得借鉴。

还有什么值得关注

  • Adapter 的动态加载机制意味着 Apple 可以在不更新整个基础模型的情况下，通过 OTA 添加新的功能 Adapter。
  • Apple Intelligence 的扩散模型不仅用于 Genmoji，还支撑了 Image Playground 和视觉智能功能。
  • PCC 的公开可审计承诺如果被社区积极验证，可能成为云端 AI 安全的事实标准。
  • 端侧语义索引横跨多个 app 的信息整合能力，是 Apple Intelligence 相比纯云端方案的独特优势。
WWDC 2024