Apple Intelligence-苹果手机+AI，能有哪些体验创新

前言

苹果 WWDC 2024 发布的 Apple Intelligence，是一款强大的 AI 系统，广泛应用于 iOS、macOS 和 iPadOS，包括强大的个性化写作、图像生成、全新的 Siri、集成 Chatgpt等各项功能，可以了解用户的各种日常习惯、社交关系和日常通讯等内容，通过一个流畅的 AI 操作系统来响应用户各种场景下的使用诉求。

Apple Intelligence 有哪些体验？

一、AI 与操作系统融合

现有的 AI 大模型专注于一个领域下的智能生成，如 Chat GPT 的文本处理能力、 Midjourney 文生图能力，都是根据用户的指令去完成单独的命令，而 Apple Intelligence 将 LLM 大模型的能力与用户的操作系统深度结合，从内容智能到行为智能，强调了人工智能在手机上的行动生成和整合能力，通过对手机里的各个 App 进行全面的跟踪和分析，完成用户的操作指令。

二、多模态交互能力2.1 文本处理

Apple Intelligence 为用户开启了提升写作能力和更高效沟通的新方式。借助 iOS 18、iPadOS 18 和 macOS 的全新全系统写作工具，写作工具几乎可在任何书写位置使用，包括邮件、备忘录、Pages、 Safari 浏览器和第三方应用。

交互方式：键盘输入

一款AI键盘

文字润色、语气改写

除此之外，它还有亮眼的文字总结功能，收件箱顶部的新部分会显示最紧急的电子邮件，例如当天的晚餐邀请或登机牌。在收件箱中，可以把长邮件内容总结成摘要，用户无需打开邮件，只需轻点一下即可查看相关详细信息。智能回复功能也会提供快速回复建议，并会识别电子邮件中的问题以确保所有问题都得到解答。对语言的深入理解也延伸到了通知上，桌面摘要可帮助用户在锁定屏幕上扫描通知的详细信息，并自动识别通知的重要等级并重新排序，减少不必要的干扰。

交互方式：自然语言交互

邮件摘要概览

网页摘要

桌面消息摘要：自动识别重要等级并排序

桌面消息摘要：重要消息优先推送

2.2 语音处理

新版 Siri 采用了全新的设计，当 Siri 处于活动状态时，优雅的发光灯会环绕屏幕边缘。 Siri 新增了连续对话功能，能够更自然地理解上下文内容，同时支持跨软件操作。此外，用户可以输入文字给 Siri，并在文本和语音之间切换，以任何当时感觉合适的方式与 Siri 交流。

交互方式：语音输入、自然对话

1、唤醒

Siri 全新形态：唤醒状态下，屏幕四周环绕动态光效

2、输入

自由切换语音/文本输入，双击底部 bar 唤起键盘

3、反馈

自然语言直接转指令

2.3 图像处理：文生图、图生图、故事编排

a、图像生成

利用苹果自带的Image Playground应用软件可以制作原创图像，支持文生图功能，可以通过文字描述、推荐概念特征、照片库里的人物来制作，借助 Image Playground，用户可以在几秒钟内创建有趣的图像，从三种风格中进行选择：动画、插图或素描。Image Playground 提供了非常流畅的操作手势，通过简单的点选来进行参数的调控，还可以圈选手绘插图进行一键风格化绘制，它还提供专用应用程序，非常适合尝试不同的概念和风格。所有图像均在设备上创建，让用户可以自由地尝试任意数量的图像。

交互方式：手势交互

点选：易上手的操作方式

圈选：有趣自然的交互手势

b、图像处理

以下是小编们体验的真机测评

一键涂抹消除

图片主体识别

Image Playground 图片生成

除此之外，甚至可以在相册中编辑创作影片， 感兴趣可以看一下链接中博主的体验测评

（https://www.bilibili.com/video/BV1KNYfenENL/?spm_id_from=333.337.search-card.all.click&vd_source=1e2b4a1a24958fcc40f6a7007d3cb89b）

c、视觉搜索

苹果发布的视觉智能（Visual Intelligence）功能，这个功能对标Google Lens，视觉智能本质上是人工智能视觉，其中语言模型可以分析和理解图像。这一点 Claude、Gemini 和 ChatGPT 也能很好地做到。但苹果通过深度整合到手机系统中，提供了新的硬件交互方式，用户可通过新设的相机控制按钮（Capture Button）点击访问其视觉搜索功能，方法更加用户友好。

交互方式：物理按键+拍照/图片输入

应用场景：

应用场景 1：物品识别，无需拍照，对准可识别

应用场景 2：识别餐厅门头，直接看到评价、推荐菜

应用场景 3：视觉搜索，拍照海报，直接记录日程

三、跨应用、跨设备

屏幕感知：借助屏幕感知功能，Siri 可以轻松执行与屏幕上的信息相关的操作，例如将信息中收到的地址添加到朋友的联系人卡片；将图册中的图片加入到笔记。

跨应用执行指令

语音指令——图册搜索——定位图片——插入笔记

跨设备执行指令

手机投屏到电脑上，用电脑控制手机打开 app 执行操作

四、结语

体验了 Apple Intelligence，小编有以下感悟：

1. 语言理解——个性化服务——参与决策

随着 AI 的自我进化，其理解和反应能力不断提升，从最先的语言理解，到提供个性化的服务，现在甚至还能预测我们的需求，并在必要时替我们做出决策。

2. 依赖 App——寻求整合服务

苹果为手机系统的交互引入了新的模式，超越了应用 App 服务，提高给用户许多想象，随着人工智能技术的发展，用户可以直接用 AI助手对话或提供指令，而不是依赖应用商店的app来完成任务。

3. 新型的操作系统

随着 AI 能力整合，移动端设备变成一个AI 终端的系统，多终端（手机、设备、手表、手环、PC、pad），跨设备执行指令和操作，多模态（文字、语音、图像、手势），根据用户的个人习惯、喜爱偏好，总结推理，在不同的时间地点给予用户最合适的建议和答案，并且能够不断地学习优化，类似“Apple Intelligence”成为用户的“智能贴身管家”，深入理解和预测用户行为，不断成为“私人专属"的终端。

https://www.apple.com/apple-intelligence/

https://www.bilibili.com/video/BV1KNYfenENL/?spm_id_from=333.337.search-card.all.click&vd_source=1e2b4a1a24958fcc40f6a7007d3cb89b

https://www.apple.com/hk/en/apple-intelligence/

https://www.apple.com/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/

https://www.youtube.com/watch?v=Q_EYoV1kZWk