微软Copilot现在可以读取您的屏幕 进行深入思考并用语音回应

在宣布对其企业级Copilot人工智能产品套件进行一系列更新一周后，微软将在 Windows 上为所有用户推出新的 Copilot 功能，其中包括一款能够理解并回答有关屏幕上内容的问题的工具。

更新后的 Copilot 应用程序将于今天在 iOS、Android、Windows 和 Web 上推出，正如微软所描述的那样，所有这些应用程序都采用了更加"温暖"和"独特"的 Copilot 风格。 微软还将把该聊天机器人引入 WhatsApp，让用户 通过 DM 与 Copilot 聊天，类似于在 Meta 消息平台上与其他机器人聊天的体验。

Copilot Vision 可以查看您在 PC 上浏览的内容，更确切地说，它可以透视您使用 Microsoft Edge 访问的网站。 Copilot Vision 可以分析网页上的文本和图像，并回答有关这些文本和图像的查询（例如，"这张图片中食物的配方是什么？）

在 Edge 的地址栏中输入"@copilot"就可以调出 Vision，它并不是什么技术奇迹。 Google在 Android 上提供了类似的搜索技术，最近还将该技术的片段引入了 Chrome 浏览器。但微软表示，与之前的屏幕分析功能相比，Copilot Vision 功能更强大，也更注重隐私保护。

毫无疑问，为了避免又一轮因人工智能隐私失误而引发的负面新闻，微软强调 Copilot Vision 的设计目的是在对话结束后立即删除数据。 该公司声称，经过处理的音频、图像或文本不会被存储或用于训练模型，至少在这个预览版本中不会。

Copilot Vision 可解释的网站类型也受到限制。 目前，微软暂时禁止该功能处理付费内容和"敏感"内容，将 Vision 限制在一个预先批准的"热门"网站列表中。到底什么是"敏感"内容？ 色情？ 暴力？ 目前，微软不愿透露。

最近，利用人工智能工具绕过付费墙的指控让微软陷入了法律纠纷。 在一项正在进行的诉讼中，《纽约时报》声称微软允许用户通过必应Copilot 聊天机器人提供《纽约时报》的文章，从而绕过其付费墙。 据《泰晤士报》称，Copilot（由微软的紧密合作者 OpenAI 的模型提供支持）在收到某种提示时，会逐字（或接近逐字）提供付费文章的片段。

微软表示，Copilot Vision 目前仅限于美国，它将尊重网站的"机器可读的人工智能控制"--例如禁止机器人为人工智能训练搜索数据的规则。 但该公司尚未说明具体Vision 将尊重哪些控制；有几种在使用。

许多大型出版商已经选择阻止人工智能工具对其网站进行搜索，这不仅是担心他们的数据会在未经许可的情况下被使用，同时也是为了防止这些工具导致其服务器成本飙升。 如果目前的趋势保持不变，Copilot Vision 可能无法在一些顶级新闻网站上运行。

微软表示将致力于"听取反馈"，以消除人们的疑虑。

与"视觉"功能一样，Copilot 的新功能"深入思考"（Think Deeper）也是为了让微软的助手功能更全面。

微软表示，"深入思考"让 Copilot 有能力推理出更复杂的问题，这要归功于"推理模型"，它需要更多的时间才能逐步给出答案。微软在一篇博文中写道："我们设计的 Think Deeper 可以帮助解决各种实际的日常挑战，例如并列比较两个复杂的选项。从解决棘手的数学问题到权衡管理家庭项目的成本，Think Deeper 都能提供帮助。"

微软在其新闻资料中对 Think Deeper 的潜力大加赞赏。 但是，假设下面的模型是 o1，那么它肯定会在某些方面存在不足。 我们很想知道微软对基础模型进行了哪些改进，以及 Think Deeper 对其局限性的坦诚态度。

从今天起，澳大利亚、加拿大、新西兰、美国和英国的部分 Copilot Labs 用户将可以使用 Think Deeper。

Copilot Voice（不要与 GitHub 的 Copilot Voice 混淆）是 Copilot 今天普遍推出的一项新功能。 语音"首先在新西兰、加拿大、澳大利亚、英国和美国推出英语版本，它增加了四种合成语音，让您可以与 Copilot 对话，并大声说出它的回应。

与 OpenAI 用于 ChatGPT 的 Advanced Voice Mode 一样，Copilot Voice 可以在对话过程中捕捉您的语气并做出相应的回应，而且您可以在 Copilot Voice 回答问题时随时插话。

有一点需要注意： Copilot Voice 有使用时间限制。 微软告诉我，Copilot Pro 用户可以获得更多的通话时长，但数量是"可变的"，具体取决于需求。

微软表示，由于有了新的个性化设置，Copilot 很快就会变得更符合你的喜好和偏好。启用该设置后，Copilot 将利用你过去的互动和历史记录，以及你与其他微软应用程序和服务（微软没有透露是哪些）的互动，向你推荐使用 Copilot 的方法。

微软在一篇博文中写道："这有助于你开始使用，既提供了 Copilot 实用功能的便捷指南，也提供了对话的开场白。"

Copilot中的个性化功能可以在Windows的Copilot设置菜单中关闭。 但其他地区的用户应该会在今天下午开始看到这一设置。

微软和欧盟在该公司的人工智能产品推广方面一直关系紧张。 今年 5 月，欧盟警告微软，根据该集团的在线管理制度--《数字服务法案》（Digital Services Act），微软可能会被处以高达其全球年营业额 1% 的罚款，原因是该公司未能回应一项针对其人工智能生成工具的信息请求。

微软之外的一些科技巨头，包括苹果和Meta，在欧盟推出人工智能工具时都采取了谨慎的态度，生怕触犯该集团有关数据隐私和模型部署的法律。