OpenAI一夜之间革了Siri和同传的命，GPT-4o五大核心能力炸场！

　　作者 | 月山橘 石濑‍‍‍‍

　　编辑 | 张洁‍‍

　　OpenAI真憋了个大的。

　　美国当地时间5月13日上午10点（北京时间5月14日凌晨1点），OpenAI春季发布会如约而至，没有GPT-5，没有搜索引擎，但推出了一个新的旗舰模型：GPT-4o。

　　“o”是Omni的缩写，意为“全能”，接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出。

　　从直播演示来看，GPT-4o的多模态、实时交互能力，已经足够惊艳到让人直呼科幻电影《her》真的变成了现实。

　　值得划重点的是，GPT-4o和ChatGPT Plus会员版所有的能力，将免费向所有用户开放！

　　不过，GPT-4o的新语音模式在未来几周内会优先对ChatGPT Plus会员开放。

　　此外，GPT-4o也向开发者开放了API。与GPT-4 Turbo相比，GPT-4o价格减半，但速度却快了2倍，速率限制高出5倍。OpenAI称，接下来会向部分API合作伙伴提供新的音频和视频功能支持。

　　GPT-4o到底有多强？昨晚“头号AI玩家”全程围观直播，现在让我们来一起回顾下其中细节。

　　GPT-4o惊艳面世，

　　核心能力全盘点

　　01.零延迟实时语音交互，自然真实富有情感

　　首先是零延迟实时语音交互，在这个环节，GPT表现得像是富有情感的真人。

　　在直播演示过程中，演示者Mark对GPT-4o说：“我正在做demo，我有点紧张。”然后他开始故意喘息得非常急促，GPT-4o很快识别出了他的呼吸声，告诉他：“哦，哦，哦，别紧张，慢下来，你不是个吸尘器。”并指导他调整呼吸。

　　整个过程中，GPT-4o的语气都非常自然、真实、富有情感，你可以随时打断它，要求它调整语气和音调。

　　另一位演示者让GPT-4o讲一个关于“机器人与爱”的睡前故事。刚讲一句，Mark Chen就打断了它，说它讲故事的语气不够有情感。GPT-4o调整过后，Mark Chen又很快打断它，要求它情绪再饱满再drama一点，然后GPT-4o的情绪又上了一个台阶，甚至可以说是浮夸的程度。

　　然后，演示者要求它切换成机器人声音，GPT-4o的声音和语气立马变得冷漠和机械。

　　这还没完，演示者又让GPT-4o用唱歌的方式把故事讲完，GPT-4o当场把故事改编成了一首歌，并直接唱了出来，节目效果拉满。

　　相比之下，ChatGPT的语音模式平均延迟为2.8秒（GPT-3.5）和5.4秒（GPT-4），这无疑会破坏对话的沉浸感。

　　此外，由于模型需要先将语音转录为文本，GPT-3.5或GPT-4接收处理并输出文本，再将文本转换为语音，所以GPT-3.5或GPT-4无法直接获知语气、音调、背景噪音等信息，也无法输出笑声、歌声或表达情感。

　　02.通过摄像头视觉传达内容，在线解方程式

　　除了语音交互外，还可以通过视觉+语音的形式，如实时视频、上传图片等方式，与GPT-4o进行多模态交互。

　　发布会上，OpenAI展示了GPT-4o通过多模态能力帮助用户解决数学题的完整过程。

　　视觉解析图形报表也手到擒来。OpenAI官方博客中，用户一边和GPT-4o语音，一边在平板上画图，根据语音信息，解几何数学题。

　　03.更智能的保姆级编程助手

　　用GPT-4o来实时编程，也比以前的纯文本形式或上传图片进行文字对话的方式，更有交互感。

　　官方演示中， OpenAI使用电脑桌面端GPT-4o来检查代码，它不仅可以解释代码的作用，还可以告诉用户如果调整特定代码会发生什么。

　　通过一步又一步的实时问答沟通，GPT-4o可以帮助用户提高编程效率，整个过程相当丝滑。

　　超强的实时语音+视觉交互能力，运用在编程辅助上，以后还要啥程序员鼓励师。

　　04. 视频通话，实时分析面部情绪

　　演示者还在X上实时收集了网友的反馈，其中有人提出挑战：打开摄像头，看GPT-4o能不能实时分析面部情绪。

　　演示者先是打开了后置摄像头，拍到的是面前的桌子，GPT-4o立刻分析道：“你看起来是个桌子。”

　　在切换为前置摄影头后，演示者的脸出现在与GPT-4o进行交互的界面，一整个打视频电话的即视感。

　　GPT-4o立刻说：“你看起来非常开心，有大大的笑容，你想分享一下让你这么开心的原因吗？”语气中甚至能听出一丝好奇和试探。

　　演示者回答道：“因为我在做实时演示，让大家看看你有多出色。”

　　GPT-4o带着笑声说：“拜托，别害我脸红了。”

　　看到这，“头号AI玩家”脑海里不禁回响起Samantha与Theodore之间的恋人絮语。

　　《Her》真的变成现实了。

　　0 5. 同声传译，支 持多国语言

　　目前，ChatGPT支持超过50种语言。据介绍，GPT-4o的语言能力在质量和速度上都得到了改进。

　　官方演示中，一个人说英语，另一个人说西班牙语，通过语音指示GPT-4o实时翻译，两人实现了流畅的沟通。GPT-4o基本上只在开头停顿了1~2秒，在句子中没有出现停顿、卡壳等现象。

　　不过，有点bug的是，由于GPT-4o是中间的沟通媒介，导致两位对话者并没有直接看对方，而是都看向了手机。未来或许会有新型设备出现，利用AI技术让使用不同语言的人们能够更自然地进行交流。

　　变革人机交互，

　　但还不是GPT-5

　　OpenAI首席技术官Mira Murati在直播中介绍，GPT-4o是标志性产品GPT-4模型的一个迭代版本：提供了GPT-4级别的智能，但速度更快，并改进了其在文本、语音和视觉方面的能力。

　　OpenAI首席执行官Sam Altman发帖称该模型是“原生多模态”的，在文本、视觉和音频上端到端地训练了一个新模型，GPT-4o所有输入和输出都由同一个神经网络处理。

　　根据官方博客介绍，在基准测试中，GPT-4o在文本、推理和编码智能方面达到了GPT-4 Turbo级别的性能，同时在多语言、音频和视觉能力上设定了新的标准。

　　图源：OpenAI官网

　　OpenAI计划在未来几周内逐步推出GPT-4o的各项能力。其中，文本和图像能力将从发布会后当天开始在ChatGPT中推出，Plus用户可以抢先体验，并拥有相比免费用户多高达5倍的消息限制。带有GPT-4o新版本语音模式也将在未来几周内在ChatGPT Plus中推出。

　　针对免费用户，OpenAI也主打一个“雨露均沾”，在接下来的几周内会面向所有用户，推出GPT-4o及其相关功能：

1.体验GPT-4级智能 2.从模型和网页获取响应（联网了） 3.分析数据并创建图表 4.支持上传照片进行交互 5.上传文件以帮助总结、撰写或分析 6.发现和使用GPT和GPT商店 7.可自定义控制的ChatGPT“内存”（拥有更强的“记忆力”）

　　目前已经体验到GPT-4o的玩家告诉我们：体验太丝滑了！后续“头号AI玩家”也将跟进更详细的玩法评测。

　　当然，炸场的不只是OpenAI，在这个被称为全球“AI月”的5月，肉眼可见地，我们还将迎来谷歌的I/O开发者大会、微软Build年度开发者大会、英伟达一季报发布等AI领域重要事件。

　　此外，预计6月10日举办的苹果WWDC大会或将推出全新AI应用商店，并可能升级Siri语音助手，引入新的生成式AI系统。

　　试猜想，如果苹果真的顺利与OpenAI达成合作，GPT-4o被引入到iPhone设备端，取代（或升级）Siri，似乎也是顺理成章的事。

　　总的来说，相比图形用户界面，GPT-4o近乎实时的语音和视频交互体验，标志着人机交互迎来了新的变革，更自然、更直观的交互体验，已经非常接近我们在科幻片里看到的人工智能，斯派克·琼斯导演的科幻电影《Her》也因此被频频提及。

　　猎豹移动董事长兼CEO傅盛甚至连夜录制视频夸OpenAI在“大家都在拼大模型的参数和性能时，OpenAI杀了个回马枪，认真地做起了整合和应用”。

　　看完今天OpenAI的发布，很难想象谷歌明天得拿出多大的杀手锏，才能摆脱“AI届汪峰”的命运。