马斯克的端到端自动驾驶怎么炼成的？

丰色 发自 凹非寺
量子位 | 公众号 QbitAI

马斯克最新直播的端到端自动驾驶：

特斯拉FSD V12，是如何炼成的？

传记作家Walter Isaacson在他即将出版的《Elon Musk》中，提前剧透了一部分内容。

据介绍，为了实现完全神经网络而非代码控制，该系统每天从特斯拉车队获取约1600亿帧视频用于训练。

但其中最有用的视频只有不到1%，比如一些奇怪和异常繁忙的十字路口数据。

马斯克称，他们设想的这个神经网络必须接受至少100万个视频训练才能work。

而到今年年初，FSD V12已完成了1000万个视频分析。

除了这些数字，在实际开发过程中，马斯克也设立了一些特别的管理办法。

例如，据书中描写，团队成员们所在工区装有一个85英寸的巨大监视屏，会实时显示汽车在没有干预的状态下行驶了多少英里。

老马就让员工通过观看数字的刷新产生动力。

更有意思的是，他还给大伙搞了一面锣，工程师们每解决掉一个干预问题，就必须去敲一把。

那么，特斯拉FSD V12背后的开发故事究竟是怎样的？我们这就来看。

每天获取1600亿帧视频训练

在FSD v12之前，特斯拉的自动驾驶系统一直依赖于规则判断。

即先靠汽车的摄像头识别车道、行人、车辆、标志和交通信号灯等，然后通过特斯拉工程师们手动编写的数十万行C++代码来应对各种情况，比如红灯停、绿灯行、在没有足够快的车辆冲撞时才通过十字路口等等。

任何一个行为都有规则和条件判断代码。

但现在，作为特斯拉自动驾驶系统最重要的一次升级，FSD v12只是通过分析数十亿帧人类如何驾驶汽车的视频自学了驾驶。

马斯克是从8个月前开始让员工们全力投入这一新方法的。

在团队中的一位年轻工程师Dhaval Shroff看来：

这就像ChatGPT的训练，但针对的是汽车。

那么，要经过多少训练，他们设想的这个神经网络才能正常工作呢？

答案是至少100万个视频片段。

对此，马斯克表示问题不大：

我们拥有天然的优势。
相比其他汽车厂商和AI公司，特斯拉在全球各地总共拥有近200万车队，可以每天收集驾驶片段。

书中也披露，特斯拉每天从该车队中获取约1600亿帧视频用于训练。

不过，马斯克在推特回应：

管理这么多数据太困难了，其实大多数最终都被丢掉。重要的是那些占比不到1%的稀有视频，比如一些奇怪或者车流量异常大的十字路口数据。

但不管怎么说，今年年初的时候，V12的神经网络规划器就已经完成了1000万个视频片段的分析。

一个问题是：

由于它全部模仿人类，是不是只能达到人类驾驶员的平均水平？

对此，年轻工程师Dhaval Shroff告诉大家：

并不，因为特斯拉只使用人类好好处理情况时的数据。

因此，数据标注员的工作功不可没。

在纽约州的“水牛城”布法罗，他们被马斯克告知：寻找一些“五星级优步司机”的行为。

“没有分数的电子游戏很无聊”

在V12的开发过程中，马斯克经常去往特斯拉总部、直入一线工作区，和工程师们来一些即兴讨论。

按照书中的描写，是跪在他们旁边。

值得一提的是，由于马斯克坚信“永远不应该使用巡航导弹来杀死苍蝇、苍蝇拍即可”，所以他也产生过质疑：

我们是否真的需要神经网络？会不会有点过？

团队用神经网络比代码法效果更好的例子，打消了他的“杂念”。

在那场演示中，道路上散落着各种垃圾、被放倒的锥形等等障碍，神经网络规划器顺利引导汽车绕过它们、越过车道线并在必要时违反一些规则实现成功穿越。

员工一边演示一边告诉马斯克：

从代码法转向神经网络后，即使在非结构化环境中，汽车也永远不会发生碰撞。

这让老马很是满意，并产生了一些“007式”幻想：

炸弹在四面八方爆炸，不明飞行物从天而降，而汽车却疾驰而过，没有撞到任何东西。

正如 “没有分数的电子游戏很无聊”，为了激励员工，马斯克还给大伙儿设立了一个指标：

全自动驾驶模式下，车在没有人类干预的情况下行驶的英里数。

马斯克希望员工每天观看这一指标，看它不断刷新，产生动力。

因此，大家工作的区域安装了一块85英寸的巨型监视器，实时显示里程数。

而每产生了一个干预事件，员工就要去解决问题根源，解决掉之后，他们还必须去敲锣以示祝贺。

这个锣也安装在办公桌附近。

可以说是相当独特的一个管理办法了。

只待监管批准后发布

V12进展飞速。

今年4月中旬，马斯克就首次测试了该系统。

随行的是特斯拉自动驾驶软件总监Ashok Elluswamy，以及后排也坐满了三名团队成员。

老马双手移开方向盘，从地图上选好了目的停车场，从特斯拉总部办公大楼出发。

测试全程25分钟，历经快速路和社区街道，遇到了复杂转弯，也包括自行车、行人和宠物。

结果是除了几次他认为车辆过于谨慎之时进行了干预，全程都没碰过方向盘。

马斯克称，甚至有一次，系统产生了比他还要好的处理方法。

这次测试后的Autopilot例行周会上， 20名几乎都穿着黑色T恤的工程师围坐在会议桌旁聆听裁决。

最终，马斯克宣布，他相信未来就是该方法的天下，特斯拉应该动用资源来推动这一计划的发展。

然后，故事就是四个月后，马斯克正式对外宣布了FSD V12，它将取代旧方法。

而眼下，就等监管机构批准后就可立即发布了（可能是今年年底，也可能是明年）。

只不过，有一个问题需要监管机构好好考虑：

新的FSD V12完全是通过模仿人类进行驾驶，但人类驾驶员，即使是最优秀的那种，有时也会篡改交通规则。

我们应该允许自动驾驶汽车也这样做吗？

One More Thing

关于马斯克要造一辆只售25000美元（约合人民币18万元）特斯拉汽车的消息传了很久。

在这本传记中，作者终于带来了一点新消息，那就是它将采用类似赛博皮卡的外形设计。

另外，自动驾驶出租车也仍在马斯克的愿景之列。

马斯克透露：

它的诞生，会让特斯拉价值直接通往十万亿美元之列。

参考链接：
[1]https://www.cnbc.com/2023/09/09/ai-for-cars-walter-isaacson-biography-of-elon-musk-excerpt.html
[2]https://twitter.com/elonmusk/status/1699450102190907537?s=20
[3]https://www.theverge.com/2023/9/8/23864172/tesla-next-generation-car-cybertruck-design-price