作者 | 黎 澜
编辑 | 章涟漪
商汤“造车”，并不是新闻。当然，并不是直接下场制造车辆，而是依托原创AI技术，带来从智能驾驶、智能座舱到车路协同的全栈体系。早在2021年，商汤即发布了智能汽车解决方案独立新品牌SenseAuto绝影。但三年过去，商汤在汽车领域的声量并不算大，且落地成果主要在智能座舱领域，对此商汤显然是不满足的。
于是，4月25日，2024北京车展首日，商汤绝影举行发布会，重申进军智能汽车决心的同时，也展现了三项技术：面向量产的端到端自动驾驶解决方案UniAD(Unified Autonomous Driving)的道路测试表现、以多模态场景大脑为核心的AI大模型座舱产品矩阵，以及全新座舱3D交互演示。尽管决心坚定，产品谱系看起来也很全面，但作为一家以相对“轻量化”的人工智能起家的企业，商汤还需要更多的落地成果，在强“制造”的汽车智能化领域再次证明自己。
01何为“真”端到端
商汤绝影在智能驾驶领域的选择也是端到端。今年三月，特斯拉宣布全量推送 FSD Beta V12.3，证明了端到端已经有了成熟的实践后，头部智驾公司、车企几乎都宣布向端到端向端到端技术架构演进。
商汤绝影亦是如此，此次发布会上，其发布了UniAD为技术核心的端到端方案。根据官方说法，这是中国第一也是目前唯一能实现真端到端的智驾方案，可以像所谓“像人一样开车”。何为“真”端到端方案？在商汤绝影看来，大部分端到端方案采用的是更容易落地的由感知和决策两个模型组成的 “两段式”架构，两个模型之间依然存在信息传递过滤或丢失的问题。
而UniAD将感知、决策、规划等模块都整合到一个全栈Transformer端到端模型，即感知决策一体化的真端到端自动驾驶。商汤表示，现在市面上也存在大量所谓的端到端解决方案，但一般都分为三种。第一是决策层和感知层彼此独立的云端计算工程，第二是组合式端到端，意味着连接感知层和决策层需要强力中介，也更容易落地，第三即真正的端到端，也就是商汤目前开发出的这套方案，能够让企业以最低成本满足智驾需要。
发布会现场，商汤绝影展示了搭载了其最新一代智驾方案的车辆，在无高精地图条件下，仅依靠视觉感知的实际道路测试成果。从现场展示来看，无论是复杂城市道路还是无中线的乡村道路上，车辆能高效准确地完成包括大角度左转上桥、避让占道车辆及施工区域、绕行跑步行人等一系列高难度操作。实际上，尽管落地成果不算多，但商汤科技对智驾已经研究多年，最早可以追溯到 2016 年，与本田的合作。随后多年，商汤科技在智驾领域发布了多项成果，在 2023 年的 CVPR 大赛评选中，商汤共有两篇论文登上最佳论文候选名单（Award Candidate），其中自动驾驶研究论文《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）斩获本届CVPR最佳论文奖（Best Paper Award）。
这也是UniAD为技术核心的端到端方案的重要理论基础。在商汤绝影看来，如果说传统的智驾方案每个功能都“自行其是”，那么端到端就是一个功能栈做所有事，其中UniAD是一种渐进的端到端方案，把原本分开的感知和决策功能模块按照灵活的方式连接在一起。在详细步骤方面，UniAD利用多组问询（query）实现了全栈 Transformer 的端到端模型。在产出结果层面，用一个特定的车身问询（ego-vehicle-query）用来表示自车属性。
规划模块 (Planner) 将车身问询与 BEV 特征进行交互，包含对整个环境的感知与预测信息，因此能更好的学习既定的规划任务。为了减少碰撞，UniAD 方案还利OCC的模块的输出对自车路径进行优化，避免行驶到未来可能有物体占用的区域。在这个过程中，全部的模块通过输出特定的特征来帮助实现最终的目标“规划”。不过，出于盈利考虑，商汤并没有将端到端方案全量化，而是做了梯度规划，在后两个档次的智驾方案中，才有完整的可搭载上车的端到端方案，这也为其成本的压缩留足了空间。
02智能化的其他底牌
商汤另一个着重介绍的技术突破，是DriveAGI，这个自动生成模型无论在智驾还是智舱都有多维度的落地。
依托多模态大模型强大的世界理解、推理能力、决策能力以及交互能力，据官方说法，DriveAGI将是目前最贴近人类思维模式、最能理解人类意图并有最强解决驾驶困难场景能力的技术方案。此前业内也有供应商尝试过做“大包大揽”式智驾人工智能，比如毫末也实现过 DrieGPT，运用了和特斯拉一样的 Transformer 架构，并且用上了 Atention方式固定机器学习能力，据官方消息，DriveGPT 的参数规模可以对标GPT-2的水平，但是推出之后对外披露的上车案例并不算多。
而根据绝影说法，DriveAGI已经在多个测试方案中部署，不知道是否很快会有更多的落地消息？在智驾方面，从展示中，DriveAGI 表现出不错的“预知能力”，也就是构建世界模型，通过把场景语言化，再用参数推理下一个时间单位里各个参数的变化，从而完成“预判”某个时间节点是否应该立即刹车的问题。
在智舱层面，多模态的 DriveAGI 能帮助乘客或驾驶人理解周围环境，并给出行之有效的建议，例如，直接解读复杂路标，或者在纯粹只有视觉信息输入的前提下理解车外的天气。有了大模型作为“通用杀手锏”，商汤绝影的智能座舱成为商业变现的重要一环，就可以理解了。这次智能座舱发布的底气比较足，第一是确实有新技术，即4 月 23 日发布的“日日新”大模型的嵌入，其二是找到了稳定的甲方“小米汽车，据悉，商汤“日日新”大模型也全面助力小爱同学车载语音场景应用。
在技术层面，商汤绝影方面称，日日新 3.0能力领先GPT-4V。由于采取了端云结合的技术路线，令绝影可以在短期内获得车企的信息，商汤端侧大模型大幅超越同量级大模型，越级比肩7B、13B大模型，更适合车端部署。基于多模态大模型、大语言模型、文生图模型等能力组合，商汤绝影构建了以多模态场景大脑为核心的一系列全景感知的智舱产品。
与其说商汤为智舱发现应用场景，不如说是创造了场景，再来给车企讲一个需要此场景作为出口的故事。此外，由于搭载的是富有多模态感知能力的大模型，绝影智舱能主动“问诊”，诊断车主的疲劳程度以及其他健康指标。这也算是商汤的老本行，在 2018 年的商汤人工智能峰会上，商汤科技发布首款智能汽车产品SenseDrive DMS驾驶员监控系统，可以随时判定驾驶员的清醒状态，延续了商汤以“视觉识别”起家的传统。
另外，在更具科幻外表的“软装”层面，为了让操作智舱的方式更灵活，绝影还设计了3D Gaze 人机交互系统，向 Vision Pro 的进阶版看齐。用户无需点按屏幕，通过眼神即可精准控制中控图标，完成多种交互操作。3D 动态手势让用户通过手势即可隔空操控屏幕。而且这一切都是在无需佩戴外接设备的前提下进行的。
03算力基础设施带来了底气
端到端智驾方案，以及背后，DriveAGI背后，都需要大量算力作为支撑。有算法专家认为，“端到端方案通常需要处理大量的传感器数据，包括图像、点云、雷达等，直接输出控制指令，对算力的要求较高。此外，为了训练这些复杂的神经网络模型，需要大量的标注数据。与以往方案相比，端到端方案可能会带来更高效的数据处理和更紧密的感知-规划协同，但同时也对计算平台的并行处理能力和存储速度提出了更高要求。”对此，无论是在云端还是在硬件设施层面，商汤都表示很有信心。据介绍，SenseCore商汤大装置浮点数达到 12000petaFLOPS。
部分车企/智驾厂商算力盘点。注：1EFLOPS=1000PFLOPS
而在去年 5 月，商汤AIDC建成，其设计的峰值算力高达3740 Petaflops（1 Petaflop等于每秒1千万亿次浮点运算），成为当时亚洲最大的人工智能超算中心。根据商汤官方说法，该中心的建成是为了满足更行业场景对新业务的算力需求，“肥水不流外人田”，商汤绝影是一个绝佳的实验蓝本，有足够多的算力，也有为了适配上驾驶能力的多模态场景案例，能够给大模型本身回馈更多运行建议。如其展示图片所示，商汤绝影算力超12000PFFLOPS ，剩下的主机厂和 Tier1 大多都在 1500PFFLOPS 以下。
AI 算力中心的建设作为一个“重”项目，日正益被车企重视。2021 年，特斯拉展示了自己的有 5670块GPU的超级计算机群，算力可达21.8 EFLOPS，两年前，小鹏和阿里云合作，在乌兰察布建立“扶摇”超算中心，算力可达600PFLOPS，为当时中国最大。2023 年中旬，理想和火山引擎合作，在山西建立自己的超算中心，算力可达750 PFLOPS。“树大好乘凉”，国内主流新能源主机厂都选择了与头部云供应商合作，而商汤本身就可以算作“一颗大树”，让一个算力充沛的人工智能公司来做智驾，或许有不一样的效果。
AI 发展，万物兴。商汤 CEO徐立表示：“商汤生成式AI业务的增长，得益于各行各业对大模型的训练和推理的广泛需求，这预示着中国硬科技投资的新周期正式开启。商汤通过在各业务层面深入融合生成式AI能力，正在赢得新客户，并推动效率和生产力的全面提升。”根据财报显示，2023 年商汤AI业务的营收已经占比35%。未来，商汤会进一步思考大模型给各项业务的赋能。比如绝影，就需要跑通大模型和智驾之间的闭环，让汽车搜集的信息反馈给算力中心，再创造更高效的技术解决方案，从而为更多品牌定制化智驾服务。
商汤各项业务营收情况当然，硬件基础全部拉满也并不和智能化方案的成功挂钩，智能化供应商最重要的还是寻找车企买单。北京车展上，商汤官宣了与哪吒的深度合作，据悉与算力强关联，商汤绝影为哪吒打造一块坚实的算力底座。而在智舱应用层面，日日新大模型也将助力小米 SU7 舱内的小爱同学。如此来看，布局多年，商汤在智能领域的布局正在慢慢发芽。当然，能否经历时间的考验，长成参天大树，还需要再观察。
原文标题 : 商汤“造车”，带来“真”端到端方案