毫末智行技术揭秘 城市NOH何以做到今年落地

短短三年时间，毫末智行从成立到量产，成为发展速度最快的自动驾驶公司之一，它能在短期内迅猛发展的秘诀是什么？有人说是长城的背书，有人说是AI大牛的支持，而今天我们来说说毫末智行的技术。

今年初，毫末智行的HPilot2.0刚刚搭载到坦克500(参数|询价)上，如今HPilot3.0也即将发布。最近，技术总监潘兴对外透露了HPilot3.0在技术与数据层面的进展和创新。

硬件方面，HPilot3.0拥有360TOPS的算力，也是当前在自动驾驶业内算力最强的一款硬件。全车配备12个摄像头和2个激光雷达，5个毫米波雷达，12个超声波雷达。

不用高精地图 城市道路也能跑

高精地图就像提前做了踩点的助手，让你再次走上一条熟悉的道路。有了高精地图就有了出行的方向，然而，高精地图也有它的局限性，一方面其制作成本很高，另一方面需要国家审图通过才能使用，目前还没有一版完整的城市道路高精地图在政策许可范围内。

与此同时，对智能驾驶的需求已经来势汹汹，眼下在无高精地图的情况下去实现更智能化的辅助驾驶势在必行。

毫末智行HPilot 3.0旨在实现这一想法，主打城市自动驾驶场景。

首先在感知层面。HPilot 3.0能够提前监测到红绿灯，据潘博介绍，第一步是识别，第二步是绑路。

由于红绿灯多样性的变化，长尾数据处理起来较多，毫末智行和大多数AI公司一样，采用的是仿真系统。但仿真和现实总会有差距，由此采用“混合迁移学习”来处理和弥合二者的差距。

潘兴介绍到，“该学习模型拿到的既有仿真数据，也有真实数据。学完之后，在真实数据上的效果是完全可以把仿真数据利用起来的。比如在Loss上面增加了两个数据集迁移的距离，通过这种方式学习让两种数据集的概率分布趋同。

在迁移学习之前，合成数据和真实数据是分布在各自的维度上。这种情况下学习的效果并不理想。通过混合迁移学习之后，合成数据和真实数据几乎就被拉齐了。由此，虚拟的仿真数据补进去之后，在真实世界里面它的表现就能自动变好。通过这种方式，能够快速收敛掉各式各样的红绿灯，根据不同的红绿灯状态完成红绿灯识别。”

关于绑路，是为了解决复杂路况、交通指示灯繁多下的识别能力。

“在一条路上无法确认该遵守哪个红绿灯的情况下，HPilot也是通过一个模型学习的。当输入一张图片之后会有一条分支，来处理红绿灯检测问题，在图像上把红绿灯检出来。还有另外一个分支，会通过注意力机制，学习出来一个Feature Map，表达该红绿灯和道路结构的关系。

通常来说，看到一个道路形状，Feature Map的热力图大概率能确认相应的红绿灯位置，然后再把它们绑定到一起。通过这两种方法，一个是检测，一个是通过模型学习场景并绑定，就可以找到该红绿灯在道路上的拓扑信息。”

红绿灯识别只是HPilot3.0的识别能力之一，其通过Transformer大网络还能解决城市车道线的各种挑战，这些技术使得车辆在城市场景没有高精地图的情况下，依旧能提升红绿灯和车道线的感知能力。

从感知到认知，要想让车辆像人类司机一样去做判断与决策，难度更大，尤其在中国城市道路上存在多重的交互问题。

在诸如环岛、拥挤车流汇入、压速变道等挑战面前，毫末智行做成TarsGo Model，通过模型学习和立体化学习的手段，学习人类司机在这些场景下面的动作。

TarsGo提供了车端的模型，需要大量人类的数据去训练。在这方面，毫末智行和阿里达摩院一起基于阿里PAI的框架，共同使用M6大模型，为自动驾驶的数据进行了数据挖掘。M6不光能够用在采集车、用户的车传回来的这些量产数据上，同样能够用人类社会每天都在源源不断产生的生活中的数据，和其他行业的数据，邮戳来迭代自动驾驶的能力。潘兴称，“M6在自动驾驶领域的应用标志着AI模型能力的普惠化”。

独家MANA智能数据体系支撑

无论是感知还是认知，背后支撑的都是大量的数据，两个模块背后正是依托MANA数据智能的体系迭代和演进的。

毫末智行开创的MANA数据智能的体系在成本与速度上做到了超越。

据透露，在数据标注方面，毫末智行利用自行建立的自动标注能力，相比人工标注可有效降低80%以上的成本，而通常数据标注成本就占到了总成本的三分之二，所以这是一笔不菲的支出。只有当标注成本下降了，整个数据智能的体系运转才会更加健康。在训练方面，整个成本下降了62%，加速比提高到了96%。

建立数据自行标注能力，在前期是需要投入大量精力的。潘兴对车云菌表示，自动驾驶本身是一个数据密集且对数据的标注质量要求很高，所以数据标注是核心竞争力的体现。

为此，毫末智行也专门组建了单独的数据自动标注的算法团队、工程团队。“标注要求比感知更严格，2D的像素上可能就要3个像素以内能框得出来，3D上可能就是几厘米的误差，这个框要足够准。而且自动驾驶不光是要框出这个物体，对这个物体的属性要求还很高，这个物体是被遮挡还是截断，是在地面上还是马路上，是骑自行车还是骑摩托，是三轮摩托还是老头乐，这些都要有一个明确的语义标注。所以在2D、3D以及属性的标注上，我们都是经过了很大优化的工作量。”潘兴称。

因此，MANA数据体系在成本和速度上为毫末智行后续的产品研发与落地提供了很强的便利性，使得城市NOH功能今年即可落地。

相比于同业公司的城市辅助驾驶功能落地进度，毫末智行抢在了领先的位置。在高速道路布局辅助驾驶的能力已经基本实现后，主战场转移到了城市场景。

在潘兴看来，毫末智行之所以能率先落地，其一是采用重感知的方案。当其他同行还在研发的阶段，他们就可以在大规模的城市部署，用户可以使用。如果是重地图的方案，城市高精地图会受到限制。毫末智行城市NOH今年6月份SOP，并可以做到全国100多个城市有效的部署，所以在范围上具有很大优势。

其二是搭载在长城大体量车型上。整体部署范围大、车型多、数量多，我们基于更多的数据，持续迭代的速度也是竞争优势之一。

车云小结

自动驾驶从高速席卷到城市内，面临的技术难题远比大众看到的多，继续解决和普及自动驾驶依旧任重道远。毫末智行董事长张凯提到的“三大战役”——“数据智能技术之战”、“智能驾驶城市场景之战”、“末端物流自动配送车的规模之战”何尝不是整个自动驾驶行业的战役。