可用于无人驾驶的神经网络及深度学习
发表时间: 2024-03-25 10:34:30 发布于:官方网app下载
高级辅助驾驶系统 (ADAS) 可提供解决方案,用以满足驾乘人员对道路安全及出行体验的更加高的要求。诸如车道偏离警告、自动刹车及泊车辅助等系统大范围的应用于当前的车型,甚至是功能更为强大的车道保持、塞车辅助及自适应巡航控制等系统的配套使用也让未来的全自动驾驶车辆成为现实。
如今,车辆的很多系统使用的都是机器视觉。机器视觉采用传统信号处理技术来检测识别物体。对于正热衷于进一步提升拓展 ADAS 功能的汽车制造业而言,深度学习神经网络开辟了令人兴奋的研究途径。为实现从诸如高速公路全程无人驾驶仪的短时辅助模式到专职无人驾驶旅行的无人驾驶,汽车制造业一直在寻求让响应速度更快、识别准确度更高的方法,而深度学习技术无疑为其指明了道路。
以知名品牌为首的汽车制造业正在深度学习神经网络技术上来投资,并向先进的计算企业、硅谷等技术引擎及学术界看齐。在中国,百度一直在此技术上保持领先。百度计划在 2019 年将全自动汽车投入商用,并加大全自动汽车的批量生产力度,使其在 2021 年可广泛投入到正常的使用中。汽车制造业及技术领军者之间的密切合作是嵌入式系统神经网络发展的催化剂。这类神经网络需要满足汽车应用环境对系统大小、成本及功耗的要求。
卷积式神经网络 (CNN) 的应用可分为三个阶段:训练、转化及 CNN 在生产就绪解决方案中的执行。要想获得一个超高的性价比、针对大规模车辆应用的高效结果,必须在每阶段使用最为有利的系统。
训练往往在线下通过基于 CPU 的系统、图形处理器 (GPU) 或现场可编程门阵列 (FPGA) 来完成。由于计算功能强大且设计人员对其很熟悉,这些是用于神经网络训练的最为理想的系统。
在训练阶段,开发商利用诸如 Caffe 等的框架对 CNN 进行训练及优化。参考图像数据库用于确定网络中神经元的最佳权重参数。训练结束即可采用传统方法在 CPU、GPU 或 FPGA 上生成网络及原型,尤其是执行浮点运算以确保最高的精确度。
作为一种车载使用解决方案,这种方法有一些明显的缺点。运算效率低及成本高使其无法在大批量量产系统中使用。
CEVA 已经推出了另一种解决方案。这种解决方案可降低浮点运算的工作负荷,并在汽车应用可接受的功耗水平上获得实时的处理性能表现。随着全自动驾驶所需的计算技术的逐步发展,对关键功能进行加速的策略才可能正真的保证这些系统得到普遍应用。
利用被称为 CDNN 的框架对网络生成策略进行改进。经过改进的策略采用在高功耗浮点计算平台上(利用诸如 Caffe 的传统网络生成器)开发的受训网络结构和权重,并将其转化为基于定点运算,结构紧密相连的轻型的定制网络模型。接下来,此模型会在一个基于专门优化的成像和视觉 DSP 芯片的低功耗嵌入式平台上运行。图 1 显示了轻型嵌入式神经网络的生成过程。与原始网络相比,这种技术可在当今量产型车辆的有限功率预算下带来高性能的神经处理表现,而图像识别精确度降低不到 1%。
一个由低功耗嵌入式平台托管的输入大小为 224x224、卷积过滤器分别为 11x11、5x5 及 3x3 的 24 层卷积神经网络, 其性能表现几乎是一个在典型的 GPU/CPU 综合处理引擎上运行的类似 CNN 的三倍,尽管其所需的内存带宽只是后者的五分之一且功耗大幅降低。
汽车制造业进入神经网络领域所习得的经验不断推动技术的发展,并因此开发出了更先进的网络架构及更复杂的拓扑,如每级多层拓扑、多入/多出及全卷积网络。新推出的重要网络类型不仅可用来识别物体,也可用来识别场景,从而提供用以解决汽车领域应用程序(如无人驾驶功能)所需的图像分割。当然,中国 40 家左右的汽车制造商并不会在此道路上踽踽独行。他们会与百度等技术公司做密切合作。技术公司是这些网络和架构发展的核心。CNN 网络生成器功能的完善也为新的网络架构和拓扑提供了支持,如 SegNet 及 GoogLeNet 与 ResNet 等其它网络结构和高级网络层(图 2)。此外,一键启用也让预训网络转换成优化的实时网络执行更方便快捷。为确保给常用的网络生成器提供支持,CDNN 框架与 Caffe 和 TensorFlow (谷歌的机器学习软件库)都有合作。
由于最新推出的嵌入式处理平台在可扩展性及灵活性上都有了很大改进,因此嵌入式部署也可通过这些改进来完善自身。由于深度学习领域的发展越来越多样化,因此拥有一个不仅能满足当今处理需求,也具有适应未来的技术创新的灵活架构非常重要。
第一批神经网络应用程序将专注于视觉处理,以支持诸如自动行人、交通信号或道路特征识别等功能。由于这些系统的性能一直在改进,例如处理慢慢的变大的来自高分辨率相机的数据集,因此神经网络也有望在未来的汽车中发挥更大的作用。这些作用将包括承担系统中其它复杂的信号处理任务,例如雷达模块及语音识别系统。
随着神经网络首次应用于车载无人驾驶系统,(据报道,某些国家将在 2019-2020 年型的新车辆中使用神经网络,)对同时兼具安全性及可靠性的系统的需求会慢慢的大。中国政府计划在 2021 至 2025 年推出自动驾驶车辆。要让此类系统具备可让客户使用的条件,汽车制造商必须同时确保其符合相关的安全标准,如 ISO 26262 功能安全性。这需要硬件、软件及系统的综合发展。
由于这些系统变得越来越复杂,因此确保系统可靠安全且能满足处理需求也成为汽车制造商所面临的慢慢的变大的挑战。
机器学习神经网络将沿着一条挑战高效处理性能的发展道路继续阔步前进。先进的神经网络架构已经显现出优于人类的识别精确性。用于生成网络的最新框架,如 CDNN2,正在推动轻型、低功耗嵌入式神经网络的发展。这种神经网络将使目前的高级辅助驾驶系统具有较高的精确性及实时处理能力。
深度学习神经网络在量产型车辆上的首次使用将限于基本的视觉识别系统,但最终会在未来为自动化程度越来越高的车辆提供支持,帮助其应对众多的复杂信号处理的挑战。
上一篇:Q1全球单款手机销量榜:iPhone 7第一不惊讶,OPPO R9S才是亮点
不久前,全球激光雷达领导企业Velodyne,发布了一款当今分辨率最好,探测距离最远的128线,可以说这款产品是专为L5级别的无人驾驶而生,取代了目前64线的标杆地位,这无疑将行车安全与自动驾驶又向前推进了一步。 最后,基于可大规模量产的半导体技术,VLS-128能在Velodyne的工厂中使用专有的激光对准和制造系统来自动组装,解决产能不足的问题。 这三项提升中最值得关注的是第一项,跳过多传感器数据融合步骤,采集原始数据直接运行算法,进行定位、物体检测和分类。用分辨率较低的激光雷达,需要先将其数据与摄像头数据融合,经过一些处理让计算机理解
在今年的CES上,英特尔公司高级副总裁,英特尔子公司Mobileye总裁兼首席执行官Amnon Shashua教授出席了Mobileye新闻发布会,并发表了主题演讲。 在演讲中,Shashua教授展示了Mobileye领先的计算机视觉技术,介绍了Mobileye独一无二的商业战略,并对Mobileye高精地图战略是如何帮助公司赢得全球市场的这一问题做了系统阐述,进一步彰显了Mobileye向移动出行提供商进军的雄心。期间,他还展示了一段未经剪辑的不间断驾驶了23分钟的自动驾驶汽车视频,视频中的车辆仅使用摄像头传感器技术就轻松实现了自动驾驶。 此外,Shashua教授还宣布了Mobileye在高级驾驶辅助系统(ADAS)和自
制定更高标准 /
随着 自动驾驶 等前沿科技领域发展加速, 传感器 的重要性和普及率也获得了持续提升。面对 传感器 在未来愈发广阔的蓝海“诱惑”,国内企业亟需加强各领域合作,并积极引进高端人才、完善培养体系,以获得突破性的创新研发能力,赢得全球竞争优势。下面就随汽车电子小编一起来了解一下相关内容吧。 近期以来,谷歌母公司Alphabet旗下的 自动驾驶 企业Waymo频频展开无人驾驶汽车的测试,以验证车辆搭载的 传感器 性能,以及赋予的新功能。 Waymo多方位测试无人驾驶汽车 传感器 彰显未来重要性 据外媒报道,数月前,Waymo在一场极端的暴风雪天气中,将其无人驾驶汽车带到了塔霍湖地区,以测试在极寒天气中的性能。而近
“硬实力” 抢占蓝海两点很重要 /
据报道,机器人初创企业Starship Technologies发布了一款大型商用机器人配送服务,目标群体为欧洲及美国的企业及大学校园。值得一提的是,该公司成立于2014年,由Skype的两位联合创始人Ahti Heinla和Janus Friis共同创立,获得风投资金1700万美元。 该项目或将成为全球最大的机器人配送服务,公司计划在校园内配置小型无人驾驶机器人,为用户配送食品或货物。据该公司透露,其计划在今年底配置近1000个机器人,但尚未透露具体的大学校园清单。 有人担忧,随着这类设备普及,工作人员或许连办公桌都懒得离开。如果配送机器人能将工作餐送至办公桌旁,还能有多少人愿意步行三十分钟再排长队等吃饭? 而另一部分认为,该服
从2012年开始,科技圈的撕逼最勾魂摄魄、荡气回肠的莫过于苹果与三星,堪称史诗般的对决。如今,很可能,我们也将在汽车领域再次看到双方拼刺刀的场景。传统汽车领域如今真是不再寂寞。因为自动驾驶慢慢的变有趣了。 从2012年开始,科技圈的撕逼最勾魂摄魄、荡气回肠的莫过于苹果与三星,堪称史诗般的对决。如今,很可能,我们也将在汽车领域再次看到双方拼刺刀的场景。传统汽车领域如今真是不再寂寞。因为无人驾驶变得越来越有趣了。 我们今天就来扒一下下三星的无人驾驶。 据韩国先驱报报道,5月2日,也就是今天三星已获得韩国国土、基础设施和交通运输部的许可,可以在韩国道路上测试无人驾驶技术。三星获准上路测试的无人驾驶汽车由现代汽车改装而成,配备了最新研
常见无人驾驶芯片对比 目前自动驾驶市场已经明显进入停滞期,L3/L4市场一直未有实际动作,主要原因有两点: 一是无人驾驶高度依赖不具备可解释性的深度学习神经网络,不具备可解释性就意味着无法真正迭代升级。公认无人驾驶技术霸主的Waymo研发无人驾驶已经14年,但近10年来都没有取得显著进展原因就是如此。 二是激光雷达的潜力没有发挥,多线激光雷达目前应用算法还是基于深度学习神经网络,人类始终未找到点云深度学习的最佳使用方法,以致于激光雷达几乎和摄像头没有本质区别,这也是特斯拉不用激光雷达的原因,上市的激光雷达公司大部分市值都跌了80%以上。 目前很多L2级无人驾驶的问题,依赖人工智能深度学习的系统都没有解决办法,如
芯片行业趋势 /
2022年下半年,“城市NOA”在无人驾驶领域横空出世,成为了主机厂竞争的重点领域。 从功能上说,城市NOA可以在复杂的城市道路中实现点到点的“导航辅助驾驶”功能,用户在导航上设好目的地,车辆可在无需人为接管的情况下,全程辅助驾驶到达终点,其难度远远大于高速NOA,接近L3级辅助驾驶。 小鹏汽车无人驾驶副总裁吴新宙曾表示,城市场景的落地标志着“智能辅助驾驶下半场的开局”。 那么,目前各玩家在城市NOA领域的进展如何?还有什么不足? 2023,城市NOA元年 据小鹏汽车此前统计,作为用户出行的高频刚需场景,城市驾驶里程占到总驾驶里程的70%左右,而在时间上,城市驾驶时长更是高达90%。这意味着,攻克城市场景是自动
“卷”向城市NOA /
2016年10月19日,日本东京讯 为促进无人驾驶时代日趋复杂的大规模汽车运算系统的发展,全球领先的半导体解决方案供应商瑞萨电子株式会社(TSE:6723)今日宣布推出两款新型第三代R-Car入门套件。这两款套件能够让汽车软件开发工程师更轻松地获得开发环境。新型R-Car入门套件面向在图像识别和人机界面(HMI)等领域从事软件开发、常常使用开源软件的高度专业化工程师 专业社群 ,可简化汽车Linux环境的开发,让软件工程师将全部注意力集中于高度专业而复杂的软件开发。此外,此类套件还兼具强大的运算性能和可扩展性,可用在所有运算应用。新型套件的设计简单、价格实惠,便于社群中的软件工程师和专业技术人员轻松获得自己的工具,用于先进汽车应用的开
的新特性
中的应用与难点
深度学习训练营:21天实战TensorFlow+Keras+scikit-learn (张强)
电动汽车电池管理系统(BMS)simulink完整模型(含SOC、主动均衡等算法)
MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!第三期考题上线,跟帖赢好礼~
3 月 21 日消息,我们最近经常听到欧盟如何针对苹果等大型科技公司做打压,尤其是数字市场法案 DMA 对iPhone等生态产生的影响,但苹 ...
IRX渲染加速技术助力游戏体验升级,高清视界沉浸式探索会呼吸的江湖中国上海,2024年3月18日专业的视觉处理方案提供商逐点半导体宣布, ...
高通推出第三代骁龙8s移动平台,为更多智能手机带来行业领先的终端侧AI
要点:第三代骁龙8s移动平台通过特选的旗舰功能,带来出色的终端侧生成式AI特性及影像和游戏体验。包括荣耀、iQOO、真我realme、Redmi和X ...
3 月 17 日消息,过去几年里,三星在高端芯片方面对高通的依赖程度明显地增加。其可折叠手机系列一直只采用高通骁龙芯片,Galaxy S23 系 ...
Gurman:苹果Apple Watch Series 10将支持血压监测
3 月 17 日消息,据悉,苹果和三星均在研发可通过智能手表进行无创血糖检测的技术,这将利好全球超过两亿依赖胰岛素的糖尿病患者。目前 ...
苹果A18 Pro芯片性能提升微弱:远不及骁龙8 Gen4/天玑9400
小米携手恩智浦,率先采用Android Ready SE技术引领移动安全新时代
站点相关:基带/AP/平台射频技术面板/显示存储技术电源管理音频/视频嵌入式软件/协议接口/其它便携/移动产品综合资讯论坛惊奇科技