宁波春建电子科技有限公司

企业概况

a、主营业务

宁波春建电子科技有限公司 主要从事 基于3D-TOF的汽车座舱的智能视觉感知系统研发及产业化 业务。

b、公司介绍

宁波春建电子科技有限公司于2020年底成立，是一家专业从事汽车智能座舱感知系统开发的方案解决商。

 公司软硬结合着眼新能源、智能化新领域，从研发、制造、营销、服务到用户体验一体化的全产业链战略合作，引领行业技术的重大变革。目前也是国内唯一一家坚持采用TOF及TOF+IR传感技术在智能座舱开发的厂家，并且设计出第一款大角度TOF车载（FOV大于120度），更大角度覆盖座舱区域，大大节省了硬件的重复设计成本。

 宁波春建电子率先创新研发了汽车座舱使用的TOF传感模组、10 多种智能识别算法，实现了汽车座舱内的智能感知，提高了未来汽车的行车安全。团队现有发明专利8项，2项国家专利和2项实用新型撰写完毕，申请审核中。今年计划完整专利申请12~15项。

 整套感知系统包括传感端，算法端和执行端。春建电子主营业务之一包括传感端和算法端的设计开发。其中传感端包括RGB摄像头，IR摄像头，TOF激光扫描仪和MWL毫米波雷达。算法端对应控制板，主要是基于NXP，ALLWIN，QUALCOMM，INTEL等国内外芯片进行开发的控制板；执行端由客户确定。

 公司基于各类传感器和先进算法，开发出丰富的感知功能，包括FACE ID（人脸识别），DMS（驾驶员疲劳监测，注意力监测，心跳心率监控，行为分析），OMS（儿童看护，活物滞留提醒，遗忘提供）以及GESTRE（手势控制）等等。

 目前为止，设有视觉类实验室2个，高校研究所合作3家，汽车行业客户10余家。

c、核心优势

项目研发了汽车座舱的智能视觉感知系统，创新采用TOF技术，人工智能技术和计算机软件技术，研发了适用于汽车座舱使用的TOF硬件、基于Faster R-CNN的手型检测算法、基于GRU建模的手势识别算法和基于人脸识别和头部姿态估计的驾驶员注意力检测模块。本项目的关键技术有以下方面：

1、基于TOF的汽车座舱智能感知硬件设计

本项目研发的TOF传感模组由一个发射模块，一个接收模块组成，发射模块使用LED发射元件，发射850nm-940nm的调制红外光，物体经过反射后，由接收模块接收到反射的红外光。由于发射和接收的都是调制波，TOF摄像头可以计算发射和接收的相位差，通过换算得到深度值，即摄像头与物体的深度距离。

TOF摄像头的电气元件有发射二极管、接收二极管、调制模块，解调模块、处理器组成。调制模块负责调制发射的红外调制波，通过发射二极管将信号发射出去；解调模块负责对接受二极管接收到的反射红外波解调；处理器中包含ADC和数据处理，ADC是为了将模拟信号转化为数字信号；数据处理为了将测得的相位差换算成深度信息。

本技术在汽车座舱中使用4个发射器，且每2个一组分置在接收器的两侧，使视场角的检测范围大于120°，保证视觉覆盖整个汽车座舱，发射模块的发射源的波长范围为之间，极大的提高了驾驶室内的监测范围。同比在宝马５系及７系汽车内使用的TOF设备，其TOF传感模组拍摄范围FOV只能做到60度，且只能用于手势识别，大大限制了硬件的功能。

2、基于 Faster R-CNN 的手型检测算法

本算法改进了基于Faster R-CNN的目标检测算法，使用训练得到的深度模型对 TOF深度数据进行手型检测，针对模型漏检的手型部分，使用传统的图像分割和区域增长方法进一步进行手型检测，通过两次手型检测，极大提高了手型检测的成功率。

3、基于人脸识别和头部姿态估计的驾驶员注意力检测系统

系统主要包括四个模块，即红外数据采集模块、红外图像处理模块、决策模块、输出模块。红外数据采集模块通过安装在汽车A柱的红外传感器采集待检测空间中的红外图像数据；红外图像处理模块是对采集模块得到的红外图像进行处理，首先在图像上进行人脸检测，人脸对齐，计算头部姿态，并进行相关统计；决策模块是在决策数据队列长度达到设定的阈值时，对红外图像处理模块的统计结果进行判断，并给出输出结果；输出模块是将决策模块中的输出结果发送到车机控制系统。通过工控机播放相应的音频文件（提示音），并发送相应的串口协议。

相比其他4家国外厂家的5项系列，春建电子提供的产品在TOF分辨率（resolution）, 光源设计（Light source）,视场角度（FOV），以及探测距离（Operating range）遥遥领先，并且其他指标也与同类其他产品指标相当。