??目前 ，在企业生产技术不断提高、自动化技术要求不断深化的环境下，智能车辆和基于智能车辆开发的产品已成为自动物流运输、灵活生产组织等系统的关键设备。智能车是集环境感知、规划决策、自动驾驶等功能于一体的综合性系统。它集中在计算机、传感、信息、通信、导航、自动控制等技术上，是典型的高科技综合体。它具有道路障碍自动识别、自动报警、自动制动、自动保持安全距离、速度和巡航控制等功能，是现代人工智能发展的重要组成部分。

??比赛是在 PVC 在轨道上，轨道由黑色边线和电磁引导。模型从车库驶出，运行两周后进入车库。比赛时间是从模型驶出车库到返回车库的时差，所以计时线圈放置在车库门口。轨道上的斑马线和斑马线下的磁铁放置与以往的规则相同。

??以下两项任务需要在车模行驶过程中完成。

• 任务一：根据三叉路口数字目标上的奇偶，选择哪个支路。如果是偶数，选择右边的十字路口。如果是奇数，选择左边的十字路口。第二圈选择的支路方向与第一圈不同。
• 任务二：在路上识别Apriltag，并根据路边目标的图案执行不同的动作。如果是动物，在该区域停止超过三秒钟。如果是水果，用激光击打水果。

??最后，根据完成任务和完成赛道的时间，得到最后的完成时间。

??本文共分为七章。第一章主要介绍了竞争背景和智能汽车系统的总体方案；第二章从智能汽车系统的机械结构出发，详细阐述了智能汽车系统各部分机械结构的设计和安装；第三章重点介绍了智能汽车系统中涉及的电气硬件设计方案和原理；第四章介绍了智能汽车电机舵机的控制算法；第五章介绍了图像识别算法；第六章介绍了调试过程中使用的一些工具和手段，并介绍了遇到的问题；第七章简要列出了智能汽车的一些物理参数。

??设一辆性能优越的智能车，首先要让车模具有稳定的机械结构。稳定的机械结构有利于编制智能汽车的控制算法，特别是在高速运行时，可以有效减少模具漂移和抖动的干扰，降低控制难度。因此，它不仅是设计控制策略和算法的基础，也是突破智能车速瓶颈的关键。因此，我们在遵守竞赛规则的前提下，对车型进行了多方面的调整，使车型具有更好的运行性能。

??根据智能视觉组竞有限公司根据智能视觉组竞赛规威龙科技有限公司生产的智能车竞赛专用模型车（C1型模型车)，前轮转向，后轮驱动，采用双驱动RS380马达，配套伺服器型号 S3010。车车型采用车盘一体化和后轴双轴设计，刚性足、重心低、操控性强。但在实际使用过程中，虽然低底盘机构降低了重心，使车型在运行过程中更加稳定，但不利于车型通过坡道。因此，在设计过程中没有安装影响车型上坡的前泵把，并调整了整体重心，以防止车型卡在坡道最高点。组装好的智能车如图2所示.1所示。

??根据智能视觉组的任务要求，车模至少需要安装两个舵机，一个负责控制车模转向，型号为S另一个负责控制和识别摄像头的转向PDI-6225MG。

??转向舵机是控制车模稳定运行的关键部件，转向舵机也是整个控制系统中延迟较大的环节。通过分析转向轮的转向原理现，在相同条件下，转向连杆与舵机的连接点离舵机轴心距离越远，转向轮转向时角度变化越快。这相当于增加角度调节头的转动半径，提高了线速度。根据上述特性，为了提高舵机响应速度，将舵机竖直安装，使舵机的输出臂更长，这样就可以在舵机输出较小的转角时，前轮转动较大的角度，从而提高了整个车模转向控制的速度。同时舵机安装在车模正中央，避免多级传动产生空程和死区问题并保证两轮转动角度一致。

  控制识别摄像头转动的摇头舵机对摄像头的识别能力有着一定的影响，为了能够获得较好的视野，所选摇头舵机拥有300°的转动角度，并将其安装在车模正前方，底部通过热熔胶与转向舵机相连，并用支架固定，确保摇头舵机在车模高速行驶的过程之中不会剧烈晃动。使用轻便坚固的碳纤杆作为摄像头以及激光发射器的支撑材料，并让两者平行地指向同一角度。

  本次竞赛我们采用双电磁前瞻进行循迹，线性CCD识别车库。前瞻作为电磁车的眼睛，其摆放位置值得深究。首先两电磁前瞻之间距离不能太近，需要流出足够的空间给摄像头识别放置在赛道上的图片，而前端的电磁前瞻离地面要有一定的距离，避免撞上坡道以及影响摄像头识别标靶上的图片。故在设计时将近端电磁前瞻安装在离车模较近的位置，留出足够的空间供摄像头识别使用，并增大前瞻支架与地面的夹角，增加远端电磁前瞻离地距离，此时远端前瞻离车模越远，其离地距离越大，所采集到的电磁信号越弱，所以在保证采集到的信号数值大小在合理范围的情况下，把远端前瞻安装在尽可能远的位置，使智能车“看”得更远。用于识别车库的线性CCD则安装在后端电磁前瞻的下方，调整好角度后用热熔胶固定。

  由于重心靠前会造成舵机负担，重心过于靠后又会导致侧滑，所以在保证车模顺利通过坡道的前提下，要尽可能的降低车子的重心并保证重心在整车的中轴线上。待各部件都安装完毕之后，调整电池的位置来调整车模的重心，并通过多次实际测试确定电池的安装位置。为了避免自锁轧带影响车模通过坡道（扎带可能会与坡道最高点刮碰），电池用魔术贴粘在底盘上

  为了使汽车直线行驶稳定，转向轻便，减少轮胎和转向系零件的磨损等，需要进行车轮定位。C1型车模后轮为双轴设计，车轮与智能车的前进方向保持平行，无法调整，但是在安装电机时要保证左右两轮系的一致性，马达的铜齿轮与传动的塑胶齿轮之间的啮合间隙要合理，以减少齿面磨损和行驶过程中的噪音。C1型车模的前轮可以通过装入不同调节块、臂座，调节介子的位置来改变其高度及倾角。通过实际测试可以发现，如果前轮向外倾斜安装（外倾角为正），如图2.6所示，这种装法有助于智能车在弯道上行驶，但不利于跑直道，如果向内倾斜安装（外倾角为负），如图2.7所示，这种装法有助于智能车在直道上行驶，但不利于过弯道。经过多次修改，最终决定让前轮外倾角为0，既前轮竖直安装，不加倾斜角度。

  硬件是整个智能车系统最基础的一部分，良好的硬件设计是实现软件编程设计的基础，才能保证智能车运行流畅稳定。在保证硬件电路稳定可靠的前提下，硬件设计要本着简便，强电和弱电相互隔离。在不增加硬件设计难度的情况下尽量保证软件开发方便，或者以小的硬件设计难度来换取更多方便、可靠、高效的软件设计。

  根据车身结构来合理布局，确定电路板的尺寸以及固定孔位置，车模更加一体化。硬件电路设计的开始，要进行主控芯片的选择，主控芯片要考虑算力，是否能够满足图像处理的要求，芯片主频能否满足传输速率的要求等。整个硬件系统主要包括电源供电电路、电机驱动电路、运算放大电路等，将各个电路设计到一起时，需要考虑到供电的稳定性。

  主控芯片使用的是 NXP 公司生产的 I.MX RT1064，此款芯片基于Cortex-M7 内核，主频高达 600MHz，cpu运算速度快，这意味着在对摄像头采集的图像做图像处理的时候会有很强的运算性能，为大量复杂的运算提供了更大的算力，增加了数据处理的速度，增强了图像处理能力。同时，此款芯片还有 1M 的片内 SRAM，可以将一些较为复杂程序中的一些中间变量放入特殊的内存，提高数据处理的速率。RT1064具体参数如下

  表3.1 RT1064具体参数

• 产品名称 I.MX RT1064最小系统板
• 芯片主频 600MHZ
• 产品尺寸 长宽=53MM37MM
• 芯片内核 ARM-Cortex-M7
• 芯片RAM 1M片内SRAM
• 芯片ROM 4M片内FLASH
• 外置SDRAM 外置SDRAM：32MB
• 下载接口 标准10PIN SWD下载接口
• 适配下载器 DAP下载器和JLINK V9及以上ben本

  电池选用C类车模要求的镍铬电池，规格型号为7.2V 2000mA。能够满足智能车中速运行大概二十多分钟，续航时间长。并且该类电池放电口和充电口一体式，可以对放电口进行改装，比如安装T型母插头，可以和主板的T型公插头直接相连，方便及时更换电池。并且该电池的尺寸很符合放置在车模底盘，不会影响车模运行情况及观感。

  电路根据不同外设供电需要，需要从7.2V镍铬电池设计不同的稳压电路，用来提供6V舵机供电、5V单片机供电、3.3V编码器供电，另外电机的供电直接使用电池输出电压，无需做稳压处理。

  AS1015是一款DC-DC降压转换器，可以满足5A的输出电流。利用脉宽调制控制方案，以300千赫的固定频率切换，输入电压的范围为3.6-23V，为客户提供0.8-Vin的可调输出电压。AS1015提供使能功能，可由外部逻辑信号控制，并且由于内部补偿，在线路或负载瞬态期间具有出色的调节能力，输出电压范围广，可以满足不同负载需要。另外还可以满足100%最大占空比输出，用于低压降情况。

  关于芯片手册中各个引脚的定义如下：

  表3.2 AS1015引脚功能表

  LM2596s开关电压调节器是降压型电源管理单片集成电路，能够输出3A的驱动电流。相比于另外一款稳压芯片——AMS1117，能够带动更大的负载。该稳压芯片要给OPEN ART摄像头、线性CCD、六路电磁运放、单片机等供电，另外还可作为一级稳压器，为3v3稳压输入提供稳定的保障，为了各外设供电稳定，所以选择大功率稳压芯片比较适合。

  LM2596S管脚定义：

  表3.3 LM2596S管脚功能表

  管脚号 管脚名字 管脚功能   1 VIN 正输入端，该管脚一般提供一个旁路电容减少暂态电压   2 Output 输出端，输出端一般接一个LC滤波器，滤除高频干扰   3 Ground 接地端   4 Feedback 反馈端，这个管脚把输出端的电压反馈到闭环反馈回路   5 ON(——)/OFF   这个管脚可以使用逻辑电平把LM2596切断，低电平该芯片工作

  5V稳压原理图电路设计：

  3V3稳压模块主要是用lm39100s在5V稳压基础上再做稳压，lm39100是一种固定输出调节器，是一种低压差线性稳压器，最大可输出1A电流，可以给编码器，TFT显示屏等供电，这种供电的方式使输出电源受干扰小，可以使传感器采集的信号更加稳定。由于该稳压芯片没有使能端，所以会面临内核启动的问题，当时设计电路忽略了这一点，但是不会影响调试。原理图如下所示：

  电机驱动芯片选用BTN7971B驱动芯片，它具有逻辑电平输入、电流检测诊断、压摆率调整、死区时间产生以及过温、过压、欠压、过流和短路保护，便于进行控制和电路设计，且驱动能力满足智能车智能视觉组的使用要求。BTN7971B与其他BTN7971B结合使用，可以形成H桥电机驱动。

  电流采集使用BTN的引脚进行负载电流输出，IS引脚与负载电流成比例（比例一般为19.5K，具体见芯片数据手册）的电流源，在该引脚上配置检流电阻，可以通过AD接口采集到电压得到相应的电流值。   对BTN的使能引脚进行单独控制，配合电流检测可以对BTN的使能状态进行控制，检测到过流时，切断BTN输出，对电机进行过流保护。

  在BTN的电源和地之间接470nf的电容，进行滤波，减少电机造成的地抖动。下面是BTN7971B的封装：

  关于BTN7971B的引脚定义：

  表3.4 BTN7971B引脚功能表   管脚号 管脚标号 I/O 功能   1 GND - 接地端   2 IN I 输入,定义高端或低端开关被激活   3 INH I 禁止端，当设置为低电压，芯片处于睡眠模式   4，8 OUT O 半桥的电压输出   5 SR I 功率开关的转换速率可以通过在SR和GND之间连接一个电阻来调节   6 IS O 与输出电流成比例的电流源输出，电流检测和诊断   7 VS - 电压供给

  芯片手册建议的一种H桥设计方法如下：

  参考上面H桥设计电路，最终设计了该驱动电路原理图如下：

  使用两个H桥来控制两个电机，一个H桥由两路PWM组成，可以在IS端接一个ADC管脚，来检测电压，进行过流保护。

  以下显示IN管脚和OUT管脚的时序问题，当IN由低变高 ，OUT会延时一段时间后，再有电压输出，当IN由高变低，OUT会有一段延时，然后由高变低。

  运算部分采用OPA4377，目前可以通过匹配外接电阻达到147倍的放大倍数，可以通过改变电阻大小来改变放大倍数。OPA4377运算放大器是四路通道的运放，可以采集四路电磁信息，对比二路通道的运放，多通道运放可以简化PCB布局，并且也可以做到对称布线，提高信号质量和对称性。电磁运放的接口设计为下面这种，为可插拔式，方便更换运放。

  四路电磁运放的电路板如下：

  六路电磁运放的设计是采用两个四路电磁运放模块，四路电磁运放原理图如下：

  赛道信号发生器采用的是龙邱科技20Khz的电磁信号发生器，该信号发生器是100mA的电流源，通电导线周围存在磁场这个规律可知，离导线越远，磁场强度越弱，越靠近导线，磁场强度越强。

  由谐振公式可知：

  █(f_0=1/(2π√LC)#公式1)

  █(1/(2π√LC)=1/(2π√(10*〖10〗^{(-3)*6.8*〖10〗}(-9) ))=19.6Khz#公式2)

  当LC谐振电路的谐振频率和信号发生器的电流源频率相近或者相等的时候，谐振电路的电压信号会达到峰值，方便信号采集。配对电感电容的选择要符合上式的谐振公式，尽可能地接近20Khz。

  主控板直接和底座匹配，上面有两个四路电磁运放的插座，还有电机驱动板的插座，这两个模块都可是随时插拔更换。

  四路电磁运放使用了XH2.54的接口封装，方便从电磁杆直接采用5Pin的公公XH2.54接线连接，另外还设计了插针，可以直接插在主板上。

  驱动板采取了双面设计，在上下两面都安置有电子器件，这样可以节省空间，节约主控板的面积，驱动板也设置了插针，可以直接插在主控板上。由于驱动板过电流比较大，电源供电接口采用XT30，最大过电流为30A，完全满足要求。

  我们车模使用了六路电磁运放，一个长前瞻，一个短前瞻。信号接口采用XH2.54,方便引线给电磁运放模块。

  如下图，比赛所用的摄像头为OpenART摄像头，OpenART不仅可以很轻松的完成机器视觉应用，还可以完成OpenMV不能完成的神经网络模型的部署和训练。采用I.MX RT1064 芯片，其主频达到 600MHz,同时拥有1M片内SRAM、4M片内FLASH以及32M外置SDRAM，图像处理速度极快。支持两种供电方式，一种通过type C供电，可以直接电脑调试。另外一种是5V外部供电，该摄像头还可以有3V3的输出电压端，可以对外部传感器供电。

  如下图光电编码器是一种通过光电转换将输出轴上的机械几何位移量转换为脉冲或者数字量的传感器，增量式编码器是将位移转换成周期性的电信号，再把这个电信号转变成计数脉冲，用脉冲的个数表示位移的大小。绝对值编码器为每一个轴的位置提供一个独一无二的编码数字值，单圈绝对值编码器把轴细分成规定数量的测量步，最大的分辨率为13位，这就意味着最大可区分8192个位置，我们使用的是9位的，可以区分512个位置。我们使用的光电编码器是绝对式编码器，这是目前应用最多的测速传感器之一。其获取信息准确，精度高、应用简单。该编码器的供电电压为3.3V-5V，可以满足不同IO口电平的单片机。

  高效的控制算法是智能车高速平稳行驶的基础。本次竞赛我们采用两组电磁前瞻进行赛道识别，电磁信号的采集处理和 PID 控制算法是整个程序的核心内容。在控制智能车的舵机和电机方面，分别使用了增量式和位置式 PID 控制算法，使智能车能够稳定快速在赛道中行驶。在此基础上，又通过线性CCD、电磁前瞻和摄像头对赛道中的特殊元素进行识别，使智能车能够完成各项任务。

  滤波算法是智能车控制中不可或缺的一部分。它可以从含有干扰的接收信号中提取有用信号，很大程度上保证了采集到的信号的真实性和稳定性，在智能车采集电磁信号时，它是抑制和防止环境干扰的重要措施。

  常见滤波方案有均值滤波、中值滤波、数值限幅、平滑滤波等，在进行AD采集时我们使用了均值滤波法。在读取ADC数据时，连续采样N次（实际调用时采样次数为5次）作为一组数据，去掉这组数据的最大值和最小值后再求平均。已将该功能封装成函数，如图4.2所示。

  由于需要通过分析各个电感采集值的情况来判定前方路况，所以要求这些采集值有迹可循且便于处理，归一化便是一种很好的方法。读取到电磁信号后，先对其进行归一化，然后再放大1000倍，最后进行限幅，将数据最小值限制为1，将数据映射到10~1范围之内，这样既能容易的由电磁值分析出路况，又不会因为数据过小而失真,还可以增强算法的适应能力。归一化公式中的最大最小值需要在赛道上提前测出，代码如图4.3所示。

  数据归一化后，分别计算前后两个电磁前瞻的电磁信号的差比和，所使用的差比和公式为   █(error=(√(ele_L )-√(ele_R ))/(√(ele_L )+√(ele_M )+√(ele_R ))#公式3) 式中：   ele_L——左侧电感值 ele_R——右侧电感值   ele_M——中间电感值（由前端中间两个电感求平均所得）   该公式是在传统的差比和公式的基础上，通过实验测试改进得到，可以很大程度上增加电感信号的变化的线性度。代码如图4.4所示。

  其中，所用到的非函数库的快速开平方算法，代码如图4.5所示。

  虽然较长的电磁前瞻能使智能车“看”得更远，但是会在过弯时会伸出赛道太多，所计算的差比和数值较小，会导致弯道处舵机打角不足而冲出赛道。所以增加了后端电磁前瞻弥补弯道处打角不足的问题。后端2个的电感离车模比较近，在过弯的时候差比和数值比较大，只要在前端电感偏出赛道之后切换到后端电感控制舵机占空比，就可以流畅地驶过弯道。代码如图4.6所示。

  在工程实际中，应用最为广泛的调节器控制规律为比例、积分、微分控制，简称 PID 控制。PID 控制器是一种线性控制器，它根据给定值与实际输出值构成控制偏差。将偏差的比例§、积分(I)和微分(D)通过线性组合构成控制量，对被控对象进行控制，故称 PID 控制器，原理框图如图 4.7 所示。

  PID控制分为很多种，常用的有增量式和位置式两种算法，对舵机进行控制时，我们先采用增量式算法计算输出增量∆u(k)，再通过u(k)=u(k-1)+∆u(k)转换为位置式输出给舵机。这种算法计算量小，本质上具有抗积分饱和功能的优点，适合用于控制需要快速响应的舵机。

  由于本次竞赛采用了双前瞻循迹方式，且前后两个电磁前瞻应用场景不同，故在计算输出占空比时采用了两套不同的PID参数。代码如图4.8所示。

  我们采用线性CCD对车库进行识别。出库时，先让舵机保持直行状态，当线性CCD判定到第二条斑马线时（此时车模前端靠近车库边界），通过前轮转向和后轮差速就可以实现稳定出库。当车模转到赛道中央时就可以切换到正常行驶状态，既当电磁前瞻的电感值与在直道正常行驶时基本一致就表示出库完成。

  车模出库的状态直接决定其接下来的稳定性，因此设计时牺牲了一些出库的速度以保证车子的稳定性，代码如图4.10所示。

  当第二次经过斑马线（智能车已行驶完两圈）时，再次通过前轮转向和后轮差速就可以实现稳定入库，同时开始定时停车，这样智能车就能平稳地停在车库里了。代码如图4.11所示。

  虽然出入库都是使用线性CCD识别斑马线，但是两种情况下斑马线相对位置不同，故识别算法也不同。入库时斑马线的CCD图像如图4.12所示。

  识别时先将每次采集到的数据二值化，然后遍历所有数据，将白色点到连续黑色点的跳变处视为左侧边界，然后寻找黑色点到连续白色点的跳变处，将其视为右侧边界，若左右边界的距离与一条斑马线的宽度基本一致，则认为是斑马线，反之则舍弃，遍历剩下的点继续寻找斑马线，当找到的斑马线数量大于5条，则认为即将到达车库，开始入库。代码如图4.13所示。

  出库时，若线性CCD图像中出现有效白线（黑色点小于10个）到有效黑线（黑色点大于40个）的跳变，则认为识别到一条斑马线。代码如图4.14所示。

  设计时采用了状态机加定时的方法进入环岛，由实际测试可知，通过环岛与直道交汇处时，所有电感值会明显增大，靠近环岛一侧的电感值会突然增大再减小，在环岛与直道相切处达到最小，然后增大直至车模离开环岛范围。当电感值会出现明显的增大时（车模到达环岛边界），状态标志置1，准备进入环岛，当电感值再次增大时（车模到达环岛与直道相切处），状态标志置2，定时开始，前轮强制转向进入环岛，定时结束后正常循迹。准备出环岛时，需要向环岛内侧短暂转向，避免出环岛时车模因速度过快直接冲出赛道，然后屏蔽环岛识别标志，直到车模完全离开环岛。

  因为在到达三岔路口前先经过环岛，且两者离得较近，为了能够在三叉路口处精准停车识别图片，故在出环岛后智能车减速。当智能车到达三岔路口时，前端的电磁前瞻中间两个电感远离赛道，所采集的电感值小于正常行驶时，两侧电感离三岔路口的两个分岔较近，电感值较大，而后端的电磁前瞻仍处于直道，没有明显变化，根据这一特点可以准确地识别出三岔路口。停车之后，依靠摄像头识别标靶确定方向，接收到摄像头数据后，前轮转向相应方向，继续前进。

  后轮分别由两个PID闭环进行控制。控制电机的PWM信号的频率为10K ,占空比是五万份之x，可以通过设定x的值，控制电机输入电压，电机初始化函数如图4.15所示：

  经过实际测量，电机在满电压输入且空转的情况下，其编码器最大读数为330，我们将这一最大值作为满速，将其分为330份，每一份为1单位速度。因为左右两个编码器安装方向不同，故读取的脉冲数存在负数的情况，偏差计算公式也有所不同，相应的偏差计算代码如图4.16所示。

  根据计算的误差值，采用位置式PID控制算法，分别计算各环节数值，相加后即可得到期望的输出占空比，代码如图4.17所示。

  但需要注意的是，计算出来的输出占空比有可能会超过最大占空比50000，所以需要对计算结果进行限幅。除此之外，当计算结果为负时（反转），硬件无法自动改变转动方向，需要依靠软件改变转动方向，即当计算结果为负时，交换控制该电机的两个PWM端口的输出值（为了便于控制，其中一个PWM端口占空比为0，另一个为期望占空比），输出计算结果的绝对值。

  正常情况下，轮子转动的速度由设定值唯一确定且两边轮子的转速应当相同，但是因为C车车模体积较大，转向较为困难，所以我们还根据电磁信号计算出的前轮舵机转动占空比来进行差速转弯。

  其中，0.005是比例系数，其值根据智能车的实际运行情况进行调整。因为我们的舵机的转动占空比范围是4300±500，所以两轮间的最大差速为5单位速度。

  运用 PID 控制的关键是调整 KP、KI、KD 三个参数，即参数整定。PID 参数的整定方法有两大类：一是理论计算整定法。它主要是依据系统的数学模型，经过理论计算确定控制器参数；二是工程整定方法，它主要依赖工程经验，直接在控制系统的试验中进行，且方法简单、易于掌握，在工程实际中被广泛采用。

  而此处使用的是理论计算整定法中的稳定边界法进行的PID参数整定。

  其具体整定过程如下：   在系统闭环的情况下，先将P取为较小值，I、D值置0，然后用上位机记录车在赛道上运行时的编码器读数。逐渐增大P的值直到编码器读数进入等幅震荡状态，记录下此时的临界比例增益KPcrit和震荡周期Tcrit，根据如下公式进行PID粗调：

  由上公式计算得到PID参数后，再根据实际车辆运行过程中的编码器读数情况，适当调节比例、积分和微分环节的值，其规律大致为增大I则P需要减小，增大D则P需要增大。需要注意的是：增大I可以减小稳态误差，但容易产生积分饱和现象；增大D可以使系统对变化更敏感，即可在误差的产生时起到抑制作用，但在误差的消除阶段会对误差消除产生一定的阻碍；增大P可以让系统输出更容易达到设定值，即对误差更敏感，但也容易产生震荡。

  AprilTag的识别方法参考了openMV官方中文文档中的例程，其识别函数如下:

  代码逻辑如下：读取一张摄像头图片，通过模板匹配，寻找图片中是否存在AprilTag的25h9系列的码，如果存在，用红框框出码的位置，并在码的中央显示绿色十字，由于后面需要根据码的奇偶转动摄像头，后面的if语句将奇数和偶数的识别结果通过三个GPIO口的高低电平传送给主板单片机，并通过另一个GPIO口的上升沿触发主板单片机的中断，最后实现数据的交互。其中，degress变量可以得到图片的旋转角度，但在本程序中暂时没有使用。为了增加识别的准确度和滤除一些背景对识别的干扰，所以代码只有在识别到三次Apriltag后才会将第三次的结果作为输出。

  数字识别代码如下：

  本代码中，参考了部分openMV官方中文文档的办法用来识别数字的紫色外框。   代码逻辑如下：读取一张摄像头图片，然后在图片中搜索矩形，找到矩形后，提取出矩形内的图片，将该图片输入到数字十分类模型中，如果识别的结果准确率大于百分之75，就存储该结果（奇或者偶，0或者1）到数组中，当得到了三次结果后，将其中至多的结果作为识别结果，通过三个GPIO口的高低电平传送给主板单片机，并通过另一个GPIO口的上升沿触发主板单片机的中断，最后实现数据的交互。其中，为了排除不同颜色光线对识别的影响，在训练模型的时候使用的是灰度图片，输入模型的图片也需要转换为灰度图；为了让结果更准确，所以在此处使用的是三次结果取其最大值。

  动物水果识别代码如下：

  本代码中，参考了部分openMV官方中文文档的办法用来识别动物水果的紫色外框。

  代码逻辑如下：读取一张摄像头图片，然后再图片中搜索矩形，找到矩形后，提取出矩形内的图片，将该图片输入到动物水果十分类模型中，如果识别的结果准确率大于百分之75，就存储该结果（动物或者水果，0或者1）到数组中，当得到了三次结果后，将其中至多的结果作为识别结果，通过三个GPIO口的高低电平传送给主板单片机，并通过另一个GPIO口的上升沿触发主板单片机的中断，最后实现数据的交互。为了让结果更准确，所以在此处使用的是三次结果取其最大值。

  关于openMV官方的识别矩形方式，经过多次尝试后发现，如果用于识别要求的紫色外框，效果较差，其识别效果受到光强，摄像头角度，图片距离等多方面因素的影响较大。使用openMV的官方识别矩形方式，经常出现错误识别矩形，识别不到需要图片紫色矩形外框等问题，调节其参数threshold也无法解决这一问题，只能在错误识别和识别不到之间徘徊。所以关于识别紫色外框，在参考了openMV的更底层的示例后，我们使用了色块识别的办法来作为备用的识别紫色外框方案，其代码如下：

  其原理为：

  先通过阈值编辑器分别得到紫框在强、弱、正常光环境下的LAB范围，然后在拍摄的图片中将阈值内和阈值外的颜色分成黑白两色，白色是阈值内的颜色区域，当阈值内的颜色像素点数量大于某个值时，该区域将会被选择。通常一张图会有多个阈值内颜色像素点富集的区域，这些区域都会被记录，因为我们需要识别的是外框，而且图片与摄像头的距离限制了外框的大小，所以通过一个位置，大小和密度的三重滤波后，就可以准确地得到紫色外框的位置了。   其识别结果如下：

  可以看到，即使在黑暗的情况下，其仍能较好的框出图片的位置，但该方法的问题是有的情况下可能框选的区域较大，但对于我们的模型来说，影响并不大，但是其三个光强下的LAB范围都需要具体测量，操作较为复杂。

  对于数字识别，因为较为简单，所以我们在lenet模型的基础上进行改进，且使用的是32*32的灰度图片作为训练测试集。

  训练代码见附录train.py。   可以看到，在lenet的基础上，我们在第二个卷积层下加入了BatchNormalization层，以减缓其梯度下降，我们还在全连接层加入了传统的Dropout层，随机丢弃一些点以增加其泛化能力。

  在0.001的学习率和10%的下降速率之下，其训练和实际测试效果良好，在测试集下其准确度达到了91%，在实际的使用过程中，几乎没有识别错误的情况发生。

  因为动物水果识别相较于数字识别更为复杂，所以这里使用的模型仍是修改过后的lenet模型，但训练测试图片是32*32的彩色图片。其训练代码与数字模型的训练代码大体相同。

  在0.001的学习率和10%的下降速率之下，其训练和实际测试效果良好，在测试集下其准确度达到了99%，在实际的使用过程中，识别错误的情况发生较少。

  数字的基本图片是在十张数字图片的基础下加上紫色外框形成的