【开源】使用PhenoCV-WeedCam进行更智能、更精确的杂草管理

Hello，大家好，这是OAK中国，我是助手君。

再和大家分享一下OpenCV AI比赛开源项目，该项目是检测和识别杂草，项目地址：序号52。

来源：opencv.org。

杂草是农业面临的最大挑战之一，它们与作物竞争营养、水和阳光。

值得一提的是Myriad（着名RGB使用计算机视觉识别和绘制杂草地图视觉识别和绘制杂草地图，如简单的绳索除草器(也称为 配备摄像头的除草器可以控制生长点非常小的杂草。随着杂草变得更大、更具侵略性，可能需要更昂贵的方法，而机器人安装的激光器已经取得了一些成果。

然而，到目前为止，杂草管理还没有人成功地将深度信息与物体识别相结合。有了三维信息，例如OpenCV AI Kit with Depth（OAK-D）我们可以根据生长点的位置和植物的整体耐寒性来改变控制方法。

杂草生长图的监测和测绘准确可持续（PSA）团队的主要目标之一。PSA为了改善农民的决策，团队开发工具来监测气候、土壤和农业管理对田间作物生产的影响。

首先，现场小组前往野外，从横截面收集信息，确定杂草类型，测量杂草高度和地面覆盖。

注：在项目期间，我们必须更改相机的使用，因为OAK-D（BW1098OBC）缺货。相反，我们使用相同软件支持的相机技术(图1)，其中组件没有集成到一个板上。这个版本的相机（BW1098FFC）有三个FFC端口和可调基线允许最小深度距离更短。

材料清单(图2)：

• 平板电脑(联想)P10或M10 /或类似的Android设备）
• 带绑带的伸缩单脚架
• OAK-D摄像机（BW1098FFC）
• Raspberry Pi 4 w/ micro SD卡32GB或更大
• 相机和Raspberry Pi电源组(2路输出1万毫安)
• 电缆
• 腰包
• 平板电脑三脚架适配器
• 迷你球头(#2)
• 镜头布和刷子。

我们的目标是创建一个易于使用和低成本的工具，使我们的国家田间科学家团队能够量化农场和研究站的杂草性能。

我们在德克萨斯州、马里兰州、丹麦和北卡罗来纳州的不同条件下，创建了五个具有上述所有组件的传感系统，并将其分发给我们的技术团队进行初步测试。杂草的生物量被破坏性地收集起来，以将图像与杂草的性能联系起来。

为了创造杂草生长的最佳动态范围，我们在三个地方进行了田间试验（图3），包括德克萨斯州、马里兰州和北卡罗来纳州。我们包括许多具有不同生长特征的植物物种，包括杂草和覆盖作物(CCs )，以测试OAK-D在实际操作条件下。

最初的计划是运行DepthAI(图4)当我们慢慢走过田野时，收集视频。

不幸的是，我们在推理RGB相机和立体相机之间有一个同步问题：RGB相机比黑白相机早几秒钟启动，让我们无法连接数据包序列号。

修订后的方法要求我们更改现场数据收集协议。我们不得不停下来，拍摄静态图像，然后继续沿着样带走，而不是连续监控视频。我们覆盖了所有的横截面，每一步都拍一张静态照片。

用于预测杂草的组成OAK-D相机采集的冠层图像分为相关类别：1）土壤、2）草和3）阔叶植物。该信息与深度测量相结合，不仅预测了相对成分，还预测了绝对值。

一个以MobileNet-v3为主干的DeepLab-v3 适用于嵌入式环境的轻量级语义分段模型。Xception-这种实现方法在内存和计算能力方面占用的空间较小，但精度较低。

当我们进行监督时，我们需要一个图像数据集来准确地注释所有像素。在不考虑当前一次性学习和研究的情况下，通常需要数百或数千个标记的图像来实现模型的完全泛化。

依靠各物种植物之间的高度相似性，我们创建了一个合成数据集，以尽量减少标记。Skovsen等人（2017）和Skovsen等人(2019)的原则，如图6所示，从真实图像中数字化切割48个植物样本，如下图所示，分为禾本科或阔叶植物。

由于内存限制降低了分段模型的精度，我们选择继续开发：1）使用英特尔神经计算棒DepthAI；2）通过TensorFlow-lite库直接在主机中处理信息。

一旦获得图像，语义分割模型将用于检测草地、阔叶树和土壤。然后，语义分割中产生的代码将与相机收集的深度图（估计检测到的植物高度）一起使用，以估计生物量。

我们首先发现了均方根误差的深度测量，然后我们试图NCS2模式下运行模型。DepthAI这些模型可以运行，但在我们当时的测试中，它们只在较小的模型上运行良好，并在较大的模型上返回分段错误。

我们修改了数据收集脚本，收集了原始的深度数据NumPy为了使体积分析不那么密集，数组中使用了这些图像来计算体积，其基础是使用已知区域的白色PVC管道作为参考提取的兴趣区域。静态图像分析采用相同的图像点云进行三维重建和恢复数据。

进一步的实验将涉及改进ROI该方法，以及使用点云体积估计。实时处理效果不好，因为当我们使用较小的模型尺寸时，分割质量下降。因此，我们决定暂时使用非实时方法。Github找到我们的代码。

通过我们的策略，我们可以使用相机来收集植物的高度。利用主机生成的高度直方图，我们使用主成分分析方法来降低维度，提取前两种成分，并制作多线性回归模型来寻找估计的生物量。

测定系数在0.5和0.显示在8之间OAK-D相机测量我们田间杂草生物量的潜力。

展望未来，我们计划利用它DepthAI为了实现实时分析，平台的新功能提高了深度测量的准确性，解决了视频数据收集问题。

我们是一支精准可持续的农业团队，参与其中OpenCV我们对空间人工智能竞赛的建议是杂草监控。在这场比赛中，我们与奥尔胡斯大学竞争，北卡罗来纳州立大学，美国农业部和德克萨斯A&M大学合作。

我们感谢Luxonis持续及时地帮助我们所有的错误和问题。

我们感谢Julian Cardona的3D相机外壳设计。

这项研究基于美国农业部国家食品和农业研究所支持的工作，奖项编号为2019-68012-29818。通过覆盖作物和创新的信息技术网络增强美国种植制度的可持续性.

https://opencv.org/smarter-more-precise-weed-management-with-phenocv-weedcam/ https://docs.oakchina.cn/en/latest/ https://www.oakchina.cn/selection-guide/

OAK中国 | OpenCV AI Kit在中国区的官方代理商和技术服务商 | 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗