一句话总结

本文提出了一种利用边缘计算和多路视频录制技术的计算机视觉系统，可实现离线的自动化、无标记、多物种昆虫计数、追踪与行为分析。该系统有效克服了现有方法空间覆盖范围的局限，并在商业浆果农场的九个大棚监测站展示了可扩展的传粉者监测能力，成功追踪了四种昆虫，F-score 均高于 0。

核心贡献

• 提出了一种新型多路计算机视觉系统，旨在大规模农田环境中实现多物种昆虫的无标记数据采集、自动化计数与行为分析。
• 追踪流程采用结合 YOLOv2 与 K 近邻分割的混合检测架构，以在动态户外条件下保持对无标记昆虫的稳健定位。该双模型策略能在环境变化干扰分割时自动切换检测模式，同时低分辨率处理模式可加速视频分析。
• 在商业浆果农场九个大棚监测站的实地验证表明，该系统成功追踪了四种昆虫，F-score 均高于 0。生成的行为数据集支持对特定物种传粉贡献的细粒度比较，从而为精准农业干预提供依据。

引言

本研究利用计算机视觉与边缘计算技术，应对精准农业中的关键需求：在大型非受控农场环境中对昆虫传粉者进行可扩展监测。高效的传粉管理对全球粮食安全至关重要，但传统人工采样耗时费力且易受观察者偏差影响，而现有自动化追踪系统通常局限于受控实验室环境或仅支持单物种设置。以往的方法难以应对光照变化、风吹植被等复杂的户外变量，且缺乏现实农业管理所需的多物种、多点位分辨率。为突破这些限制，本文引入了一种新型无标记监测框架，该框架可采集多路视频画面，执行离线的自动化计数与追踪，并分析不同物种的昆虫觅食行为。在商业浆果农场部署后，该系统以高精度成功追踪了九个站点的四种昆虫，为种植者与养蜂人提供了可操作的数据驱动洞察，以优化作物产量并提升传粉效率。

数据集

数据集构成与来源

• 本研究使用配备索尼 IMX219 传感器的 Raspberry Pi 4 边缘计算相机陷阱，在九个田间位置采集视频画面。
• 录制参数固定为 1920x1080 分辨率和每秒 30 帧，每个连续片段时长为 10 分钟。
• 相机位置、录制日期与时间等系统元数据会自动嵌入至每个视频文件的描述信息中。

子集详情与过滤规则

• 本研究构建了包含 3,073 帧的自定义检测数据集，并使用 CVAT 手动标注了边界框。
• 类别分布包括膜翅目（合并蜜蜂与胡蜂类，共 2,602 个实例）、食蚜蝇科（204 个实例）、鳞翅目（93 个实例）以及草莓花（14,050 个实例）。
• 轨迹数据集经过严格过滤，移除了源自非昆虫检测的假阳性轨迹。
• 模糊的膜翅目分类通过人工审核与行为规则进行解析，例如将访花昆虫归类为蜜蜂，将捕食性移动昆虫归类为胡蜂类。

数据使用与训练配置

• 本研究在 TensorFlow 中训练 YOLOv4 深度学习模型，在预处理图像子集上使用 0.001 的学习率。
• 训练后的模型用于处理田间视频，提取昆虫运动轨迹与传粉行为，无需在设备端进行实时推理。
• 仓库提供了预训练模型检查点与专用评估数据，以支持下游分析与结果复现。

处理与后处理流程

• 视频分析任务卸载至配备 Intel Xeon Gold 处理器与 NVIDIA Tesla P4 GPU 的高性能计算集群。
• 标注工作流程将单帧画面与源视频交叉比对，以最小化对小型快速移动昆虫的漏检。
• 最终轨迹生成采用多阶段分类流程：首先通过静态帧识别昆虫，随后通过人工验证与运动行为分析细化膜翅目亚型。

方法

所提方法包含一个用于自动化昆虫与传粉监测的三阶段流程，始于远程视频采集，继而进行自动化多物种追踪，最终完成空间行为分析。该系统利用搭载摄像头的 Raspberry Pi 设备构建多路远程视频采集架构，以记录农业环境中的昆虫活动。这些设备专为可扩展性与边缘计算设计，支持在非受控或半受控环境中进行连续监测。采集的视频数据连同嵌入的时间与位置等元数据在离线状态下进行处理，以提取昆虫与花朵的轨迹。

参考框架示意图，该图展示了整体工作流程。初始阶段涉及视频采集与元数据提取。随后视频数据输入至自动化多物种昆虫追踪模块，该模块通过混合检测模型运行。此模型将基于深度学习的目标检测器（具体为 YOLOv4）与基于 K 近邻的前景/背景分割模型相结合，以在多变光照与植被条件下稳健检测昆虫。检测完成后，系统识别昆虫物种并保存快照以供人工验证。该算法采用低分辨率处理模式高效处理静止期，在无昆虫活动时降低计算负载。

追踪流程基于 Polytrack 方法构建，支持跨帧形成连贯的昆虫轨迹。在每一帧中，检测到的昆虫位置会与花朵位置进行比对以识别访花行为。当昆虫在花朵半径范围内停留超过连续五帧时，即记录一次访花，从而确保瞬时移动不会被误判为交互行为。系统还采用“预测与检测”策略进行花朵追踪，利用匈牙利算法将每朵花的预测位置与检测到的实例进行关联，以维持连续的花朵运动轨迹。若某帧未检测到花朵，则保留其最后已知位置，新检测到的花朵则作为新条目处理。

追踪模块的输出包含昆虫轨迹、关联的访花数据以及花朵运动轨迹。该信息随后用于空间监测与行为分析。分析过程涉及量化昆虫数量、计算特定物种的访花频率以及评估传粉贡献。系统计算多项指标，包括特定物种访问的花朵数量、单朵花的总访问次数，以及基于预设访问阈值计算出的授粉花朵数量。通过分析这些时空交互，系统能够推断传粉事件，为不同昆虫物种的效率提供洞察，并指导数据驱动的传粉管理策略。

实验

本研究在商业草莓农场部署了利用远程视频录制的计算机视觉系统，以自动追踪四种关键昆虫物种并分析其访花模式。初步评估通过人工观测验证了系统可靠性，确认其在提取昆虫轨迹与行为交互方面的稳定性。后续实地分析利用追踪数据量化了空间传粉动态，结果表明蜜蜂是主导且最有效的传粉者，而其他物种对作物授粉的贡献微乎其微。最终，本研究证实自动化空间监测与行为分析可高效生成全面的传粉数据，以支持精准农业与针对性传粉者管理。

本研究在商业草莓农场实现了用于监测昆虫行为的计算机视觉系统，重点追踪四种昆虫类型及其与花朵的交互。系统对蜜蜂展现出高检测精度，对其他昆虫表现合理，结果表明蜜蜂是传粉所需访花行为的主要贡献者。分析显示，大多数花朵获得了授粉所需的充足访问次数，主要归功于蜜蜂活动。系统对蜜蜂的检测精度较高，精确率与召回率指标优异，而其他昆虫类型因移动速度与检测难度等因素表现较低。蜜蜂是主导传粉者，贡献了大部分访花行为，而胡蜂等其他昆虫尽管存在但对传粉影响甚微。相当比例的草莓花朵获得了授粉所需的最少访问次数，主要通过蜜蜂活动实现，凸显了其在当地传粉过程中的关键作用。

本研究在商业草莓农场评估了用于追踪昆虫行为与访花行为的计算机视觉系统，聚焦于四种昆虫类型。系统对蜜蜂及其他昆虫展现出高精确率与 F-score，性能因物种而异，受移动速度与检测难度等因素影响。结果表明，蜜蜂是访花行为的主要贡献者，显著超过传粉所需最低标准，而其他昆虫影响甚微。系统对蜜蜂及其他昆虫类型的追踪实现了高精确率与 F-score，性能因物种行为差异而变化。蜜蜂是主导传粉者，大部分花朵获得了授粉所需的访问次数。其他昆虫类型对传粉贡献有限，访花率低且对花朵授粉结果影响微弱。

本研究在商业草莓农场评估了用于监测昆虫行为与传粉的计算机视觉系统，重点关注不同昆虫物种在多个位置的访花频率。结果显示，蜜蜂是主导传粉者，显著提升了获得至少四次访问（有效授粉所需）的花朵比例。其他昆虫类型包括胡蜂与食蚜蝇，访花率较低且对传粉贡献较少，其中胡蜂尽管存在于系统中但极少访花。蜜蜂是访花行为的主要贡献者，大部分花朵获得了授粉所需的最低四次访问。胡蜂与食蚜蝇等其他昆虫物种访花率显著偏低，对传粉贡献有限。该系统实现了对不同农场位置传粉水平的空间分析，凸显了传粉者效率的差异。

本研究在商业草莓农场评估了用于监测昆虫行为与传粉的计算机视觉系统，聚焦于四种昆虫类型的检测与追踪。系统对蜜蜂实现了高精确率与召回率，而其他昆虫类型因移动速度与可见度等因素表现各异。结果表明，蜜蜂是访花行为的主要贡献者，超过 67% 的花朵获得了授粉所需的最少访问次数。系统在花朵检测指标上表现强劲，并在不同测试视频中保持一致的追踪性能。系统对蜜蜂与花朵的检测精度较高，在多个测试视频中精确率与召回率值接近 1.0。不同昆虫类型的追踪性能存在差异，食蚜蝇科、鳞翅目与胡蜂类因移动速度快与遮挡等挑战导致召回率与 F-score 较低。蜜蜂是主导传粉者，贡献了超过 67% 的花朵达到授粉所需最少访问次数，而其他昆虫类型影响甚微。

本研究在商业草莓农场环境中评估了用于追踪昆虫与分析其行为的计算机视觉系统。系统通过视频数据测试，以评估对不同昆虫类型的检测精度及其与花朵的交互，结果表明蜜蜂的精确率与召回率较高，其他物种因移动速度与可见度等因素表现较低。分析显示，蜜蜂是访花行为的主要贡献者，在达到有效传粉阈值方面显著超越其他昆虫类型。系统对蜜蜂的检测精度较高，精确率与召回率优异，而其他昆虫类型因移动速度快与可见度挑战导致召回率较低。蜜蜂是主导传粉者，贡献了大部分访花行为并显著超过有效传粉阈值。该系统实现了昆虫行为的空間分析，揭示蜜蜂相较于其他昆虫类型是最有效的传粉者，后者对访花行为的贡献微乎其微。

本研究评估了部署于商业草莓农场的计算机视觉系统，用于追踪四种昆虫物种并量化其访花模式。实验验证了模型在不同物种上的检测能力，同时评估了它们对有效传粉的相对贡献。结果表明，蜜蜂是主导传粉者，成功推动大部分花朵跨越授粉所需的访花阈值。相比之下，其他被追踪物种对传粉结果的贡献有限，这证明了系统能够准确绘制空间传粉动态图，并证实蜜蜂在该农业环境中的关键生态作用。