有了神经网络,带汤姆实时追踪杰瑞

利用大量动物视频数据,对神经网络进行训练,在复杂、动态环境下的动物行为观察中,实现更好的动物与背景分割效果,从而更好地进行动物追踪。

鸟为什么有时候会啄蛋?松鼠摆尾是想表达什么?喵星人弓起腰来是害怕还是愤怒?动物的种种行为背后,是否都蕴藏着这一族群的秘密?

喵星人的小心思你能猜对吗?

最早,有些部落和地区会把动物看做神明,人们希望从动物身上获得上天的预示,获得恩赐。

直到 20  世纪,才开始了对动物行为的科学研究,达尔文就是最早研究动物行为的科学家之一 。

但早期对行为学的研究只能依靠肉眼观察和简单的记录仪。

后来,应用视频观察、无线电遥测等先进技术,在田野和模拟自然条件的实验室中,动物行为可以监控和定量化,将大量数据应用电子计算机处理,使行为学从属于数量准则。  

近年来,AI  技术也被重用于动物「行为语言」的捕捉与追踪中。 

利用 AI 工具对动物肢体运动的细节进行追踪

近日,美国杰克逊实验室的科研人员就运用现代卷积神经网络架构,在开放领域开发了一种可扩展的小鼠跟踪方法,成功实现在复杂和动态的环境中追踪动物运动及行为,其准确度可达到人工水平。

据介绍,他们训练的神经网络能够使用简单的示例学习方法,对不同环境下、不同毛色、体形和行为的小鼠进行长时间跟踪,过程中也不需要人工持续监督。 

人与自然:通过动物行为学彼此了解 

宇宙浩渺,地球的存在孤独而珍贵。在这颗星球上,除了人类有着完善的语言体系,其他动物都不曾拥有语言能力,这样让人类和其他族群有着本质的区别与隔阂。

世界各地的人将不同的动物视为「神的使者」
认为它们会为自己带来恩赐

不过,某种意义上来说,动物行为就是它们的「语言」。它们种种行为都具有一定的生理基础。通过观察这些行为,人类便能了解动物的生理状况、情绪表达、学习行为等,这对心理学、教育学等学科都会产生一定的影响。 

此外,对于养殖业来说,观察动物在各种环境条件下的行为反应,了解动物的活动模式,有助于提高动物的管理水平和生产能力。 

对于研究苍蝇和老鼠行为学,旨在消灭目标动物的实验室来说,如果能够通过这些研究,彻底消灭传播疫情、细菌的害虫,对社会的益处就更大了。

观察动物视频是各个动物实验室进行研究的主要手段之一,但是大量的视频如果都靠人工去标记,未免太耗时耗力。

对于跟踪动物行为所产生的大量视频数据, AI  技术能够代替人工追踪与标记工作,甚至能够比人工更加精准地进行追踪。

2018 年美国哈佛大学的一个团队开发的开源工具
「DeepLabCut」可精准、快速追踪小动物行为

美国的杰克逊实验室团队,就通过分析大量动物视频数据,训练神经网络自动对动物视频进行分析、跟踪甚至预测。 

消灭害虫:基于神经网络的老鼠跟踪器 

杰克逊实验室通过基于神经网络的跟踪器,实现对老鼠的自动追踪,不需要人工标记每一帧视频,也不需要在研究对象上放置标记物。

他们针对不同的小鼠和不同的环境条件,比较了三种不同的神经网络结构在视觉上的效果。第一种体系结构是编码器 –  解码器分割网络,第二种网络架构是分箱分类网络,第三种架构是回归网络。 

训练期间,经过测试的网络架构的性能

实验结果表明,编码器 –  解码器分割神经网络在训练数据最少的情况下,具有较高的分割精度和速度。此外,他们还为行为和神经科学社区提供了标记接口、标记训练数据、调优超参数和预训练网络。 

在研究中,为了在视频中捕捉到的小鼠执行的丰富的移动动作,通常会将小鼠抽象为一个简单的点、质心或椭圆进行分析。为了更好地利用现有方法对小鼠进行跟踪,进行适当的分割,团队对实验环境进行了简化,得到了最佳的小鼠与背景的对比度。 

神经网络将视频中属于小鼠的像素从背景中进行分类,使这些高级抽象行为能够转化为数据进行数学计算。

为了更好地区分动物,研究者通常会根据动物的皮毛颜色而改变场地的背景颜色,然而这很可能影响其行为。 

而使用神经网络的跟踪器,就不需要这样做。它能够在复杂和动态的环境条件下无视涂层颜色,实现跟踪。

如此一来,我们不禁为小老鼠杰瑞捏一把汗,如果这个技术被汤姆掌握,它还能快活地到处蹦跶吗?

准确的跟踪:离不开大量的训练

为了测试神经网络架构,他们在多个小鼠品系和实验装置上,建立了 16,234  个训练图像,和 568  个保持验证图像的训练数据集。他们还创建了一个基于 OpenCV  的标签界面,用于创建训练数据(方法),能够快速注释前景和背景。 

他们的网络是在 Tensorflow v1.0  中构建、培训和测试的。提供的培训基准测试在 Nvidia P100 GPU  架构上进行。通过几次训练迭代调整了超参数。 

最终的结果是,在上文提到的三种不同架构下,编码器 –  解码器分段网络架构能够高速(超过 6  倍实时)实现最高级别的精度和功能。

此外,他们还提供了一个注释界面,允许用户通过注释少至 2500  个图像来为其特定环境训练新网络,时间只需要大约 3  小时。 

神经网络跟踪完胜传统方法 

该团队所训练的神经网络跟踪方法,与传统跟踪方法相比,主要在以下两个方面「获胜」:

1、不依赖前景与背景视觉对比

传统跟踪方法是通过操纵环境条件来增加动物和背景之间的对比度,从而实现正确的前景/背景检测 (分割)。但是这没有解决动物分割的基本问题,且依赖于前景和背景之间的视觉对比以进行精确跟踪。因此,研究者必须限制环境以获得最佳结果。 

也就是说,这种视频追踪技术不能用在复杂和动态的环境,或者不能有基因异质性动物,这使得长期和大型实验都是不可行的。     

为了克服以上问题,该团队使用卷积网络、神经网络,改善了分割质量。此外,还利用语义分割技术,为传统的背景减法无法解决的动态环境提供了泛化能力。

实验中包括具有不同遗传背景的小鼠的视频,不同遗传背景导致表达不同的毛色,包括黑色,刺豚鼠,白化病,灰色,褐色,裸色和花斑

2、对小鼠处于特殊位置时的跟踪

随着环境变得不太适合跟踪,单个视频中不良跟踪实例的频率也会增加。例如,当小鼠在角落,墙壁附近或食物杯上时,跟踪非常不准确。 

大多数情况下,不正确的跟踪还是由于老鼠从背景中分割不良造成的。这包括两种类型的错误:背景的部分被分割到前景(例如阴影);从前景移除部分老鼠时误将老鼠归类为背景 (例如,与背景颜色匹配的白化鼠)。 

为解决该问题,他们在实验中使用红外光源在明暗不同条件下记录小鼠行踪,利用红外光束网格检测小鼠当前位置,并采集 24 小时视频,包括小鼠位于食物杯上或者角落的时间,最后对视频数据优化进行分析。

经过训练的神经网络与人类标注相比,团队得出的结果是前者性能优于 Ctrax(一个开源,免费提供机器视觉程序)。

使用单个神经网络实现高度可扩展的跟踪,在应变测量中,还可跟踪小鼠的视觉变化

当这一技术被更广泛地应用之后,不仅为研究员节省了大量时间,也许还会带来更多新发现,比如:用它来追踪复杂环境中的小动物,看到一个更加生动且神奇的动物世界。

在未来,我们还可以通过机器学习找到传播疫情的源头、读懂家中宠物的需求、追踪珍稀动物的动态,Make the world a better place!

点击阅读原文