你的位置:首页 >> 产品展示 >> 薄膜压力传感器 >> 人因工程  人因工程
用于动物行为调查的视频分析管道
来源:TEKSCAN_压力发电膜_piezoelectricity_压力发电_压力发电膜鞋_压力发电机_薄膜压力发电热电堆传感器厂家_热释电红外传感器_热电堆传感器应用电路_台湾热电堆传感器原厂_热电堆传感器应用_热电堆 电路_热释电红外传感器工作原理及结构说明_热释电传感器_红外传感器 | 发布时间:2021/8/7 22:43:40 | 浏览次数:

用于动物行为调查的视频分析管道

扎卡里T。彭宁顿,哲东,余峰,劳伦M。维特尔、露西亚·佩奇·哈雷、特里斯坦·舒曼和丹尼斯·J。蔡

科学报告第9卷,文章编号:19979(2019)引用了这篇文章

9744次访问

13次引用

54高度计

度量详细信息

摘要

通过视频跟踪动物行为是生命科学中最常见的任务之一。尽管商业软件用于执行这项任务,但它们通常会给研究人员带来巨大的成本,并,没有编程经验的研究人员可以使用这些管道。描述了两个模块。其中一个模块可用于个体动物的位置分析,适用于各种行为任务。第二个模块用于分析冻结行为。对于这两个模块,都提供了一系列交互式绘图和可视化,以确认所选参数产生了预期结果。此外,还提供了用于快速分析多个视频的批处理工具,逐帧输出使得与生物记录数据的对齐变得简单。最后,裁剪视频帧以减轻光纤/电生理电缆的影响、分析指定时间段和定义感兴趣区域的选项很容易实现。

介绍

处理小动物视频并自动为其行为评分的能力对于生命科学中的许多常见任务至关重要——无论是测量动物的运动活动、确定其在竞技场中的位置、量化其与物体的相互作用,还是评估其参与冰冻等防御行为。尽管这种自动视频分析几乎无处不在,但访问这些功能仍存在巨大障碍。——现有的商业软件可能要花费几千美元。另一个是灵活性——商业软件通常限制实验者使用特定的硬件、操作系统和视频文件类型。最后一个是可用性——虽然现有的自由软件通常功能强大,但有时需要大量的编程经验才能实现,并且可能涉及复杂的算法1。

,该管道(1)可供没有编程背景的人访问,(2)提供广泛的交互式可视化,(3)需要用户设置最少数量的参数,(4)以可访问的文件格式(如csv)生成表格数据,(5)接受大量视频文件格式,(6)独立于操作系统和硬件。同时,由于是开源的,它允许用户根据自己的需要修改底层代码。

我们的行为分析管道ezTrack有两个模块。第一个是一个模块,用于分析动物在整个会话中的位置、移动距离以及在用户定义的感兴趣区域(ROI)中花费的时间。第二种方法允许用户分析冻结行为,这与恐惧和防御行为的研究最为相关。对于这两个模块,都提供了用于输出逐帧数据以及时间装箱摘要报告的选项。此外,这两个模块都允许用户处理带有大量结果可视化的单个视频,以帮助选择参数,或者批量同时处理大量文件。最后,用户可以轻松裁剪视频帧并定义要处理的帧范围,以消除连接到动物的电缆或其他可能进入视野的不需要的对象的影响。有了这个简单的工具包,大量的自动行为分析就可以很容易地执行了。

结果

ezTrack设计用于iPython/Jupyter笔记本。使用Jupyter笔记本,代码被组织成“单元”——用户可以独立运行的离散、有序的部分。关键的是,在每个代码单元之前都有一些说明,这些说明从概念的角度告诉用户每个单元在逐步完成代码时做了什么,以及在需要时如何修改代码(补充视频1、2)。也就是说,核心算法是在单独的Python脚本(.py文件)中实现的,因此没有经验的程序员只需设置几个关键变量/参数的值(例如,存储文件的文件夹或阈值),并选择是否要运行特定的单元格。这就平衡了usabil之间的用户界面这在可用性和灵活性之间实现了用户界面的平衡——用户可以在不阅读所有代码的情况下从概念上理解算法,同时在需要时保持修改算法的完全自由。此外,运行每个单元格的输出直接显示在其下方,以便用户可以查看其运行的每个代码单元格的结果。为了进一步利用这一点,我们在关键步骤提供了大量交互式绘图和视频,以直观地向用户展示算法/参数的效果,从而使代码的使用更加直观。补充视频1(位置跟踪模块)和补充视频2(冻结分析模块)中提供了如何单步执行代码的教程。

位置跟踪模块

ezTrack的位置跟踪模块评估动物在单个连续会话过程中的位置。位置跟踪模块可用于计算动物在用户定义的ROI中花费的时间量,以及它移动的距离。它使用动物的重心来确定动物在视频每一帧中的位置(参见教程的补充视频1和跟踪示例的补充视频3)。

为了验证ezTrack的位置跟踪模块适用于广泛的行为分析,我们分析了正在测试的小鼠的视频,以确定其对可卡因配对室的偏好(条件性位置偏好),以及它们对双室盒子较暗一侧的偏好(明暗测试),他们更喜欢高架+迷宫的闭合臂,以及以前包含隐藏平台的水迷宫象限(莫里斯水迷宫)(图1)。如图1所示,ezTrack能够在所有这些分析中跟踪动物的位置,尽管光照条件、竞技场大小和摄像机方向不同。特别值得注意的是,ezTrack与明暗盒配合得很好,因为使用商业软件,在背景光照条件变化时,或者在前景和背景之间的对比度通常较低时,通常很难保持对动物的跟踪。此外,如补充视频3所示,ezTrack对可能进入视野的其他对象非常鲁棒。如果干扰物体在视野中不与动物直接重叠,则保持跟踪。

图1

图1

ezTrack位置跟踪模块。使用ezTrack的位置跟踪模块,在整个会话中跟踪动物的重心。使用绘图工具(最左侧的面板)定义参考帧和ROI后,将每个帧与参考帧进行比较,取其差异(第二个面板)。根据这些差异,计算动物的重心(第三个面板,十字线表示重心)。然后保存动物的重心,并将其显示在参考框架顶部,以便目视检查结果(第四个面板)。还输出交互式摘要图像,包括热图(第5面板)。所有图像直接来自ezTrack输出。

全尺寸图像

为了定量验证位置跟踪模块,我们使用ezTrack的ROI绘图工具,评估了动物在每个任务ROI中花费的时间,并将其与手动评分结果进行比较。如图2A-F所示,可卡因位置偏好自动评分和手动评分之间存在高度相关性(R2) = 0.99,y = 1.2 + 1x),明暗测试(R2 = 0.97,y = 6.9 + 0.94x)和高架+迷宫(R2 = 0.98,y = 1.5 + 0.99x)。

图2

图2

ezTrack位置跟踪模块验证。可卡因条件性位置偏好的自动分析(n = 4只动物),浅暗箱(n = 4只动物)和高架+迷宫(n = 4只动物)在观察平均疗程数据(A-C)和将疗程数据分解为更小的时间段(D-F)时,得出与手动评分几乎相同的结果,证明了ezTrack的准确性。此外,ezTrack可以可靠地检测运动的变化,在可卡因给药(G-H)后,条件位置偏好的运动增加。进一步验证轨道距离测量值,跨越穿越200公里的93次试验 cm线性轨迹(I),ezTrack一致表明一只动物跑了200多英里 cm(J)。

全尺寸图像

ezTrack的位置跟踪模块提供的另一个有用工具是逐帧计算动物移动的距离,通过计算动物重心从一帧到下一帧的欧几里德距离得出。我们首先检查了条件性位置偏好训练数据,在这些数据中,动物被给予生理盐水或可卡因。使用ezTrack,我们能够清楚地追踪可卡因诱导的过度运动(图2G-H)。t3 = 6.4,p < 0.01). 虽然默认情况下ezTrack以像素单位计算距离,但用户也可以轻松地将像素距离测量值转换为其他物理比例。Usi给动物注射生理盐水或可卡因。使用ezTrack,我们能够清楚地追踪可卡因诱导的过度运动(图2G-H)。t3 = 6.4,p < 0.01). 虽然默认情况下ezTrack以像素单位计算距离,但用户也可以轻松地将像素距离测量值转换为其他物理比例。使用点击选项,用户可以指定视频帧上的任意两点,并按照自己选择的比例定义两点之间的距离。ezTrack然后将以像素为单位的测量值转换为所需的比例,同时保留像素测量值。为了计算距离测量的准确性,我们量化了一只训练有素的动物在2米直线轨道上进行93次试验的距离(图2I–J)。因为轨迹只允许向前运动,所以我们可以将轨迹记录的距离与动物实际行驶的距离进行比较。在整个试验过程中,动物行走的距离几乎与预期值200相同 厘米(平均值) = 200.75 厘米,最小/最大 = 199.5/209.8; 图2J)。因为动物可以行走的最小距离是200米 cm,这种紧密的、略微正偏态的分布正是人们从理想跟踪中所期望的。

除了许多研究人员对作为实验变量的运动感兴趣外,ezTrack自动输出的逐帧距离跟踪在检测跟踪异常方面也很有用(补充图1)。如果有东西进入视野并使重心偏移,则预计行驶距离会发生较大偏转。通过这种方式,ezTrack会提醒用户跟踪的潜在故障,这是其他软件通常不提供的功能。这方面的一个例子可以在补充图1中看到,在该图中,一名实验者的手反复进入摄像机的视野,用移液管为动物吸取液体奖励。如果跟踪受到进入视野的物体的影响,实验者能够实现位置加权算法,该算法可以减少外部物体的影响,并且在许多情况下可以恢复跟踪(图S1和补充视频3;有关详细信息,请参见方法)。

默认情况下,ezTrack的位置跟踪模块以方便的csv文件输出逐帧数据,使与神经生理记录对齐成为一项简单的任务。为了证明这一点,我们将单光子活体钙成像与微型显微镜记录的海马CA1亚区与从2米线性轨道上来回奔跑的小鼠视频中获得的位置跟踪结果对齐。如图3和补充视频4所示,我们能够沿着线性轨迹的位置定义每个钙事件的位置,并由此识别每个细胞的位置场2。

图3

图3

神经生理数据与ezTrack结果的一致性。一只老鼠戴着一个微型显微镜在一条直线轨道上来回跑,以便追踪海马细胞(A) 带有头戴式迷你镜的动物。左边的图像显示了迷你镜记录的最大投影(对于每个像素,会话中的最大值)。右边的图片显示了隔离的单元格位置。突出显示了示例性的“放置单元”(B) 使用ezTrack,在一次会议期间检查动物的空间位置。上图显示了叠加在线性轨迹上的动物位置。下图显示了动物在整个会话中的x位置。注意整个过程中的平滑跟踪(C) 在去卷积钙活性后,钙事件与空间位置一致,以确定假定的位置细胞。顶部直方图显示整个轨迹的标准化单元格活动。下图显示了在线性轨道上施加钙事件。

全尺寸图像

冻结分析模块

ezTrack的冻结分析模块允许用户使用其最常见的定义来测量冻结:没有移动,阻碍呼吸。与商业自动化软件VideoFreeze 3和Freeze frame类似,ezTrack首先通过评估从一帧到下一帧灰度变化超过特定阈值的像素数来测量动物的运动。随后,当动物的运动在用户指定的时间量内低于用户定义的阈值时,将动物评分为冻结。冻结分析模块提供广泛的可视化功能,以便设置符合手动检查视频的阈值。这包括交互图形,其中用户可以查看运动和冻结的相互关系(图4),以及允许用户查看作为运动/冻结拾取的内容的视频(补充视频5)。此外,如果进行侧视图记录,ezTrack的点击式裁剪工具可以消除连接到动物上的任何光纤/电生理电缆(图4)的影响,即使动物处于冰冻状态,该电缆也可以继续移动。有关如何使用冻结分析Mo的教程

图4

ezTrack冻结分析模块。使用ezTrack的冻结分析模块,处理动物的运动和冻结(A) 使用点击选项,ezTrack的冻结分析模块允许用户裁剪框架以消除电缆的影响(B) 分析数据后,可以播放片段,以可视化运动和冻结的评分(见补充视频5)。然后可以调整参数以符合实验者的判断(C) 运动(蓝色)和冻结(灰色)由ezTrack和逐帧绘制,然后可以将装箱的摘要数据保存到csv文件中。

全尺寸图像

为了验证冻结分析模块的准确性,我们分析了来自经历关联恐惧条件作用的动物的视频。动物经历了不同数量的条件反射试验(0、1或3次足部电击;每个1 马,2岁 然后在第二天将它们放回调节室,以评估它们的冰冻程度,作为恐惧的指标。我们比较了通过手动评分或使用ezTrack确定的最后一次测试的冻结时间百分比。整个5分钟疗程的平均冷冻评分密切相关(图5A;R2 = 0.94,y = −2. + 1x),我们将测试分为30次时的评分也是如此 第二箱(图5B;R2 = 0.88,y = −1.2 + 0.98x)。此外,使用这两种方法,组水平冻结与接受的电击次数平行(电击效果:F2,14 = 35.6,p < 0.001),且自动评分不会影响平均冷冻水平不同的各组的冷冻效果(评分方法的效果:F1,14) = 1.42,p = 0.25; 评分方法x冲击:F2,14 = 1.71,p = 0.22). 最后,动物之间冷冻的顺序差异保存完好(图5;斯皮尔曼耳 = 0.95). 值得注意的是,这些动物中有一半戴着头戴式迷你镜4,并且在记录过程中有一根电缆从示波器顶部伸出。由于商业软件无法消除有线电视的影响,许多研究人员已经求助于手工制作类似的视频。通过简单地裁剪视频顶部,ezTrack允许用户绕过这个问题。

图5

图5

ezTrack冻结分析模块验证。将ezTrack的冻结分析模块的结果与手动冻结评分的结果进行比较。冷冻行为的自动分析与手动冷冻高度相关,这两种方法都是在检查(A)5个月内的平均冷冻时进行的 最小会话(n) = 17只动物),(B)和使用30只 第二次垃圾箱(n = 255个样本)(C) 此外,手动和自动评分均显示,随着先前接受电击的动物数量的增加,冷冻程度增加,并且保留了小鼠冷冻水平之间的相对值(每只小鼠用一条线表示)。天真的动物没有手术经验,而Scope动物在记录过程中连接了一个迷你镜。

全尺寸图像

讨论

上面,我们描述了ezTrack,一个灵活的行为分析工具包,并证明ezTrack在一系列行为任务和不同的实验条件下产生了高度准确的结果。

提出的任务应该被视为大量行为的代表性样本,这些行为可以用ezTrack进行分析。位置跟踪模块可用于动物在稳定背景中移动的几乎任何任务(例如位置偏好、水迷宫、放射臂迷宫、无限迷宫、开阔场地等)。此外,尽管冻结分析模块是为研究防御行为而设计的,但它也有可能被用于分析强迫游泳任务中的不动,或日间活动。此外,虽然ezTrack在这里用小鼠进行了测试,但它可以用于任何目标是跟踪动物位置的实验物种。

ezTrack代表了对自动视频分析问题先前解决方案的重大偏离。主要的解决方案——商业软件——相对容易使用,但成本高昂且缺乏灵活性。研究人员经常使用特定的硬件,这些硬件可能并不总是与他们的研究问题兼容。此外,底层代码及其操作通常是专有的,禁止研究人员进行更改。或者,像DeepLabCut1这样的免费解决方案非常好,因为它们能够跟踪各种复杂的行为。然而,对于缺乏编程/计算经验的科学家来说,它们很难实现。此外,尽管深度学习算法允许分析更复杂的数据集,但它们也需要基于训练集的先验模型训练。生成具有代表性和可归纳性的训练集可能非常耗时且容易出错。ezTrack走中间道路,提供了一套任何人都可以快速实现的免费工具,允许快速、自动地对一个看似简单的问题评分商用软件(如Ethovision、SMART、视频冻结、冻结帧)和行为分析的开源选项(如Bonsai)都限制了研究人员使用特定的操作系统,并且通常使用特定的视频文件格式。ezTrack的一个主要优点是它可以方便地在OSX、Windows和Linux操作系统上使用。此外,由于ezTrack不会将整个视频加载到内存中,因此内存和处理需求相对较小,使得简单的计算机足以与ezTrack一起使用。结合ezTrack对各种视频文件格式的接受,这些因素使得ezTrack几乎可以集成到任何实验室环境中。

ezTrack可能对将行为监测与体内电生理、光学和其他生物生理监测/操作技术相结合的研究人员特别有用。首先,商业软件不容易输出逐帧数据(如视频冻结),因此难以以必要的分辨率校准生物和行为测量。默认情况下,ezTrack以方便的csv文件输出此数据。此外,商业软件经常受到连接到动物身上的电缆的影响。ezTrack允许用户裁剪视频帧以消除这些对象的影响。ezTrack的这些功能虽然简单,但将使研究过程更加容易。

ezTrack不仅在技术实现上很简单,而且在概念性质上也很简单(参见方法)。位置跟踪模块和冻结分析模块都只有很少的参数必须由用户设置,并且底层代码中没有隐藏的参数。结合ezTrack提供的丰富的视觉输出,研究人员很容易理解数据输入和数据输出之间的关系,从而了解如何更改参数以提高跟踪精度。与在“黑盒子”中处理数据的程序相比,ezTrack的直观特性将提供其结果的透明度。此外,ezTrack的简单性有助于为希望修改代码的人修改代码。同样,ezTrack可以成为一个令人难以置信的教学工具,用于在多个层次上教学生如何处理视频内容。

数据再现性是ezTrack的另一个好处。ezTrack使用基于html的平台Jupyter notebook,因此所有选定的参数、处理数据集的步骤以及输出都可以保存在可读性很强的pdf或html文件中(作为处理数据的笔记本的打印输出)。这与基于图形用户界面的系统形成了对比,在这些系统中,点击选项不一定保存,而且保存时不便于访问。这使得实验者和其他人更容易回去确认数据是如何处理的。

ezTrack并非没有限制。ezTrack以目前的形式测量单个动物的活动,主要通过跟踪动物的重心来工作。这妨碍了对社会互动、与物体的更具体类型的互动(例如嗅探、抓取、掩埋)和精细运动的分析。这些行为中的某些行为——特别是精细运动——的测量很可能通过更复杂的算法1更好地完成。但是,其他功能,如跟踪动物的方向和跟踪多个动物,可以根据需要在将来添加到ezTrack。事实上,ezTrack开源的一个主要好处是更新和发布新特性和修改相对较快。例如,由于计算的简单性,ezTrack可以很容易地适应与输出设备一起实时工作。虽然我们在这个版本中没有包括这个选项,但是这些和其他的修改可以被纳入这个行为分析管道的未来版本中。总之,ezTrack可以满足研究人员的广泛需求,开源平台有助于灵活地在ezTrack中添加新功能。我们欢迎用户试用。是艾兹。

方法

安装和依赖项

。简言之,在遵循下载Conda/Miniconda(一个免费软件包管理系统)的说明后,将给出安装Jupyter笔记本和运行代码所需的其他免费软件包的命令。随后,可以从我们的Github帐户下载Python/iPython文件,并在Jupyter笔记本中运行。补充视频1和2提供了使用Jupyter笔记本的简短教程。以下开源软件包用于视频导入、数据处理和交互式绘图:iPython5、OpenCV6、Pandas7、HoloViews8、SciPy9、Matplotlib10、Boke

 
TAG:
打印本页 || 关闭窗口
 上一篇:行为实验的设备
 下一篇:视频采集建议