薛月菊：农业计算机视觉技术与应用

薛月菊教授“农业计算机视觉技术与应用”直播

——观众提问集中回答

薛教授，您对未来农业种植或养殖，采用自动化手段和视觉技术进行生产和过程控制，是否有信心和期待？

答案是肯定的。这几年人工智能给大家的生活带来翻天覆地的变化，比如刷脸技术在2015、2016年时还不是很成熟，还不能用于实践，但现在已经很普及了。再比随着如视频图像获取手段的提升，手机也逐渐成为一个小AI平台。随着这些进步，特别是我们人类对认知科学的探索，我们完全可以相信精准采摘可以像人一样灵活，配备机器人的猪舍巡查也可以像人一样智能。

薛教授，从您的研究领域可以看出，涉及的领域也比较广，有涉及到水下物体、畜禽类、水果、植被等，您感觉这些领域在具体实现过程中最大的不同是什么？遇到的最大困难是什么？

这些领域如果从技术层面来说，不管养殖或种植，从视觉技术来说就是户外识别、目标检测、分类识别、分割跟踪和行为分析。但是具体到不同的领域，问题还是不一样的，有区别的，猪场可能光线比较昏暗，而对于水下鱼的情况，光线和杂质会导致检测鱼的目标都比较困难。在农业中不像工业环境可控，完全是非结构的环境。

所以我们要通过实践理论分析来找具体的困难，然后进行相应的调控。其实视觉没有通用算法的。

薛教授，我看您有涉及到无人机遥感，主要用于植被作物的检测识别，如果将无人机应用于猪场，比如定时巡逻一遍，探测异常，您觉得有没有可能？

这个想法很有意思，平时一些朋友也有提到这个问题。现在来说比较困难，猪舍的高度和一些线路会影响无人机的飞行。另外无人机的大小可能不适用于猪场，更适合空旷大草原牛群的行为检测，这是完全可能的。

薛教授，水产养殖方面有无设备能对养殖水里的药品进行实时监测？

计算机视觉主要模拟人可以看到的东西。如果是药物、杂质、成分等需要光谱或者传感器，而不是计算机视觉技术。

薛教授，请问增加了外观模型的跟踪现在是否能达到实时？需要什么样的硬件配置？

增加了外观模型，用深度学习来提取特征，的确会影响实时性，但是OPTN算法是用深度学习提取外观特征，其实时性还是相对比较好。我们今天提到的SST的算法可能实时性就没有那么好。

在这方面我觉得也是一个前期研究，到应用还是有点距离。

薛教授，请问直接把增氧机开和关状态作为两个类别来做目标检测有何弊端？为何还要加后处理来分析状态？

如果直接用一个显示器直接可以知道是否工作。那么检测和工作状态识别可以看作同一个问题。刚刚说的工作，我们前前后后经历了7-8年，有些算法是一些比较旧的算法了，发明专利授权很多年了，所以这个方法我们后续也会进行升级。

薛教授，想了解一下您们团队利用深度学习，研究了养殖和种植环境下的视觉感知技术，说说您对深度学习在农业计算机视觉中应用研究的体会？

其实我刚刚也提到，这一轮人工智能的热潮还是要感谢深度学习，我们现在的研究中，行为分析、目标识别、分割等能够达到这么高的精度也是因为有深度学习理论的支持，特别是最近一段时间，一些共享代码，降低了计算机视觉识别入门的门槛。但是即使是这样在应用的过程中，我们也还是要抓基础，如果我们是做人工智能研究，最好是有一定的计算机视觉理论基础，这样才能在碰到一个实际的问题时灵活应用，才能创新，否则只能机械模仿，别人说什么，你就跟着做什么。

薛教授，请问多张图片检测出来的目标数量如何拼接到一起确定总体数量？

如果在特定条件下，例如视频连续帧的话还是有可能，可以利用刚才跟踪的思路，一个是外观特征相似性判断是否是同一个对象，然后看看哪个多哪个少，然后进行计数。如果第一次测出来是80，第二次是60，那到底是80还是60或者90。

如果检测本来算法不好，那么后面比较难通过三个检测判断多少数量。这个我们和一些企业猪的技术的实际应用的老板或者工程技术人员都讨论过这个问题。唯一能够做的就是提高检测精度。

薛教授，母猪哺乳行为识别的实时性怎么样？

母猪哺乳行为识别的实时性没有太大问题，因为前面提到分割可以用轻量化网络。另外光流特征也是用网络形式去提取，避免光流离线计算的方式。这个成果在投稿中，希望能过够刊登和大家见面。

薛教授，请问稀疏表示在计算机视觉中的作用是什么？主要应用方向是什么？

稀疏表示在深度学习出来之前，可以说是发展的最好的一个方向。它其实是通过图像的特征字典的构建来进行图像识别，特征的提取。其实有时候我也在想，是不是有可能把稀疏表示和深度学习通过融合，可能也会有个大的突破吧。

薛教授，遥感植被计数使用到目标跟踪吗？

我们在遥感目标检测时没有用跟踪，但如果用来检测牛等动物就需要用目标跟踪，但是植物是不需要的。