基于机器视觉的鲤、鲫鱼性状测量系统的设计与实现

周晓林，马 超，王兆平，杨 慧，王延晖，张开松，穆 林，张 芹，杨兴丽，李治勋

(河南省水产科学研究院，河南郑州，450044)

无论是进行鱼类经济性状的遗传解析，还是进行现代育种技术如全基因组选择等[1]，都需要大规模群体的表型信息的动态化和定量化分析的支持，而高通量表型信息采集是满足这一需求的关键技术。作为表型信息最基础的数据采集之一鱼类的性状参数测量，一直以来沿用着传统方法：尺子量、秤称、肉眼数、人工记，费时费力，尤其是对活鱼测量时，测量时间长，对鱼体伤害大，测量精度低，速度慢，效率低，难以满足鱼类高通量表型信息采集的需求。

机器视觉是近年来快速发展的技术之一，是用机器替代人眼来完成观测和判断[2]，也称计算机视觉，其本质是数字图像处理，主要应用为图像识别、检测、测量及位置引导等，其优势体现在自动化程度高、速度快、准确性高，方便信息集成，不受人为因素干扰等。

目前，在渔业领域，应用机器视觉的图像识别技术，研究人员对鱼类品种识别[3-10]、胚胎发育[11]、游泳行为[12]、摄食行为[13-16]、分级[17-18]、鱼苗计数[19-20]等多个方向进行相关研究，取得了长足进展，提升了研究的信息化、智能化、自动化、精细化水平。应用机器视觉技术的图像识别及测量技术进行鱼类性状测量，多位学者做了多种方法的探索，如杨杰超等[21]和Sanchez等[22]采用管道诱导方式获取鱼体侧面图像进行性状测量；
余心杰等[23]采用透明秤盘从鱼体下方采集图像及体质量进行测量; 李艳君等[24]采用双目相机立体视觉在水下进行鱼体图像采集及测量；
房舒[25]采用侧面和上面两部相机对放在装有水的收纳盒中斑点叉尾鮰进行两个方向图像采集并进行特征点位识别及性状测量；
欧利国等[26]对金枪鱼图像进行较为准确的处理及定位测量；
李振波等[27]、段延娥等[28]、HAO等[29]对鱼体性状测量进行了较为详细的综述。

采用上述文献中的单目相机方法，对静止平放在平台上的鱼体进行图像采集，简单有效，获取的图像清晰准确，平台还可以增加体质量测量、植入式芯片(PIT)扫码等功能，能较好地满足高通量鱼类表型信息采集集成化快速、精确、轻便的要求，但在采用该方式进行性状测量研究时发现两个问题。首先是像素校准(每像素代表的实际尺寸)位置不准确，校准是所有测量的基础，同样，在机器视觉测量中，不准确的像素校准位置就出现误差，现有的像素校准方法是采用与相机镜头固定距离的平面上进行校准，放置在该平面的平面物体进行测量没有问题，但放置在该平面上的鱼体，随着鱼体体厚的增加，测量误差同时增大，其原因是鱼体轮廓面即测量平面与校准平面偏离增大造成的。其次是没有合适的测量模板，常规的机器视觉测量，测量点位较少，不需要模板，采用两点一线标记即可，但鱼类性状测量需要对鱼体图像轮廓外接4个点和鱼体轮廓内的眼径、鳃盖、肛门、尾柄前后、尾柄高低和叉尾等9个点进行标记定位，这些点位既独立，又相互有联系，采用常规的点线标记方法，难以准确表达各点位之间的联系，机器视觉软件就无法对这些关联点进行自动处理，人机交互也不够友好。

本研究设计了一种随鱼体体厚变化的像素校准新方法和一种鱼类性状测量新模板，研发了实现集鱼体图像采集分析、性状测量、称重、PIT芯片标记扫码为一体的集成装置及软件，为研究人员对鱼类进行快速、准确、批量的性状测量提供一种新手段，为探索构建具有通用性的鱼类表型信息自动化获取平台提供参考。

1.1 系统架构设计

为能够精确采集鱼体图像及鱼体质量，系统采用单目相机采集静态鱼体侧面图像模式。总体架构如图1所示，系统由相机、激光距离传感器、称量盘、称重传感器及其变送器、A/D转换器、光源、背光板、计算机等组成，增加PIT芯片标记扫码器、两只脚踏开关等辅助设备。相机连接到计算机，称重传感器及其变送器和激光距离传感器通过A/D转换器连接到计算机，PIT芯片扫码器和两个脚踏开关连接到计算机，光源和背光板连接到电源，两只脚踏开关其中一只用于触发图像采集，另一只用于称重清零。为使鱼体图像轮廓更加清晰，称量盘采用透明材料，其下面有背光板光线向上照射，称重传感器分布在称量盘下面四周。

图1 系统架构示意图

1.2 校准方法设计

相机采集图像，表现为远小近大，通过图像对对象进行测量必须进行像素校准，即得到每像素所代表的实际尺寸。现有的机器视觉测量校准方法为，相机对确定大小的黑白相间的正方形、圆形、刻度尺等平面图案拍摄后，机器视觉软件对其图像分析处理，得到在该状态下(相机镜头与被测物距离确定)像素校准参数，然后对被测对象拍摄采集图像，机器视觉软件依据该状态下像素校准参数，计算出测量对象的实际大小，完成测量。但该方案有其限定性，即被测对象平面必须与校准平面一致或接近，才能获得较为准确的测量结果，当校准平面与被测对象平面距离偏离较大时，计算出的被测对象尺寸偏差就会变大，达不到测量要求。采用现有的机器视觉技术对鱼体进行拍照测量时，校准平面只有一个，当鱼体一侧平放在平台上，每条鱼体体厚不同，距离相机镜头距离就不同，当鱼体体厚较小，采集的鱼体侧面图像与校准平面接近，误差较小，当鱼体侧面与校准平面偏离较大时，其误差将超出可接受范围，导致测量失败。为此，需要设计一种校准模块及方法，对不同高度的平面分别进行校准，使得不同体厚的鱼体都能得到较为准确的测量。

根据上述要求，设计了一种阶梯形校准模块[30](图2)及方法，每个阶梯高度确定，每个阶梯平面上设置有黑白相间的确定尺寸的正方形，在其一端标注有该阶梯平面的高度。

图2 阶梯校准模块

把阶梯校准模块平放在图像采集平台上，黑白相间图案朝向相机进行拍照，得到阶梯校准模块图像，如图3所示(上图为阶梯模块图像，下图为校正值显示)为高度为0，每个正方形边长25 mm，校准距离100 mm，像素校准值为0.404 858 mm/pix。机器视觉软件根据每个阶梯黑白图进行像素距离参数校准，阶梯高度系列分别为0、20、40、60、80 mm，每个阶梯高度得到一个像素距离校准参数，通过拟合，得到一个与阶梯高度相关的拟合方程(如图4所示)，即把一个确定高度代入方程，可得到该高度下的像素距离参数。

图3 高度为0 mm的阶梯校正的软件截图

图4 不同高度的像素校正值及其拟合方程

1.3 测量模板设计

根据鱼类性状测量标准[31]，结合计算机测量要求，设计了一个测量模板[32]，如图5所示，模板包含一个矩形，为鱼体示意图[31]轮廓外接矩形，其上下宽ak为鱼体体高，左右长aj为鱼体全长，在测量矩形中设置b、c、d、e、f、g、h、i等8条竖线，在g竖线上设置两个点M、N，M为尾柄高高点，N为尾柄高低点。这些点及线均可用鼠标拖动放置在鱼体图像的特征测量位置，即可得出该鱼体可量性状指标：aj-全长、ai-叉长、ah-体长、ad-头长、ab-吻长、bc-眼径、cd-眼后头长、ak-体高、ae-肛前体长、fh-尾柄长、MN-尾柄高。

图5 鱼类可量性状测量示意图

1.4 系统流程设计

系统总体流程分四部分，分别为校准、现场采集、后期测量和数据输出。

校准流程包括重量校准、高度校准、像素方程校准，流程如图6所示，每次现场采集之前需要做一次校准流程。

图6 校准流程图

现场采集流程如图7所示，其中的激光点为激光距离传感器发射，该流程循环直至采集完所有鱼体图像及其数据。

图7 现场采集流程图

后期测量流程是为在现场采集时图像识别算法计算出的测量模板中外接矩形其各竖线位置与鱼体图像的测量特征位置的偏差而进行人工调整，以获取更为准确的性状数据。其流程如图8所示，该流程循环直至所有鱼体图像处理完成。

图8 图像测量流程图

当完成后期测量流程后，即可进行数据输出，输出格式为表格数据。流程如图9所示。

图9 数据输出流程图

根据系统架构设计要求，设计研制了鱼类性状测量系统平台样机，如图10所示。试验平台底座、立柱、悬臂均采用30×30欧标铝合金型材；
相机采用Basler的acA800-510uc，分辨率为800×600，可进行曝光时间、增益、AOI(图像采集区域)等参数设置，接口为USB3.0；
镜头为Computar的5 mm定焦镜头；
激光距离传感器采用松下HG-C1400，测量中心距离400 mm，测量范围±200 mm，重复精度为0.8 mm，模拟输出为0～5 V；
称重传感器采用金诺悬臂式称重传感器JHBL-1，量程为5 kg，整个平台采用4个，称重范围为0～20 kg，变送器采用4合1的金诺多通道信号处理器BSQ-12，输出为0～5 V；
A/D转换器采用NI的DAQ模块USB6002，有4个差分模拟端口，与计算机接口为USB2.0；
电源采用12V15000mA聚合物锂电池；
定制可调光的背光板及光源；
PIT芯片扫码器为带有蓝牙的灵瑞科技的AH03；
两只脚踏开关为一诺电器的可自定义键USB接口的EN(TFS)-1；
USB集线器采用联想的USB3.0一拖四集分线器高速转换器接头。

图10 鱼类性状测量系统样机

连接方式为：4个称重传感器通过4合1变送器连接到USB6002的一个差分模拟端口；
激光位移传感器连接到USB6002一个差分端口；
相机、USB6002通过USB集线器连接到计算机USB3.0接口；
脚踏开关通过USB集线器或直接连接到计算机；
扫码器通过蓝牙连接到计算机。

为方便实际应用，根据系统设计中的阶梯校准原理及方法，设计了带有阶梯校准工具的称重盘(如图11所示)。该称重盘由透明材料制成，为长方形槽，长450 mm，宽225 mm，可满足全长小于450 mm、体高小于225 mm的常规淡水养殖鱼类，在槽底表面靠近较高边附近设置有与槽边平行的槽底表面刻度尺1，为高度0 mm校准尺，较高的一边高度为80 mm，表面设置有较高边上刻度尺2。像素方程校准时，采集图像中有上下两个标尺，分别对两个平面的每像素距离值校准，采用两点拟合，生成与物体厚度相关的像素距离校准方程。如图11所示，相机在鱼体上方，在对鱼体进行测量时，鱼体为纺锤型，鱼体体厚测量位置为C’，测量的鱼体厚度是C-C’,其轮廓在鱼体厚度的1/2处，即B-B’轮廓平面，所以，采用鱼体体厚C-C’的1/2值，代入像素校准方程，得到该条鱼轮廓面B-B’的每像素距离校准值，作为该鱼体的像素测量校准值。

图11 称重盘示意图

计算机操作系统为Windows10，软件开发环境为VS2015版的C++，机器视觉库为OPENCV3.2.0，相机控制软件开发采用厂家提供的PYLON SDK5.x，USB6002采集控制软件开发采用NI-DAQmx SDK。

根据系统总体流程，软件设置6个模块，分别是称重校准、高度校准、相机参数设定及像素方程校准、实时图像及数据采集、图像处理、图像查看及数据输出。

根据像素方程校准流程编制的相机参数及图像像素校准功能模块截图如图12所示，左边为数据显示窗口，右边为相机实时显示的带有阶梯校准工具的槽型称量盘图像的显示窗口。在调整好光源后，根据显示图像进行曝光时间、增益调整，同时调整焦距、光圈，使称重盘上两个校正刻度尺在视野范围且图像清晰；
在相机实时图像显示窗口中，设置有两个校准线段和一个AOI矩形，把0 mm高度的校准线段CAL0放置在称量盘槽底平面刻度尺1上，拉伸校准长度至刻度尺150～350 mm处，得到0 mm高度时校准距离200 mm的像素429，把80 mm高度的校准线段CAL1放置在称重盘较高边上刻度尺2上，拉伸校准长度至刻度尺150～350 mm处，得到80 mm高度时校准距离200 mm的像素513，对这两组数据拟合，即可得到像素距离与高度的线性方程；
调整图像上的AOI矩形左上顶点为(16，150)，高度402像素，宽度为768像素，矩形大小适合采集对象，保存并退出该模块。

图12 相机参数及图像像素校正的软件截图

根据现场采集流程编制的实时图像及数据采集模块流程，把鱼体平放在称重盘上，如有芯片标记，进行扫码，调整鱼体位置，使激光光斑照射在鱼体体厚位置，质量稳定后，按图像采集功能键或踩踏脚踏开关，自动分析并保存图像及数据文件，完成鱼体图像、体厚、质量、芯片标记码采集功能。

根据后期测量流程编制的图像处理功能模块流程，调整每条鱼图像测量模板上的各条线位置到鱼体各特征部位的准确位置，即可得到全长、叉长、体长、头长、吻长、眼径、眼后头长、体高、肛前体长、尾柄长、尾柄高等11个可量性状参数，与该条鱼的编号、体厚、体质量、PIT芯片标记码等保存到数据文件。在完成图像处理后，调用数据输出功能模块，可对每条鱼的测量图像及测量数据进行查看，无误后，输出所有测量参数的表格数据，完成整批鱼体性状测量。

4.1 图像校正方法验证

由于无法找到和鱼体相似的纺锤型物体，而圆柱体的直径轮廓在其高度的1/2处，与鱼体轮廓相仿，所以采用4个直径依次增加的木制圆柱体进行直径测量验证，同时进行高度、重量测量验证。

圆柱体直径人工测量采用游标卡尺，精确到0.01 mm，质量人工测量采用奥豪斯Scout天平，精确到0.1 g。软件测量时，把圆柱体平放在平台称重盘上，激光光斑照射在圆柱体最高处，测量圆柱体的高度(也是圆柱体直径)，圆柱体左右和前后方向摆放，各采集测量一次圆柱体直径轮廓，以验证相机水平方向和垂直方向的测量准确度。

启动软件，采集圆柱体图像、圆柱体的高度(也是圆柱体的直径)及重量等数据，用软件对其直径轮廓进行测量，精确到1 mm，高度测量精确到1 mm，质量测量精确到1 g。图13为直径20 mm圆柱体左右摆放测量截图，其图右部为圆柱体图像及测量模板，图左部为测量值显示，其中body_thick为圆柱体的高度，body_D为圆柱体直径轮廓，body_W为圆柱体质量，fish_Cal_x为物体高度20 mm的1/2高度截面时的像素校正值。

图13 圆柱体测量截图

表1所示为直径依次增加的4个圆柱体人工测量与软件测量结果，以人工测量为对照，随着圆柱体直径的增加，软件测量的圆柱体直径轮廓在水平方向、垂直方向及高度的绝对误差均小于±1 mm；
质量测量中，绝对误差均小于±1 g。软件在水平、垂直两个方向的测量精度及质量测量精度均满足设计要求。

表1 圆柱体测量结果

4.2 鱼体性状测量验证

选取5条鲫鱼及5条鲤鱼进行测量验证。按鱼类性状测量标准进行人工测量，鲤鱼体长采用直尺测量，精确到1 mm，其他可量参数采用游标卡尺测量，精确到0.01 mm，重量采用奥豪斯Scout天平，精确到0.1g。

图14为软件测量表2中鲤6的界面截图。软件测量及人工测量选取体长、体高、尾柄长、尾柄高、头长、鱼体体厚和体质量等主要性状参数对比结果如表2所示。从表2中看出，以人工测量为对照，随着鱼体体厚的增加，体长、体高、头长、尾柄长、尾柄高、体厚等参数的相对误差没有显著增大；
体高和体长相对误差最大值为1.05%、-1.39%，头长、尾柄高、尾柄长和体厚等相对误差最大值分别为1.73%、-2.79%、-2.88%、-2.1%，绝对误差值均小于1 mm；
体质量相对误差最大值为-0.36%；
系统总体误差水平满足测量要求。

表2 鲫、鲤测量结果

图14 鲤测量截图

5.1 像素校准平面的重要性

在图12的图像像素校准的软件截图中可以看到，同样200 mm长的刻度尺，在高度为0 mm的槽型称量盘底部，像素为429，而在高度为80 mm的槽型称量盘较高边上，像素为513，高低两个平面在一幅图像上像素值差别很大，这是单目相机采用固定平面像素校准值测量不同体厚的鱼体性状参数出现误差的根本原因。在采用可变高度的像素校准平面的方法后，对直径从20.64 mm到85.34 mm 的4个阶梯高度的平放圆柱体进行直径轮廓测量，结果绝对误差均不超过1 mm，验证了该方法的准确性和有效性。采用体厚较小的鲫鱼和较厚的鲤鱼进行测量对比，鱼体体厚从39.25 mm到63.61 mm，测量结果均符合要求，验证了该方法的实用性。

5.2 潜在的误差因素

鱼体平放到称量盘上，鱼体各部位体厚不同，而体厚测量点只有一个，在鱼体最厚部位，像素校准平面在鱼体的最厚部位的1/2处，其他部位的体厚的1/2均低于该平面，当鱼体体厚增大，其他部位的体厚与测量点体厚差值增加，部分参数误差就会有所增加，这种趋势在表2的测量结果中有所表现，体厚的测量位置和体高的测量位置重合，校准平面始终与体高的测量平面一致，体高的相对误差随体厚增加而趋于平稳，而体长、尾柄长等的测量平面有部分低于校准平面，随着体厚增加，其相对误差趋势向负的方向增加。在本系统的鱼体大小测量范围内，鱼体各部位体厚相差较小，其误差水平符合测量要求，如果需要对体厚更大的鱼体进行测量，就需要考虑这个潜在的误差因素对测量的影响。

本系统在现场采集鱼体图像时，自动扫码，获取该条鱼的唯一编码信息，同时采集鱼体体厚及体质量2个性状参数，根据体厚确定鱼体图像的像素校准参数，采用图形识别技术自动获取鱼体外接矩形，根据测量鱼的种类确定的眼径、鳃盖、肛门、尾柄、体长、叉长的位置比例，自动计算测量模板中各竖线的位置，后期人工微调到鱼体各特征部位，得到鱼体的11个可量性状参数，现场单人采集每条鱼仅需5 s左右，实现了鱼类性状的快速、准确的测量及数据的信息化集成，基本满足了鱼类高通量表型信息中性状数据的采集要求。采用机器视觉技术中的图像自动识别技术获取鱼体图像的外接矩形，而在鱼体上眼径、鳃盖、尾柄、体长、叉长等特征位置以及侧线鳞等可数性状的图形自动识别技术方面没有涉及，是本系统的不足之处。今后将对该方面进行更深入的研究，以期提高本系统的自动测量水平。

□

猜你喜欢鱼体圆柱体性状“7532B”母种不同系统性状比较四川蚕业(2022年2期)2022-11-19三维鱼体参数化建模浙江大学学报（理学版）(2022年1期)2022-02-21淡水鱼水平往复振动头尾定向输送方法农业工程学报(2021年4期)2021-05-09宝铎草的性状及显微鉴定研究世界科学技术-中医药现代化(2020年2期)2020-07-25不同保育单位“781”“7532”母种性状比较分析四川蚕业(2020年3期)2020-07-16淡水鱼腹背定向装置设计及试验农业工程学报(2020年6期)2020-05-19人工“向日葵”材料问世军民两用技术与产品(2019年11期)2019-12-12鱼冷冻之前要去掉内脏恋爱婚姻家庭·养生版(2018年11期)2018-11-26坡角多大，圆柱体在水平面滚得最远中学数学杂志(高中版)(2016年6期)2017-03-01找出圆柱体娃娃画报(2016年6期)2016-07-29

推荐访问:性状 鲫鱼 测量