中国综合性科技类核心期刊(北大核心)

中国科学引文数据库来源期刊(CSCD)

美国《化学文摘》(CA)收录

美国《数学评论》(MR)收录

俄罗斯《文摘杂志》收录

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种基于先验标记特征的精准图像配准算法

刘天弼 冯瑞

刘天弼, 冯瑞. 一种基于先验标记特征的精准图像配准算法[J]. 华东师范大学学报(自然科学版). doi: 10.3969/j.issn.1000-5641.202021006
引用本文: 刘天弼, 冯瑞. 一种基于先验标记特征的精准图像配准算法[J]. 华东师范大学学报(自然科学版). doi: 10.3969/j.issn.1000-5641.202021006
LIU Tianbi, FENG Rui. An algorithm for precise image registration based on priori mark features[J]. Journal of East China Normal University (Natural Sciences). doi: 10.3969/j.issn.1000-5641.202021006
Citation: LIU Tianbi, FENG Rui. An algorithm for precise image registration based on priori mark features[J]. Journal of East China Normal University (Natural Sciences). doi: 10.3969/j.issn.1000-5641.202021006

一种基于先验标记特征的精准图像配准算法

doi: 10.3969/j.issn.1000-5641.202021006
基金项目: 国家重点研发计划(2017YFC0803702)
详细信息
    作者简介:

    刘天弼, 男, 博士研究生, 研究方向为计算机视觉及人工智能. E-mail: allenlew@163.com

    通讯作者:

    冯 瑞, 男, 教授, 博士生导师, 研究方向为计算机视觉、多媒体及模式识别. E-mail: fengrui@fudan.edu.cn

  • 中图分类号: TP391.7

An algorithm for precise image registration based on priori mark features

  • 摘要: 基因测序仪在读取基因序列之前需要将镜头与基因芯片精准对齐, 因此需要一种算法能够精确计算当前视场(Field of View, FOV)与理想位置的偏差. 预先在基因芯片上特定位置设置标记, 通过拍摄的图像分析当前镜头与基因芯片的位置误差: 首先通过提取图像灰度特征捕捉标记位置以初步对齐视场中心位置; 再捕捉标记上的多个关键点的坐标, 通过对关键点的坐标映射关系进行拟合, 就可得到精确的坐标和角度偏差. 实践和实验分析表明, 使用设计的图像配准算法能够得到对视场与基因芯片间的位置偏差计算的高精度结果.
  • 图  1  3种track标记设计示意图

    Fig.  1  Schematic diagram of three track mark designs

    图  2  于竖直方向截取图像做水平卷积示意图

    Fig.  2  Schematic diagram of the image in the vertical direction for horizontal convolution

    图  3  卷积运算捕捉cross标记示意图

    Fig.  3  Schematic diagram of the convolution operation to capture cross marks

    图  4  单个像素错位映射

    Fig.  4  Mapping of single pixel misalignment

    图  5  卷积核长度与容错角度的关系

    Fig.  5  Relationship between the length of the convolution kernel and the angle of fault tolerance

    图  6  不同的卷积核切面

    Fig.  6  Cross sections of various convolution kernels

    图  7  通过卷积捕捉track标记

    Fig.  7  Capturing a track mark by convolution

    图  8  不同卷积核在理想状态下的区分度

    Fig.  8  Differentiation of various convolution kernels under ideal conditions

    图  9  不同卷积核在噪声环境下的区分度

    Fig.  9  Differentiation of various convolution kernels in a noisy environment

    图  10  不同卷积核在串扰环境下的区分度

    Fig.  10  Differentiation of various convolution kernels in a light crosstalk environment

    图  11  5种抗串扰卷积核切面

    Fig.  11  Cross sections of five anti-crosstalk convolution kernels

    图  12  5种抗串扰效果

    Fig.  12  Anti-crosstalk effects of five convolution kernels

    表  1  位置与角度配准误差

    Tab.  1  Position and angle deviation in registration

    型号/分辨率cell大小/像素亮度串扰/%track宽度/像素track数量位置误差/像素角度误差/(°)
    2 560 × 2 1609 × 91598 × 80.243 10.010 882
    6 × 61068 × 80.274 60.012 292
    5 012 × 5 0129 × 92099 × 90.284 90.0063 76
    6 × 61569 × 90.330 50.007 397
    下载: 导出CSV
  • [1] 滕晓坤, 肖华胜. 基因芯片与高通量测序技术前景分析 [J]. 中国科学生命科学, 2008, 38(10): 891-899.
    [2] 赵晨晖. 基于相位相关的亚像素图像配准 [J]. 现代计算机专业版, 2014(3): 50-53.
    [3] BROWN L G. A survey of image registration techniques [J]. ACM Computing Surveys, 1992, 24(4): 325-376. DOI:  10.1145/146370.146374.
    [4] ZITOVA B, FLUSSER J. Image registration methods: A survey [J]. Image and Vision Computing, 2003, 21(11): 977-1000. DOI:  10.1016/S0262-8856(03)00137-9.
    [5] PLUIM J P W, MAINTZ J B A, VIERGEVER M A. Image registration by maximization of combined mutual information and gradient information [J]. IEEE Transactions on Medical Imaging, 2000, 19(8): 809-814. DOI:  10.1109/42.876307.
    [6] AMAURY D, MARCHAND E. Second-order optimization of mutual information for real-time image registration [J]. IEEE Transactions on Image Processing, 2012, 21(9): 4190-4203. DOI:  10.1109/TIP.2012.2199124.
    [7] 闫小超, 魏生民, 汪焰恩, 等. 基于序贯相似度的AGV图像配准方法 [J]. 科学技术与工程, 2010, 10(3): 696-699. DOI:  10.3969/j.issn.1671-1815.2010.03.023.
    [8] WEI X X, STOCKER A A. Mutual information, fisher information, and efficient coding [J]. Neural Computation, 2016, 28(2): 305-326. DOI:  10.1162/NECO_a_00804.
    [9] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110. DOI:  10.1023/B:VISI.0000029664.99615.94.
    [10] BAY H, TUYTELAARS T, VAN GOOL L. SURF : Speeded up robust features [C]//European Conference on Computer Vision, Computer Vision – ECCV 2006. Berlin : Springer, 2006: 404-417. DOI:  10.1007/11744023_32.
    [11] SMITH S M, BRADY J M. SUSAN—A new approach to low level image processing [J]. International Journal of Computer Vision, 1997, 23(1): 45-78. DOI:  10.1023/A:1007963824710.
    [12] TRAJKOVIE M, HEDLEY M. Fast corner detection [J]. Image and Vision Computing, 1998, 16(2): 75-87. DOI:  10.1016/S0262-8856(97)00056-5.
    [13] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary robust invariant scalable keypoints [C]//2011 International Conference on Computer Vision. IEEE, 2011: 2548-2555. DOI:  10.1109/ICCV.2011.6126542.
    [14] SHARK L K, KUREKIN A A, MATUSZEWSKI B J. Development and evaluation of fast branch-and-bound algorithm for feature matching based on line segments [J]. Pattern Recognition, 2007, 40(5): 1432-1450. DOI:  10.1016/j.patcog.2006.10.022.
    [15] DAI X L, KHORRAM S. Development of a feature-based approach to automated image registration for multitemporal and multisensor remotely sensed imagery [C]//1997 IEEE International Geoscience and Remote Sensing Symposium Proceedings. Remote Sensing - A Scientific Vision for Sustainable Development. IEEE, 1997: 243-245.DOI:  10.1109/IGARSS.1997.61585.
    [16] GOVINDU V, SHEKHAR C, CHELLAPPA R. Using geometric properties for correspondence-less image alignment [C]//Proceedings of the 14th International Conference on Pattern Recognition (Cat. No.98EX170). IEEE, 1998: 37-41. DOI:  10.1109/ICPR.1998.711074.
    [17] HOLM M. Toward automatic rectification of satellite images using feature based matching [C]//Proceedings of the IGARSS’91 Remote Sensing: Global Monitoring for Earth Management. IEEE, 1991: 2439-2442. DOI:  10.1109/IGARSS.1991.575537.
    [18] HSIEH Y C, MCKEOWN D M, PERLANT F P. Performance evaluation of scene registration and stereo matching for cartographic feature extraction [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 214-238. DOI:  10.1109/34.121790.
    [19] LITJENS G, KOOI T, BEJNORDI B E, et al. A survey on deep learning in medical image analysis [J]. Medical Image Analysis, 2017, 2017, 42: 60-88. DOI:  10.1016/j.media.2017.07.005.
    [20] SOKOOTI H, DE VOS B, BERENDSEN F, et al. Nonrigid image registration using multi-scale 3D convolutional neural networks [C]//Medical Image Computing and Computer Assisted Intervention Society, MICCAI(2017), Part I, LNCS 10433. Berlin: Springer, 2017: 232-239. DOI:  10.1007/978-3-319-66182-7_27.
    [21] CAO X H, YANG J H, ZHANG J, et al. Deformable image registration using a cue-aware deep regression network [J]. IEEE Transactions on Biomedical Engineering, 2018, 65(9): 1900-1911. DOI:  10.1109/TBME.2018.2822826.
    [22] MIAO S, WANG Z J, LIAO R. A CNN regression approach for real-time 2D/3D registration [J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1352-1363. DOI:  10.1109/TMI.2016.2521800.
    [23] DALCA A V, BALAKRISHNAN G, GUTTAG J, et al. Unsupervised learning for fast probabilistic diffeomorphic registration[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention–MICCAI 2018: Medical Image Computing and Computer Assisted Intervention. Cham: Springer, 2018: 729-738. DOI:  10.1007/978-3-030-00928-1_82.
    [24] DE VOS B D, BERENDSEN F F, VIERGEVER M A, et al. End-to-end unsupervised deformable image registration with a convolutional neural network [C]//International Workshop on Deep Learning in Medical Image Analysis–2017, International Workshop on Multimodal Learning for Clinical Decision Suppor–2017: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Cham: Springer, 2017: 204-212. DOI:  10.1007/978-3-319-67558-9_24.
    [25] KREBS J, MANSI T, MAILHÉ B, et al. Learning structured deformations using diffeomorphic registration [DB/OL]. (2018-07-20)[2020-02-28]. https://arxiv.org/pdf/1804.07172v2.pdf.
  • 加载中
计量
  • 文章访问数:  27
  • HTML全文浏览量:  14
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-28
  • 网络出版日期:  2020-06-12

一种基于先验标记特征的精准图像配准算法

doi: 10.3969/j.issn.1000-5641.202021006
    基金项目:  国家重点研发计划(2017YFC0803702)
    作者简介:

    刘天弼, 男, 博士研究生, 研究方向为计算机视觉及人工智能. E-mail: allenlew@163.com

    通讯作者: 冯 瑞, 男, 教授, 博士生导师, 研究方向为计算机视觉、多媒体及模式识别. E-mail: fengrui@fudan.edu.cn
  • 中图分类号: TP391.7

摘要: 基因测序仪在读取基因序列之前需要将镜头与基因芯片精准对齐, 因此需要一种算法能够精确计算当前视场(Field of View, FOV)与理想位置的偏差. 预先在基因芯片上特定位置设置标记, 通过拍摄的图像分析当前镜头与基因芯片的位置误差: 首先通过提取图像灰度特征捕捉标记位置以初步对齐视场中心位置; 再捕捉标记上的多个关键点的坐标, 通过对关键点的坐标映射关系进行拟合, 就可得到精确的坐标和角度偏差. 实践和实验分析表明, 使用设计的图像配准算法能够得到对视场与基因芯片间的位置偏差计算的高精度结果.

English Abstract

刘天弼, 冯瑞. 一种基于先验标记特征的精准图像配准算法[J]. 华东师范大学学报(自然科学版). doi: 10.3969/j.issn.1000-5641.202021006
引用本文: 刘天弼, 冯瑞. 一种基于先验标记特征的精准图像配准算法[J]. 华东师范大学学报(自然科学版). doi: 10.3969/j.issn.1000-5641.202021006
LIU Tianbi, FENG Rui. An algorithm for precise image registration based on priori mark features[J]. Journal of East China Normal University (Natural Sciences). doi: 10.3969/j.issn.1000-5641.202021006
Citation: LIU Tianbi, FENG Rui. An algorithm for precise image registration based on priori mark features[J]. Journal of East China Normal University (Natural Sciences). doi: 10.3969/j.issn.1000-5641.202021006
    • 基因芯片与第二代DNA测序是两种重要的高通量基因组学研究技术[1]. 要想准确快速地读取高通量基因芯片的数据, 需要准确地拍摄到芯片图像. 第二代DNA基因测序是通过对基因芯片拍摄图片, 再对图像进行扫描读取碱基序列. 因此, 测序仪对基因芯片拍摄出高质量的图片是测序过程中碱基识别的重要前提. 在拍摄图像的分辨率已经确定的情况下, 单个芯片单元所占的像素数越少, 则整张图像包含的单元越多, 测序的通量就越高. 然而, 要准确地读取基因芯片上的信息,需要拍摄的芯片单元处于非常准确的位置, 对于仅占少量像素的芯片单元而言, 少量的位置偏差就会对信息的读取造成很大的影响. 因此, 将拍摄的视场与芯片位置精准对齐, 对提高第二代基因测序技术的准确度和通量都具有十分重要的意义.

      要对基因芯片拍摄出理想的图片, 需要每个芯片单元都有固定的位置坐标. 摄像仪拍摄的图片, 反映的是当前视场的位置信息;而计算当前视场与芯片位置之间的偏差, 可视为当前拍摄图片与理想情况下拍摄的图片之间的图像配准问题.

    • 图像配准技术种类繁多, 通常每一种配准技术都是针对某一具体场景而设计的, 不同的应用环境要综合各方面的因素来选取相应的图像配准技术.

      传统的图像配准算法主要分为基于灰度的图像配准和基于特征的图像配准两大类[2-3]. 基于灰度的图像配准需要遍历计算图像中的灰度、梯度[4]、互信息[5-8]等, 从而确定两幅图像间的空间变换关系, 因此运行速度较慢, 计算量较大. 自21世纪以来, 图像配准主要采用基于特征的方法, 利用图像的线特征、面特征、块特征、边缘特征等确定空间变换关系. 从图像中提取关键点的技术历史悠久且种类繁多, 如SIFT(Scale Invariant Feature Transform)[9]、SURF(Speeded Up Robust Features)[10]、SUSAN (Smallest Univalue Segment Assimilating Nucleus)角点[11]、MIC(Minimum Intensity Change)角点[12]、BRISK(Binary Robust Invariant Scalable Keypoints)检测[13]等, 近些年来广泛使用的特征点均有良好的尺度不变特征和抗噪声性能. 此外, 可使用图像中的直线段、边缘曲线等线特征[14-16], 或闭合区域[17-18]等面特征进行配准运算. 基于特征的配准算法自由度较高, 但是快速的特征提取一般仅利用图像中的小部分信息, 会导致精度降低; 具有良好区分度的特征描述往往需要复杂的计算, 反而导致效率降低.

      目前,大多数关于图像配准的研究都涉及深度学习. 在过去的几年中, 深度学习使计算机视觉任务具有先进的性能, 如图像分类、目标检测和语义分割等. 使用深度学习做图像配准需要准备合适的数据集进行训练, 以期得到优秀的配准算法模型. 从功能上看, 基于深度学习的图像配准可以分为两大类[19]:①利用深度卷积神经网络估计两幅图像的相似性度量; ②直接利用深度回归网络预测转换参数. 前者进行相似性度量, 仍然需要传统数字图像处理进行迭代做配准优化, 运算耗时较久; 后者是通过大量学习获得配准映射能力, 但只能用于非刚性配准, 无法达到高精度要求.

      根据深度学习的种类划分, 此类配准方法也可以分为基于监督学习的配准与基于非监督学习的配准两大类. 基于监督学习的配准, 是通过两张作为配准对的图片输入得到映射向量, 即真实变形场. 其关键在于构建数据集时需提供与配准对相对应的真实变形场作为Ground Truth, 作为数据集标签[20-22]. 基于非监督学习的配准方法在训练时只需要提供配准对, 不需要标签[23-25], 完成训练后可通过一张图像计算获得配准图像.

      然而,基于深度学习本身的特点, 其用于高精度配准的场合尚存在诸多问题: ①深度学习依赖于庞大的训练数据集; ②算法训练成果是基于机器学习经验, 无法满足高精准的配准; ③单一场景下的图像配准对泛化能力要求不高, 而深度神经网络计算量庞大, 面对高分辨率图像的复杂计算反而成为负担.

      本文通过在基因芯片上的特定位置设置标记, 并确定在理想状态下拍摄的图片中所有标记的位置坐标, 从而达到图像配准的目标;在得到实时拍摄的图像后, 通过对标记的位置进行捕捉可初步将视场中心与标准图像的中心对齐; 然后对标记上的关键点进行捕捉, 得到一系列特征点的坐标; 再对关键点的映射关系进行拟合, 计算出高精度的坐标和角度偏差结果.

      本文设计的用于准确捕捉图像特征的新颖卷积方法, 具有良好的抗干扰能力, 其算法简捷, 且易于移植使用硬件加速; 同时使用图像全范围多处采样进行拟合的计算方法, 保证了图像配准达到较高的精确度. 经实践验证和仿真实验分析, 本文算法能取得精确的偏差计算结果, 并且在应用场景下具有很好的鲁棒性.

    • 基因芯片上布满了携带DNA信息的探针对, 在布满探针对的区域内, 开辟一块不放置探针对的独立区域, 即可看作芯片内的标记. 标记的作用在拍摄的芯片图像中体现出来, 每个探针均携带荧光信号, 在图像上可看作是一个带有灰度信息的单元(cell), 而标记处不放置探针, 所以始终呈现黑色状态.

      在芯片的水平或竖直方向上, 设置一条直线型的标记, 称为track标记. 一条水平track标记与一条竖直track标记相交于一点, 称为cross标记.

      先验标记的作用就是人为地在图像中设置关键特征, 作为图像配准过程中实现映射的特征采样点. 几种先验track标记设计示例如图1所示.

      图  1  3种track标记设计示意图

      Figure 1.  Schematic diagram of three track mark designs

      图1中黑色线段即track标记, 而cross标记是依赖于track标记的相交呈现的. 设计track标记遵循以下准则.

      (1) 所有track标记宽度统一.

      (2) 单条track标记必须为水平方向或者竖直方向.

      (3) track标记在视场范围内的分布应呈左右、上下轴对称.

      (4) cross标记的分布能够体现出对图像的采样比较均衡.

      在芯片上设定好先验目标之后, 根据芯片成像的分辨率确定全部标记的位置、宽度及长度的标准数据, 作为标准位置图像的特征. 这样就将视场对芯片位置做校准的问题, 转化为当前视场拍摄到的图片与标准图像的配准问题.

    • 视场中, 带有亮度信息的cell随机分布, 而track标记则全部呈现为黑色, 可通过提取其灰度特征进行捕捉.

      以竖直的track标记为例, 设其成像宽度为w像素, 长度为L像素.若拍摄图像的高为H像素, 宽为W像素, 则对于任意一种track标记设计方式, 都有LH. 如图2所示, 在竖直方向上截取一段含有track标记的图像, 其中track标记的数量为N.

      图  2  于竖直方向截取图像做水平卷积示意图

      Figure 2.  Schematic diagram of the image in the vertical direction for horizontal convolution

      取卷积核大小为l × w, 其中l < L. 在水平方向上对当前截取的l × W范围上做卷积操作. 卷积核有以下两种设计方式.

      (1)均型: 卷积核所有元素值等于1, 相当于卷积范围内覆盖的像素响应均等.

      (2)谷型: 卷积核所有元素值为正, 均值等于1.卷积核行向量的左右边缘元素值最大, 中央最小, 列方向上是行向量的复制,相当于卷积覆盖的像素以中间列的响应最小.

      均型卷积适用于对抗拍摄场景中噪声的情况; 谷型卷积更适合对抗cell间光线存在串扰的情况. 关于卷积核设计对算法鲁棒性的影响, 本文将在实验部分做进一步分析.

      设卷积核为k, 截取l × W范围的图像为$I' $, 执行卷积运算

      $$r = I' \otimes k,$$ (1)

      $$r(i,j) = \sum\limits_m^{} {\sum\limits_n^{} {I'(m,n)k(i - m,j - n)} }. $$ (2)

      执行卷积运算时, 为捕捉track标记的中心位置, 图像需要在左右方向做像素填充(padding), 其上下方向不做. padding像素的灰度为纯白色. padding数量为

      $${N_{{\rm{padding}}}} = \left\{ {\begin{array}{*{20}{l}} {\dfrac{{w - 1}}{2},\;w{\text{为奇数}}},\\ {\dfrac{w}{2},\;w{\text{为偶数}}}. \end{array}} \right.$$ (3)

      卷积结果为W个元素的一维张量, 即

      $$r(j) = \sum\limits_m^{} {\sum\limits_n^{} {I'(m,n)k(m,j - n)} }. $$ (4)

      卷积结果r的索引j与截取图像的x坐标相对应. 将r的元素做升序(Ascend, Asc)排列, 前N个元素对应的索引, 即为搜索到的track标记的x坐标

      $$r' = {\rm{Sor}}{{\rm{t}}_{{\rm{Asc}}}}(r)[0:N],$$ (5)
      $$P = {\rm{index}}(r'),$$ (6)

      再将此N个坐标重新排序, 则截取图像范围内从左至右的track标记的x坐标全部搜索完成, 即

      $${X_{{\rm{track}}}} ={\rm{Sort}}_ {\rm{Asc}}(P).$$ (7)

      竖直方向上捕捉track标记的位置, 使用上述卷积核的转置${k^{\rm{T}}}$, 在竖直方向上执行卷积运算, 即可通过类似的算法得到${Y_{{\rm{track}}}}$.

    • 图3所示, 在cross标记范围的横纵方向上执行track标记捕捉运算, 即可得到cross标记上的交点坐标

      $${(x,y)_{i,j}} = ({X_{i,j}},{Y_{i,j}}),$$ (8)

      其中, $X$是在cross标记位置上捕捉的x坐标集合, $Y$是在cross标记位置上捕捉的y坐标集合.

      图  3  卷积运算捕捉cross标记示意图

      Figure 3.  Schematic diagram of the convolution operation to capture cross marks

    • 根据当前视场拍摄到的图片与标准图像的配准, 即可计算出拍摄的图片与标准位置之间的坐标偏差和角度偏差. 提高配准精度的基本依据是准确的关键点位置坐标, 提高配准精度的基本方法是通过多采样做最优拟合.

    • 在做位置偏差的精确计算之前, 需要图像的中心位置与标准位置对齐, 将中心位置视作坐标原点. 其原因有如下两点.

      (1)便于分析特征点配准的映射关系.

      (2)寻找cross标记既定范围, 便于捕捉cross标记.

      基于2.1节先验track标记的设计准则(3), 视场范围内的track标记呈轴对称分布, 则分别计算相互对称的2个track标记的坐标偏差, 其均值能够消除旋转对坐标偏差的影响, 获得中心点的坐标偏差.

      竖直track标记有u行, 每行v个; 水平track标记有k列, 每列l个. 特别是, 对于贯穿型的track标记, 可将竖直track线合理地划分为u段, 使用相应的卷积核进行捕捉, 仍看作u × v的track分布; 同理, 将水平track线合理地划分为k段, 仍看作k × l的track分布.

      设视场中心位置偏差为$(\Delta {x_{{\rm{center}}}},\Delta {y_{{\rm{center}}}})$, 通过对两个方向上的track标记进行捕捉, 每个track标记都能提供与标准位置的偏差$\Delta x$$\Delta y$, 有

      $$\left\{ \begin{array}{l} \overline {\Delta x}_{{\rm{center}}} = \dfrac{1}{v}\displaystyle\sum\limits_v^{} {\frac{1}{u}\displaystyle\sum\limits_u^{} {\Delta x_{v,\mu}} }, \\ \overline {\Delta y}_{{\rm{center}}} = \dfrac{1}{l}\displaystyle\sum\limits_l^{} {\frac{1}{k}\displaystyle\sum\limits_k^{} {\Delta {y_{l,k}}} }, \\ \end{array} \right.$$ (9)

      $$\left\{ \begin{array}{l} \overline {\Delta x}_{{\rm{center}}} = \dfrac{1}{{u \times v}}\displaystyle\sum\limits_v^{} {\displaystyle\sum\limits_u^{} {\Delta x_{v,\mu}} }, \\ \overline {\Delta y}_{{\rm{center}}} = \dfrac{1}{{k \times l}}\displaystyle\sum\limits_l^{} {\displaystyle\sum\limits_k^{} {\Delta y_{l,k}} }. \\ \end{array} \right.$$ (10)

      通过坐标变换将当前拍摄图像的中心与标准位置对齐, 即旋转中心与标准中心位置对齐. 因位置坐标是以整数表示, 因此中心位置对齐的误差在1像素左右.

    • 根据先验设计, 视场内存在M × N个cross标记, 通过对cross标记的捕捉, 可得到M × N个交点的位置坐标.

      假设当前拍摄图像与标准位置的角度偏差为φ, 因图像具有旋转不变特征, 所以图像坐标系原点位置可任意指定且不影响旋转角度的计算. 取图像中任意一点研究其旋转的位置特性, 如图4所示, 像素点A经旋转一定角度之后, 处于$A' $的位置.

      图  4  单个像素错位映射

      Figure 4.  Mapping of single pixel misalignment

      A的坐标为$({x_0},{y_0})$, $A' $的坐标为$(x,y)$, 图4A$A' $O为原点旋转, 有

      $$\left\{ {\begin{array}{*{20}{c}} {{x_0} = OC = OC'}, \\ {{y_0} = OB = OB'}, \end{array}} \right.$$ (11)

      Ax坐标可由$A' $的坐标得到, 为

      $$\begin{split} {x_0} &= OD \times \cos \varphi - DA' \times \sin \varphi \\ &= x \times \cos \varphi - y \times \sin \varphi. \\ \end{split} $$ (12)

      同理, 可以得到Ay坐标

      $$\begin{split} {y_0} &= OD \times \sin \varphi + DA' \times \cos \varphi \\ &= x \times \sin \varphi + y \times \cos \varphi .\\ \end{split} $$ (13)

      通过对全局的像素位置进行拟合, 能够得出最终的位置偏差期望$({\overline {\Delta x} _{{\rm{remain}}}},\overline {\Delta y}_{{\rm{remain}}} )$和角度期望$\overline \varphi $, 即

      $$\left\{ {\begin{array}{*{20}{c}} {x\cos \varphi - y\sin \varphi + \Delta {x_{\rm{remain}}} = {x_0}}, \\ {x\sin \varphi + y\cos \varphi + \Delta {y_{\rm{remain}}} = {y_0}}. \end{array}} \right.$$ (14)

      整理得

      $$\left( {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} x&{ - y}&1&0\\ x&y&0&1 \end{array}} \end{array}} \right)\left( {\begin{array}{*{20}{c}} {\cos \varphi } \\ {\sin \varphi } \\ {\Delta {x_{re}}} \\ {\Delta {y_{re}}} \end{array}} \right) = \left( {\begin{array}{*{20}{c}} {{x_0}} \\ {{y_0}} \end{array}} \right).$$ (15)

      前文根据cross标记已捕捉到M × N个交点坐标, 是符合式(15)的解. 对点坐标进行处理, 得

      $$\left\{ \begin{array}{l} X = ({x_{11}},{x_{12}}, \cdots, {x_{1N}},{x_{21}}, \cdots, {x_{MN}}), \\ Y = ({y_{11}},{y_{12}}, \cdots, {y_{1N}},{y_{21}}, \cdots, {y_{MN}}). \\ \end{array} \right.$$ (16)

      根据式(15)可得

      $$\left( {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{X^{\rm{T}}}}&{ - {Y^{\rm{T}}}}&1&0\\ {{X^{\rm{T}}}}&\;\;\,{{Y^{\rm{T}}}}&0&1 \end{array}} \\ \end{array}} \right)\left( {\begin{array}{*{20}{c}} {\cos \varphi } \\ {\sin \varphi } \\ {\Delta {x_{{\rm{remain}}}}} \\ {\Delta {y_{{\rm{remain}}}}} \end{array}} \right) = \left( {\begin{array}{*{20}{c}} {{X^{\rm{T}}_0}} \\ \;{{Y^{\rm{T}}_0}} \end{array}} \right).$$ (17)

      $({\cos \varphi }\;\;\;{\sin \varphi }\;\;\;{\Delta {x_{{\rm{remain}}}}}\;\;\;{\Delta {y_{{\rm{remain}}}}})^{\rm{T}}$视作未知数, 使用最小二乘法拟合将其解出. 则最终的位置配准的结果为

      $$\left\{ {\begin{array}{*{20}{l}} {\Delta \varphi = \overline \varphi }, \\ {\Delta x = \overline {\Delta x}_{\rm{center}} + \overline {\Delta x}_{{\rm{remain}}} }, \\ {\Delta y = \overline {\Delta y}_{\rm{center}} + \overline {\Delta y}_{{\rm{remain}}} }. \end{array}} \right.$$ (18)
    • 两幅图像的配准结果是否优秀, 目前并没有一个很明确的标准. 但是本文具体讨论的配准是一幅图像向标准位置的配准, 针对位置校准问题的评价标准较为明确, 即坐标与角度偏差的准确度.

    • 实验中, 使用不同型号的基因测序仪进行拍摄: 一种拍摄的图像为矩形, 分辨率为2 560 × 2 160; 另一种拍摄的图像为正方形, 成像分辨率为5 012 × 5 012. 使用不同型号的基因芯片, 芯片上的探针数量不同, track标记均使用非均匀贯穿型设计.

      基因芯片上的探针经拍摄后形成的单元cell, 对应的分辨率为a × a像素. 可认为位置校准的结果误差符合正态分布, 通过多次校准, 取cell位置处灰度最大值的校准结果为标准位, 则可估算出坐标校准的误差期望, 并以图像边缘位置的多个cell位置误差推测出角度配准的准确度. 不同芯片在不同仪器上进行拍摄和配准, 位置与角度配准误差如表1所示. 基于实际拍摄情况, cell周围的像素会受到光线串扰的影响, 因此在估算时对cell周围的像素保留了灰度串扰值.实际使用中, 位置误差在0.5像素以下即可视为镜头与基因芯片精准对齐.

      表 1  位置与角度配准误差

      Table 1.  Position and angle deviation in registration

      型号/分辨率cell大小/像素亮度串扰/%track宽度/像素track数量位置误差/像素角度误差/(°)
      2 560 × 2 1609 × 91598 × 80.243 10.010 882
      6 × 61068 × 80.274 60.012 292
      5 012 × 5 0129 × 92099 × 90.284 90.0063 76
      6 × 61569 × 90.330 50.007 397

      从实验结果可以看到, 在位置校准能够保障精度的情况下, 可以提高研究对象的拍摄分辨率, 还可以减少单个信息单元占用的像素数, 能够大大提升计算通量.

    • 一般来说, 当出现track标记不在视场范围内、track标记错位对齐的现象, 已属于设备故障问题, 本算法不展开故障检测问题的讨论. 对于角度偏差的适用范围, 与标记捕捉时的卷积核设计有关.

    • 无论是对track标记还是cross标记的捕捉, 在搜索x坐标或y坐标时, 卷积运算的作用是完全一致的, 即通过灰度特征提取得到track标记位置. 因此, 卷积核应设计成宽度与track线的宽度一致.

      视场中cell的边长等于track标记的宽度, 以均值为最高亮度的25%的灰度随机填充cell. 以track标记中心位置为圆心逐步增加图像的旋转角度, 当通过卷积捕捉到track标记位置坐标偏差时, 记当前角度为卷积核的容错角度.

      越大的卷积核其抗干扰能力越强, 所以设计卷积核时应当使用较大的长度. 然而图5的结果表明, 越长的卷积核的容错角度越小. 在实际应用中, 拍摄系统配准前的角度偏差很容易控制在1°以下, 因此本文讨论的卷积运算能够很好地应用在拍摄系统中.

      图  5  卷积核长度与容错角度的关系

      Figure 5.  Relationship between the length of the convolution kernel and the angle of fault tolerance

    • 图像配准的干扰主要有两个: 噪声和光线串扰. 噪声在拍摄环境中不可避免, 而拍摄对象中的带有亮度的信息单元在成像时会对周围的像素产生光线串扰.

      对先验标记进行捕捉的卷积核, 其宽度等于track标记的宽度. 为方便起见, 取竖直方向track标记对应的卷积核为研究对象, 卷积核内元素是相同的行向量的堆叠. 因此, 取行向量作为卷积核的切面, 研究其形状与鲁棒性的关系. 同样地, 对应于水平方向的track标记, 将列视为切面.

      选取如图6所示的几种切面形状的卷积核, 分别是均型、峰型、谷型. 图6 中, 纵坐标表示卷积元素的值, 横坐标表示卷积切面元素的位置.

      在没有噪声和串扰的理想情况下, track线上的卷积结果应当为零, 其他位置的卷积期望为一个正值. 这种卷积特性可以很好地区别track标记与业务区域, 并准确定位track的中心位置.

      为了研究卷积核设计对track的捕捉能力, 需要研究track附近的卷积结果之间的区分能力. 在卷积运算接近track标记并经过整个标记直到离开, 这段范围的卷积值应当是先递减再递增, 出现一个极小值, 极小值出现的位置就是捕捉到的track标记位置.

      图7为通过卷积捕捉track标注的示意图. 从图7中可以看到, 普通场景下的业务区域卷积结果是明显高于track标记上的, 在track标记位置附近呈现凸函数形状, 因此track捕捉能力仅需要考察track线及其左右相邻范围的卷积值的梯度绝对值, 其值越大表明对位置的区分能力越强.

      图  6  不同的卷积核切面

      Figure 6.  Cross sections of various convolution kernels

      图  7  通过卷积捕捉track标记

      Figure 7.  Capturing a track mark by convolution

      1. 理想状态下卷积核的区分能力

      取卷积核宽度为9像素, 在没有任何干扰的理想状态下, 业务区域以25%的亮度单元随机分布, 各卷积核在此状态下的区分度如图8所示. 关注区域在[–5, 5]上, 此区域之外的梯度会逐步趋向0附近.

      理想状态下的卷积以均值型的最为理想, 在任何位置处都有稳定的区分能力. 峰型卷积核在track标记左右边缘处区分能力最强.谷型卷积核在track中心位置处区分能力最强. track捕捉能力只体现在关注区域中, 因此红色标识的峰型卷积核的鲁棒性最差.

      2. 噪声环境下卷积核的区分能力

      对理想环境增加不同程度的白噪声, 以噪声均值N0区别噪声的严重程度, 同样对上文列举的5种卷积核进行对比, 发现5种卷积核对track的区分能力有所变化, 结果如图9所示.

      图  8  不同卷积核在理想状态下的区分度

      Figure 8.  Differentiation of various convolution kernels under ideal conditions

      图  9  不同卷积核在噪声环境下的区分度

      Figure 9.  Differentiation of various convolution kernels in a noisy environment

      图9中可以看出, 随着噪声能量的增加, 所有的卷积核对track标记的区分能力都在下降. 在[–5, 5]之间, 梯度最低值代表该卷积核区分能力最差值. 当最差区分能力低到一定程度时, 应对光线的极端分布情况的能力就会变差. 因此,从图9中还可以看出, 峰型卷积核并不适用于track标记的捕捉, 而均型卷积核保持着稳定的区分能力.

      3. 光线串扰环境下卷积核的区分能力

      增加了40%的光线串扰之后, 5种卷积核对track的区分能力有所变化, 结果如图10所示. 图10表明, 红色曲线代表的峰型卷积核区分能力变得更差, 因此峰型的卷积核完全不适合在捕捉track标记时使用; 在有光线串扰的情况下, 均型卷积核的区分能力的也有所下降, 而谷型卷积核则表现出很好的区分能力, 并且比均型卷积核具有更好的稳定性.

      图  10  不同卷积核在串扰环境下的区分度

      Figure 10.  Differentiation of various convolution kernels in a light crosstalk environment

      鉴于谷型卷积核对光线串扰具有优秀的抗干扰能力, 因此本文对谷型形状与串扰之间的相应关系做了进一步观察. 如图11所示, 设计5种谷型深度不同的卷积切面, 其卷积核个元素之和与均型卷积核保持一致. 图11中, 纵坐标表示卷积元素的值, 横坐标表示卷积切面元素的位置. 选取10%, 20%, 30%, 40% 这4个等级的串扰, 5种卷积核对track标记的区分能力如图12所示.

      图  11  5种抗串扰卷积核切面

      Figure 11.  Cross sections of five anti-crosstalk convolution kernels

      图  12  5种抗串扰效果

      Figure 12.  Anti-crosstalk effects of five convolution kernels

      图12可看到, 10%串扰时卷积核(2)(图12 a))的抗串扰性能最好, 20%串扰时卷积核(3)(图12 b))的抗串扰性能最好, 30%串扰时卷积核(5)(图12 c))的抗串扰性能最好, 串扰超过40%之后, 上述5种谷型卷积核性能均变得很差. 因此可以得出结论: 谷型卷积核的“谷深”越深, 应对光线串扰的能力越强; 谷型卷积核的设计需对应具体的串扰强度, 从频域角度计算其滤波性能.

      综上所述, 从实验结果可知,卷积操作对捕捉track标记具有很高的准确性和很强的鲁棒性, 在白噪声的环境下, 均型卷积核始终保持了较好的track标记区分能力, 而在光线串扰的环境中, 需要使用谷型卷积核以保证其区分能力.

    • 本文针对基因测序仪将需要镜头与基因芯片精准对齐的问题, 提出了一种基于先验标记的图像配准方法: 计算当前视场与理想位置的偏差. 该方法通过在基因芯片上人工设计标记, 再分析拍摄的图像灰度特征, 利用卷积运算对图像特征的良好提取能力捕捉标记, 使用拟合的方式计算偏差. 从实际应用和仿真分析可知, 本文算法对位置偏差的计算结果具有良好的精确度, 误差限制在0.5像素以下, 并且有良好的抗干扰能力, 在第二代基因测序技术提高测序准确度和通量的需求下具有很好的应用前景.

WeChat 关注分享

返回顶部

目录

    /

    返回文章
    返回