基于计算机视觉的室内定位系统关键技术分析

本文在传统的视觉定位系统的基础上，研究了一种融合了两种定位技术方法——即基于数据库的视觉定位方法和基于地标的视觉定位方法——的基于特殊标识的室内视觉定位技术，重点对于特殊标识的设计和检测识别，定位算法，以及精度校正方法等方面进行了研究，最后通过实验验证了本文所提出的算法的定位能力和精度校正能力
第一章 绪论

1.1 研究背景与意义

随着信息化技术的发展和物联网技术的普及，位置信息作为人们日常生活中一个极为重要的信息被广泛应用于信息化产品和物联网产品之中，高精度的位置信息意味高质量的信息化产品服务，定位作为获取位置信息的技术也越来越被科研工作者所重视。在此基础上，基于位置的服务(Location-based Service, LBS)[1]的概念被提出并对其展开研究。最广为人知的LBS方案为全球卫星导航系统(Global Navigation Satellite System,GNSS)，其代表解决方案为美国全球定位系统(Global Positioning System, GPS)系统，中国北斗卫星导航系统，俄罗斯格洛纳斯(Glonass)系统，以及欧盟伽利略(Galileo)

系统[2]。基于卫星导航的 LBS 已经广泛应用于交通，海事，电力，渔业，测绘，农林，水利等数十个行业领域。仅以北斗导航系统为例，根据中国卫星导航定位协会发布的文件《2018 中国卫星导航与位置服务产业发展白皮书》[3]显示，北斗微信导航系统用户保有量达到 5 亿台/套，产业产值达到 2550 亿元。与此同时，由于建筑空间复杂，建筑物遮挡，卫星信号强度弱等众多原因导致传统的 GNSS 无法应用于室内场景的定位。而随着建筑行业的发展和人民生活水平的提高，大型建筑日益增加，室内建筑面积日益庞大，室内建筑空间日益复杂，例如商场，图书馆，地下停车场，博物馆等等，庞大和复杂的室内空间给人们的生活也带来了很大的不便，这些需求为室内定位系统(Indoor Positioning System, IPS)带来极大的需求。根据国外市场研究机构研究机构 MarketsandMarkets 的报告Indoor Location Market by Component (Technology, Software Tools, and Services),Deployment Mode (Cloud, and On-premises), Application, Vertical (Transportation,Hospitality, Entertainment, Retail, and Public Buildings), and Region - Global Forecastto 2022[4]显示，截止 2017 年为止，全球室内定位市场已经达到 71.1 亿美元，且预计至 2022，全球室内定位市场将达到 409.9 亿美元之巨。

1.2 国内外研究动态与发展趋势

基于计算机视觉的室内定位技术随着计算机速决理论的发展也在各个应用场景下逐步出现。随着个人数码终端照相能力的提升，基于计算机视觉的室内定位方法层出不穷，发展迅速，在国内外具有非常充足的研究基础。

1.2.1 视觉定位研究动态

随着计算机视觉理论的发展，越来越多的视觉定位方案被国内外各研究机构的研究人员提出。2011 年，Torsten Sattler, Bastian Leibe,和 Leif Kobbelt 提出了一种基于 2D-3D 点匹配的基于数据库的视觉定位算法[22] ，能够通过对于 2D 图像进行特征提取，与重建的 3D 场景进行特征匹配，直接在包含 3D 描述符的空间场景——即该方法所采用的数据库中寻找匹配对从而完成定位算法。2014 年，Yicheng Bai等提出了一种借助自制的可穿戴设备基于地标完成视觉室内定位的方案[24] 。该方案通过在胸前佩戴一个特制的影像采集设备，对于拍摄的影像，基于一个预先建立的建筑物自然地标数据库进行匹配，从而获取用户的拍摄位置，最后以人工合成语音的形式提供给佩戴者。但该方案由于需要使用特殊设备进行定位，因此普适性不佳。2016 年，Xiaozhi Qu 等提出了一种改进的基于 SIFT 和 SURF 算法的室内定位方案[25] ，通过应用本地捆绑调整(Local Bundle Adjustment,LBA)而非 SLAM 定义连接点的姿态参数和 3D 坐标，以获得一个更精准的 3D 场景结构。通过用户图像与该精准 3D 场景的匹配从而完成定位。美中不足的是，该算法由于引用了 LBA 技术，其匹配效率较低。2018 年，Manash Pratim Das 等人提出了一种基于点云的匹配方法[26] ，通过采用具有景深功能的图像采集设备，例如 Google Glass 和微软的Hololens 获取具有景深信息的图像，对于该图像进行特征点提取，构建包含深度的点云信息与已有的 3D 模型进行匹配从而完成对于自身的定位。该方法需要采用具有景深功能的特殊设备，普适性不强。2018 年，Liang Cheng 等人通过重建大规模人群来源图片构建了街景的 3D 模型[27] ，同时为这些模型打上地理定位标签。同时对于用户图像进行地标建筑的检索以获得粗略的地理定位，通过图像的对于上述可靠地标的配准和 3D 重构完成用户的精细定位。该方法由于采用了自然地标，其匹配精准性不佳，同时确知点的三维坐标并不精准。2019 年 Mathias Bürki 等人通过对于用户图片进行特征提取[28] ，筛选出当前图片中表现良好的地标特征，对用户进行定位。同时提出了一种地标排名函数，能够区分一些在外观条件发生巨大变化时仍保持较高配准特性的地标建筑。该方法受限于用户相机拍摄的地标数量，用户难以在一张图片内包含多个地标，因此需多个图片进行定位，鲁棒性不强。

第二章 视觉定位的理论基础

在视觉定位领域中，摄像机几何理论是完成计算机视觉室内定位的基础之一。在摄像机几何理论中，其摄像机成像模型，即针孔相机成像模型为摄像机几何理论的基础之一。该模型阐述了在相机成像过程中，物点与像点对应的几何关系，是连接三维实际坐标系与二维图像坐标系之间的桥梁，对于计算机视觉室内定位具有不可或缺的作用。针孔成像模型中的核心阐述为摄像机矩阵，其主要作用为描述三维坐标系坐标点与二维图像坐标系上像素点的映射关系。摄像机矩阵将三维空间坐标系上的坐标点映射为二维图像坐标系上的坐标点，因此通过求解摄像机矩阵可以推导二维坐标点与三维空间坐标系上坐标点的映射关系，从而完成对于摄像机位置的定位。在摄像机定位算法中，确知的三维空间坐标系坐标是一个先验知识，需要通过前期人工布设或测绘工作以获得该先验信息。在本论文的设计中，采用粘贴特殊标识符的方法将确知的三维空间坐标点布设在定位空间中，通过设计该特殊标识符降低获取各个预设三维空间坐标点的难度，提高获取该坐标点坐标的精度。综上所述，本章将研究摄像机的成像模型，摄像机矩阵及其分隔后的外参矩阵及内参矩阵，以及特殊标识设计的相关理论基础。

2.1 基于摄像机几何的视觉定位理论

在本文的设计中，主要采用了两种方法进行视觉定位，其一为基于两步标识法求解摄像机外部矩阵定位，其二为基于空间后方交会法求解摄像机光心定位。在这两种定位方法中，均基于摄像机的标准成像模型进行研究，根据物点与像点之间的几何约束关系求解外部矩阵及摄像机光心从而完成对于摄像机的定位。综上所述，在本论文的设计中，摄像机几何在定位算法及精度校准算法中具有举足轻重的地位，本小节将针对摄像机几何展开研究，进而研究摄像机几何在视觉定位中的作用。

2.2 特殊标识设计理论基础

在本文的设计中，特殊标识主要承担了传统的基于地标的视觉定位方法中地标的作用。特殊标识在制作张贴完成后，与传统地标一样，可提供确知的三维空间坐标点信息。相较于传统的地标信息，特殊标识由于其独特的设计，可提供三组确知的三维空间坐标点信息，在经过几何变换，如翻转，连线后，最高可提供五组确知的三维空间坐标点信息，其中包含四组任意三点不共线的坐标点。此外，特殊标识还存在用户图像展示区域，在提供面向算法的机器码信息外，还可提供面向人类用户的图像信息。特殊标识具有任意生成和张贴的特点，相较于地标的不可控特性，特殊标识具有张贴位置可控，张贴密度可控等特性，可普遍布置于任意区域进行定位而无需依赖于前期市政规划或建筑规划特性。

第三章 基于特殊标识提取的视觉定位系统的研究.......................................... 18

3.1 基于特殊标识提取的视觉定位系统框架...................................................... 18

3.2 基于摄像机非理想模型的图像校正.............................................................. 21

3.3 特殊标识的设计及其生成、检测、识别算法.............................................. 27

3.4 基于针孔摄像机模型的精定位...................................................................... 36

第四章 基于计算机视觉的室内定位方法的实验验证...................................... 45

4.1 离线特殊标识数据库建立.............................................................................. 45

4.2 基于计算机视觉的室内定位方法实验验证 .................................................. 47

4.3 精度校准方法的实验验证 .............................................................................. 56

4.4 定位误差分析 .................................................................................................. 58

4.5 本章小结 .......................................................................................................... 61

第四章 基于计算机视觉的室内定位方法的实验验证

上一章节研究了基于计算机视觉采用特殊标识充当地标从而建立数据库完成室内定位这一系统的关键技术，本章将继续研究上述关键技术位于图 3-1 这一系统中的应用。本章将依据图 3-1 中系统框图，逐步完成地标数据库的建立，地标信息录入等数据库建立工作；同时模拟用户定位的应用场景，基于上一章节中所研究的关键技术，逐步对于用户图像进行预处理，特殊标识信息提取，以及定位解算工作。对于上一章节所提出的精度校正方法，还将给出单特殊标识情况下，采用基于透视变换的直线拟合法对于定位进行校正以提高精度的实验流程和结论，以验证该精度校正方法对于定位精度提高这一目标的效用。同时，在多特殊标识的情况下，将给出基于多特殊标识的多次求解法进行精度校正的实验结论，以验证该方法的可行性。在本章节的实验中，为模拟普通消费者用户使用消费级便携摄像终端的应用场景，本章节实验均不采用专业图像采集设备，本章节实验中所采用的摄像器件为

富士 X-T100 微单相机，该相机所采用的 CMOS 芯片为 APS-C 画幅的传感器，拍摄图像采用未经压缩的 3：2 比例图像，单幅图像分辨率为 6000*4000。
第五章 总结与展望

本文在传统的视觉定位系统的基础上，研究了一种融合了两种定位技术方法——即基于数据库的视觉定位方法和基于地标的视觉定位方法——的基于特殊标识的室内视觉定位技术，重点对于特殊标识的设计和检测识别，定位算法，以及精度校正方法等方面进行了研究，最后通过实验验证了本文所提出的算法的定位能力和精度校正能力。本文的核心工作和结论如下：

1、研究了特殊标识的设计方案，生成、检测和识别算法根据本文所建立的视觉定位系统的框架，研究了特殊标识的设计方案，提出了一种可提供至多五个确知三维空间坐标点的特殊标识图形，并在此基础上完善了其生成，检测和识别算法。

2、提出了改进的两步标定法定位算法和空间后方交会法定位算法针对传统两步标定法计算过程复杂和空间后方交会法对于相机硬件要求极高等困难，本文分别提出了基于校正图像的两步标定法定位算法和空间后方交会发定位算法，能够校正用户图像至接近理想针孔摄像机模型映射而成的图像。同时算法采用了灰度域进行处理，压缩了两个维度的图像数据，简化算法复杂度，降低硬件要求。