多摄像头全景图像拼接的实时视频处理技术研究(硕士)(论文37000字,答辩PPT)
The Technology of Multiple Cameras Panoramic Image Mosaicing Real-time Video Processing
摘 要
现如今，随着数码技术和信息技术的飞速发展，人们对图像采集设备倍受关注，同时也对图像的分辨率和场景图像不断有更高的要求。单凭一个摄像机可能无法满足消费者的需求，毕竟单个摄像机所能够拍摄的范围有限，若想获得高分辨率的场景图像，单个摄像机只能通过调节焦距的方式来实现，但问题出现了，这样会导致图片分辨率降低，图片变模糊，给人造成不良的视觉效果。因此，可以通过多个摄像头来采集图像，并完成全景图像的拼接。实时全景监控系统则是多摄像头实时拼接技术主要应用之一，它很好解决了传统监控系统存在多视角场景监控，相对凌乱的问题，在安防监控市场领域（通信、商店超市、道路码头等）有不错的表现。
本文主要对多摄像头全景图像拼接的实时视频处理技术进行研究，并介绍多摄像头全景图像实时拼接系统架构。首先，简要介绍多摄像头全景图像拼接的实时视频处理技术研究背景和研究现状，以及与多摄像头全景图像拼接相关的基础理论知识。然后，提出多摄像头全景图像实时拼接系统整体方案和架构，对其中各个部分的功能进行简要描述。接着，针对多摄像头全景图像拼接中两个关键环节-图像配准和图像融合，进行详细的介绍。列举出图像配准和图像融合常用的方法，通过实验对比选择合适的方法来完成全景图像拼接。图像配准部分通过分析SIFT特征配准算法原理及实现，图像融合部分则采用多分辨率融合方法，确保图像融合质量。同时，考虑到多个摄像头附近的光照强度不同，分析颜色不同带来的影响，提出图像颜色校正方法，完成多摄像头全景图像颜色校正，保证全景图的效果。
最后，通过对多摄像头全景实时图像拼接系统进行测试验证，测试结果表明本文设计的方案能较好地实现全景图像的拼接，对今后多摄像头全景图像实时拼接系统的开发和研究提供了一定的参考价值。
关键词：多摄像头 全景图像拼接 图像配准 图像融合 SIFT算法
Abstract
Nowadays, with the rapid development of digital technology and information technology, people pay more attention to image acquisition device, but also have higher requirements for the resolution of the images and screen graph. a single camera alone may not be able to meet the needs of the consumers. Depend on a single camera to capture is limited, if you want to get high resolution images, a single camera can only be done by adjusting the focal length, but the problem has emerged, causing reduction of image, bringing bad visual effect. Therefore, the image can be collected by a plurality of cameras, and the mosaic of panoramic images can be completed.The real-time panoramic view real-time monitoring system is one of the main application of multi-camera real-time splicing technology, it can well solve these problems that the disadvantages of traditional monitoring system mainly is the multiple points of scene monitoring, relatively messy. And it has good performance in the field of security monitoring market (communication, shops, supermarkets, wharf road, etc).
The paper mainly discusses the multi-camera panoramic image mosaicing of real-time video processing technology research, and introduce multi-camera real-time panoramic image stitching system architecture. Firstly, a brief introduction to multiple camera view image splicing of real-time video processing technology research background and research status, and basic theoretical knowledge of many cameras panoramic image mosaicing related. Secondly, propose more cameras panoramic image in real time. Splicing system overall scheme and architecture, have a brief description of the function of each part. Then, in view of the cameras in the panoramic image mosaicing two key links, introduce the image registration and image fusion, in detail. The common methods of image registration and image fusion are listed, and the suitable method is used to complete the panoramic image mosaic. Image registration part analysis SIFT feature matching algorithm principle and implementation of image fusion part adopts multiresolution fusion method, to ensure the quality of image fusion. Meanwhile, considering the multiple cameras near the light intensity of different color effects, image color correction method was proposed, multi camera panoramic image color correction, ensure panorama effect.
Finally, based on the multi-camera panoramic image mosaic system for real-time testing, test results show that this design scheme can well achieve panoramic image stitching, providing a certain reference value for future research and development of multi camera real-time panoramic image mosaic system.
Keywords: Multi-camera Panorama mosaic Image registration Image fusion SIFT algorithm
目 录
第1章 绪论 1
1.1 课题背景及意义 1
1.2 国内外研究现状 2
1.3 论文主要工作及创新点 3
1.4 论文结构安排 4
第2章 多摄像头全景图像理论基础知识 6
2.1 摄像头分类 6
2.2 数字图像处理 6
2.3 常见软件工具介绍 8
2.3.1 OpenCV 8
2.3.2 MATLAB 8
2.3.3 Qt 9
2.4 本章小结 9
第3章 多摄像头全景图像实时拼接系统结构 10
3.1 多摄像头全景图像拼接结构介绍 11
3.1.1 工控机 11
3.1.2 多路IPC视频拼接处理器 16
3.2 本章小结 19
第4章 多摄像头视频图像的采集和预处理 20
4.1 多摄像头视频流图像的采集 20
4.2 图像畸变校正 20
4.3 摄像机的标定 21
4.3.1 摄像机标定的基本理论 21
4.3.2 摄像机标定的方法 24
4.4 图像投影变换 25
4.4.1 立方体投影 25
4.4.2 柱面投影 25
4.4.3 球面投影 25
4.5 本章小结 26
第5章 多摄像头视频图像的拼接方法 27
5.1 视频图像配准的主要方法 27
5.1.1 角点检测法 27
5.1.2 SIFT特征检测法 28
5.1.3 SURF特征检测法 28
5.2 视频图像融合的主要方法 28
5.2.1 直接拼接融合法 28
5.2.2 渐入渐出加权平均融合法 29
5.2.3 多分辨率融合法 31
5.3 本章小结 31
第6章 视频图像配准 32
6.1 特征检测与表达 32
6.2 SIFT特征检测 34
6.2.1 尺度空间极值检测 34
6.2.2 精确特征点位置及尺度 36
6.2.3 SIFT特征描述 38
6.3 特征匹配算法 41
6.3.1 K-D树的构建 42
6.3.2 最邻近查询算法 43
6.3.3 BBF算法 43
6.3.4 特征点过滤 44
6.4 图像配准实现及结果 45
6.4.1 SIFT特征检测结果 45
6.4.2 特征匹配结果 46
6.5 本章小结 47
第7章 视频图像融合 48
7.1 图像的颜色校正 48
7.2 多分辨率融合 55
7.3 图像融合实现及结果 57
7.3.1 简易拼接法 57
7.3.2 加权平均法 58
7.3.3 多分辨率融合法 59
7.4 本章小结 60
第8章 多摄像头全景图像实时拼接系统实现 61
8.1 系统方案及实验结果分析 61
8.2 本章小结 66
第9章 总结与展望 67
9.1 总结 67
9.2 展望 67
参考文献 69
致 谢 73 |
