摘 要

五子棋是我们日常生活中非常经典的智力游戏。随着科学技术的进步和发展，机器人人机对弈系统从设想逐步走向现实。五子棋棋局的识别作为系统中重要一环的吸引很多学者对其开展了相关研究，通过对五子棋棋盘图像的扫描，以及感兴趣区域提取、二值化、棋盘格点检测、棋子位置识别分析和处理来进行棋局识别。基于摄像头的五子棋比赛图像识别系统的流程主要包括几何变换、棋子识别、图像形态学处理、棋盘格点的识别以及坐标变化。基于摄像头对五子棋棋盘进行图像采集，并对图像进行相关处理，从而实现矢量图形的同步再现。这样子在保证过程与结果准确的前提下，实现了人与计算机、计算机与计算机之间的五子棋对弈。

本文的主要工作如下。

首先，本文通过查阅图像识别及机器人视觉的有关文献，学习摄像头的模型、各坐标系之间的关系、相机标定及畸变校正等。本次设计使用MYNTEYE双目摄像头，借助opencv视觉开源库完成一系列功能要求，最终实现实践应用。

然后，将所得到的包含棋盘的图像进行相关预处理，并提取图像中的感兴趣区域即包含棋盘的位置区域，识别棋盘格点坐标及棋子质心像素坐标，对应为棋盘坐标并输出。

最终，通过websocket与服务端建立联系，稳定依次传输变化的棋子坐标，为后续算法实现及dobot机械臂动作奠定基础。

关键词：机器人视觉；OpenCV；图像处理；Websocket

Abstract

Gobang is a very classic puzzle game in our daily life.With the progress and development of science and technology, some scholars have also carried out relevant research on the recognition of gobang.By scanning the image of gobang chessboard, extracting the region of interest, binarization, detection of chessboard points, and recognition analysis and processing of chess positions, the recognition of chess games is carried out.The flow of the image recognition system of gobang based on camera mainly includes geometric transformation, chess recognition, image morphology processing, identification of checkerboard points and coordinate change.Firstly, image acquisition of the gobang chessboard is carried out based on the camera, then image correlation processing is carried out, and finally vector graphics are reproduced synchronously.In this way, on the premise of ensuring the accuracy of process and result, the gobang game between human and computer, computer and computer is realized.

The main research work can be summarized as follows:

Firstly, this paper studies the camera model, the relationship between coordinate systems, camera calibration and distortion correction, etc. by consulting relevant literature on image recognition and robot vision.This design uses MYNTEYE binocular camera and opencv visual open source library to complete a series of functional requirements and finally achieve practical application.

Then, the obtained image containing the chessboard is preprocessed, and the region of interest in the image is extracted, that is, the area containing the position of the chessboard. And the coordinate of the chessboard grid points and the pixel coordinate of the centroid of the chess pieces are identified, which are exported corresponding to the chessboard coordinates.

Finally, the connection to the server based on websocket is established, and the changing chess coordinates are transmitted steadily in turn, laying a foundation for the subsequent algorithm implementation and dobot robot arm movement.

Keywords:Robot vision; OpenCV; The image processing; Websocket

目 录

第1章 绪论 1

1.1研究背景及意义 1

1.2国内外研究现状 2

1.2.1国内研究现状 2

1.2.2国外研究现状 3

1.3本文主要研究内容 3

1.4本文组织结构 4

第2章 摄像头标定及畸变校正 6

2.1 相机模型 6

2.1.1 立体视觉坐标系 6

2.1.2 摄像头成像模型 10

2.2 相机标定 13

2.2.1 相机参数标定 13

2.2.2 张正友标定法原理 13

2.3 本章小结 16

第3章 图像预处理及感兴趣区域提取 17

3.1 图像预处理 17

3.1.1 图像去噪 17

3.1.2 图像RGB单通道提取 17

3.1.3 图像灰度化 18

3.1.4 图像二值化 19

3.2 ROI提取 20

3.3 本章小结 20

第4章 目标特征提取及处理 21

4.1 相机标定与畸变校正 21

4.1.1 基于MATLAB的张正友标定法 21

4.1.2 图像畸变校正 22

4.2 棋盘格点坐标获取 23

4.2.1 矩形ROI提取 23

4.2.2 棋盘格点检测 24

4.3 白子提取及质心坐标获取 25

4.3.1 白子预处理 25

4.3.2 白子形态学处理 27

4.3.3 白子轮廓提取 28

4.3.4 白子质心坐标获取 28

4.4 黑子提取及质心坐标获取 29

4.4.1 黑子预处理 29

4.4.2 黑子形态学处理 31

4.4.3 黑子轮廓提取 31

4.4.4 黑子质心坐标获取 32

4.5 棋子棋盘位置获取 32

4.5.1 棋盘图像旋转变换 32

4.5.2 棋盘格点坐标排序 32

4.6 本章小结 33

第5章 五子棋比赛图像自动识别系统 34

5.1 落子位置和颜色的识别 34

5.2 信息编码和智能五子棋agent通信 35

5.2.1 棋盘局势信息编码 35

5.2.2 Websocket通信原理 35

5.2.3 与智能五子棋agent的数据通信 37

5.3 智能五子棋人机对弈系统 38

5.4 本章小结 40

致谢 43

第1章 绪论

1.1研究背景及意义

计算机视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，从而得到所需要的图像^[1]。

作为人工智能领域内的一个重要分支，计算机视觉技术是通过处理原始图像或者视频获得图像的相关信息，并从中推断出高于目标的有用信息，例如，目标的轮廓、目标的颜色、复杂环境中的运动目标轨迹等。这就是计算机视觉技术兴起的原因。初始的时候作为人工智能的一个子方向，到现在计算机视觉技术已成为了一个完全独立的研究领域并不断发展延伸。计算机视觉技术原本研究的是图像中的静态对象，而近些年来，研究人员已将研究方向逐步转向复杂环境中的动态物体。例如MacDorman, Karl F.等人在2018年发表的Review of constraints on vision-based gesture recognition for human-computer interaction^[2]，其中分析了基于视觉的人机交互手势识别的制约因素，以及美国斯坦福大学计算机科学系的李飞飞副教授等人于2018年发表的Bedside Computer Vision - Moving Artificial Intelligence from Driver Assistance to Patient Safety^[3]等。

本次论文的课题基于WHUT智能五子棋人机对弈系统，该系统包括图像处理、智能算法、机械臂运动控制及服务器四个部分。

首先，通过摄像头获取棋盘图像并进行有关处理，得到人下的棋子棋盘坐标，将所得坐标数据基于websocket技术^[4]按一定的顺序传输至服务器端。接着，服务器将坐标数据传输给算法进行运算处理，得到机械臂应下的坐标。再由服务器将坐标数据传输给机械臂，控制机械臂运动；同时，将棋盘情况实时显示在线上棋盘上。如此循环协作，最终实现人与机器的智能五子棋对弈。

本文主要负责图像处理模块，主要研究基于MYNT小觅摄像头的图像获取及处理，将棋盘图像坐标与实际坐标对应，获得所需棋子的实际棋盘坐标（15*15），该部分工作在后面其他各部分的工作的展开过程中是不可或缺的。

基于摄像头的五子棋比赛图像的识别过程主要包括原始图像的几何变换、目标识别与提取、高级形态学处理、棋盘格点的获取、坐标变换及对应输出等。主要是通过摄像头对五子棋棋盘进行图像采集，然后进行进一步的图像识别和处理，实现矢量图形的同步再现。

1.2国内外研究现状

1.2.1国内研究现状

在“工业4.0”和全球自动化的大环境下，机器视觉的精确高效性能愈发成为科研人员追求的目标。直到目前，以美国和日本为首的发达国家在相关的研发工作领域中处在领先的地位。近年来，随着在半导体和电子电器领域的突出成就，其在国际市场上的发展也日臻成熟。

在中国，机器视觉的研究、开发及应用相对较晚，从上世纪80年代开始，技术引进稳定发展，直至2010年才迎来了一个增长期。与此同时，随着“工业4.0”、“中国制造2025”等概念的不断深化和研发技术的突破，我国机器视觉已不再是单一的应用产品，而是逐步扩展到多领域、多行业、多层次。

随着国际市场进入成熟阶段，中国市场正增长式发展，两者之间的发展差距和进程速度发生了显著变化。日本和美国仍然在市场上占据主导地位，它们在技术、人才及产品方面具有绝对的优势，在全球市场占有绝对份额。但是，在增长速度和市场规模方面，中国正在赶超日本和美国，已取得显著的成绩。中国目前已成为世界第三大机器视觉市场。

在技术研发方面，中国的专利申请数量已超越国外。自2016年以来，中国专利每年申请的平均数量已超过1000件，但专利的应用远比国外低。技术人才主要滞守于研发领域而少有向实践应用领域扩展。在品牌建设方面，国内品牌企业数量正在接近国外品牌数量，但品牌质量和影响力仍与国外品牌相去甚远，民族品牌仍有漫漫发展之路。

国内研发人员也对计算机视觉技术进行了研究。中国科学院北京自动化研究所下属的模式识别国家重点实验室目前在国内占据主导地位，其主要研究方向是复杂环境下运动物体的三维模型定位及跟踪算法。他们基于英国雷丁大学设计的车辆交通监控系统，结合自身的优点，提出了一种新的模糊自组织神经学习算法，并自主开发了交通监控系统^[5]。除科研机构外，各个大学还以计算机视觉技术为发展方向，发展自己的视觉技术，并将其应用于机器人技术。

国内研究水平大幅提高，与国际先进水平的差距不断缩小，一些研究方向甚至超越国际先进水平。然而总的来说，热点问题的大部分研究成果仍来自国外研究团队，中国本土研究团队的创新性和开拓性工作仍然相对较少。在底层视觉领域，国外的研究大多是基于图像的局部线索或结合语义信息来指导底层搜索。南开大学的边缘提取是直接对整个图像进行操作，在这一领域具有非常重要的指导性意义。在场景几何重构、场景光流和运动估计等方面，国内的研究工作相对不足。在基于KITTI数据集的算法排名中，国内研究机构的研究成果所占比重微乎其微。在中级视觉计算领域，国内科研机构在显著性检测领域具有一流的科研实力，但在基础理论研究方面仍少有建树。

根据研究工作的发展趋势，中层视觉与高层视觉的界限越来越模糊。越来越多的工作引入语义等高层信息来解决中层视觉任务，如用给定的对象类别语义信息检测明显的目标。在目标跟踪方面，中国虽然起步的较晚，但随着国家大量资源的投入和初创企业的兴起，国内研究实力逐渐增强。在高层视觉计算方面，国内机构与国外合作完成了越来越优秀的深层网络模型，如Resnet^[6]、Densenet^[7]等，极大地促进了图像识别的研究发展进程。此外，国内机构之间的合作与交流进一步激发和激发了国内视觉领域的研究热情，并已初步取得成果。例如，在2016年IMAGENET大规模物体识别挑战赛中，国内研究机构和视觉创业公司获得了所有项目的冠军，充分证明了在这一领域国内的研究工作已接近国际先进水平。

1.2.2国外研究现状

计算机视觉技术拥有广阔的发展前景，国外发达国家已经针对其应用市场展开了大量相关项目的开发与研究。近年来，包括Microsoft在内的多家尖端公司在内的前沿企业投入了大量的人力物力开发人工智能监测系统。并且随着研究的深入，相关的研究产品已经转化为成熟的产品投入市场。在1999年投入使用的战场监控系统是当下在军事方面应用最为广泛的监控系统，由美国的马里兰大学研制的实时视觉检测系统在民用方面最为普及。美国FDI（Futuretel Digital Imaging）公司推出了基于视频分析处理的智能视频监控系统SmartSystem；IBM公司Watson研究中心开发了Smart Surveillance system（S3）；objectvideo公司已经发布了ObjectvideoVEW系列的五个商业版本。

1.3本文主要研究内容

本课题研究的主要是基于摄像头的五子棋比赛图像自动识别，研究五子棋棋局图像识别的目的主要是为了在保证过程与结果的准确性的前提下，实现人与机器、机器与机器之间的五子棋智能对弈。棋盘识别算法基于图像投影，其处理流程是先获取图像，然后对图像进行几何变换、棋子图像的分割、形态学运算、棋盘格点的检测、摄像头标定、棋子坐标的获取及基于websocket协议的信息传输等步骤。首先，基于几何变换和感兴趣区域提取方法使所得图像仅包含了棋盘区域，从而排除原始图像中的无关背景的干扰。其次，提取图像中的有用分量或对图像进行相关预处理工作，使用直方图双峰法确定二值化阈值对目标进行分割提取。接着，使用角点检测方法识别棋盘格点，并将所有格点坐标进行排序。然后进行坐标变换，将所得到的棋子坐标对应到棋盘位置。最后，将所得棋子的棋盘坐标通过websocket通信协议传输至服务端，从而方便进行进一步的传输、相关运算及处理工作。

课题的具体内容如下：

第一，了解五子棋的基本规则、主流技术、学习算法现状及发展趋势，为课题展开奠定前期基础。查阅相关文献资料，对计算机视觉的历史延展、研究现状及未来发展趋势有一定的掌握。

第二，学习感兴趣区域提取方法对图像中棋盘区域进行提取，学习基于角点检测的方法对棋盘格点进行检测，以及基于直方图阈值法对棋子进行分割处理。

第三，学习一系列图像预处理方法及形态学处理方法，实现基于图像及摄像头的位置识别以及矢量图形的同步再现。

第四，学习基于websocket通信技术的服务器端与客户端的通信原理及通信方法，实现棋盘棋子坐标数据的有效传输。

1.4本文组织结构

第一章主要介绍了基于摄像头的五子棋比赛图像自动识别项目的研究背景及研究意义，以及目前国内和国外的相关研究现状和发展趋势，同时简要介绍了本文的主要研究内容以及本文的组织架构。

第二章主要介绍了摄像头标定及畸变校正有关方面的理论基础。首先，简要介绍了摄像头标定所涉及到的四个坐标系，即世界坐标系、相机坐标系、图像物理坐标系、像素坐标系。其次，简要解释了摄像头的两个主要理论成像模型，即针孔模型^[8]、非线性相机模型^[9]。接着，阐述了目前在相机标定工作中广泛使用的张正友标定法的原理，包括相机内部参数和畸变参数的标定。

第三章主要提及了有关图像预处理工作的一些方法及原理，包括图像去噪、图像RGB单通道的提取、图像灰度化及图像二值化等。接着，解释了进行感兴趣区域提取的方法和原理。

第四章主要介绍了本次课题所涉及的具体工作内容。首先，采用基于MATLAB的张正友标定法对相机的内部参数和畸变参数进行标定。接着介绍了基于确定坐标及尺寸的矩形感兴趣区域的提取，排除除棋盘外的无关干扰。其次，介绍了基于角点检测方法的棋盘格点坐标的获取方法。接着，分别阐述了黑子、白子的提取过程。白子的提取工作包括B分量的提取、图像去噪、图像二值化、图像高级形态学处理，以及白子的轮廓提取和质心坐标获取。黑子的提取工作与白子类似，不同之处在于黑子提取在图像二值化之前需要先进行灰度化处理。然后，基于一定的数学原理对所有棋盘进行旋转变换，对棋盘格点进行进一步的排序处理，以实现与棋子的对应。

第五章主要综合说明了五子棋比赛图像自动识别系统的工作流程，包括落子位置和颜色的识别以及信息编码和智能五子棋agent通信。介绍了websocket通信协议的原理以及基于websocket技术的客户端架构过程，以及如何实现与服务器进行棋盘坐标数据的有效传输。接着，简要介绍了智能五子棋人机对弈系统的框架结构以及五子棋比赛图像自动识别在该系统中的具体分工。最后，阐述了本次设计过程中遇到的一系列问题以及问题的解决方案，并对人工智能的未来进行了展望。

第2章 摄像头标定及畸变校正

2.1 相机模型

2.1.1 立体视觉坐标系

在视觉测量中，我们必须对世界坐标系、相机坐标系、图像物理坐标系及像素坐标系这四个坐标系进行简要定义与阐述。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：