1．目的及意义
随着激光雷达和深度摄像头的发展，点云数据的获取变得更加简单，对点云数据的处理也越来越受关注，例如点云的分割可以用在无人驾驶汽车和医学图像处理等领域，因而设计出有效的点云分割算法具有重要的实际意义。虽然自从深度学习提出以后，其在图像处理和自然语言处理等方面取得了巨大的成功。但是由于点云数据的特性，例如点的位置不固定而难以直接运用卷积操作，且对点云的处理方法需要具备点云的排列不变型，即对于不同顺序的点云表示的是同一物体，故如何将深度神经网络运用于三维的点云数据上则依然是一个难题。目前对点云的处理方法主要有三种，第一种是对三维空间进行网格划分，然后在网格上进行三维的卷积来提取局部特征，进而构建深度神经网络，由于网络受到计算机内存和计算量的限制，网格难以分割的很小来提高精度；第二种是将三维的点云映射成多组二维的图像，然后在二维图像使用深度卷积神经网络，这类方法优点在于可以利用已经在二维图像上取得很好效果的卷积网络，也可以用大量的图片训练集做预训练，但是从三维到二维的映射过程中会损失点云的信息；第三种是直接通过深度神经网络处理点云，其代表方法为Charles R. Qi等人提出的PointNet，这类方法通过构造具有排列不变形的网络来直接对点云分割，实现了端到端的可训练网络，并且取得了比以往方法更高的分割正确率。由于直接通过深度神经网络处理点云的方法近年来才被提出，目前国内的研究任然较少，但也有一些重要贡献，例如上海交通大学的卢策吾团队提出的PointSIFT网络，将图片特征提取领域广泛应用的尺度不变特征变换算法（SIFT）运用到了三维的点云处理中，设计了方向编码单元，有效的增强了网络特征提取的能力，并在公开数据集上取得了很好的分割正确率。本设计目的即是在PointNet的基础上，研究直接通过深度神经网络对点云数据进行语义分割的算法，并在公开的点云数据集上实现语义分割，验证算法的有效性。{title}

2. 研究的基本内容与方案

{title}

设计主要内容和目标
（1）对基于深度学习的三维点云语义分割问题进行研究
（2）研究基于深度学习的点云分割分类方法，并在现有算法的基础上设计出改进的点云语义分割算法
（3）设计深度神经网络，编写程序实现所设计的算法，并验证其可行性
采用的技术方案
（1）为提高程序可扩展性和减少出错的可能，使用现有的神经网络框架，例如tensorflow，caffe，pytorch等实现点云分割的深度神经网络。由于框架集成了很多基础的网络层，且能根据网络结构自动实现反向传播训练网络，提高了构建网络的效率。
（2）由于点云数据量较大且深度神经网络结构复杂，通过GPU训练神经网络，提高训练速度，从而使得训练更加复杂的网络成为可能
（3）通过公开的点云数据集，例如斯坦福室内三维数据集来比较不同算法的效果，能够在更加多样的数据上更加真实的反应分割算法的性能，而大量的数据也有利于深度神经网络的训练，同时也省去了收集数据的工作

3. 参考文献

[1] Grilli E,Menna F, Remondino F. a Review of Point Clouds Segmentation and ClassificationAlgorithms[J]. ISPRS - International Archives of the Photogrammetry, RemoteSensing and Spatial Information Sciences, 2017, XLII-2/W3:339-344.

[2] Roynard X, Deschaud J E, Goulette F. Paris-Lille-3D: a large andhigh-quality ground truth urban point cloud dataset for automatic segmentationand classification[J]. International Journal of Robotics Research,2017(185):027836491876750.

[3] Charles R Q , Su H, Kaichun M , et al. PointNet: Deep Learning on Point Sets for 3DClassification and Segmentation[C]// 2017 IEEE Conference on Computer Visionand Pattern Recognition (CVPR). IEEE Computer Society, 2017.

[4]Yu T , Meng J , Yuan J . Multi-viewHarmonized Bilinear Network for 3D Object Recognition[C]// 2018 IEEE/CVFConference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2018.

[5]Schilling R J, Carroll J J, Al-AjlouniA F. Approximation of nonlinear systems with radial basis function neuralnetworks[J]. IEEE Transactions on neural networks, 2001, 12(1): 1-15.

[6] HuaB S, Tran M K, Yeung S K. Pointwise convolutional neuralnetworks[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition. 2018: 984-993.

[7] HuangQ, Wang W, Neumann U. Recurrent slice networks for 3d segmentation of pointclouds[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition. 2018: 2626-2635.

[8] WangW, Yu R, Huang Q, et al. Sgpn: Similarity group proposal network for 3d pointcloud instance segmentation[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition. 2018: 2569-2578.