介绍、比较和评估开源三维重建算法
最近接触了密集重建,跑了几个开源框架,看了重建的效果。想深入了解框架的算法和效果比较。所以我找到了这篇文章:OPEN-SOURCE IMAGE-BASED 3D RECONSTRUCTION PIPELINES: REVIEW, COMPARISON AND EVALUATION
开源项目
VisualSfM最早使用一体GUI该工具由开源工具制成Wu等人发展,整合名气PMVS/CMVS密集重建方法。 在过去的十年里,许多人提供了完整的独立三维重建过程,如COLMAP、MVS或者MVE。前面提到的Opensource解决方案主要由计算机视觉社区开发,目标更广D因此,重建观众的主要目的不是指准确性,而是从任何规模和低几何质量的混乱图像中恢复现实的3D模型。另一方面,MicMac3是一个完全开放的摄影测量过程,可以处理GCP和相机约束。
这篇文章主要是对的 openMVS 、 COLMAP 和 AliceVision 三个开源工具进行了评估和分析。三个开源流程之间的数据转换基本上已经由开发人员写成脚本工具了,如下表所示:
COLMAP
Colmap它是一个开源的三维重建库,实现了改进SFM和MVS还有图形用户界面,可以促进非专业人士的使用。以数据库结构格式存储项目信息。众所周知,提取和匹配特征点SIFT并提供算法CPU和GPU然后列出暴力匹配、顺序匹配、词典树、空间匹配、传输匹配和自定义匹配等广泛的功能匹配选项。若存在有效的几何映射(单应性矩阵或基本矩阵),则可验证图像对,从而逐步创建场景图。colmap中SFM该过程从严格的初始图像选择开始实现增量SFM,并采用鲁棒次优视图选择法,然后进行多视图三角剖分。使用捆绑调整Ceres和全局BA的方式来改善对相机和三维点的估计,避免出现漂移现象。 基于多视图立体重建(Zheng等,2014年实现框架,基于框架使用probabilistic patch-based stereo方法(Sch?nberger等,2016a)实现。
OpenMVG OpenMVS
OpenMVG基于标准的多视图几何原理提供了完整和整洁SFM流程。特征检测和描述是通过特征检测和描述的SIFT和Akaze也可以使用不变区域的检测和描述(Xu等,2014;Nistér和Stewénius,2008)。特征匹配包括经典的暴力匹配,ANN-kD树和哈希。图像对几何验证和Colmap方法几乎一致。可使用增量(Moulon等,2012)或Global(Moulon等等,2013)计算稀疏重建方法,然后使用ceres捆绑调整求解器。我们考虑了这个过程组合patch-based stereo该方法用于大规模场景OpenMVS图书馆密集重建(shen,2013)。
相关评估结果
请自己检查论文的具体结果。这种比较方法是否有效还有待讨论,还是要分析具体场景。
相关论文
[1] Wu, C., 2013. Towards linear-time incremental structure from motion. In Proc. 3DV, pp. 127-134. [2] Wu, C., Agarwal, S., Curless, B. and Seitz, S.M., 2011. Multicore bundle adjustment. In Proc. CVPR, pp. 3057-3064. [3] Furukawa, Y. and Ponce, J., 2009. Accurate, dense, and robust multiview stereopsis. IEEE transactions on pattern analysis and machine intelligence, Vol. 32(8), pp.1362-1376. [4] Furukawa, Y., Curless, B., Seitz, S.M. and Szeliski, R., 2010. Towards internet-scale multi-view stereo. In Proc. CVPR, pp. 1434-1441.
[1] Moulon, P., Monasse, P., Perrot, R. and Marlet, R., 2016. OpenMVG: Open multiple view geometry. In International Workshop on Reproducible Research in Pattern Recognition, pp. 60-74. [2] Moulon, P., Monasse, P. and Marlet, R., 2013. Global fusion of relative motions for robust, accurate and scalable structure from motion. In Proc. IEEE ICCV, pp. 3248-3255. [3] Moulon, P., Monasse, P. and Marlet, R., 2012. Adaptive structure from motion with a contrario model estimation. In Asian Conference on Computer Vision, pp. 257-270, Springer, Berlin, Heidelberg. [4] Moulon, P. and Monasse, P., 2012. Unordered feature tracking made fast and easy. In CVMP 2012. [5] Sweeney, C., Hollerer, T. and Turk, M., 2015. Theia: A fast and scalable structure-from-motion library. In Proceedings of the 23rd ACM Int. Conf. on Multimedia, pp. 693-696. ACM. [6] Shen, S., 2013. Accurate multiple view 3D reconstruction using patch-based stereo for large-scale scenes. IEEE Transactions on Image Processing, Vol. 22(5), pp.1901-1914.
[1] Sch?nberger, J.L. and Frahm, J.M., 2016. Structure-from-motion revisited. In Proc. CVPR, pp. 4104-4113.() [2] Sch?nberger, J.L., Zheng, E., Frahm, J.M. and Pollefeys, M., 2016a. Pixelwise view selection for unstructured multi-view stereo. In Proc. ECCV, pp. 501-518.() [3] Sch?nberger, J.L.; Price, T.; Sattler, T.; Frahm, J.M.; Pollefeys, M., 2016b. A vote-and-verify strategy for fast spatial verification in image retrieval. In Asian Conference on Computer Vision, pp. 321-337. [4] Sch?ps, T., Sch?nberger, J.L., Galliani, S., Sattler, T., Schindler, K.,Pollefeys, M. and Geiger, A., 2017. A multi-view stereo benchmark with high-resolution images and multi-camera videos. In Proc. CVPR, pp. 3260-3269. [5] Zheng, E., Dunn, E., Jojic, V. and Frahm, J.M., 2014. Patchmatch based joint view selection and depthmap estimation. In Proc. CVPR, pp. 1510- 1517.