三维重建业内相关知识(论文写作作业1)
课题:三维重建 / 心脏超声的三维重建
1 顶级期刊或会议
1.1 CVPR(会议)
全称:IEEE Conference on Computer Vision and Pattern Recognition
出版商:IEEE
领域:计算机视觉和模式识别
时间:一年一度
CCF A类
1.2 ICCV (会议)
全称:International Conference on Computer Vision
出版商:IEEE
领域:计算机视觉
时间:两年一度
CCF A类
1.3 ECCV(会议)
全称:European Conference on Computer Vision
出版商:Springer Verlag
领域:计算机视觉
时间:每两年召开一次,与ICCV正好错开
CCF B类
1.4 WACV
全称:IEEE Winter Conference on Applications of Computer Vision)
领域:计算机视觉
时间:每年冬天,美国本土
CCF B类
1.5 TPAMI(期刊)
全称:IEEE Transactions on Pattern Analysis and Machine Intelligence
出版商:IEEE
领域:计算机科学
影响因子:20.8
SCI升级版 计算机科学1区,SCI基础版 工程技术1区,CCF A类, 中科院1区。
2 代表性和前沿论文的引文信息
2.1 Deep Residual Learning for Image Recognition
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun;Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778
2.2 OReX: Object Reconstruction From Planar Cross-Sections Using Neural Fields
Haim Sawdayee, Amir Vaxman, Amit H. Bermano; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 20854-20862
2.3 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction
Choy, C.B., Xu, D., Gwak, J., Chen, K., Savarese, S. (2016). 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds) Computer Vision – ECCV 2016. ECCV 2016. Lecture Notes in Computer Science(), vol 9912. Springer, Cham. https://doi.org/10.1007/978-3-319-46484-8_38
2.4 Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images
Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, Yu-Gang Jiang; Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 52-67
2.5 Long short-term memory.
Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural compu-
tation, 9(8):1735–1780, 1997.
2.6 Structure-from-motion revisited
VJohannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-motion revisited.
In Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
3 国内外顶级课题组leader信息
3.1 沈琳琳
沈琳琳,博士,教授,博导。深圳大学大数据系统计算技术国家工程实验室副主任、计算机视觉研究所所长。
Email:llshen@szu.edu.cn
上海交通大学学士、硕士,受英国政府海外研究奖学金资助在诺丁汉大学获得博士学位,博士期间获得“国家优秀自费留学生”奖励。2015-2023连续9年被爱思唯尔出版社评为计算机学科“中国高被引学者”,2020-2022连续入围斯坦福大学“科学影响力全球前2%科学家榜单”,research.com计算机学科学者排名中国前500,世界前5000。现为深圳市“鹏城学者”特聘教授、英国诺丁汉大学计算机学院荣誉教授、宁波诺丁汉大学计算机系、温州肯恩大学计算机系访问教授、澳门大学杰出访问学者;大数据系统计算技术国家工程实验室副主任、广东省教育厅中英合作视觉信息处理实验室主任、深圳大学计算机视觉研究所所长、深圳大学医学影像智能分析与诊断研究中心主任、华为公司计算机视觉算法顾问。期刊《Cognitive Computation and Systems》常务副主编(Co-Editor-in-Chief)、《Expert Systems with Applications》副编辑(Associate Editor)。研究方向主要为深度学习理论及其在人脸识别/分析以及医学图像分析上的应用,作为负责人连续主持国家自然科学基金重大研究计划、国际合作研究、面上项目等5项,发表学术论文300余篇。
IEEE高级会员,入选江西省“双千计划”创新领军人才(短期)、广东省高校千百十工程培养对象(省级),深圳市高层次“地方领军人才”、深圳市海外高层次“孔雀计划”人才,深圳市十佳青年教师。科研成果先后获得吴文俊人工智能自然科学奖,中国电子学会、广东省和深圳市自然科学奖。人脸识别论文曾获国际期刊《Image and Vision Computing》最多他引论文奖。开发的人脸识别算法曾获ICPR算法测试亚军,开发的细胞荧光图像分类算法连续获得IEEE ICIP 2013、ICPR 2016国际细胞图像分类算法大赛冠军,目标检测算法获得MICCAI 2018细胞核检测比赛季军、2021年科大迅飞遥感影像典型目标提取挑战赛决赛季军。
Google Scholar 引用 10585,H指数50 https://scholar.google.com/citations?user=AZ_y9HgAAAAJ
所有论文 DBLP 网址: https://dblp.org/pid/88/5607.html
项目和代码网址: http://github.com/cvi-szu
3.2 Prof. Dr. Marc Pollefeys
苏黎世联邦理工学院和微软苏黎世混合现实和人工智能实验室主任
Computer Vision and Geometry Group | Prof. Dr. Marc Pollefeys (ethz.ch)
Short Bio
Marc Pollefeys is a Professor of Computer Science at ETH Zurich and the Director of the Microsoft Mixed Reality and AI Lab in Zurich where he works with a team of scientists and engineers to develop advanced perception capabilities for HoloLens and Mixed Reality. He was elected Fellow of the IEEE in 2012. He obtained his PhD from the KU Leuven in 1999 and was a professor at UNC Chapel Hill before joining ETH Zurich.
He is best known for his work in 3D computer vision, having been the first to develop a software pipeline to automatically turn photographs into 3D models, but also works on robotics, graphics and machine learning problems. Other noteworthy projects he worked on are real-time 3D scanning with mobile devices, a real-time pipeline for 3D reconstruction of cities from vehicle mounted-cameras, camera-based self-driving cars and the first fully autonomous vision-based drone. Most recently his academic research has focused on combining 3D reconstruction with semantic scene understanding.
Curriculum vitae - short version [pdf] extended version[pdf]
Research interests
Computer vision; 3D-from-video; (self-)calibration; structure-from-motion; simultaneous-localization and mapping (SLAM); camera tracking; camera networks; active vision; robot vision; multiple view geometry; omnidirectional vision; projector-camera systems; image-based modeling and rendering; video-based rendering; computational photography; image and video analysis; applications of computer vision to archaeology, urban modeling, terrain modeling, human-computer interaction, robotics, entertainment, medecine, etc.
[see research page]
3.3 Michael Kaess
卡内基梅隆大学Robot Perception Lab
Associate Professor
Robotics Institute (RI)
School of Computer Science (SCS)
Carnegie Mellon University (CMU)
Field Robotics Center (FRC) and Computer Vision Group (CV)
Director, Robot Perception Lab (RPL)
5000 Forbes Ave, Room CIC LL42
Pittsburgh, PA 15213-3890
Phone: (412)268-6905, Email: kaess@cmu.edu
I am interested in mobile robot autonomy. One of the first problems encountered when robots operate outside controlled factory and research environments is the need to perceive their surroundings. My research focuses on efficient inference at the connection of linear algebra and probabilistic graphical models for 3D mapping and localization.
I have previously been a Research Scientist and a Postdoctoral Associate at the Massachusetts Institute of Technology (MIT), in John Leonard‘s Marine Robotics Lab. In 2008 I have received my PhD in Computer Science from the Georgia Institute of Technology, advised by Frank Dellaert.
4 国内外研究现状
随着科学界的跨国交流与合作越来越密切,我认为研究分为国内国外是不具备科学性的。按照时间以及表现得分的研究现状研究分析才具有逻辑性与科学性。下面我将简单展示国内外在三维重建中的创新型研究。
4.1 国内
对于3D重建这项任务而言,我们国家位于世界前列。比较具有创新性的有:
Wang N在2018年提出了Pixel2Mesh,可通过单视图生成3d网格模型。
哈尔滨工业大学的Haozhe Xie在2019年提出了Pix2Vox,仅通过当单个或多个视角结合了上下文融合技术即可生成质量高的体素3D模型。同时在2020年提出了Pix2Vox++,支持更高分辨率的重建。
清华大学的Haoqiang Fan等人提出了PSGN,从单个图像生成点云网络。
中国科学技术大学与不列颠哥伦比亚大学Dan Wang等人在2021年提出了VoiT,即利用tansformer进行多视图三维重建。
每年都有大量的国人在顶会顶刊中发布新的方法以及对现有方法的改进。国家也投入了大量的政策支持和经济支持。通过企业与高效结合,科研与产业结合推动技术发展。比如近期热门的萝卜快跑中智能驾驶技术,就有对三维场景重建以及场景理解的技术。
4.2 国外
2016年Choy CB提出的3D-R2N2模型,使得人们高度关注当今流行的网络架构在三维重建的使用。通过接收对象及其边界框的一张或多张图像作为输入,在体素空间中生成对象的 3D 模型。 他们提出了两种网络结构; 第一个模型没有返回连接并且更浅。 第二种模型更深并且具有返回连接。 两种模型都具有三个主要部分。 这些部分包括:编码器、3D 卷积 LSTM 和解码器。 编码器部分将每个输入图像编码为1024维向量。 然后将该向量输入 3D 卷积 LSTM,该 LSTM 由 4 × 4 × 4 修改后的 LSTM 单元网格组成。
2017年Tatarchenko提出的OGN模型,八叉树生成网络为业内带来对于三维表示的启迪。八叉树生成网络具有基于编码器-解码器的结构。 编码阶段之后,解码器生成粗略的低分辨率 3D 模型。 然后通过一些八叉树生成层来提高分辨率。 这些层中的每一层根据每个体素是否被占用将其分为八个部分。 如果体素为空,则图层不会对其进行细分,从而节省内存。 另一方面,如果输入体素被占用,则它被分成更小的部分。
2019年Park JJ等人提出了DeepSDF,使用三维的隐式表达来进行深度学习,得到了很好的结果。
对于场景的三维重建如:NeRF(2020 UC Berkeley)和3D高斯泼溅(2023 法国蔚蓝海岸大学)相关的论文也在顶刊顶会频繁刷榜。