CJH's blog

论文精读（四）3D Gaussian Splatting for Real-Time Radiance Field Rendering 2023年8月siggraph的best paper 论文链接：3D Gaussian Splatting for Real-Time Radiance Field Rendering (inria.fr) 代码：graphdeco-inria/gaussian-splatting: Original reference implementation of “3D Gaussian Splatting for Real-Time Radiance Field Rendering” (github.com) 【3D Gaussian Splatting原理速通(一)–三维高斯概念】https://www.bilibili.com/video/BV11e411n79b?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【【较真系列】讲人话-3d gaussian splatting全解(原理+代码+公式)【1】 捏雪球】 ...

论文精读（三）NeRF: representing scenes as neural radiance fields for view synthesis 原文链接：NeRF: representing scenes as neural radiance fields for view synthesis: Communications of the ACM: Vol 65, No 1 Paper：arxiv.org/pdf/2003.08934 github：bmild/nerf: Code release for NeRF (Neural Radiance Fields) (github.com) Authors: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren NgAuthors Info & Claims **Paper：**Published: 2020 3 相关资料 【十分钟带你快速入门NeRF原理】https://www. ...

Ablation study（消融研究、消融学习、消融实验) 原文链接：https://blog.csdn.net/flyfish1986/article/details/104812229 一文搞懂什么是ablation study (消融实验） - 知乎 (zhihu.com) Ablation study 今天阅读paper，遇到ablation study，ablation study可以译作：消融研究、消融学习、消融实验。那什么是ablation study，就查阅了一下，原来ablation study差不多就是初高中常说的控制实验变量方法。 比如说你为了提升baseline的性能，给它加了两个模块A,B，加完之后效果果然提高了很多。 于是你急急忙忙开始写论文，写到你的贡献，你给了两条：1.模块A，2.模块B。 但是这样写有个问题：尽管AB同时加上去对模型有提升效果，但是你并没有证明A、B两个模块分别都是有意义的，所以就需要用Ablation study来做更细致的研究。借用知乎上的易懂的描述ablation study就是： 1234为了提升baseline的性能，给它 ...

nnU-net nnU-Net（No New U-Net）是一种针对医学图像分割任务的深度学习方法，它由德国计算机科学家 Fabian Isensee 等人在 2021 年提出。一个自适应任何新数据集的医学影像分割框架，该框架能根据给定数据集的属性自动调整所有超参数，整个过程无需人工干预。仅仅依赖于朴素的U-Net结构（就是原始U-Net）和鲁棒的训练方案，nnU-Net在六个得到公认的分割挑战中实现了最先进的性能。 论文地址：https://doi.org/10.1038/s41592-020-01008-z 推荐博客： http://t.csdnimg.cn/Vxmhq nnU-Net文档系列0：nnUnet简介 - 知乎 (zhihu.com) nUnet虽然不是新的论文，但是这个框架效果很好。它并没有提出新的网络结构，没有抓人眼球的地方，仅依靠一些技巧，将分割任务进行了大统一，并在很多任务上得到了非常好的成绩上，可以看出作者的功底之深。 对于分割任务，从unet出来之后的几年里，其实在网络结构上已经没有多少的突破了，结构修改越多，反而越容易过拟合。因此作者认为更多的提升其实在于 ...

U-net 参考资料 http://t.csdnimg.cn/IqtSB 论文链接：U-Net: Convolutional Networks for Biomedical Image Segmentation | SpringerLink 强烈推荐：研习U-Net - 知乎 (zhihu.com) U-net的结构 因为U-net的操作过程如“U”形，故而称为U-net，其具体结构如图8： 若已经理解前面U-net的基础知识，将能更好地看懂整个U-net的结构。首先看一下图例的含义： ①深蓝色箭头：利用3×3的卷积核对图片进行卷积后，通过ReLU激活函数输出特征通道； ②灰色箭头：对左边下采样过程中的图片进行裁剪复制； ③红色箭头：通过最大池化对图片进行下采样，池化核大小为2×2； ④绿色箭头：反卷积，对图像进行上采样，卷积核大小为2×2； ⑤青色箭头：使用1×1的卷积核对图片进行卷积。 该U-net网络一共有四层，分别对图片进行了4次下采样和4次上采样。由于结构部分数字比较多，过程比较繁琐，下面将按照自己的理解尽可能地把整个过程描述清楚。 从最左边开始，输入的是一张572×572 ...

GNN图神经网络 一种用于处理图形数据的深度学习技术。通过一些特别的节点和边的策略，GNN能把图数据变成神经网络能训练的标准格式。在节点分类、边信息传播和图聚类这些任务中，GNN表现得都特别好。 相比于其他的图学习算法，GNN有着特别出色的学习能力，它擅长找到图数据中**节点和边背后隐藏的深层次规律和语义特征。**有了这个强大的能力，GNN在解决各种不同领域的问题时，都可以更准确地预测，结果也更稳定。 参考资料 图神经网络（GNN）最简单全面原理与代码实现！ - 知乎 (zhihu.com) 图神经网络(GNN)原理与应用 (qq.com) 强烈推荐：A Gentle Introduction to Graph Neural Networks (distill.pub) 1. 什么是图数据？在图神经网络中，图数据是以什么形式表示的？ 图数据是由**节点（Node）和边（Edge）**组成的数据，最简单的方式是使用邻接矩阵来表示图形结构，从而捕捉图形中的节点和边的相关性。假设图中的节点数为n，那么邻接矩阵就是一个n*n的矩阵，如果节点之间有关联，则在邻接矩阵中表示为1，无关联则为0。在图 ...

论文精读（二）Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images 2019 哈尔滨工业大学做的，文章通俗易懂。 ICCV 2019 Open Access Repository (thecvf.com) Pix2Vox | Infinite Script 摘要 针对这些问题，构造了一种新的单视图和多视图三维重建框架Pix 2 Vox.通过使用设计良好的编码器-解码器，它从每个输入图像生成粗略的3D体积。然后，引入上下文感知融合模块，以自适应地为每个部分选择高质量重建（例如，桌腿）以获得融合的3D体积。最后，细化器进一步细化融合的3D体积以生成最终输出。在ShapeNet和Pix 3D基准测试上的实验结果表明，Pix 2 Vox算法的性能明显优于现有算法。与3D-R2 N2算法相比，该算法的后向推理速度提高了24倍.在ShapeNet不可见三维类别上的实验表明，该方法具有上级的泛化能力. 1 引言 三维重建是机器人、CAD、虚拟现实和增强现实等领域的重要问题。传统的方法，如运动结构（SfM ...

论文精读（一）Efficient Pix2Vox++ for 3D CardiacReconstruction from 2D Echo Views 高效的Pix2Vox++用于从2D超声视图进行3D心脏重建。 Efficient Pix2Vox++ for 3D Cardiac Reconstruction from 2D Echo Views | SpringerLink 一图流 摘要 我们提出了一个简单的改变Pix2Vox++网络的内存使用量和计算复杂性的大幅减少，并从2D标准心脏视图执行3D解剖重建的方法，有效地使3D解剖重建从有限的2D数据。 我们使用合成生成的数据评估我们的管道，仅从心脏的两个标准解剖2D视图实现准确的3D全心脏重建（峰值交叉联合评分> 0.88）。 1 引言 1.1 动机与背景 2D超声便宜，常用，安全，时间分辨率高但是依赖医生的熟练程度。 3D伪影多，时间空间分辨率差，价格贵。 心脏作为一个3D结构，十分复杂。仅用2D无法捕捉大多数特征，比如心房壁心事壁，瓣膜铰链。心脏运动结合了3D运动中的旋转，垂直运动与位移，捕捉的运动中的2D视图会影响分析。 ...

心脏超声-基本概念 心动超声（Echocardiography），又称为超声心动图，是利用超声波技术对心脏进行成像和检查的一种无创诊断方法。它在临床医学中广泛应用，用于评估心脏的结构和功能，诊断各种心脏病变。以下是对心动超声的详细介绍： 基本原理 心动超声利用高频声波（超声波）穿过身体组织时产生的回声来形成心脏的图像。超声波通过探头（换能器）发射进入体内，当声波遇到不同的组织界面时，会产生反射和散射，探头再接收这些回波信号并转换成图像显示在屏幕上。//多普勒效益 基本类别 M型超声（M-mode） 提供单一超声波束的时间-距离图像，可以详细评估心脏结构的运动，如心脏壁的厚度和瓣膜的运动。 直线扫描。 二维超声（2D Echo） 提供心脏的实时横截面图像，能观察心腔、心肌、心瓣膜等结构的解剖和功能，广泛用于常规心脏检查。 梯形面扫描。 多普勒超声（Doppler Echo） 分为彩色多普勒（Color Doppler）、脉冲波多普勒（PW Doppler）和连续波多普勒（CW Doppler），用于测量血流速度和方向，评估心脏血流动力学情况，诊断瓣膜病变和先天性心脏病。 ...

奇异值分解SVD 参考文献：【【学长小课堂】什么是奇异值分解SVD–SVD如何分解时空矩阵】https://www.bilibili.com/video/BV16A411T7zX?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【特征分解6-奇异值分解】https://www.bilibili.com/video/BV1ePvVe3E8B?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 奇异值分解, 这一篇就够了 奇异值分解（SVD）（Singular Value Decomposition） 笔记 特征分解 A=Vdiag(λ)V−1A = Vdiag(\lambda)V^{-1}A=Vdiag(λ)V−1 奇异值分解A=UΣVTA=U \Sigma V^TA=UΣVT 两者本质相同：使用三个更简单的子矩阵的相乘来表示。 分解的本质：通过分解获取矩阵的核心特征。本质就是用分解后更简单的三个矩阵包含更重要核心的信息。其实也是机器学习和深度学习中特征提取的一种方法。 实例 任意形状的矩阵SVD分解成一个正交矩 ...