CJH's blog

TSDF：截断符号距离函数 http://t.csdnimg.cn/ZjYQq 如何从零学习基于 TSDF 的三维重建？ - Merce的回答 - 知乎 https://www.zhihu.com/question/486921125/answer/2406613708 1 概念定义 截断符号距离函数（Truncated Signed Distance Function，简称TSDF）是一种用于表示三维空间中物体表面的数据结构。它将空间划分为一个规则的体素网格，并为每个体素存储一个有符号距离值。这个距离值表示该体素中心到物体表面的距离。在物体表面内部的体素具有负值，而在物体表面外部的体素具有正值。为了减少存储和计算的开销，TSDF通常会对距离值进行截断，即只存储距离物体表面一定范围内的体素的距离值。 2 TSDF用途： 三维重建：TSDF常用于从多视角的深度图像重建三维模型。通过将来自不同视角的深度信息融合到一个统一的TSDF表示中，可以生成一个完整且连续的三维模型。 表面提取：TSDF可以用于提取物体表面的三维网格模型。通过在TSDF中找到距离值为零的体素，可以得到物体表面的一个近 ...

Mamba学习 相关资源 [2312.00752] Mamba: Linear-Time Sequence Modeling with Selective State Spaces (arxiv.org) state-spaces/mamba: Mamba SSM architecture (github.com) 非常简洁易读：[2408.01129] A Survey of Mamba (arxiv.org) 简介 在语言、音频、DNA序列模态上都实现SOTA，在最受关注的语言任务上，Mamba-3B超越同等规模的Transformer，与两倍大的Transformer匹敌，并且相关代码、预训练模型checkpoint都已开源 简言之，Mamba是一种状态空间模型(SSM)，建立在更现代的适用于深度学习的结构化SSM (简称S6)基础上，与经典架构RNN有相似之处 Mamba = 有选择处理信息 + 硬件感知算法 + 更简单的SSM架构 与先前的研究相比，Mamba主要有三点创新： 对输入信息有选择性处理(Selection Mechanism) 硬件感知的算法(Hardware ...

Transformer 学习 资源汇总： https://blog.csdn.net/m0_59164304/article/details/140279269 http://t.csdnimg.cn/etfWA 【【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章】https://www.bilibili.com/video/BV13z421U7cs?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】】https://www.bilibili.com/video/BV1TZ421j7Ke?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【超详细】【原理篇&实战篇】一文读懂Transformer-CSDN博客 通俗易懂讲法 Transformer 是一种“超级大脑”，它能处理像句子、歌词、文章这样的连续数据。它非常擅长这些任务，因为它能记住和理解一个句子里的每个单词是如何关联的。这就好比，你和朋 ...

基于超声心动图视频的个性化心脏网格弱监督推理 这一篇十分接近我们的项目！ Weakly supervised inference of personalized heart meshes based on echocardiography videos - ScienceDirect https://github.com/laumerf/4DHeartModel 0 摘要 超声心动图可记录心腔的大小和功能，是心脏病无创诊断的主要工具。它产生的高维视频数据在测量中具有很大的随机性，这常常被证明是难以解释的。为了解决这一挑战，我们提出了一种自动化框架，以能够从2D超声心动图视频数据推断心脏结构的高分辨率个性化4D（3D加时间）表面网格。推断这样的形状模型作为实现心腔形态和功能的自动评估的精确个性化模拟的关键步骤而出现。提出的方法仅使用未配对的超声心动图和心脏网格视频进行训练，以自监督的方式找到这些不同视觉域之间的映射。所得模型产生个性化的4D心脏网格，其表现出与输入超声心动图视频的高度一致性。此外，4D心脏网格能够以高时间分辨率自动提取超声心动图变量，例如射血分数、心肌质量和心室容积随时间 ...

论文精读（六）GIFS: Neural Implicit Function for General Shape Representation 项目页：GIFS: Neural Implicit Function for General Shape Representation (jianglongye.com) 摘要 近年来，神经隐式函数在高质量三维形状重建方面取得了巨大的成功。然而，大多数作品将空间划分为形状的内部和外部，这将其表现力限制在单层和不透水的形状上。此限制会导致冗长的数据处理（将不严密的原始数据转换为严密的）以及无法表示真实的世界中的一般对象形状。 本文提出了一种新的形状表示方法，用于表示非防水形状和多层曲面形状。我们引入了通用的三维形状隐函数GIFS（GeneralImplicitFunctionfor 3DShape），它以点与面之间的关系代替点与面之间的关系。GIFS不是将3D空间划分为预定义的内部-外部区域，而是对两个点是否被任何表面分隔进行编码。在ShapeNet上的实验结果表明，GIFS在重建质量、绘制效率和视觉逼真度等方面均优于其他方法. 1. 引言 3D形 ...

论文精读（五）Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes 资源 代码：cscvlab/UODFs: The implementation of our CVPR 2024 paper “Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes.” (github.com) 需要的知识：SDF,UDF SDF 带符号距离场 距离场：给定一个空间中的几何形状，对于空间中的每一个点，可以计算该点到几何形状的最小距离。所有这些最小距离的集合就是距离场。 符号：带符号距离场不仅表示距离，还会根据点相对于几何形状的位置添加符号。通常，距离场的符号规定如下： 如果一个点位于几何形状的外部，其距离为正值。 如果一个点位于几何形状的内部，其距离为负值。 如果一个点恰好位于几何形状的边界上，其距离为零。 ...

GAN Generative adversarial network 生成对抗网络 参考资料 http://t.csdnimg.cn/qCodZ 【生成对抗网络GAN原理解析】https://www.bilibili.com/video/BV1nA4m1N74j?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 预备知识 GAN的全称是Generative adversarial network，中文翻译过来就是生成对抗网络。生成对抗网络其实是两个网络的组合：生成网络(Generator)负责生成模拟数据；判别网络(Discriminator)负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗网络。 以下内容来自chatgpt3.5。 1. GAN的基本结构 生成器（Generator）：负责生成假数据。生成器接收随机噪声（通常是从正态分布或均匀分布中采样的向量）作为输入，并输出假数据（如图像）。 判别器（Discriminator）：负 ...

论文精读（四）3D Gaussian Splatting for Real-Time Radiance Field Rendering 2023年8月siggraph的best paper 论文链接：3D Gaussian Splatting for Real-Time Radiance Field Rendering (inria.fr) 代码：graphdeco-inria/gaussian-splatting: Original reference implementation of “3D Gaussian Splatting for Real-Time Radiance Field Rendering” (github.com) 【3D Gaussian Splatting原理速通(一)–三维高斯概念】https://www.bilibili.com/video/BV11e411n79b?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【【较真系列】讲人话-3d gaussian splatting全解(原理+代码+公式)【1】 捏雪球】 ...

论文精读（三）NeRF: representing scenes as neural radiance fields for view synthesis 原文链接：NeRF: representing scenes as neural radiance fields for view synthesis: Communications of the ACM: Vol 65, No 1 Paper：arxiv.org/pdf/2003.08934 github：bmild/nerf: Code release for NeRF (Neural Radiance Fields) (github.com) Authors: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren NgAuthors Info & Claims **Paper：**Published: 2020 3 相关资料 【十分钟带你快速入门NeRF原理】https://www. ...

Ablation study（消融研究、消融学习、消融实验) 原文链接：https://blog.csdn.net/flyfish1986/article/details/104812229 一文搞懂什么是ablation study (消融实验） - 知乎 (zhihu.com) Ablation study 今天阅读paper，遇到ablation study，ablation study可以译作：消融研究、消融学习、消融实验。那什么是ablation study，就查阅了一下，原来ablation study差不多就是初高中常说的控制实验变量方法。 比如说你为了提升baseline的性能，给它加了两个模块A,B，加完之后效果果然提高了很多。 于是你急急忙忙开始写论文，写到你的贡献，你给了两条：1.模块A，2.模块B。 但是这样写有个问题：尽管AB同时加上去对模型有提升效果，但是你并没有证明A、B两个模块分别都是有意义的，所以就需要用Ablation study来做更细致的研究。借用知乎上的易懂的描述ablation study就是： 1234为了提升baseline的性能，给它 ...