CJH's blog

三维重建学习（七）运动恢复结构（SfM）系统解析 回顾 单应矩阵 单应矩阵–空间平面在两个摄像机下的投影几何。 捆绑调整BA（Bundle Adjustment） 恢复结构和运动的非线性方法。 P3P求解摄像机位姿 核心思路： 求解A,B,C三点在当前摄像机坐标系上的坐标； 通过A,B,C在当前摄像机下的坐标以及其在世界坐标系下的坐标，估计摄像机相对于世界坐标系的旋转与平移。 SfM系统 输入输出 输入：多张图片 输出：3D点云（structure），摄像机位姿（motion） 问题描述 已知：三维场景的m张图像以及每张图像对应的摄像机内参数矩阵Ki(i=1,...,m)K_i(i=1,...,m)Ki​(i=1,...,m) 求解： 三维场景结构，即三维场景点坐标Xj(j=1,...,n)X_j(j=1,...,n)Xj​(j=1,...,n)； m个摄像机的外参数RiR_iRi​及Ti（i=1,...,m）T_i（i=1,...,m）Ti​（i=1,...,m） 特征提取SIFT 相当于为每个像素提取一个梯度方向，并累加。所有梯度方向做累加，看最大的方向 ...

三维重建学习（一）摄像机几何 计算机视觉之三维重建（1）—摄像机几何_摄像机像平面-CSDN博客 【2022B站最好最全的【三维重建】课程！！！北邮教授竟然把三维重建讲的如此通俗易懂，学不会UPZHIJIE 退网下架！！！-人工智能/计算机视觉/三维重建】https://www.bilibili.com/video/BV1DP41157dB?p=4&vd_source=bd967f0d540a64617b8b612bc0f0f9a3 针孔摄像机 基本上就是初中学习的小孔成像的原理。注意，我们平常所说的照片直接就是“虚拟像平面”，不用正负号。 小孔成像模型，运用了相似三角形原理。k方向也就是常说的z方向，深度方向。下面这张图演示了从jok面上做的二维映射。 加了透镜提高亮度，还是相似三角形原理。 物体聚焦有特定距离，如果实际物体过近，会导致失焦。 透镜还会产生畸变。 径向畸变：图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中的像发生形变。 枕形畸变 桶形畸变 拿不到连续的图片，只能拿到像素点。 坐标系变化需要修正，从摄像机坐标系-》像平面坐标系- ...

随机微分方程 http://t.csdnimg.cn/SBEU0 随机微分方程（Stochastic Differential Equation, SDE）是一类包含随机过程的微分方程，用于描述系统在噪声或随机扰动影响下的动态行为。随机微分方程的形式通常可以表示为： dXt=μ(Xt,t)dt+σ(Xt,t)dWtdX_t = \mu(X_t, t)dt + \sigma(X_t, t)dW_tdXt​=μ(Xt​,t)dt+σ(Xt​,t)dWt​ 其中： XtX_tXt​ 是随时间 ttt 变化的随机过程。 $\mu(X_t, t) $是漂移系数，决定了系统的确定性趋势。 σ(Xt,t)\sigma(X_t, t)σ(Xt​,t)是扩散系数，控制了随机扰动的强度。 dWtdW_tdWt​ 是一个标准的维纳过程（Wiener process），也称为布朗运动，表示随机噪声。 随机微分方程在金融、物理、生物等领域中有广泛的应用。例如，布朗运动模型、金融市场中的股价模型（如Black-Scholes模型）等都可以通过随机微分方程来描述。解随机微分方程的主要方法包括伊藤积分和斯特拉托诺 ...

TSDF：截断符号距离函数 http://t.csdnimg.cn/ZjYQq 如何从零学习基于 TSDF 的三维重建？ - Merce的回答 - 知乎 https://www.zhihu.com/question/486921125/answer/2406613708 1 概念定义 截断符号距离函数（Truncated Signed Distance Function，简称TSDF）是一种用于表示三维空间中物体表面的数据结构。它将空间划分为一个规则的体素网格，并为每个体素存储一个有符号距离值。这个距离值表示该体素中心到物体表面的距离。在物体表面内部的体素具有负值，而在物体表面外部的体素具有正值。为了减少存储和计算的开销，TSDF通常会对距离值进行截断，即只存储距离物体表面一定范围内的体素的距离值。 2 TSDF用途： 三维重建：TSDF常用于从多视角的深度图像重建三维模型。通过将来自不同视角的深度信息融合到一个统一的TSDF表示中，可以生成一个完整且连续的三维模型。 表面提取：TSDF可以用于提取物体表面的三维网格模型。通过在TSDF中找到距离值为零的体素，可以得到物体表面的一个近 ...

Mamba学习 相关资源 [2312.00752] Mamba: Linear-Time Sequence Modeling with Selective State Spaces (arxiv.org) state-spaces/mamba: Mamba SSM architecture (github.com) 非常简洁易读：[2408.01129] A Survey of Mamba (arxiv.org) 简介 在语言、音频、DNA序列模态上都实现SOTA，在最受关注的语言任务上，Mamba-3B超越同等规模的Transformer，与两倍大的Transformer匹敌，并且相关代码、预训练模型checkpoint都已开源 简言之，Mamba是一种状态空间模型(SSM)，建立在更现代的适用于深度学习的结构化SSM (简称S6)基础上，与经典架构RNN有相似之处 Mamba = 有选择处理信息 + 硬件感知算法 + 更简单的SSM架构 与先前的研究相比，Mamba主要有三点创新： 对输入信息有选择性处理(Selection Mechanism) 硬件感知的算法(Hardware ...

Transformer 学习 资源汇总： https://blog.csdn.net/m0_59164304/article/details/140279269 http://t.csdnimg.cn/etfWA 【【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章】https://www.bilibili.com/video/BV13z421U7cs?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】】https://www.bilibili.com/video/BV1TZ421j7Ke?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【超详细】【原理篇&实战篇】一文读懂Transformer-CSDN博客 通俗易懂讲法 Transformer 是一种“超级大脑”，它能处理像句子、歌词、文章这样的连续数据。它非常擅长这些任务，因为它能记住和理解一个句子里的每个单词是如何关联的。这就好比，你和朋 ...

基于超声心动图视频的个性化心脏网格弱监督推理 这一篇十分接近我们的项目！ Weakly supervised inference of personalized heart meshes based on echocardiography videos - ScienceDirect https://github.com/laumerf/4DHeartModel 0 摘要 超声心动图可记录心腔的大小和功能，是心脏病无创诊断的主要工具。它产生的高维视频数据在测量中具有很大的随机性，这常常被证明是难以解释的。为了解决这一挑战，我们提出了一种自动化框架，以能够从2D超声心动图视频数据推断心脏结构的高分辨率个性化4D（3D加时间）表面网格。推断这样的形状模型作为实现心腔形态和功能的自动评估的精确个性化模拟的关键步骤而出现。提出的方法仅使用未配对的超声心动图和心脏网格视频进行训练，以自监督的方式找到这些不同视觉域之间的映射。所得模型产生个性化的4D心脏网格，其表现出与输入超声心动图视频的高度一致性。此外，4D心脏网格能够以高时间分辨率自动提取超声心动图变量，例如射血分数、心肌质量和心室容积随时间 ...

论文精读（六）GIFS: Neural Implicit Function for General Shape Representation 项目页：GIFS: Neural Implicit Function for General Shape Representation (jianglongye.com) 摘要 近年来，神经隐式函数在高质量三维形状重建方面取得了巨大的成功。然而，大多数作品将空间划分为形状的内部和外部，这将其表现力限制在单层和不透水的形状上。此限制会导致冗长的数据处理（将不严密的原始数据转换为严密的）以及无法表示真实的世界中的一般对象形状。 本文提出了一种新的形状表示方法，用于表示非防水形状和多层曲面形状。我们引入了通用的三维形状隐函数GIFS（GeneralImplicitFunctionfor 3DShape），它以点与面之间的关系代替点与面之间的关系。GIFS不是将3D空间划分为预定义的内部-外部区域，而是对两个点是否被任何表面分隔进行编码。在ShapeNet上的实验结果表明，GIFS在重建质量、绘制效率和视觉逼真度等方面均优于其他方法. 1. 引言 3D形 ...

论文精读（五）Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes 资源 代码：cscvlab/UODFs: The implementation of our CVPR 2024 paper “Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes.” (github.com) 需要的知识：SDF,UDF SDF 带符号距离场 距离场：给定一个空间中的几何形状，对于空间中的每一个点，可以计算该点到几何形状的最小距离。所有这些最小距离的集合就是距离场。 符号：带符号距离场不仅表示距离，还会根据点相对于几何形状的位置添加符号。通常，距离场的符号规定如下： 如果一个点位于几何形状的外部，其距离为正值。 如果一个点位于几何形状的内部，其距离为负值。 如果一个点恰好位于几何形状的边界上，其距离为零。 ...

GAN Generative adversarial network 生成对抗网络 参考资料 http://t.csdnimg.cn/qCodZ 【生成对抗网络GAN原理解析】https://www.bilibili.com/video/BV1nA4m1N74j?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 预备知识 GAN的全称是Generative adversarial network，中文翻译过来就是生成对抗网络。生成对抗网络其实是两个网络的组合：生成网络(Generator)负责生成模拟数据；判别网络(Discriminator)负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗网络。 以下内容来自chatgpt3.5。 1. GAN的基本结构 生成器（Generator）：负责生成假数据。生成器接收随机噪声（通常是从正态分布或均匀分布中采样的向量）作为输入，并输出假数据（如图像）。 判别器（Discriminator）：负 ...