CJH's blog

Transformer 学习 资源汇总： https://blog.csdn.net/m0_59164304/article/details/140279269 http://t.csdnimg.cn/etfWA 【【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章】https://www.bilibili.com/video/BV13z421U7cs?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】】https://www.bilibili.com/video/BV1TZ421j7Ke?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【超详细】【原理篇&实战篇】一文读懂Transformer-CSDN博客 通俗易懂讲法 Transformer 是一种“超级大脑”，它能处理像句子、歌词、文章这样的连续数据。它非常擅长这些任务，因为它能记住和理解一个句子里的每个单词是如何关联的。这就好比，你和朋 ...

基于超声心动图视频的个性化心脏网格弱监督推理 这一篇十分接近我们的项目！ Weakly supervised inference of personalized heart meshes based on echocardiography videos - ScienceDirect https://github.com/laumerf/4DHeartModel 0 摘要 超声心动图可记录心腔的大小和功能，是心脏病无创诊断的主要工具。它产生的高维视频数据在测量中具有很大的随机性，这常常被证明是难以解释的。为了解决这一挑战，我们提出了一种自动化框架，以能够从2D超声心动图视频数据推断心脏结构的高分辨率个性化4D（3D加时间）表面网格。推断这样的形状模型作为实现心腔形态和功能的自动评估的精确个性化模拟的关键步骤而出现。提出的方法仅使用未配对的超声心动图和心脏网格视频进行训练，以自监督的方式找到这些不同视觉域之间的映射。所得模型产生个性化的4D心脏网格，其表现出与输入超声心动图视频的高度一致性。此外，4D心脏网格能够以高时间分辨率自动提取超声心动图变量，例如射血分数、心肌质量和心室容积随时间 ...

论文精读（六）GIFS: Neural Implicit Function for General Shape Representation 项目页：GIFS: Neural Implicit Function for General Shape Representation (jianglongye.com) 摘要 近年来，神经隐式函数在高质量三维形状重建方面取得了巨大的成功。然而，大多数作品将空间划分为形状的内部和外部，这将其表现力限制在单层和不透水的形状上。此限制会导致冗长的数据处理（将不严密的原始数据转换为严密的）以及无法表示真实的世界中的一般对象形状。 本文提出了一种新的形状表示方法，用于表示非防水形状和多层曲面形状。我们引入了通用的三维形状隐函数GIFS（GeneralImplicitFunctionfor 3DShape），它以点与面之间的关系代替点与面之间的关系。GIFS不是将3D空间划分为预定义的内部-外部区域，而是对两个点是否被任何表面分隔进行编码。在ShapeNet上的实验结果表明，GIFS在重建质量、绘制效率和视觉逼真度等方面均优于其他方法. 1. 引言 3D形 ...

论文精读（五）Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes 资源 代码：cscvlab/UODFs: The implementation of our CVPR 2024 paper “Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes.” (github.com) 需要的知识：SDF,UDF SDF 带符号距离场 距离场：给定一个空间中的几何形状，对于空间中的每一个点，可以计算该点到几何形状的最小距离。所有这些最小距离的集合就是距离场。 符号：带符号距离场不仅表示距离，还会根据点相对于几何形状的位置添加符号。通常，距离场的符号规定如下： 如果一个点位于几何形状的外部，其距离为正值。 如果一个点位于几何形状的内部，其距离为负值。 如果一个点恰好位于几何形状的边界上，其距离为零。 ...

GAN Generative adversarial network 生成对抗网络 参考资料 http://t.csdnimg.cn/qCodZ 【生成对抗网络GAN原理解析】https://www.bilibili.com/video/BV1nA4m1N74j?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 预备知识 GAN的全称是Generative adversarial network，中文翻译过来就是生成对抗网络。生成对抗网络其实是两个网络的组合：生成网络(Generator)负责生成模拟数据；判别网络(Discriminator)负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗网络。 以下内容来自chatgpt3.5。 1. GAN的基本结构 生成器（Generator）：负责生成假数据。生成器接收随机噪声（通常是从正态分布或均匀分布中采样的向量）作为输入，并输出假数据（如图像）。 判别器（Discriminator）：负 ...

论文精读（四）3D Gaussian Splatting for Real-Time Radiance Field Rendering 2023年8月siggraph的best paper 论文链接：3D Gaussian Splatting for Real-Time Radiance Field Rendering (inria.fr) 代码：graphdeco-inria/gaussian-splatting: Original reference implementation of “3D Gaussian Splatting for Real-Time Radiance Field Rendering” (github.com) 【3D Gaussian Splatting原理速通(一)–三维高斯概念】https://www.bilibili.com/video/BV11e411n79b?vd_source=bd967f0d540a64617b8b612bc0f0f9a3 【【较真系列】讲人话-3d gaussian splatting全解(原理+代码+公式)【1】 捏雪球】 ...

论文精读（三）NeRF: representing scenes as neural radiance fields for view synthesis 原文链接：NeRF: representing scenes as neural radiance fields for view synthesis: Communications of the ACM: Vol 65, No 1 Paper：arxiv.org/pdf/2003.08934 github：bmild/nerf: Code release for NeRF (Neural Radiance Fields) (github.com) Authors: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren NgAuthors Info & Claims **Paper：**Published: 2020 3 相关资料 【十分钟带你快速入门NeRF原理】https://www. ...

Ablation study（消融研究、消融学习、消融实验) 原文链接：https://blog.csdn.net/flyfish1986/article/details/104812229 一文搞懂什么是ablation study (消融实验） - 知乎 (zhihu.com) Ablation study 今天阅读paper，遇到ablation study，ablation study可以译作：消融研究、消融学习、消融实验。那什么是ablation study，就查阅了一下，原来ablation study差不多就是初高中常说的控制实验变量方法。 比如说你为了提升baseline的性能，给它加了两个模块A,B，加完之后效果果然提高了很多。 于是你急急忙忙开始写论文，写到你的贡献，你给了两条：1.模块A，2.模块B。 但是这样写有个问题：尽管AB同时加上去对模型有提升效果，但是你并没有证明A、B两个模块分别都是有意义的，所以就需要用Ablation study来做更细致的研究。借用知乎上的易懂的描述ablation study就是： 1234为了提升baseline的性能，给它 ...

nnU-net nnU-Net（No New U-Net）是一种针对医学图像分割任务的深度学习方法，它由德国计算机科学家 Fabian Isensee 等人在 2021 年提出。一个自适应任何新数据集的医学影像分割框架，该框架能根据给定数据集的属性自动调整所有超参数，整个过程无需人工干预。仅仅依赖于朴素的U-Net结构（就是原始U-Net）和鲁棒的训练方案，nnU-Net在六个得到公认的分割挑战中实现了最先进的性能。 论文地址：https://doi.org/10.1038/s41592-020-01008-z 推荐博客： http://t.csdnimg.cn/Vxmhq nnU-Net文档系列0：nnUnet简介 - 知乎 (zhihu.com) nUnet虽然不是新的论文，但是这个框架效果很好。它并没有提出新的网络结构，没有抓人眼球的地方，仅依靠一些技巧，将分割任务进行了大统一，并在很多任务上得到了非常好的成绩上，可以看出作者的功底之深。 对于分割任务，从unet出来之后的几年里，其实在网络结构上已经没有多少的突破了，结构修改越多，反而越容易过拟合。因此作者认为更多的提升其实在于 ...

U-net 参考资料 http://t.csdnimg.cn/IqtSB 论文链接：U-Net: Convolutional Networks for Biomedical Image Segmentation | SpringerLink 强烈推荐：研习U-Net - 知乎 (zhihu.com) U-net的结构 因为U-net的操作过程如“U”形，故而称为U-net，其具体结构如图8： 若已经理解前面U-net的基础知识，将能更好地看懂整个U-net的结构。首先看一下图例的含义： ①深蓝色箭头：利用3×3的卷积核对图片进行卷积后，通过ReLU激活函数输出特征通道； ②灰色箭头：对左边下采样过程中的图片进行裁剪复制； ③红色箭头：通过最大池化对图片进行下采样，池化核大小为2×2； ④绿色箭头：反卷积，对图像进行上采样，卷积核大小为2×2； ⑤青色箭头：使用1×1的卷积核对图片进行卷积。 该U-net网络一共有四层，分别对图片进行了4次下采样和4次上采样。由于结构部分数字比较多，过程比较繁琐，下面将按照自己的理解尽可能地把整个过程描述清楚。 从最左边开始，输入的是一张572×572 ...