论文精读(十三)Carver右心室重建
论文精读:Carver: Learning to Reconstruct Right Ventricle from Sparse Multi-View 2D Echocardiograms
论文地址:Carver: A Dual-Aware Network for Right Ventricle 3D Reconstruction from Sparse Multi-View Echocardiograms
项目地址:https://github.com/ustclyd/Carver
ICASSP 2025(CCF B)
摘要
从多视角超声心动图中准确重建右心室的三维结构对于定量诊断心脏疾病至关重要。然而,由于右心室结构的复杂性和非平行超声视图的稀疏性,现有的方法往往无法提供令人满意的结果。在本文中,我们提出了一种名为 Carver 的高效重建方法,它首次将右心室的三维重建重新定义为体素密集预测任务。其核心思想在于利用深度神经网络学习从粗几何凸壳到右心室精细结构的端到端变形,类似于雕刻。为了提高重建的准确性和鲁棒性,我们设计了一个双感知网络,结合先前的轮廓信息来增强学习的代表性。我们在 ...
论文精读(十二)PCN
论文AI阅读:PCN
PCN: Point Completion Network
2018 International Conference On 3d Vision (3dv)
PCN: Point Completion Network | IEEE Conference Publication | IEEE Xplore
摘要
形状补全是从部分观测结果中估计物体完整几何形状的问题,是许多视觉和机器人应用的核心。在这项工作中,我们提出了点补全网络(PCN),这是一种基于学习的新型形状补全方法。与现有的形状补全方法不同,PCN 直接对原始点云进行操作,无需对底层形状进行任何结构假设(如对称性)或注释(如语义类别)。它采用解码器设计,能够生成细粒度的补全,同时保持少量参数。我们的实验表明,PCN 可以在具有不同程度不完整性和噪声的输入(包括来自 KITTI 数据集中激光雷达扫描的汽车)上生成密集、完整的点云,并在缺失区域具有逼真的结构。
论文背景
我们的工作受到最近一些工作的启发[9, 47],这些工作利用合成形状的大型数据集来训练深度神经网络,从而可以从单个或组合的局部视图中推断出完整 ...
论文精读(十一):DGCNN
论文精读(十一)DGCNN
Dynamic Graph CNN for Learning on Point Clouds
论文地址:1801.07829] Dynamic Graph CNN for Learning on Point Clouds
博客参考:https://blog.csdn.net/hongbin_xu/article/details/85258278
搞懂DGCNN,这篇就够了!论文及代码完全解析 - 知乎
Acm Transactions On Graphics 2019(IF 7.8 引用7000+)
论文背景(AI)
点云是计算机图形学中一种基本的几何表示形式,由散乱的2D或3D点组成。点云数据通常由3D扫描设备直接获取,如LiDAR扫描仪和立体重建技术。由于点云数据的不规则性(点的位置在空间中连续分布,且点的排列顺序不影响其空间分布),传统的深度学习方法难以直接应用于点云处理。近年来,随着深度学习在图像分析领域的巨大成功,研究者们开始探索将卷积神经网络(CNN)的思想应用于点云数据的处理。
摘要
使用提出的神经网络对点云进行分割。底部:示意图神经网络架 ...
手搓Vit(模式识别作业)
手搓Vit(模式识别作业)
重要说明:已手搓Patch+Position Embedding + Vision Transformer(详见后文),分类准确率99.20%,但即使加载模型,预测时间也很长,1000个需要3个小时,4个npy文件需要12个小时,但是我要做科研项目,故直接使用老师所给的4个npy文件手搓一个MLP做最后的预测。
重点观察:随机初始化:算力不足故舍弃。更换权重:算力不足故舍弃。调整MLP:分数99%基本达上限,很难观察识别性能影响,故舍弃。
实验流程:
先查看老师所给的DINOV2-base.npz的文件形式和参数命名。
根据权重内embedding的参数量和论文实现图的Embedding操作。
将任务需求和参数命名喂给GPT手搓transformer,让他不要叫错”名字“,可以不加入mask token。每张图获得(1,1370,768)的总token和最上面的分类用cls token(1,768)。
cls token才是输入至MLPheads以进行分类的特征向量。后续简单设计一个MLP即可进行预测。
手搓transformer
参考文献:Vit论文 ...
猫狗分类(模式识别作业)
猫狗分类
数据增强(仅作展示)
8000的数据量增强后就得到40000张图片了。
从左到右分别是:原图(1),左右反转(2),几何随机反转(3),对比度变化(4),噪音变化(5)。
模型与算法
模型主要分为4个内容,
特征提取:HOG方向梯度直方图,LBP。
降维:PCA主成分分析法。
分类模型:SVM支持向量机。
HOG(Histogram of Oriented Gradients)
HOG(方向梯度直方图)是一种描述图像局部形状特征的方式,广泛用于物体检测任务中(如行人检测)。HOG 的核心思想是:利用图像局部区域的梯度方向分布来描述物体的边缘信息。
灰度化图像
因为边缘信息主要由强度变化决定,所以通常将彩色图像转换为灰度图。
计算梯度(常用Sobel算子)
对图像进行横向(x)和纵向(y)方向的梯度计算:
Gx=I∗[−101−202−101],Gy=I∗[−1−2−1000121]G_x = I * \begin{bmatrix} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 ...
论文精读(十)2D超市心动图视频到3D心脏形态重建
论文精读(十)2D超声心动图视频到3D心脏形态重建
2D echocardiography video to 3D heart shape reconstruction for clinical application - ScienceDirect
论文内容整理:2D超声心动图视频到3D心脏形态重建的流程、方法和核心(AI生成)
图3。2D TTE至4D LV形状生成框架的概述。 TTE检查是从医院收集的。 数据已被取消识别,并删除了元数据。 A2C,A3C和A4C非多普勒视图将自动识别,分割,时间对齐并将其带入规范位置。 2D至3D重建网络用于产生初始形状。 然后,通过优化换能器位置和网络权重来迭代完善这种形状,直到生成形状的呈现的横截面与每个视图的输入分割映射匹配。 3D形状通过框架优化。
1. 研究背景
本研究的核心目标是从2D超声心动图(TTE)视频自动重建4D(3D+时间)左心室(LV)形态,形成个性化的数字孪生模型。该模型能够提高心脏超声数据的解读能力,帮助自动分析左心室体积变化、心肌梗死区域定位,并识别新的临床生物标志物。
传统的TTE仅能提供2D平面图像, ...
ROC曲线
ROC曲线
参考资料
ROC & AUC
题目
如何绘制ROC曲线?
Ø Why?(Introduction)
Ø What?(Formulation)
Ø How?(Pseudo Code& Demo Visualization)
Ø When?(Limitations and More)
AI生成内容
此文本格式为本人理解。
ROC(Receiver Operating Characteristic)曲线是评估二分类模型性能的重要工具。下面按照 Why(为什么)、What(定义)、How(如何实现)、When(适用性与局限性) 四个方面来讲解如何绘制 ROC 曲线。
1. Why?(为什么需要 ROC 曲线?)
在二分类问题中,我们通常使用模型预测概率,并通过设定一个阈值(threshold)**来决定分类结果。然而,选择不同的阈值会影响模型的**假阳性率(FPR)**和**真阳性率(TPR),因此我们需要 ROC 曲线 来直观展示这种权衡。
ROC 曲线的作用:
比较不同模型的分类性能
选择最佳决策阈值
计算 AUC(曲线下面积),评估模型的整体性能
检查模 ...
Point和Pointnet++
Pointnet和Pointnet++
原文链接:https://blog.csdn.net/m0_47294706/article/details/135895830
论文介绍地址(Paper,Code,Presentation video and Slides)
PointNet:https://web.stanford.edu/~rqi/pointnet/
PointNet++:https://web.stanford.edu/~rqi/pointnet2/
建议直接看b站的5分钟讲解。
【[5分钟点云学习] #01 最远点采样 FPS】 https://www.bilibili.com/video/BV1oT411x7TH/?share_source=copy_web&vd_source=bd967f0d540a64617b8b612bc0f0f9a3
一、PointNet & PointNet++:问题陈述(Problem Statement)
由于点云的无序性,直接操作点云比较困难 - PointNet解决(使用具有置换不变性的对称函数)
[视频链接: ...
论文精读(九)ImplicitAtlas医学影像可变形状模板
论文精读(九)ImplicitAtlas:学习医学成像中的可变形形状模板
CVPR 2022 Open Access Repository
图 3.ImplicitAtlas 概述。 (a) 模型管道。 该模型由隐式模板网络(T)和隐式变形网络(D)组成。 给定一个潜在代码 h,它通过 STE-Softmax 选择一个潜在模板 t,以使用 T 生成模板。它还产生一个潜在变形 d,以使用 D 从模板生成变形场。它们组合起来产生一个占用场, 这是最终的输出。 (b) 解码器的网络架构。 给定一个潜在特征,它以卷积方式构建多尺度特征图。 对于查询坐标 p = (x, y, z),它通过在多尺度特征图上插值来聚合局部和全局特征。 最后,将坐标和插值特征输入 MLP 以进行最终输出。
Abstract
深度隐式形状模型在整个计算机视觉社区中已经很流行,但在生物医学应用中却不太流行。 部分原因是大型训练数据库不存在,部分原因是生物医学注释通常很嘈杂。 在本文中,我们表明,通过在深度学习管道中引入模板,我们可以克服这些问题。 所提出的框架名为 ImplicitAtlas,将形状表示为来自学习模 ...