pytorch训练优化-自动混合精度训练（AMP）
Pytorch 版本：1.6及以上的版本，支持CUDA GPU版本：支持 Tensor core的 CUDA（Volta、Turing、Ampere），在较早版本的GPU（Kepler、Maxwell、Pascal）提升一般 PyTorch 通常在 32 位浮点数据 (FP32) 上进行训练，如果你创建一个Tensor， 默认类型都是 torch.FloatTensor (32-bit f...
升不上二段的大鱼
Transformer 和 Vision Transformer以及参数高效迁移学习（PETL）
1. Transformer Transformer 结构首先是由 “Attention is all you need” 这篇文章提出来的，当时认为这个标题非常标题党，但是现在看来这个标题起的是非常正确的。 在Transformer结构提出之前，当时NLP任务的模型都不能捕获全局依赖关系。 Transformer 结构 Transformer由两个结构组成，左边的encoder和右...
为什么Vanilla意思是原始的？
在论文常看到的一个情况是，这篇论文对XX做出了改进，那么原始的XX会被称作 Vanilla XX，作者提出的被称作 NB XX。那么为什么 Vanilla 在这里可以用来指原始的那个版本呢？（营销号语气） 这源自当时的冰淇淋口味，在各种口味的冰淇淋中，香草味是最常见、最简单，甚至常常是唯一的一种。其他口味则更加稀有。所以当时人们把香草味冰淇淋视为“无味的”。类似的例子是乐事原味薯片其实是加...
MRI 预处理
1. MRI 图像是什么 如果抛开MRI成像的物理原理，用计算机的角度去理解MRI图像，那么MRI图像是真实世界内的某样物体通过某种方式被采样到了计算机上。 假设真实的空间内有一个确定的原点和坐标轴，一个物理尺寸（140，180）（单位未知）的物体，我们要对它进行成像（采样），采样的原点在真实空间内的坐标为（60，70），采样方向为 [1,0] 和 [0,1]，采样间隔为20和30（真实...
论文笔记-Label-Free Liver Tumor Segmentation
发表在 CVPR, 2023 论文：https://arxiv.org/pdf/2303.14869.pdf 代码：https://github.com/MrGiovanni/SyntheticTumors 一句话总结：提出了一种肝脏肿瘤的生成方法（非深度学习方法），用于训练分割模型性能接近甚至超过真实数据。 1. 背景 医学图像的标注不仅昂贵耗时，还需要医学的专业知识，成本很高...
论文笔记-Evidential Deep Learning to Quantify Classification Uncertainty
原文：https://papers.nips.cc/paper/2018/file/a981f2b708044d6fb4a71a1463242520-Paper.pdf 一句话总结：利用证据理论进行不确定性估计，提出了 Evidential Deep Learning。 1. 使用 Softmax 的不足 对于分类任务，用 softmax作为输出类别概率的操作是很常见的， 最小化负的似...
2022读书总结
一年的时间过的好快又好慢，总觉得上次写总结还是在前两天，回头一看发现已经过了很远。这一年看过的书应该有二三十本，全部看完的有26本，还有一些翻过的工具书。今年的阅读内容偏向于科普方面的书，然后是人文社科方面的，现实的烦恼让人不太想去看小说虚构的故事。 书读得越多越是感觉自己一无所知，新的一年也许要专注于某个方面深入阅读下去，而不只是略懂一些看个热闹。 下面是对一些书的总结和感想。 《耕...