一、图像多模态 这里指的是有一些具有多个模态的医学图像，例如 MRI，或者不同成像方式得到的图像，比如 CT-MR，PET-MR 组成的多模态医学数据。 多模态融合方式包括在输入的融合，layer-level 的融合，以及在决策端 or 输出的融合。 1. Input-level fusion 多数模型采用的方法：UNet，nnUNet, CNN+ViT,UNETR_v, Swin ...

1. 语言模型 语言模型，从我个人的理解，是可以理解并生成文本的模型。 理解文本的第一步是理解单词，语言模型使用词向量来表示单词，词向量是一个拥有多维度的数字向量。我们很容易就会想到一个词的含义不是固定的，在不同的语境下它可能表示不同的意思，因此词向量也要结合上下文的语义。这里就需要用到知名的 Transformer 结构了。 （这里的词其实指的是 token。） 模型会修改词向量来...

nnUNet 论文： nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation 代码：https://github....

1. 读书总结 《所罗门王的指环》奥拉德·洛伦茨 一本关于动物的科普书，作者并不是以一种高高在上的研究者的姿态，而是以一个观察者平等地看待动物们。作者与动物们的互动很令人着迷。人的身上总归有些动物性的，如何看待动物们，也就是如何看待自己身上的动物性。 《蛤蟆先生去看心理医生》 蛤蟆先生去看看了心理医生，好像我也跟着去看了心理医生。在阅读中和蛤蟆先生一起剖析自我，学习如何成长为一个心理上的...

1. DINO DINO 是 Meta 在2021年提出的一种的自监督学习方法，名称来源于 knowledge distillation with no labels，即无标签知识蒸馏。 DINO的结构图 和其他 inter-view 的自监督方法类似，DINO 将输入图像 $x$ 的两种不同的随机变换 $(x_1, x_2)$ 传递给学生和教师网络，这两个网络具有相同的结构，但参数...

1. 第一遍全面阅读，抓住大意 先从摘要开始，然后跳到结论，看看论文的主要内容和发现。 要批判性地阅读论文，作者并不一定总是对的，在读的时候要注意： 作者试图解决的问题是什么？ 作者解决了这个问题吗？ 有作者没有考虑到的解决方式吗？ 作者的解决方式有什么缺陷？ 作者的假设是否合理？ 论证的逻辑是否清晰合理？ 他们使用的数据是否正确？ 数据能否论证他们的观...

测试头像

Pytorch 版本：1.6及以上的版本，支持CUDA GPU版本：支持 Tensor core的 CUDA（Volta、Turing、Ampere），在较早版本的GPU（Kepler、Maxwell、Pascal）提升一般 PyTorch 通常在 32 位浮点数据 (FP32) 上进行训练，如果你创建一个Tensor， 默认类型都是 torch.FloatTensor (32-bit f...

1. Transformer Transformer 结构首先是由 “Attention is all you need” 这篇文章提出来的，当时认为这个标题非常标题党，但是现在看来这个标题起的是非常正确的。 在Transformer结构提出之前，当时NLP任务的模型都不能捕获全局依赖关系。 Transformer 结构 Transformer由两个结构组成，左边的encoder和右...

在论文常看到的一个情况是，这篇论文对XX做出了改进，那么原始的XX会被称作 Vanilla XX，作者提出的被称作 NB XX。那么为什么 Vanilla 在这里可以用来指原始的那个版本呢？（营销号语气） 这源自当时的冰淇淋口味，在各种口味的冰淇淋中，香草味是最常见、最简单，甚至常常是唯一的一种。其他口味则更加稀有。所以当时人们把香草味冰淇淋视为“无味的”。类似的例子是乐事原味薯片其实是加...