1. DINO DINO 是 Meta 在2021年提出的一种的自监督学习方法，名称来源于 knowledge distillation with no labels，即无标签知识蒸馏。 DINO的结构图 和其他 inter-view 的自监督方法类似，DINO 将输入图像 $x$ 的两种不同的随机变换 $(x_1, x_2)$ 传递给学生和教师网络，这两个网络具有相同的结构，但参数...

1. 第一遍全面阅读，抓住大意 先从摘要开始，然后跳到结论，看看论文的主要内容和发现。 要批判性地阅读论文，作者并不一定总是对的，在读的时候要注意： 作者试图解决的问题是什么？ 作者解决了这个问题吗？ 有作者没有考虑到的解决方式吗？ 作者的解决方式有什么缺陷？ 作者的假设是否合理？ 论证的逻辑是否清晰合理？ 他们使用的数据是否正确？ 数据能否论证他们的观...

测试头像

Pytorch 版本：1.6及以上的版本，支持CUDA GPU版本：支持 Tensor core的 CUDA（Volta、Turing、Ampere），在较早版本的GPU（Kepler、Maxwell、Pascal）提升一般 PyTorch 通常在 32 位浮点数据 (FP32) 上进行训练，如果你创建一个Tensor， 默认类型都是 torch.FloatTensor (32-bit f...

1. Transformer Transformer 结构首先是由 “Attention is all you need” 这篇文章提出来的，当时认为这个标题非常标题党，但是现在看来这个标题起的是非常正确的。 在Transformer结构提出之前，当时NLP任务的模型都不能捕获全局依赖关系。 Transformer 结构 Transformer由两个结构组成，左边的encoder和右...

在论文常看到的一个情况是，这篇论文对XX做出了改进，那么原始的XX会被称作 Vanilla XX，作者提出的被称作 NB XX。那么为什么 Vanilla 在这里可以用来指原始的那个版本呢？（营销号语气） 这源自当时的冰淇淋口味，在各种口味的冰淇淋中，香草味是最常见、最简单，甚至常常是唯一的一种。其他口味则更加稀有。所以当时人们把香草味冰淇淋视为“无味的”。类似的例子是乐事原味薯片其实是加...

1. MRI 图像是什么 如果抛开MRI成像的物理原理，用计算机的角度去理解MRI图像，那么MRI图像是真实世界内的某样物体通过某种方式被采样到了计算机上。 假设真实的空间内有一个确定的原点和坐标轴，一个物理尺寸（140，180）（单位未知）的物体，我们要对它进行成像（采样），采样的原点在真实空间内的坐标为（60，70），采样方向为 [1,0] 和 [0,1]，采样间隔为20和30（真实...

发表在 CVPR, 2023 论文：https://arxiv.org/pdf/2303.14869.pdf 代码：https://github.com/MrGiovanni/SyntheticTumors 一句话总结：提出了一种肝脏肿瘤的生成方法（非深度学习方法），用于训练分割模型性能接近甚至超过真实数据。 1. 背景 医学图像的标注不仅昂贵耗时，还需要医学的专业知识，成本很高...

原文：https://papers.nips.cc/paper/2018/file/a981f2b708044d6fb4a71a1463242520-Paper.pdf 一句话总结：利用证据理论进行不确定性估计，提出了 Evidential Deep Learning。 1. 使用 Softmax 的不足 对于分类任务，用 softmax作为输出类别概率的操作是很常见的， 最小化负的似...

一年的时间过的好快又好慢，总觉得上次写总结还是在前两天，回头一看发现已经过了很远。这一年看过的书应该有二三十本，全部看完的有26本，还有一些翻过的工具书。今年的阅读内容偏向于科普方面的书，然后是人文社科方面的，现实的烦恼让人不太想去看小说虚构的故事。 书读得越多越是感觉自己一无所知，新的一年也许要专注于某个方面深入阅读下去，而不只是略懂一些看个热闹。 下面是对一些书的总结和感想。 《耕...