Transformer 和 Vision Transformer以及参数高效迁移学习(PETL)
1. Transformer Transformer 结构首先是由 “Attention is all you need” 这篇文章提出来的,当时认为这个标题非常标题党,但是现在看来这个标题起的是非常正确的。 在Transformer结构提出之前,当时NLP任务的模型都不能捕获全局依赖关系。 Transformer 结构 Transformer由两个结构组成,左边的encoder和右...
1. Transformer Transformer 结构首先是由 “Attention is all you need” 这篇文章提出来的,当时认为这个标题非常标题党,但是现在看来这个标题起的是非常正确的。 在Transformer结构提出之前,当时NLP任务的模型都不能捕获全局依赖关系。 Transformer 结构 Transformer由两个结构组成,左边的encoder和右...
在论文常看到的一个情况是,这篇论文对XX做出了改进,那么原始的XX会被称作 Vanilla XX,作者提出的被称作 NB XX。那么为什么 Vanilla 在这里可以用来指原始的那个版本呢?(营销号语气) 这源自当时的冰淇淋口味,在各种口味的冰淇淋中,香草味是最常见、最简单,甚至常常是唯一的一种。其他口味则更加稀有。所以当时人们把香草味冰淇淋视为“无味的”。类似的例子是乐事原味薯片其实是加...
1. MRI 图像是什么 如果抛开MRI成像的物理原理,用计算机的角度去理解MRI图像,那么MRI图像是真实世界内的某样物体通过某种方式被采样到了计算机上。 假设真实的空间内有一个确定的原点和坐标轴,一个物理尺寸(140,180)(单位未知)的物体,我们要对它进行成像(采样),采样的原点在真实空间内的坐标为(60,70),采样方向为 [1,0] 和 [0,1],采样间隔为20和30(真实...
发表在 CVPR, 2023 论文:https://arxiv.org/pdf/2303.14869.pdf 代码:https://github.com/MrGiovanni/SyntheticTumors 一句话总结:提出了一种肝脏肿瘤的生成方法(非深度学习方法),用于训练分割模型性能接近甚至超过真实数据。 1. 背景 医学图像的标注不仅昂贵耗时,还需要医学的专业知识,成本很高...
原文:https://papers.nips.cc/paper/2018/file/a981f2b708044d6fb4a71a1463242520-Paper.pdf 一句话总结:利用证据理论进行不确定性估计,提出了 Evidential Deep Learning。 1. 使用 Softmax 的不足 对于分类任务,用 softmax作为输出类别概率的操作是很常见的, 最小化负的似...
一年的时间过的好快又好慢,总觉得上次写总结还是在前两天,回头一看发现已经过了很远。这一年看过的书应该有二三十本,全部看完的有26本,还有一些翻过的工具书。今年的阅读内容偏向于科普方面的书,然后是人文社科方面的,现实的烦恼让人不太想去看小说虚构的故事。 书读得越多越是感觉自己一无所知,新的一年也许要专注于某个方面深入阅读下去,而不只是略懂一些看个热闹。 下面是对一些书的总结和感想。 《耕...