pytorch自定义梯度
pytorch 自定义梯度最近的工作中需要对梯度进行自定义的修改，例如对于一个线性映射来说，我们只希望他更新其中某些位置的权重。这时候就需要手动定义梯度反传的方式，将一些位置上的梯度赋值为0，下面就直接用简单的线性映射来举例。这里主要用到的是torch.autograd.function1 对fun
pytorch 自定义梯度最近的工作中需要对梯度进行自定义的修改，例如对于一个线性映射来说，我们只希望他更新其中某些位置的权重。这时候就需要手动定义梯度反传的方式，将一些位置上的梯度赋值为0，下面就直接用简单的线性映射来举例。这里主要用到的是torch.autograd.function1 对fun
想系统且细致的看一下LLM及MLLM的工作，之前一直跟到了BLIP2，后面的就了解的不全面了。这一系列的文章会有一个章节进行扫盲，比如这个工作里提到的held-in和held-out之类的。开始开始！
从数学本质出发，生成模型本质上是一种概率模型。它的生成过程可以表达成为数学中的两个过程，计算样本的概率分布和从概率分布中采样。以最基本的无条件图像生成模型为例，我们需要构建出一个概率分布函数P(x)，x为图像样本。它在x的像素空间中计算分布。在训练过程中，我们将x分为正负样本，正样本为现实世界中真实
Paint by Example: Exemplar-based Image Editing with Diffusion Models生成模型的效果总是很惊艳，但目前比较多的还是基于text prompt的图像生成。这段时间想到有没有方法对选中区域直接用给定的图进行inpaint，发现CVPR23
Large Language Model (LLM) 论文阅读最近LLM的论文几乎每天都会出来一篇新的，一些新出来的论文里面涉及的模块已经理解不了了哈哈，开一个坑也是让自己充充电本篇文章之后会作为一个相关文章的目录，方便回顾。一起主动拥抱新的技术吧～
模型量化学习资料整理模型的量化是深度学习模型落地不可或缺的一环，如何在边缘端让模型在尽量保证精度的同时，变得更小更快是一个挺有意思的问题。这周打算集中学习一下，本篇文章先记录一下质量较高的学习资料。nvidia int8 TRT量化 PPThttps://on-demand.gputechconf.