分类生成式人工智能下的文章 - caroline's world

Mixture of Experts

学习路线参考：MOE奠基论文走读，Adaptive Mixtures of Local Experts！1 Adaptive Mixtures of Local Experts原文：https://www.researchgate.net/publication/233806999_Adaptive_Mixtures_of_Local_Experts简介：一种新的监督学习过程（supervised learning procedure），适用于由多个独立网络组成的系统，每个网络处理完整训练案例集的子集。可以看成 multilayer supervised network 的模块化版本，或者竞争性学习的关联版本。Making Associative Learning Competitive出发点：单一的多层网络，在不同场合执行不同的子任务，通常会出现强烈的干扰效应，导致学习缓慢和泛化能力差。解决：如果事先知道一组训练案例分为几个子集，这些子集对应不同的子任务，那么可以通过使用由多个不同的“专家”网络（"expert" network）组成的系统，加上一个决策网络来决定每个训练

论文学习·生成式人工智能 · 03-03

Mixture of Experts

ControlNet

原文：Adding Conditional Control to Text-to-Image Diffusion Models1 简介出发点：文本提示单独精确表达复杂的布局、姿势、形状和形式可能是困难的。希望让用户提供额外的图像来实现更细粒度的空间控制，这些图像直接指定其期望的图像构图。ControlNet: 端到端神经网络架构，用于学习大型训练文本到图像扩散模型的条件控制。锁定扩散模型的参数来保持大模型的质量和能力制作了一个可训练副本来处理其编码层把预训练模型视为学习多样化条件控制的主干可训练副本与原始锁定模型通过零卷积层连接，其权重初始化为零，并在训练过程中逐渐增长。2 方法2.1 ControlNetControlNet 将额外条件注入到神经网络的块中。方法：锁定原始块并创建一个可训练的副本，并通过零卷积层连接它们，即，1×1卷积，权重和偏差均初始化为零。这里 c 是添加到网络中的条件向量。假设 $\mathcal F(\cdot; \Theta)$ 是一个经过训练的神经块（一组通常组合在一起形成神经网络单元的神经层），参数为 $\Theta$ 。将输入特征图 $x$ 转换为

论文学习·生成式人工智能 · 02-23

ControlNet

Stable Diffusion Fine-tuning

李宏毅《生成式人工智能导论》第十次作业代码（课程提供了源码）的学习参考：https://blog.csdn.net/a131529/article/details/144342428https://colab.research.google.com/drive/1dI_-HVggxyIwDVoreymviwg6ZOvEHiLS?usp=sharing#scrollTo=CnJtiRaRuTFX1 准备工作安装必备的包：pip -q install timm==1.0.7 pip -q install fairscale==0.4.13 pip -q install transformers==4.41.2 pip -q install requests==2.32.3 pip -q install accelerate==0.31.0 pip -q install diffusers==0.29.1 pip -q install einop==0.0.1 pip -q install safetensors==0.4.3 pip -q install voluptuous==0.15.

生成式人工智能 · 02-23

Stable Diffusion Fine-tuning

LLM Fine-tuning

李宏毅《生成式人工智能导论》第五次作业代码（课程提供了源码）的学习参考：李宏毅生成式人工智能导论 HW51 准备阶段安装必备包：!pip install bitsandbytes==0.43.0 !pip install datasets==2.10.1 !pip install transformers==4.38.2 !pip install peft==0.9.0 !pip install sentencepiece==0.1.99 !pip install -U accelerate==0.28.0 !pip install colorama==0.4.6 !pip install fsspec==2023.9.2pytorch 版本是：2.6.0+cu118，cu126版本的pytorch似乎和 bitsandbytes 冲突出现bug。加载包：import os import sys import argparse import json import warnings import logging warnings.filterwarnings("ignore

生成式人工智能 · 02-22

LLM Fine-tuning

LoRA

原文：LoRA: Low-Rank Adaptation of Large Language Models1 简介冻结预训练模型的权重，在 Transformer 架构的每一层注入可训练的秩分解矩阵，从而大大减少了下游任务的可训练参数数量。术语：the input and output dimension size of a Transformer layer: $d_{model}$the query/key/value/output projection matrices in the self-attention module: $W_q,W_k, W_v, W_o$the pretrained weight matrix: $W$ ($W_0$)accumulated gradient update during adaption: $\Delta W$the rank of a LoRA module: $r$Transformer MLP feedforward dimension $d_{ffn} = 4\times d_{model}$问题描述：给定一个由 $\Phi

论文学习·生成式人工智能 · 02-21

LoRA

神经网络模型学习

1 卷积神经网络Convolutional Neural Network (CNN)卷积神经网络由三个主要部分组成：卷积层 (convolutional layers)池化层 (pooling layers)全连接层 (fully connected layers)应用于数字识别的CNN架构[source]1.1 卷积层输入：大小 $W\times H\times C$（W 宽，H 高，C 通道数对于初始的图像，通道数为颜色维度，RGB的 channel size = 3）主要的数学运算：卷积（对图像的像素矩阵应用的滑动窗口函数）卷积操作的目的：从输入图像中提取高级特征。通过应用多个不同的 filter (大小相同) 来提取不同的图像特征。每个 filter 以一定步长stride 遍历整张图片。以手写数字识别为例，filter 可以用于识别数字的曲线，边缘，数字的整体形状等对输入预处理：padding 填充Valid padding：不进行任何填充，卷积操作后特征图的尺寸会减小。Same padding：进行填充，使得卷积操作后特征图的尺寸与输入图像的尺寸相同。使用 $3\ti

论文学习·生成式人工智能 · 2024-11-17

神经网络模型学习

Diffusion Model 论文学习

1 Denoising Diffusion Probabilistic Models论文地址：Denoising Diffusion Probabilistic ModelsDiffusion Probabilistic Model 是一个可参数化的马尔可夫链，通过变分推理训练，在有限时间内生成与数据匹配的样本。Transitions of this chain are learned to reverse a diffusion process, which is a Markov chain that gradually adds noise to the data in the opposite direction of sampling until signal is destroyed.当 diffusion 由少量高斯噪声组成时，将 sampling chain transitions 设置为条件高斯分布，从而允许实现特别简单的神经网络的参数化。1.1 backgroundDiffusion Model：latent variable models 潜变量模型形式：$$ p

论文学习·生成式人工智能 · 2024-11-17

Diffusion Model 论文学习

Exponential Moving Average

video：https://www.youtube.com/watch?v=lAq96T8FkTwhttps://www.youtube.com/watch?v=NxTFlzBjS-4https://www.youtube.com/watch?v=lWzo8CajF5shttps://zhuanlan.zhihu.com/p/68748778EMA：Exponential Moving Average，指数移动平均，也称权重移动平均（Weighted Moving Average）。假设有 n 个数据：$[\theta_1, \theta_2, ..., \theta_n]$ 计算平均值：$v_t = \beta \cdot v_{t-1} + (1-\beta) \cdot \theta_t$ ，其中 $v_t$ 表示前 $t$ 个数据的平均值，$\beta$ 是加权权重值（一般设为 0.9~0.999），不同的 $\beta$ 值会影响平均值的平滑程度。普通求平均值的方法：$v_t = \cfrac{(n-1)\cdot v_{t-1} + \theta_t}{n}$ ，当 $\b

生成式人工智能 · 2024-11-17

Exponential Moving Average

GAN

Generative Adversarial Network GAN学习：李宏毅：GAN GAN的输入包含一个随机变量 z，该变量从一个简单的分布（通常是正态分布）中采样。随机变量 z 的引入使得生成器具有更强的创造性，从而能够生成多样化的输出。Unconditional generation输入：一个低维向量 z，来自正态分布。输出：一个高维向量 y，通常表示为一张图像，具有复杂的分布。输入不同的 z 将导致输出的 y 不相同。Dicriminator 判别器是一个 neural network输入：一张图像输出：一个数值标量，数值越大，代表图像越真实，越小代表图像越假。Generator 和 Discriminator 是相互学习一起进化的。Algorithmgenerator 和 discriminator 是两个网络，首先需要初始化 generator 和 discriminator 两个网络，然后在每个训练步：Step1: 固定 generator G，更新 discriminator D。从正态分布中采样一些向量，作为 Generator 的输入，得到输出图像从真实数据集

生成式人工智能 · 2024-11-04

GAN

Seq2Seq Model (transformer)

学习：李宏毅：自注意力机制和Transformer1 EncoderEncoder 的主要作用是接收一系列输入向量，并输出对应的向量序列。可以使用 RNN 或 CNN 实现编码器，但在 Transformer 中，采用了自注意力机制（Self-Attention）来实现： Encoder 由多个相同的块（block）组成，每个块内部包含多个层（layer），其结构如下：每个块：input vector seq → self-attention → fully connected network → output。每个块的输出作为下一个块的输入，最终生成的输出为一个向量序列。 Transformer 的设计：在上面的结构基础上加入了 residual 和 normalization：最终的 encoder 架构：2 Decoder2.1 自回归解码 Autoregressive(AT)Decoder 首先接收一个特殊符号，表示开始（start token），然后根据这个符号输出与词汇表大小相同的向量。选择概率最大的词作为最终输出，同时将其作为 Decoder 的新输入。 encode

生成式人工智能 · 2024-11-03

Seq2Seq Model (transformer)

Theme Jasmine by Kent Liao

赣ICP备2024043307号赣公网安备36060002000103号