Self-Attention

1 输入Self-Attention 的输入一个向量序列，可以是原始输入或者某个隐藏层的输出。2 输出向量的产生对于输入向量（例如 $a^1$），需要计算其他向量与 $a^1$ 的关联度。关联度的计算通常通过 点乘 实现：对于给定的输入向量 $a^1$ ，需要先计算 $q^1$ 值：$a^1 = W^qa^1$，其他向量 $a^i$ 计算 $k^i$ 值：$k^i = W^ka^i$，之后和 $q^1$ 点乘，得到 $\alpha_{1,i}$，再进行 soft-max：$\alpha_{1,i}' = \exp(\alpha_{1,i})/\sum_j \exp(\alpha_{1,j})$，作为最终的 attention score： 根据 attention score，和每个输入的 value 值相乘（加权求和）得到最终的输出向量：$b^1 = \sum_i \alpha_{1,i}'v^i$ 这个输出包含了输入序列中各个元素的信息，经过加权后反映了与查询相关的重要性。计算 $b^2$，同上：3 矩阵乘法角度理解从矩阵乘法的角度来看： $W^q$，$W^k$，$W^v$ 是需

生成式人工智能 · 2024-11-03
Self-Attention

论文阅读：《Object Detection in 20 Years: A Survey》

标题：Object Detection in 20 Years: A Survey发表时间：2019年pdf 链接：https://arxiv.org/pdf/1905.05055v2这篇文章回顾了400多篇关于目标检测的论文（从上个世纪九十年代到2019年），涵盖了许多话题。关键词：目标检测(Object detection)、计算机视(Computer vision)、深度学习(Deep learning)、卷积神经网络(Convolutional neural networks)、技术进步。1 介绍应用的角度：object detection 可以分为 "general object detection" 和 "detection application"。general object detection：探索不同的方法检测不同的物体以模拟人类的视觉和认知。detection appliction：探索特定应用场景，如：行人检测、人脸检测、文本检测 等。第二个部介绍目标检测20年的进化历史。第三部分介绍目标检测的一些加速技术。第四部分介绍近三年来一些最先进的检测方法（2019）。

论文学习·生成式人工智能 · 2024-10-27
论文阅读：《Object Detection in 20 Years: A Survey》

本地部署 Mathjax

前不久，我使用wordpress搭建博客，遇到latex公式无法显示的问题，无论下载哪个插件，$公式$显示的都是有问题的，加上wp不是原生支持md的，于是后面更换博客框架为typecho。在使用typecho的时候，使用 mathjax 库，参照网站给出的脚本加入到 header.php 中，在挂节点的时候latex公式能正常显示，但是正常访问还是没办法加载，于是在网上查找本地部署 mathjax的方法，尝试了很多方法，都失败了，最后在 这个博客找到了正确的答案。我把 mathjax的源代码中的 es5 中的文件放入 /usr/plugins/mathjax/文件目录下面，然后在 header.php 文件的 </head> 前面加入下面的代码<script> MathJax = { tex: { inlineMath: [['[latex]', '[/latex]'], ['\\(', '\\)']], inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['[

博客搭建 · 2024-10-21
本地部署 Mathjax

HCP Diffusion 学习和理解

HCP Diffusion 官方文档1.01 loRA讲解视频：LoRA explained (and a bit about precision and quantization)关键：秩分解 + 对低秩矩阵进行微调训练$$ W_0 + \Delta W = W_0 + BAW_0 + \Delta W = W_0 + BA $$$W_0$ 是保持不变的原始模型权重A 和 B 是低秩矩阵：$B\in \mathbb{R}^{d\times r},A\in \mathbb{R}^{r\times k},rank\ r\ll \min(d,k)$ 有：$BA = \Delta W$初始化：$B$ 初始化为零矩阵，$A$ 的权重从正态分布中采样在 transformer 中，它通常应用于 attention weights前向传播：输入数据同时通过原始模型和低秩矩阵进行计算。结果相加，得到最终输出。$$ h = W_0 x + \Delta Wx = W_0 x + BAx $$def regular_forward_matmul(x, W): h = x @ w return h

生成式人工智能 · 2024-10-20
HCP Diffusion 学习和理解

Stable Diffusion 解读

Stable Models 阅读摘选稳定扩散的关键要素从大方向来看，稳定扩散可以分解三个重要元素：感知图像压缩：先将图像透过感知图像编码器&解码器（VQ-VAE [12]和VQ-GAN [13]风格）降低解析度后，直接在降解析度的图像上，或者说特征图上，进行 DDPM 的训练。潜在扩散模型：基本上就是 DDPM 的描述方法，不过这个 DM 在潜在空间中运行，因此论文称为潜在扩散模型。调理机制：SD论文内部设计了利用领域特定模型抽取语义信息后，再使用注意力机制[14]与究竟抽取图像的潜在结合。可以达到很泛用又有效的调理。稳定扩散架构与可运行。（资料来源）结合这三者就是构成Stable Diffusion的核心思想，感知图像压缩后的潜在扩散模型让Stable Diffusion可以高效地生成高解析度图像。条件机制则让Stable Diffusion可以具备良好的可控制性，完成各个式各样结合其他描述的生成任务。感知图像压缩一般简单的自动编码器虽然很容易重建，也可以有效地压缩潜在的大小，但是解码器重建的图形实际上经常是有一些模糊的，甚至有一些不真实的工件产生。常见自动编码器的概念。（资料来源）

生成式人工智能 · 2024-10-20
Stable Diffusion 解读

Diffusion Model

Diffusion Model 是如何制作的？生成图片的第一步： 生成 一个都是杂讯的图片，生成图片的大小和目标图片大小一致。然后进行 denoise，就是过滤掉先前图片中的部分杂讯不断进行 denoise，最后得到一张清晰的图片每一步 denoise 都有一个编号，越之后的步骤的 denoise 的编号越小从杂讯到图片的过程称为 reverse process。跟雕塑一样denoise 的模型，除了需要输入一张图片之外，还要一个代表当前图片 noise 的程度的输入。Denoise 模组内部实际做的事情denoise 模组内部有一个 noise predicter，预测图片中的杂讯长什么样，需要输入一张图片和图片的 noise 程度，然后输出一张输入图片的杂讯，减去输入图片，达到 denoise 的效果直接产生一张更清晰的图片比产生一种 noise 图片更难，所以现在大部分模型都会选择先产生一张 noise 的图片如何训练 noise predictor?对图片不断加 noise把某次加noise后的图片作为输入，对应的 noise 就是它的输出Text-to-Image训练 文字-

生成式人工智能 · 2024-10-20
Diffusion Model

同步与互斥

进程同步进程具有异步性的特征。异步性：各并发执行的进程以各自独立的、不可预知的速度向前推进。例子：进程通信——管道通信读进程和写进程并发地运行，由于并发必然导致异步性，因此“写数据”和“读数据”两个操作执行的先后顺序是不确定的。而实际应用中，又必然按照“写数据 => 读数据”的顺序来执行的。所以需要解决这种异步问题。同步，亦称 直接制约关系，它是指为完成某种任务而建立的两个或多个进程，这些进程因为需要在某些位置上协调它们的工作次序而产生的制约关系。进程间的直接制约关系就是源于它们之间的相互合作。进程互斥进程的 “并发”需要 “共享”的支持。各个并发执行的进程不可避免的需要共享一些系统资源（如内存，又如打印机、摄像头这样的 I/O 设备）两种资源共享方式：互斥共享方式系统中的某些资源，虽然可以提供给多个进程使用，但一个时间段内只允许一个进程访问该资源。同时共享方式系统中的某些资源，允许一个时间段内由多个进程“同时”对它们进行访问一个时间段内只允许一个进程使用 的资源称为 临界资源。许多物理设备（比如摄像头、打印机）都属于 临界资源。此外，很多变量、数据、内存缓冲区等都属于临界资源。

计算机课程 · 2024-07-30
同步与互斥

人工智能-机器学习

监督学习（分类与回归，感知机、逻辑回归；神经网络、反向传播、CNN、RNN）；非监督学习（K-means）；强化学习（MDP定义、状态值函数和动作值函数、Q学习及SARSA、DQN）决策树例子：打网球例如 , 分类结果：No决策树概念：表示一个函数，该函数将属性值的向量作为输入，并返回一个“决策”（单个输出值）通过执行一系列测试来做出决策。节点：用属性标记边：用属性值标记叶子：用决策标记决策树表示：决策树表示属性值约束的合取的析取上例中的决策树：(Outlook = Sunny ∧ Humidity = Normal) ∨ (Outlook = Overcast) ∨ (Outlook = Rain ∧ Wind = Weak)任何布尔函数都可以写成决策树通过把真值表中的每一行对应树中的路径通常可以使用小树，然后，有些函数需要指数大的树决策树学习：目标：找到一棵与训练样例一致的小树思路：选择“最重要”属性作为（子）树的根信息论我们将使用 信息增益（information gain）的概念，它是用信息论的基本概念——熵（entropy）来定义的熵，是对随机变量不确定性的度量；信息的获取对

计算机课程 · 2024-07-30
人工智能-机器学习

人工智能复习笔记

第一章绪论人工智能的定义、概况； 人工智能主要学派及主要观点。人工智能的定义人工智能（AI）是研究理解和模拟人类智能、智能行为及其规律的一门学科。主要任务：建立智能信息处理理论，进而设计可以展现某些近似人类智能行为的计算系统。主要学派逻辑学派（符号主义方法）认知基元是符号，智能行为通过符号操作来实现，以 Robinson 提出的归结原理为基础，以 LISP 和 Prolog 语言为代表。着重问题求解中启发式搜索和推理过程，在逻辑思维的模拟方面取得成功，如自动定理证明和专家系统。人工智能源于数理逻辑数理逻辑的形式化方法和计算机科学不谋而合。正是数理逻辑对计算的追根寻源，导致了第一个计算的数学模型 图灵机 的诞生，它被公认为现代数字计算机的祖先。仿生学派（连接主义方法）人的思维基元是神经元，把智能理解为相互连结的神经元竞争与协作的结果，以人工神经网络为代表。其中，反向传播网络模型（BP神经网络）和 Hopfield 网络模型 更为突出着重结构模拟，研究神经元特征、神经元网络拓扑，学习规则、网络的非线性动力学性质和自适应的协同行为。认为 人工智能源于仿生学，特别是对人脑的研究。MP 模型，开

计算机课程 · 2024-07-30
人工智能复习笔记

操作系统概念解析

第一章操作系统的定义：计算机用户和计算机硬件之间的程序操作系统的目标：运行用户程序，更方便地运行用户程序更易于使用计算机系统更方便管理计算机的硬件操作系统的三个用途：管理计算机硬件资源提供用户和计算机硬件的接口提供服务和资源下面哪些项享有特权：设置计时器的值。需要特权读时钟。不需要，无特权也能读取清除内存。需要特权发出陷阱指令。陷入内核态，不需要特权关闭中断。需要特权，能关闭中断就可以无限占用CPU修改设备状态表条目。需要特权从用户模式切换到内核模式。不需要特权访问 I/O 设备，需要特权一些CPU提供两种以上的操作模式。这多种模式的两种可能的用途是什么？区分用户级别，提供分级服务安全控制允许部分设备在非内核模式下工作中断的目的是什么？中断与陷阱有何不同？陷阱可以由用户程序有意生成吗？如果是，目的是什么？目的：在某个事件发生时打断正在执行的程序，并立即转移到该事件的相应处理程序上中断和陷阱的区别：中断：中断是由外部事件触发的机制中断可以打断正在执行的程序，并将控制转移到相应的中断处理程序中断处理程序可以是处理外部事件中断是异步事件，可以在任何时间发生，无论当前程序状态如何中断处理程序的

计算机课程 · 2024-07-30
操作系统概念解析
2024 - 2025 caroline's world. All Rights Reserved.
Theme Jasmine by Kent Liao
赣ICP备2024043307号 赣公网安备36060002000103号