caroline's world - 人工智能
type: channel
link: https://blog.carolineworld.cn/index.php/tag/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/
items: CoT 报告 [课题组汇报]
items: Chain of Thought
items: DeepSeek
items: 人工智能-机器学习
items: 人工智能复习笔记

CoT 报告 [课题组汇报]
type: item
date: 2025-03-28T17:20:00+08:00
description: 参考：https://zhuanlan.zhihu.com/p/623557803https://www.bilibili.com/video/BV1TecTeoErXChain of Thought1 提出论文地址：https://arxiv.org/abs/2201.11903最早提出是在2022年5月谷歌发表的《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》文章中。论文的提出方法的出发点是：大语言模型扩大规模 能带来性能的提高，但是在 算术、思维推理等具有挑战性的任务上 难以实现高性能。推理技术可以通过生成自然语言推理过程 (retionales) 来帮助得出最终答案。前人的工作：赋予模型生成自然语言中间步骤的能力方法：从头开始训练或微调或使用形式语言的方法缺点：创建大规模高质量的推理过程代价昂贵通过 prompting 提供了上下文少样本学习方式 (few-shot learning)缺点：推理能力表现不佳论文的思路：避免这些局限性同时结合两者优势。方法：chain-of-thought prompting。考虑人类在解决复杂推理任务时候的思维过程，比如在解决多步骤的数学文字问题，我们通常会 将问题分解为多个中间步骤，逐个解决，最后得出答案。After Jane gives 2 flowers to her mom she has 10... then after she gives 3 to her dad she will have 7... so the answer is 7.论文的目标：赋予语言模型生成类似于人类思考的思维链 (chain of thought)论文探索 语言模型 在推理任务中的少样本提示能力，并采用 由三元组组成的提示：(input, chain of thought, output)。chain of thought 思维链 是一系列 通向最终输出 的中间自然语言推理步骤论文具体实现的方法：在样本提示中，包含带有少量思维链的示例，就可以 引发大型语言模型进行思维链推理，无需对模型进行额外的训练或微调。论文给出的示例：问题：需要精心设计带有中间推理步骤的提示示例，增加了人力成本。2 方法介绍参考：《大模型基础》(https://github.com/ZJU-LLMs/Foundations-of-LLMs)在心理学上，System-1 任务和 System-2 任务分别代表两种不同的思维方式所处理的任务类型：System-1：思考过程快速、自动且无意识，主要依靠直觉和经验判断，不需要刻意的思考。System-2：思考过程比较缓慢，需要集中注意力，运用逻辑分析、计算和有意识的思考来解决问题。随着 大模型参数量、算力开销、数据量协同增长，在标准提示下，其在 System-1 任务上性能显著增强。然而，在 System-2 任务上，大模型表现出了 "Flat Scaling Curves" 现象——即模型规模增长未带来预期性能提升。面对 System-1 问题，如 常识回答、情感分类、意图识别 等，随规模变大，大模型性能显著提升面对 System-2 问题，如 复杂数学计算、逻辑推理 等，大模型性能 提升缓慢甚至停滞不前。思维链：通过在提示中嵌入一系列 中间推理步骤，引导大语言模型模拟人类解决问题时的思考过程，以提升模型处理 System2任务的能力。在标准的 CoT 方法上，出现了许多扩展的方法：按部就班、三思后行、集思广益。按部就班：在按部就班模式中，模型一步接着一步地进行推理，推理路径形成了一条逻辑连贯的链条。以 CoT、Zero-Shot CoT、Auto-CoT 等方法为代表。强调：逻辑的连贯性和步骤的顺序性Zero-Shot CoT：使用两阶段回答问题：第一阶段，在问题后面跟上一句“让我们一步一步思考”作为 CoT 的提示触发词，来指示大语言模型先生成中间推理步骤，再生成最后的答案第二阶段，把原始的问题以及第一阶段生成的推理步骤拼接在一起，在末尾加上一句“因此，最终答案为”，把这些内容输给大语言模型，让它输出最终的答案标注成本低，算法性能差Auto-CoT：利用聚类技术从问题库中筛选出与用户提问位于一个簇中的问题借助 Zero-Shot CoT 的方式，为筛选出的问题生成推理链，形成示例。在这些示例基础上， 引导大语言模型生成针对用户问题的推理链和答案。三思后行：每一步都停下来评估当前的情况，然后从多个推理方向中选择出下一步的前进方向。以 ToT、GoT 等方法为代表。Tree of Thoughts (ToT)：将推理过程视为一棵思维树，从拆解、衍生、评估、搜索 四个方面进行构造：拆解：把复…

Chain of Thought
type: item
date: 2025-03-10T21:19:00+08:00
description: 参考：https://www.bilibili.com/video/BV1TecTeoErX随着大模型参数量、算力开销、数据量协同增长，在标准提示下，其在 System-1 任务上性能显著增强。然而，在 System-2 任务上，大模型表现出了 "Flat Scaling Curves" 现象——即模型规模增长未带来预期性能提升。面对 System-1 问题，如 常识回答、情感分类、意图识别 等，随规模变大，大模型性能显著提升面对 System-2 问题，如 复杂数学计算、逻辑推理 等，大模型性能 提升缓慢甚至停滞不前。思维链：通过在提示中嵌入一系列 中间推理步骤，引导大语言模型模拟人类解决问题时的思考过程，以提升模型处理 System2任务的能力。在标准的 CoT 方法上，出现了许多扩展的方法：按部就班、三思后行、集思广益按部就班：在按部就班模式中，模型一步接着一步地进行推理，推理路径形成了一条逻辑连贯的链条。以 CoT、Zero-Shot CoT、Auto-CoT 等方法为代表。强调：逻辑的连贯性和步骤的顺序性Zero-Shot CoT：使用两阶段回答问题：第一阶段，在问题后面跟上一句“让我们一步一步思考”作为 CoT 的提示触发词，来指示大预言模型先生成中间推理步骤，再生成最后的答案第二阶段，把原始的问题以及第一阶段生成的推理步骤拼接在一起，在末尾加上一句“因此，最终答案为”，把这些内容输给大语言模型，让它输出最终的答案标注成本低，算法性能差Auto-CoT：利用聚类技术从问题库中筛选出与用户提问位于一个簇中的问题借助 Zero-Shot CoT 的方式，为筛选出的问题生成推理链，形成示例。在这些示例基础上， 引导大语言模型生成针对用户问题的推理链和答案。三思后行：每一步都停下来评估当前的情况，然后从多个推理方向中选择出下一步的前进方向。以 ToT、GoT 等方法为代表。Tree of Thoughts (ToT)：将推理过程视为一棵思维树，从拆解、衍生、评估、搜索 四个方面进行构造：拆解：把复杂问题拆分成多个简单子问题，每个子问题的解答过程对应一个思维过程。衍生：模型需要根据子问题生成的可能的下一步推理方向。衍生有两种模式：样本启发和命令提示。评估：利用模型评估推理节点合理性。有投票和打分两种评估模式。搜索：从一个或多个当前状态出发，搜索通往问题解决方案的路径。Graph of Thoughts (GoT)：通过特定提示，自动化构造一步一步推理回答问题的例子。集思广益：同时生成多条推理路径并得到多个结果，然后整合这些结果，得到一个更为全面和准确的答案。以 Self-Consistency 等方法为代表。Self-Consistency：引入多样性的推理路径，从中提取并选择最一致的答案，从而提高了模型的推理准确性。Self-Consistency 不依赖于特定的 CoT 形式，可以与其他 CoT 方法兼容，共同作用于模型的推理过程。推理路径生成：在随机采样策略下，使用 CoT 或 Zero-Shot CoT 的方式来引导大语言模型针对解决问题生成一组多样化的推理路径汇总答案：收集最终答案，统计每个答案在所有推理路径中出现的频率选择答案：选择出现频率最高的答案作为最终的、最一致的答案Universal Self-Consistency：利用 LLMs 自身选择最一致答案，支持更多种任务，无需答案提取过程。在多任务中性能良好且输出匹配度更高、对顺序鲁棒。

DeepSeek
type: item
date: 2025-03-04T17:39:00+08:00
description: 1 DeepSeek LLMScaling Laws问题：早期关于最优模型/数据扩大分配策略的研究展示了不同的结论，引发了对规模定律普遍适用性的质疑。此外，这些研究通常缺乏对超参数设置的完整描述，无法确定在不同计算预算下模型是否达到了最佳性能。工作：建立了超参数的缩放规律，为确定最佳超参数提供了一个经验框架。采用 FLOPs/token M 表示模型规模，得到更准确的最优模型/数据扩展分配策略，并更好地预测大规模模型的泛化损失。预训练数据的质量影响最优模型/数据扩展配置策略。数据质量越高，越应该将增加的计算预算分配给模型（model）扩展。Alignment对齐流程包含两个阶段：Supervised Fine-TuningDirect Perference Optimization Algorithm2 DeepSeek-V2MoE 语言模型，经济的训练 和 高效的推理创新的架构：Multi-head Latent Attention(MLA) 和 DeepSeekMoE进一步工作：Supervised Fine-Tuning (SFT) 和 Reinforcement Learning (RL) 充分释放模型潜能Multi-Head Latent Attention: Boosting Inference Efficiency问题：常规的 transformer 模型通常采用 Multi-Head Attention (MHA)，但是在生成过程中，其 庞大的 Key-Value cache 成为限制推断效率的瓶颈为了减少 KV cache，可以采用 Multi-Query Attention (MQA) 和 Grouped-Query Attention (GQA)，它们需要更少的 KV cache，但是性能有所降低方法：Multi-head Latent Attention，采用了 low-rank key-value joint compression。标准的 Multi-Head Attentionembedding dimension: dthe number of attention heads: $n_h$the dimension per head: $d_h$$\mathbf{h}_t \in \mathbb R^d$ 为第 t 个 token 在注意力层的输入。$$ \begin{gather} \mathbf{q}_t = W^Q \mathbf{h}_t,\\ \mathbf{k}_t = W^K \mathbf{h}_t,\\ \mathbf{v}_t = W^V \mathbf{h}_t, \end{gather} $$$\mathbf{q}_t, \mathbf{k}_t, \mathbf{v}_t$ 被切分为 $n_h$ heads以进行 multi-head attention computation:$$ \begin{gather} [\mathbf{q}_{t,1};\mathbf{q}_{t,2};\cdots;\mathbf{q}_{t,n_h}] = \mathbf{q}_{t},\\ [\mathbf{k}_{t,1};\mathbf{k}_{t,2};\cdots;\mathbf{k}_{t,n_h}] = \mathbf{k}_{t},\\ [\mathbf{v}_{t,1};\mathbf{v}_{t,2};\cdots;\mathbf{v}_{t,n_h}] = \mathbf{v}_{t},\\ \mathbf{o}_{t,i} = \sum_{j=1}^t \text{Softmax}_j(\cfrac{\mathbf{q}_{t,i}^T\mathbf{k}_{j,i}}{\sqrt{d_h}})\mathbf{v}_{j,i},\\ \mathbf{u}_{t} = W^O[\mathbf{o}_{t,1};\mathbf{o}_{t,2};\cdots;\mathbf{o}_{t,n_h}] \end{gather} $$在推理过程中，所有的 key 和 value 需要被缓存以加速推理，因此，MHA 需要为每个 token 缓存 $2n_hd_hl$ 个元素，在模型部署中，KV cache 成为限制 最大 batch size 和 序列长度 的重要瓶颈。Low-Rank Key-Value Joint CompressionMLA 的核心是对 keys 和 values 进行 low-rank joint compression，以减少 KV cache：$$ \mathbf{c}_{t}^{KV} = W^{DKV}\mathbf{h}_t,\\ \math…

人工智能-机器学习
type: item
date: 2024-07-30T13:09:00+08:00
description: 监督学习（分类与回归，感知机、逻辑回归；神经网络、反向传播、CNN、RNN）；非监督学习（K-means）；强化学习（MDP定义、状态值函数和动作值函数、Q学习及SARSA、DQN）决策树例子：打网球例如 , 分类结果：No决策树概念：表示一个函数，该函数将属性值的向量作为输入，并返回一个“决策”（单个输出值）通过执行一系列测试来做出决策。节点：用属性标记边：用属性值标记叶子：用决策标记决策树表示：决策树表示属性值约束的合取的析取上例中的决策树：(Outlook = Sunny ∧ Humidity = Normal) ∨ (Outlook = Overcast) ∨ (Outlook = Rain ∧ Wind = Weak)任何布尔函数都可以写成决策树通过把真值表中的每一行对应树中的路径通常可以使用小树，然后，有些函数需要指数大的树决策树学习：目标：找到一棵与训练样例一致的小树思路：选择“最重要”属性作为（子）树的根信息论我们将使用 信息增益（information gain）的概念，它是用信息论的基本概念——熵（entropy）来定义的熵，是对随机变量不确定性的度量；信息的获取对应于 熵的减少只有一个值的随机变量没有确定性，其熵被定义为零抛一枚公平的硬币具有 “1 bit” 的熵扔一枚公平的四边形骰子 有 2 bits 的熵，因为需要 2 位来描述4个同样可能的结果之一。熵以概率 $P(v_k)$ 取值 $v_k$ 的随机变量 $V$ 的熵：$$ \mathrm{H}(V) = -\sum_k P(v_k) \log_2 P(V_k) $$以概率 $q$ 为真的布尔随机变量的熵：$$ \mathrm{B}(q) = -(q\log_2 q + (1-q)\log_2(1-q)) $$如果一个训练集熵包含 p 个正例和 n 个负例，那么目标属性在整个训练集上的熵为$$ \mathrm{H}(Goal) = \mathrm{B}(\cfrac{p}{p + n}) $$信息增益具有 d 个不同值的属性 A 将训练集 E 划分为子集 $E_1$ ，...，$E_d$每个子集 $E_k$ 具有 $p_k$ 个正例和 $n_k$ 个负例因此，测试属性 A 后剩余的期望熵为$$ \mathrm{Remainder}(A) = \sum_{k = 1}^d \cfrac{p_k + n_k}{p+n}\mathrm{B}(\cfrac{p_k}{p_k + n_k}). $$对 A 的属性测试的信息增益 (IG) 是熵的期望减少：$$ \mathrm{Gain}(A) = \mathrm{B}(\cfrac{p}{p+n}) - \mathrm{Remainder}(A) $$选择 IG 最大的属性例题：餐厅选择：比较属性 Patron(Pat) 和 属性 Type ：对于训练集， $p = n = 6, \mathrm{B}(\cfrac{6}{12})$$\mathrm{Gain}(Pat) = 1-[\cfrac2{12}\mathrm{B}(\cfrac02) + \cfrac4{12}\mathrm{B}(\cfrac44) + \cfrac6{12}\mathrm{B}(\cfrac26)] \approx 0.541 $$\mathrm{Gain}(Type) = 1-[\cfrac2{12}\mathrm{B}(\cfrac12) + \cfrac4{12}\mathrm{B}(\cfrac24) + \cfrac4{12}\mathrm{B}(\cfrac24) + \cfrac2{12}\mathrm{B}(\cfrac12)] = 0$所以，Pat 是一个更好的分裂属性。事实上，Pat 具有任何属性中的最大增益，并被 DTL 算法选择为根从上述 12 个样例中学到的决策树：Gini 指数熵模型拥有大量耗时的对数运算，基尼指数在简化模型的同时还保留了熵模型的优点如果一个数据集 D 包含来自 n 个类的样本，那么基尼指数定义如下：$$ \mathrm{Gini}(D) = \sum_{i=1}^n p_i(1-p_i) = 1 - \sum_{i=1}^n p_i^2 $$其中，$p_i$ 是 类 $i$ 在 D 中的相对频率基尼指数 反映了 数据集中个随机抽取两个样例，其类别标记不一致的概率基尼指数越小，则数据集纯度越高如果 n = 2, $ \mathrm{Gini}(D) = 2p(1-p)$基于 Gini 指数的属性选择假设属性 A 的取值将 D 划分为 $D_1, ..., D_m$$$ \mathrm{Gini}(D|A) = \sum_{i = 1}^m \cfrac{|D_i|}{|D|} \math…

人工智能复习笔记
type: item
date: 2024-07-30T12:49:00+08:00
description: 第一章绪论人工智能的定义、概况； 人工智能主要学派及主要观点。人工智能的定义人工智能（AI）是研究理解和模拟人类智能、智能行为及其规律的一门学科。主要任务：建立智能信息处理理论，进而设计可以展现某些近似人类智能行为的计算系统。主要学派逻辑学派（符号主义方法）认知基元是符号，智能行为通过符号操作来实现，以 Robinson 提出的归结原理为基础，以 LISP 和 Prolog 语言为代表。着重问题求解中启发式搜索和推理过程，在逻辑思维的模拟方面取得成功，如自动定理证明和专家系统。人工智能源于数理逻辑数理逻辑的形式化方法和计算机科学不谋而合。正是数理逻辑对计算的追根寻源，导致了第一个计算的数学模型 图灵机 的诞生，它被公认为现代数字计算机的祖先。仿生学派（连接主义方法）人的思维基元是神经元，把智能理解为相互连结的神经元竞争与协作的结果，以人工神经网络为代表。其中，反向传播网络模型（BP神经网络）和 Hopfield 网络模型 更为突出着重结构模拟，研究神经元特征、神经元网络拓扑，学习规则、网络的非线性动力学性质和自适应的协同行为。认为 人工智能源于仿生学，特别是对人脑的研究。MP 模型，开创了用电子装置模仿人脑结构和功能的新途径。它从神经元开始进而研究神经网络模型和脑模型，开辟了人工智能的又一发展道路。控制论学派（行为主义方法）认为 人工智能源于控制论。控制论把神经系统的工作原理与信息理论、控制理论、逻辑以及计算机联系起来。反馈是控制论的基石，没有反馈就没有智能。通过目标与实际行为之间的误差来消除此误差的控制策略。控制论导致机器人研究，机器人是 “感知-行为”模式，没有知识的智能；强调系统与环境的交互，从运行环境中获取信息，通过自己的动作对环境施加影响。代表工作：强化学习，演化算法，Brooks 的六足行走机器人第二章 知识表示和推理命题逻辑语法、语义；谓词逻辑语法、语义；谓词推理规则（等价式、永真蕴含式）以及应用；命题及谓词逻辑归结推理（子句、子句集、置换与合一、答案提取）命题——具有真假意义的陈述句。命题有两种类型：原子命题复合命题——由联结词、标点符号和原子命题等复合构成的命题。所有这些命题都应具有确定的真值。当命题变元P用一个特定的命题取代时，P才能确定真值，这时也称为对P进行指派。当命题变元表示原子命题时，该变元称为原子变元。命题逻辑语法、语义命题逻辑的符号命题常元：True(T) 和 False(F)命题符号：P、Q、R 等；联结词：¬（否定）；∧（合取）；∨（析取）； →（蕴含）；↔（等价）。括号：()语义复合命题的意义是命题组成成份的函数。联结词的语义可以定义如下：¬P为真，当且仅当P为假。P∧Q为真，当且仅当P和Q都为真。P∨Q为真，当且仅当P为真，或者Q为真。P→Q为真，当且仅当P为假，或者Q为真。P↔Q为真，当且仅当P→Q为真，并且Q→P为真。公式A称为永真式或重言式(tautology)，如果对任意指派α，α均弄真A，即α(A)=T。公式A称为可满足的(satisfiable)，如果存在指派α使α(A)=T，否则称A为不可满足的(unsatisfiable)，或永假式。设A为含有命题变元p的永真式，那么将A中p的所有出现均代换为命题公式B，所得公式(称为A的代入实例)仍为永真式。合取范式：命题公式 B 称为公式 A 的 合取范式，如果 B ↔ A，且 B 呈如下形式：$C_1∧C_1∧\cdots ∧ C_m$ ，其中 $C_i$ (i=1,2,...,m) 形如 $L_1∨L_2∨\cdots∨L_n$ ，$L_j$ 为原子公式或原子公式的否定，称 $L_j$ 为文字。析取范式：命题公式 B 称为公式 A 的 合取范式，如果 B ↔ A，且 B 呈如下形式：$C_1∨C_1∨\cdots ∨ C_m$ ，其中 $C_i$ (i=1,2,...,m) 形如 $L_1∧L_2∧\cdots∧L_n$ ，$L_j$ 为原子公式或原子公式的否定，称 $L_j$​ 为文字。任一命题公式φ有其对应的合取 (析取)范式。主合取（主析取）范式：命题公式B称为公式A的 主合取(或主析取)范式，如果：(1) B是A的合取(或析取)范式。(2) B中每一子句均有A中命题变元的全部出 现，且仅出现一次。命题演算形式系统三条公理模式：A1：A → (B → A)A2：(A → (B → C)) → ((A → B) → (A → C))A3：(¬ A → ¬ B) → (B → A)一条推理规则（分离规则）：$r_{mp}$ ：A, A → B => B定义 称下列公式序列为公式A在PC中的一个证明(proof)：$A_1, A_2, \cdots, A_m( = A)$ ，其中 $A_i$（i=1,2,...,m）或者是 PC …