Repository: ZJU-LLMs/Foundations-of-LLMs Branch: main Commit: 1109bfa8e1c5 Files: 64 Total size: 284.1 KB Directory structure: gitextract_egmte1ht/ ├── Arxiv 一周进展报告（大模型方向）/ │ ├── 20241004-20241010/ │ │ ├── TOOLGEN：探索Agent工具调用新范式！.md │ │ ├── TableRAG：让大模型轻松驾驭大规模表格数据.md │ │ ├── 利用 KG-RAG 提升病理解释性能，并保护隐私.md │ │ ├── 精准思考，智能分配算力.md │ │ ├── 重要性采样，解锁Token级偏好对齐.md │ │ └── 零额外推理开销，提升RAG性能！.md │ ├── 20241011-20241017/ │ │ ├── TPO：平民版 OpenAI-O1，思维能力遥遥领先！.md │ │ ├── Talker-Reasoner：继物理和化学后，诺贝尔经济学奖成为新目标？.md │ │ ├── 北大 Parenting 方法登场：参数魔法解锁检索增强语言模型新高度！.md │ │ ├── 打破选择困局：多智能体带你高效选择预训练数据.md │ │ ├── 自回归奖励模型让 LLM 对齐不再困难！.md │ │ └── 谷歌联合CMU提出超强奖励模型，大模型推理能力的新曙光！.md │ ├── 20241018-20241024/ │ │ ├── DeepSeek最新多模态大模型，理解与生成同时遥遥领先!.md │ │ ├── LongRAG：长文本问答的 “超级导航仪”，精准定位答案.md │ │ ├── NetSafe：探秘多智能体网络安全拓扑“攻守道”(1).md │ │ ├── SSO：无需人工标注，自动对齐 LLM！.md │ │ ├── WMA Web Agent：让世界告诉Agent决策有风险需谨慎！.md │ │ └── 普林斯顿大学提出 TreeBoN ！大语言模型推理效能「提升秘籍」曝光.md │ ├── 20241025-20241031/ │ │ ├── 2D-DPO：告别“一刀切”！多维度对齐 LLM 偏好.md │ │ ├── AgentStore：智能世界的超级 “App Store”.md │ │ ├── CMU 与普林斯顿大学携手改进 BoN 算法，打破大模型推理时计算效率瓶颈！.md │ │ ├── Flow-DPO：像数学老师一样思考！多智能体推理链自动生成.md │ │ └── PULSE 多模态大模型读懂你的心٨ـﮩ٨ـ🖤ﮩ.md │ ├── 20241101-20241107/ │ │ ├── Adapting While Learning：自适应使用智能工具助力科学探索.md │ │ ├── SCPO：Meta 提出大模型自我进化新方法，突破复杂推理能力.md │ │ ├── StepAgent：从小白到大神，过程奖励助力 Agent 进化.md │ │ ├── 谷歌出品 SLED 解码技术，让大语言模型输出更靠谱！.md │ │ └── 颠覆Transformer，神经网络自演化的开端！！！1.md │ ├── 20241108-20241114/ │ │ ├── IOPO：化身超级助手，让 LLM 轻松应对复杂指令.md │ │ ├── Spider 2.0 来袭！大语言模型能否应对企业级 Text-to-SQL 的超强挑战？.md │ │ └── UC Berkeley 和 CMU 出手！揭开大语言模型泛化的 “神秘面纱”.md │ ├── 20241115-20241121/ │ │ ├── LPO：“智能控温”，自适应调整 LLM 解码温度.md │ │ ├── XiYan-SQL：突破性Text-to-SQL框架，准确率遥遥领先！.md │ │ └── 一键自动化：Claude 3.5与GUI Agent的破晓时刻.md │ ├── 20241206-20241212/ │ │ ├── Coconut 从语言脑到推理脑，大模型连续潜在空间推理.md │ │ ├── RARE 登场：大模型推理的 “智慧导航仪”，精准穿越知识迷宫.md │ │ ├── VisionZip压缩视觉token，提升视觉模型推理效率.md │ │ └── 迈向高效智能：大语言模型的能力密度增长与密度定律.md │ ├── 20241213-20241219/ │ │ ├── Meta 提出大概念模型（LCM），突破词级限制的多语言多模态大语言模型.md │ │ ├── ModernBERT：革新编码器模型，引领高效长上下文处理新时代.md │ │ ├── RetroLLM：检索生成大融合，“鹰眼”精准定位答案.md │ │ ├── SHAD+RFT：面向Agent-Task的大模型微调新范式.md │ │ ├── Think&Cite：让 LLM 不再“空口无凭”，句句有出处.md │ │ ├── 大语言模型的 “幻觉克星” 来了！DePaC 助力精准生成.md │ │ ├── 强强联合，Meta与斯坦福发布最新视频大模型Apollo：揭示扩展一致性新规律.md │ │ └── 腾讯提出Cal-DPO，解决DPO重大缺陷.md │ ├── 20241220-20241226/ │ │ ├── GME：打破模态界限，全新通用多模态检索器的探索与突破.md │ │ ├── Mulberry：多模型合作MCTS，让MLLM进入o1推理时代.md │ │ ├── Proactive Agent：主动读取需求，让AI比你更懂你.md │ │ ├── RobustRF：打造鲁棒微调框架，大幅提升大模型在噪声环境下的性能.md │ │ ├── 大语言模型的 “省钱秘籍”！TALE 框架让推理成本大瘦身.md │ │ └── 英伟达和高校联合提出数据选择策略，大幅强化模型预训练效果.md │ ├── 20241227-20250102/ │ │ ├── CCoT压缩链式思维框架，极大降低 CoT 计算开销.md │ │ ├── 任务偏好优化：多模态大语言模型的精细视觉任务革命.md │ │ ├── 减少不必要的计算开销，让模型不再“过度思考”.md │ │ └── 大模型 “进化密码”：加权偏好优化弥补自身短板.md │ └── 20250103-20250109/ │ ├── LLaVA-Mini：压缩至一个视觉token，高效计算与实时响应的多模态大模型.md │ ├── PPT 生成革命！PPTAgent：AI 帮你一键搞定高质量演示文稿，设计、内容、逻辑全搞定！.md │ ├── 微软提出rStar-Math，7B小模型数学能力直逼o1！.md │ └── 陈丹琦团队新作 MeCo，元数据条件化加速模型预训练.md ├── Foundations_of_LLMs(English_version)/ │ └── readme.md ├── LICENSE.md ├── readme.md └── 大模型经典论文列表/ └── readme.md ================================================ FILE CONTENTS ================================================ ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241004-20241010/TOOLGEN：探索Agent工具调用新范式！.md ================================================ # TOOLGEN: UNIFIED TOOL RETRIEVAL AND CALLING VIA GENERATION **作者**：*Renxi Wang, Xudong Han* 等 **单位**：*LibrAI, Mohamed bin Zayed University of Artificial Intelligence* 等 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/10/10/1728566483233-1931bd55-fb6d-46ce-b9ed-3eb6374f4a93.png) ## 方法详解 本文研究的主要内容是**Agent中的工具使用**。在Agent中，大语言模型在处理任务时，常常需要与外部工具进行交互以获取信息或执行操作。然而，在工具数量显著增多的场景下，将工具描述作为上下文输入的方法因受限于上下文长度而不再可行。先检索后调用的方法可以检索出候选的工具列表，然而需要额外的检索步骤，与模型生成过程相独立，效率不高。为了解决现有方法存在的问题，本文提出了一种名为**ToolGen**的框架。 ToolGen的核心思想是将每个工具表示为模型词汇表中的一个独特的**Token**，扩展大模型的词表，从而将工具的检索和调用直接集成到模型的参数中，令大模型利用其已有知识来检索和调用工具。 如下图所示，先前基于检索的方法使用检索器基于相似度匹配检索相关工具，并将检索结果放入Prompt，交给大模型来执行调用。而ToolGen可以通过直接生成工具Tokens来完成工具的检索和调用，不依赖于任何外部检索器。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/10/1728565866342-4980f659-79c2-46d4-b88d-c3ead6fb0461.png) ToolGen框架如下图所示： ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/10/1728565890204-2f54718d-fa8f-4bc2-aa56-1417004a48cf.png) 图中，ToolGen主要包括以下几个部分： 1. **工具虚拟化（Tool Virtualization）** 在ToolGen中，每个工具被映射为一个唯一的Token，所有工具的Tokens被添加到LLM的词表中。这种映射可以通过多种索引方式来实现，包括数值（Numeric）索引、分层（Hierarchical）索引、语义（Semantic）索引和原子（Atomic）索引。其中，原子索引确保了每个工具都是一个单一的Token，而不是多个Token的组合。 2. **三阶段训练过程** ToolGen的训练过程包括三个阶段，每个阶段都旨在提升模型在不同方面的性能，从而实现更准确和高效的工具检索和调用。 （1）**工具记忆（Tool Memorization）** 在工具记忆阶段，模型通过将工具描述作为输入，工具Token作为输出，来学习关联每个虚拟工具Token与其文档。这个过程类似于教模型“记住”每个工具的功能和用途。通过这种方式，模型能够理解每个工具Token背后的含义，从而在后续的检索和调用中更加准确。 （2）**检索训练（Retrieval Training）** 检索训练阶段的目标是让模型学会如何根据用户的查询生成相关的工具Token。在这个阶段，模型接收用户查询作为输入，并被训练以生成相应的工具Token作为输出。这个过程使得模型能够根据用户的需要，从其“记忆”中检索出正确的工具Token，从而实现对工具的精确调用。 （3）**端到端Agent训练（End-to-End Agent-Tuning）** 在端到端Agent训练阶段，模型被训练以作为一个自主Agent，生成计划和工具，并确定完成任务的适当参数。这个阶段的训练使用了Agent任务完成轨迹，即一系列的用户查询和相应的工具调用序列。通过这种方式，模型学会了如何在实际任务中有效地使用工具，包括何时调用工具、调用哪个工具以及如何配置工具的参数。 实验使用了包含**47,000**个真实世界工具的数据集进行验证，包括**工具检索任务**和**端到端生成任务**。 在工具检索任务中，ToolGen不仅取得了与当前最佳工具检索方法相当的性能，而且成本更低，效率更高。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/10/10/1728566040995-d42f18ab-d70d-4c8a-90b8-8dda5da5849e.png) 在端到端生成任务中，ToolGen在大多数设置下保持领先。 ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/10/10/1728566007900-0aac5339-1216-4fa3-910e-a3d6aefad17a.png) 综上所述，ToolGen框架通过将工具检索转化为生成过程，使得LLM能够更自然、更高效地在语言生成过程中调用工具，从而提高了Agent的自主性和效率。 --- - 原文链接: https://arxiv.org/abs/2410.03439 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/XXX ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241004-20241010/TableRAG：让大模型轻松驾驭大规模表格数据.md ================================================ # TableRAG: Million-Token Table Understanding with Language Models **作者**：*Si-An Chen, Lesly Miculicich , Julian Martin Eisenschlos* 等 **单位**： *National Taiwan University, Google Cloud AI Research, Google DeepMind, UC San Diego* 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/10/12/1728720711398-392a27f2-a7d3-4856-9a4f-178df1c811c0.png) 本文研究的问题是**如何提高大语言模型在理解和推理大规模表格数据方面的效率和性能**，之前的方法主要包括基于模式的方法和基于行列检索的方法，前者主要关注schema信息，降低了令牌复杂度，但是会丢失一些有价值的单元格数据；后者通过对行和列整体编码来减少令牌数，但是在处理大表格时仍面临着计算和性能挑战，并且行列压缩也会模糊语义信息。本文提出的**TableRAG**的核心思想是**在回答与表格相关的问题时，其实并不需要将整张表格作为输入提供给大型语言模型。** **TableRAG**框架具体流程如下： 1. **查询扩展（Tabular Query Expansion）:** 与以前工作使用单一查询不同，作者为模式和单元格值生成单独的查询。例如对于下述问题 *What is the average price for wallets?* 使用大语言模型给出可能的列名: *product* 和 *price* 等，以及相关的单元格值 *wallet*,*seller*等 2. **模式检索（Schema Retrieval）：** 作者使用预先训练的编码器$f_{enc}$对上述查询进行编码，并将它们与编码的列名进行匹配，以确定相关性。检索到的数据包括列名、数据类型（**将列转换为整数、浮点数或日期时数据类型；否则，将它们保留为分类列**）和示例值（**除分类列外，使用最大最小值作为示例值，分类列使用三个最常见的类**）保留每个查询的Top-k个相关的结果，并根据相似性排序 3. **单元格检索（Cell Retrieval）：** 在模式检索之后，构建一个不同列值对的数据库$V = U_{ij}(C_{ij},v_{ij})$，在事实表中，**不同值往往会少于单元格总数**，所以这种方式提高了单元格检索的效率。在最坏的情况下，不同值和单元格总数相当，这里引入编码预算$B$, 如果不同值的数量超过$B$，那么将编码限制在出现最频繁的对。 4. **程序辅助求解器（Program-Aided Solver）：** TableRAG与大语言模型代理兼容，它可以通过**编程方式与表进行交互**。这里作者考虑ReAct（实现表QA基准的最先进方法） ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/10/12/1728721111599-896d93cb-7774-451c-943f-46230f3f5723.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/10/12/1728721111602-b9534ed7-8b3c-4eba-891c-e0e486ff1d00.png) **在实验方面**，作者开发了两个广泛使用的数据集*ArcadeQA*和*BirdQA*，分别来自*Arcade*和*BIRD-SQL*数据集，此外，作者扩展了*TabFact*数据集，使其包括了从$100\times100 到 1000\times 1000$ 的合成表。 作者将TableRAG与四种不同的表输入方法进行了比较。包括**整表输入**、**模式输入**、**随机行采样**和**行列检索**，在表2所示的跨数据集的评估中，TableRAG始终优于其他方法，在*ArcadeQA*和*BirdQA*上都获得了**最高的准确性**。 ![](https://fastly.jsdelivr.net/gh/bucketio/img15@main/2024/10/12/1728721136084-7c92b760-4840-40b9-9b9a-186a72f62fba.png) 并且本方法也以更简短的prompt长度取得了较高的准确率，如下图所示。 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/10/12/1728721147144-bf7d9c8f-bfae-41c3-bf46-69c79f4d641d.png) 此外，为了评估小规模*TableQA*数据集的性能，作者使用常用的*WikiTableQA*基准，与相关的基线方法做了比较，获得了更好的结果。 ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/10/12/1728721147146-ef09ec9a-612b-41e6-a8a1-b09b69e5933c.png) --- - 原文链接: https://arxiv.org/abs/2410.04739 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/XXX ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241004-20241010/利用 KG-RAG 提升病理解释性能，并保护隐私.md ================================================ # LLaVA Needs More Knowledge: Retrieval Augmented Natural Language Generation with Knowledge Graph for Explaining Thoracic Pathologies **作者**：*Ameer Hamza, Abdullah, Yong Hyun Ahn, Sungyoung Lee, Seong Tae Kim* **单位**： *Kyung Hee University, Republic of Korea* 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/10/13/1728802965111-78daa669-569a-4753-a8a4-4c153471a5c4.png) ## 方法详解 该框架将一个预训练的 LLaVA 模型与一个 CLIP ViT - L 视觉编码器相结合，以提取视觉特征，然后将这些视觉特征投影到语言模型的嵌入空间中。KGR 模块使用 MedCLIP 将输入图像映射到一个共享的潜在空间，并通过 FAISS 库检索相关的 KG 三元组。这些三元组提供了特定领域的上下文，增强了胸部病理准确且信息丰富的自然语言解释（NLE）的生成。模块化设计允许与其他架构（如 Med - XPT 和 Bio - LLaVA）无缝集成，确保在不同的视觉 - 语言任务中具有灵活性和适应性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/10/13/1728803120083-0144cfe8-368f-40c5-ad09-ff790f3ae8ca.png) ### 病理分类任务 运用 MLP 处理医学视觉模型提取的视觉特征，对 10 种病理按存在可能性分为**阴性**、**不确定**、**阳性**三个确定性水平进行预测。得到分类后的结果，跟KG-RAG检索到的知识一起输给大模型。 ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/10/13/1728803233951-22468a86-e473-419c-b0d3-a25343a6a34b.png) ### 知识图谱检索 为解决传统 RAG 系统可能暴露患者敏感信息的风险，提出基于 KG 的 RAG 方法。该方法使用由通用医学术语、实体及其相互关系组成的 KG，**避免直接涉及患者特定细节**，降低隐私暴露风险。 **数据存储的构建** - 构建一个包含 KG 三元组的数据存储，这些三元组来自 MIMIC - CXR 训练集，通过 RadGraph 模型提取。形式为：“疾病实体 - 关系描述 - 相关实体” 的形式，如 “肺炎 - 暗示 - 肺部阴影” 等 - 仅使用具有 “暗示” 关系的三元组，因为它们与解释病理更直接相关。 - 三元组的嵌入使用 MED-CLIP 模型生成，并仅存储文本信息，排除图像特征，以便实现跨模态检索。 **知识检索过程** - 对于每个查询图像，使用 MED-CLIP 模型提取视觉特征，该模型将视觉和三元组特征映射到统一特征空间。 - 通过计算查询图像视觉特征与存储的三元组嵌入之间的余弦相似度，从 KG 数据存储中检索出最相似的前 k 个三元组。 ### 视觉与语言模型 **视觉模型**：MedCLIP 和 ViT - L/14 CLIP **语言模型**：LLaVA 或者 Viccuna 最后集成信息输入，向语言模型提供病理及其确定性水平（不确定、阳性）以及检索到的知识。这些元素被集成到一个结构化的提示模板中。然后将这个提示输入到解码器中，解码器根据图像特征、病理和检索到的知识生成自然语言解释（NLE）。 ### 实验结果 **与其他方法比较** 在 MIMIC - NLE 测试集上，将 KG - LLaVA 框架与 RATCHET、TieNet、DPT 等方法比较。KG - LLaVA 在 AUC（83.0）、BLEU - 4（7.2）、METEOR（15.1）、ROUGE - L（25.0）和 CIDEr（62.2）等指标上均优于现有方法，表明其在准确分类和生成胸部病理相关解释方面的有效性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/13/1728803608036-8cb96249-43ff-4b12-984e-58d77a486b4a.png) **不同 LLMs 比较** 对 KG - LLaVA、Med - XPT 和 Bio - LLaVA 三个框架比较。KG - LLaVA 在 BLEU - 4、METEOR 和 ROUGE - L 指标上表现最佳，能生成准确且内容丰富的解释； **不同 RAG 方法影响** 比较 Med - XPT 和 KG - LLaVA 在无 RAG、基于标准 NLE 的 RAG 以及基于 KG 检索模块的 RAG 三种配置下的性能。在 KG 配置下性能提升最显著，KG - LLaVA 在多个指标上领先，Med - XPT 在 CIDEr 指标上表现出色，证明了 KG - RAG 模块的重要性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2024/10/13/1728803689789-8e3ac7b8-548d-40ab-8a42-55608b6b5cbd.png) --- - 原文链接: https://arxiv.org/abs/2410.04749 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/XXX ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241004-20241010/精准思考，智能分配算力.md ================================================ # LEARNING HOW HARD TO THINK: INPUT-ADAPTIVE ALLOCATION OF LM COMPUTATION **作者**：*Mehul Damani, Idan Shenfeld* 等 **单位**： *MIT* 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/10/12/1728724185676-7f129aa5-a593-4079-aa62-daf110d9b785.png) 本文研究了**如何自适应地为不同难度的输入问题分配不同计算资源以提高语言模型的输出质量**。现有方法通常为所有输入问题应用相同的推理资源，导致计算资源分配效率低下。 因此，本文首先提出了一种方法来预测输入问题的难度，并据此分配额外的计算资源给那些难度较高且能从中显著受益的问题。本文训练了一个轻量级的难度预测模型来估计每个查询的边际奖励，并开发了一个高效的资源分配算法来优化整体的计算资源分配。 ### 难度预测 难度预测模型构建在LM上，在LM最后一层隐藏层上新增MLP，在LM decode时，用隐藏层输出输入到reward predictor中，进行难度预测。通过这种方式可以在decode的**同时**进行难度预测，并且可以**利用LM本身的问题理解和表征能力**。 ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/10/12/1728724230100-ae312f5b-ead1-4d97-ad48-93914b4bd424.png) ### 资源分配 本文解决的问题是如何在拥有有限推理计算资源的情况下，最优化模型的输出效果，即**最优化**如下目标： $$ \begin{aligned} max_{b_1,...,b_n}\sum_i{\mathbb{E}_{y_i \sim f(x_i,b_i)}[r(x_i,y_i)]}\quad s.t. \sum_i{b_i}\le B\cdot n \end{aligned} $$ 其中： $$x_i,y_i$$分别是问题输入和LM回答输出； $$r$$用于衡量回答的好坏，比如chat任务中，可以用reward model来衡量输出质量； $$B$$是平分给每个问题最多的推理资源，资源可以类比为sample几次，因此推理资源总量就是$$B\cdot n$$； $$b_i$$是实际给第$$i$$个问题分配的资源量，为**优化变量**； 本文接着定义边际收益，即多分配1unit（比如多sample一次）的推理资源，获得的边际reward，将根据问题难度分配资源转化为根据多给问题**分配资源能够获得的边际收益**来分配推理资源，边际收益定义如下： $$ \begin{aligned} q(x_i, b_i) = \mathbb{E}_{y_i\sim f(x_i,b_i)}[r(x_i, y_i)]\\ \Delta_{ij}=q(x_i,j)-q(x_i,j-1) \end{aligned} $$ 因此可以得到如下转化： $$ \begin{aligned} q(x_i,b_i)=\sum_{j=1}^{b_i}\Delta_{ij} \end{aligned} $$ 最终可以得到如下转化的优化目标： $$ \begin{aligned} max\sum_{i=1}^n\sum_{j=1}^{B_{max}}{c_{ij}\Delta_{ij}}\quad s.t. \sum_{i,j}{c_{ij}}\le B\cdot n;\quad c_{ij}\le c_{i,j-1} \ \forall i,j \end{aligned} $$ 其中： $c_{ij}$为整数变量，表示对于问题$i$资源是否增多，这是一个**整数规划问题**，且具有特殊形式，可以用贪心算法求得最优解。 ### 实验结果 以chat任务为例，使用LMSYS-Chat数据集，Full为全量测试集，Tranches为从Full中挑选最难和最简单的问题构造的数据集。在达到相同回答效果的前提下，使用本文资源分配算法可以在Full数据集上获得0-10%的资源节省，在Tranches数据集上获得25-40%的资源节省。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/12/1728724269297-64d25464-6c39-4b24-b591-84ad96677bcc.png) --- - 原文链接: http://arxiv.org/abs/2410.04707 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/XXX ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241004-20241010/重要性采样，解锁Token级偏好对齐.md ================================================ # TIS-DPO: Token-Level Importance Sampling for Direct Preference Optimization with Estimated Weights **作者**：*Aiwei Liu, Haoping Bai, Zhiyun Lu, Yanchao Sun, Xiang Kong, Simon Wang, Jiulong Shan, Albin Madappally Jose, Xiaojiang Liu, Lijie Wen, Philip S. Yu, Meng Cao* **单位**：*Tsinghua University, Apple, University of Illinois at Chicago* 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ## 研究框图 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/10/13/1728790010076-b2d39a7c-5707-4081-97f0-f24c4571819b.png) ## 方法详解 本文研究的是**如何提高大型语言模型在偏好对齐任务中的优化效率和结果的最优性**。在现有的 DPO 方法中，所有 Token 同等重要，这忽略了 Token 间重要性的差异，可能导致优化效率低下，且难以达到最优结果。为了解决这一问题，本文提出了一种新的优化目标——**基于估计权重的 Token 级重要性采样 DPO（TIS-DPO）**。 TIS-DPO 的核心思想是**为每个 Token 分配基于其奖励的重要性权重**，从而在优化过程中对不同 Token 进行差异化处理。**重要性权重是通过正面与负面LLMs对相同Token的预测概率之差来计算的，这个差值被视作奖励的估计。** ### 1. DPO的局限性：忽略 Token 级的重要性差异 由于 Token 之间的重要性差异很大，甚至好回答也可能包含低奖励的 Token。**与 Token 级奖励值相比，文本的平均奖励存在噪声**。DPO 对所有 Token 一视同仁会降低优化效果。 本文将正负回答的**平均奖励值出错的概率**称作**数据噪声**，其上界为（证明见原文附录）: $$ P(S_w\leq S_l)\leq\exp\left(-\frac{2n_wt^2}{(b_w-a_w)^2}\right)+\exp\left(-\frac{2n_lt^2}{(b_l-a_l)^2}\right) $$ 其中，$S_w$ 和 $S_l$ 分别为正负回答的平均奖励值，$n_w$ 和 $n_l$ 分别为正负回答的 Token 数量，$b_w$ 和 $a_w$ 分别是正回答的最大奖励值和最小奖励值，$b_l$ 和 $a_l$ 分别是正回答的最大奖励值和最小奖励值。 可以发现，**文本中不同 Token 的奖励波动越大，正负回答的平均奖励出错的概率越大**，越容易影响优化过程。 ### 2. 最优的偏好数据分布 为了克服上述问题，理想的偏好数据的 Token 奖励应该尽可能稳定。**最优的偏好数据分布** $D^*$ 应当满足以下定义： **定义1**：在最优数据集 $\mathcal{D}^*$ 中，对于所有的 $x$ 和 $y^{

### 优势函数引入与PAV构造 为了解决上述问题，论文采用强化学习中的优势函数，衡量单个步骤的进展： $$ A^{\pi}\left(s_{h}, a_{h}\right):=Q^{\pi}\left(s_{h}, a_{h}\right)-V^{\pi}\left(s_{h}\right)=Q^{\pi}\left(s_{h}, a_{h}\right)-Q^{\pi}\left(s_{h - 1}, a_{h - 1}\right) $$ 并在ORMs损失函数的基础上： $$ \ell_{ORM-RL}(\pi):=\mathbb{E}_{x \sim \mathcal{D},\left(a_{1},..., a_{H}\right) \sim \pi(\cdot | x)}\left[Rex\left(\left(x, a_{1},..., a_{H}\right), y_{x}^{*}\right)\right] $$ 结合过程奖励来构建标准的强化学习目标： $$ \ell_{PAV-RL}^{\pi'}(\pi):=\ell_{ORM-RL}(\pi)+\alpha \cdot \sum_{h=1}^{H} \mathbb{E}_{s_{h} \sim d_{h}^{\pi'}} \mathbb{E}_{a_{h} \sim \pi\left(\cdot | s_{h}\right)}\left[A^{\mu}\left(s_{h}, a_{h}\right)\right] $$ 其中$\ell_{ORM - RL}(\pi)$是标准的RL目标，它表示在数据集$\mathcal{D}$中，策略$\pi$对问题$x$生成响应$(a_{1},...,a_{H})$与真实答案$y_{x}^{*}$匹配的期望。$\alpha$是一个系数，用于平衡两部分的权重。这里策略$\mu$被论文称为证明策略（prover policy）。 $\sum_{h = 1}^{H}\mathbb{E}_{s_{h}\sim d_{h}^{\pi'}}\mathbb{E}_{a_{h}\sim\pi(\cdot|s_{h})}[A^{\mu}(s_{h},a_{h})]$这部分表示对过程奖励$A^{\mu}$的求和。这里的$d_{h}^{\pi'}$表示在步骤$h$时由旧策略$\pi'$（上一次迭代的策略）访问的状态分布，$\mathbb{E}_{s_{h}\sim d_{h}^{\pi'}}\mathbb{E}_{a_{h}\sim\pi(\cdot|s_{h})}[A^{\mu}(s_{h},a_{h})]$表示在该状态分布下，根据策略$\pi$采取动作$a_{h}$时的过程奖励$A^{\mu}$的期望，对所有步骤$h$从$1$到$H$进行求和。 这种结合方式旨在综合考虑**结果奖励**和**过程奖励**，以更好地优化策略$\pi$。 PAV的策略梯度为： $$ \left.\nabla_{\pi} \ell_{PAV-RL}^{\pi'}(\pi)\right|_{\pi'=\pi}=\sum_{h=1}^{H} \nabla_{\pi} \log \pi\left(a_{h} | s_{h}\right) \cdot \underbrace{\left(Q^{\pi}\left(s_{h}, a_{h}\right)+\alpha \cdot A^{\mu}\left(s_{h}, a_{h}\right)\right)}_{\text{effective reward }} $$ 这里$\nabla_{\pi} log \pi\left(a_{h}|s_{h}\right)$是策略$\pi$关于动作$a_{h}$在状态$s_{h}$下的对数概率的梯度。 - $Q^{\pi}\left(s_{h},a_{h}\right)+\alpha\cdot A^{\mu}\left(s_{h},a_{h}\right)$被称为有效奖励。$Q^{\pi}\left(s_{h},a_{h}\right)$是基础策略$\pi$下状态 - 动作对$(s_{h},a_{h})$的价值，$A^{\mu}\left(s_{h},a_{h}\right)$是证明策略$\mu$下的优势，$\alpha$是一个系数，用于平衡两者在有效奖励中的贡献。这个公式展示了如何通过策略梯度来更新策略$\pi$，以优化目标函数$\ell_{PAV - RL}^{\pi'}(\pi)$。 ### 实验结果 一、测试时计算的扩展 （一）PAVs的计算效率和准确性优势 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/20/1729426416061-e4fbcdb3-4f1f-4cff-9205-362be456bbe0.png) - 在不同规模的Gemma模型（2B、9B、27B）上进行测试时搜索实验。使用PAVs进行波束搜索，并与使用ORMs进行最佳-of-N搜索进行比较。 - 结果表明，对于不同的波束大小N，PAVs在准确性上比ORMs提高了8 - 10%，在计算效率上比ORMs提高了1.5 - 5倍。例如在Gemma - 2B和9B模型上计算效率提升可达10×，在Gemma - 27B模型上为5×。 （二）证明策略$\mu$的选择影响 ![](https://fastly.jsdelivr.net/gh/bucketio/img15@main/2024/10/20/1729426487578-c3a834e5-c165-48f4-a231-2759f28c3ed2.png) 1. 弱/强证明策略的非最优性 - 当以不同强度的Best - of - K策略作为证明策略$\mu$时，太弱（如Bo2）或太强（如Bo32）的证明策略都不是最优的。例如在以Gemma - 2B SFT模型为基础策略时，随着K增加，BoK(π)变强，但在所有N值下，Bo4表现最佳。 2. 不同基础策略$\pi$对应不同最佳证明策略$\mu$ - 在使用三个基础策略（Gemma 2B/9B/27B）作为证明策略训练PAVs的实验中，对于2B和9B基础模型，分别是9B和27B证明策略$\mu$最有效；对于27B模型，较弱的9B策略反而比27B本身更有效，这与理论上证明策略应与基础策略互补的观点相符。 （三）证明策略促进探索

- $A_{\mu}$衡量行动的进步，与$Q_{\pi}$衡量特定状态的价值不同。有效奖励$Q_{\pi}+\alpha A_{\mu}$能在**探索新前缀**和利用现有高Q值前缀之间取得更好的平衡。 - 实验表明，与仅使用$Q_{\pi}$的波束搜索和独立同分布采样相比，使用PAVs的波束搜索能提高Pass@N性能，说明证明策略的优势有助于探索。 二、密集奖励RL的扩展 （一）PAV - RL的准确性和样本效率提升 ![](https://fastly.jsdelivr.net/gh/bucketio/img10@main/2024/10/20/1729426594335-6aa8299d-08fd-46f7-b2ce-84fe178103bf.png) - 在Gemma 2B和9B SFT模型上进行在线RL实验，比较PAV - RL和标准的ORM - RL。 - 结果表明，PAV - RL在测试准确性上比ORM - RL提高了>7%，且采样效率是ORM - RL的6倍。例如对于2B模型，PAV - RL将RFT策略提高了11%，对于9B模型提高了15%。 （二）PAV - RL在重排上的优势

- 在Gemma 2B上，PAV - RL的Pass@N性能比ORM - RL更高（对于任何N≤128，提高>7%），且Pass@N提升的速率也更高。这表明PAV - RL能产生更多样化的候选解，避免了ORM - RL中由于下一步分布熵较低导致的非多样化候选问题。 （三）PAVs促进探索和解决新问题

- 在RL过程中，ORM对不正确展开中的所有步骤同等降权，而PAVs中的有效奖励会对证明策略下有进步的步骤加权，增加了对单个步骤的覆盖，提高了基础策略成功的可能性。 - 实验表明，将PAV - RL策略与测试时波束搜索相结合，能在较小的计算预算（N = 16,32）内解决大量新问题，而SFT策略在大得多的预算（N = 256）下都无法解决这些问题。 --- - 原文链接: https://arxiv.org/abs/2410.08146 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/XXX - 撰稿：张超 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241018-20241024/DeepSeek最新多模态大模型，理解与生成同时遥遥领先!.md ================================================ - ## Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation 作者：Chengyue Wu Xiaokang 等 单位：DeepSeek-AI The University of Hong Kong等 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/27/1729995459777-fb317cb2-1f65-4ddb-b265-8607204ee4a5.png) 本文研究内容是如何将多模态理解和生成统一到一个模型中，此前的研究使用单一的视觉编码器来同时处理两项任务的输入，然而，多模态理解和生成任务所需的表征存在显著差异。在多模态理解任务中，视觉编码器的目的是提取高层语义信息（例如图像中的对象类别或视觉属性）。理解任务的输出不仅涉及从图像中提取信息，还包括复杂的语义推理。相比之下，在视觉生成任务中，主要关注的是生成图像的局部细节和保持全局一致性。在这种情况下，所需的表征必须是能够表达细粒度空间结构和纹理细节的低维编码。为了解决这一问题，本文提出了Janus，一个解耦视觉编码的统一多模态框架，专用于多模态理解和生成。 其框架图如下图所示： ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/10/27/1729995498985-7523eb5d-4cbf-4c5d-acfe-87ab0c172f0e.png) ##### 具体而言： **在文本理解方面**，使用LLM的tokenizer将文本转换为离散ID，并获得与每个ID对应的特征表示。 **在多模态理解中**，采用SigLIP 编码器从图像中提取高维语义特征。这些特征从二维网格展平为一维序列，并通过一个adaptor将这些图像特征映射到LLM的输入空间。 **在视觉生成任务中**，使用 VQ tokenizer将图像转换为离散ID。将ID序列展平为一维后，使用adaptor将与每个ID对应的代码簿嵌入映射到LLM的输入空间。然后，我们将这些特征序列连接起来，形成一个多模态特征序列，并将其输入LLM进行处理。 在纯文本理解和多模态理解任务中，LLM的内置预测头用于文本预测，而在视觉生成任务中，使用一个随机初始化的预测头进行图像预测。 ##### 模型训练上，分为三个阶段，如下图所示： ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/10/27/1729995530775-5cdb018d-6709-41da-bc1c-038cae0536cf.png) **第一阶段：训练adaptor和Image Head** 此阶段的主要目标是在嵌入空间中建立**视觉和语言元素之间的概念联系**，使LLM能够理解图像中的实体，并具备初步的视觉生成能力。在此阶段，**冻结视觉编码器和LLM**，仅更新两个adaptor和Image Head中的可训练参数。 **第二阶段：统一预训练** 在该阶段，使用**多模态语料**进行统一预训练，使模型Janus学习多模态理解和生成能力。在这一过程中们解冻LLM并使用所有类型的训练数据：纯文本数据、多模态理解数据和视觉生成数据。 **第三阶段：监督微调** 在此阶段，通过指令微调数据对预训练模型进行**监督微调**，以提升其**指令跟随能力和对话能力**。在微调过程中，微调除Gen. Encoder 外的所有参数，并侧重于监督答案的生成，同时屏蔽系统和用户的提示信息。 ##### 实验方面，如下表所示： 在**多模态理解性能**上，Janus 在相同规模的模型中取得了整体最佳结果，相较于之前最佳的统一模型Show-o ，Janus 在MME和GQA数据集上分别提升了41%（949 → 1338）和30%（48.7 → 59.1）,同时，Janus 在多个数据集（如POPE、MMBench、SEED Bench 和 MM-Vet）上超越了LLaVA-v1.5 (7B)。 在**视觉生成性能**上，Janus 在GenEval上取得了61%的总体准确率，超过了之前最佳的统一模型Show-o (53%) 和一些流行的仅生成方法，如SDXL (55%) 和 DALL-E 2 (52%）。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/10/27/1729995544210-366b640f-50b1-416a-b74c-7ec3e278731d.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/10/27/1729995551472-4ff10a8c-ad74-46f9-a67f-9871132ae71b.png) 综上所述，本文介绍了Janus，这是一种简单、统一且可扩展的多模态理解与生成模型。Janus的核心理念是将多模态理解和生成的视觉编码解耦，以缓解理解和生成对视觉编码器提出的不同需求所引发的冲突。大量实验验证了Janus的有效性及其领先的性能。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/pdf/2410.13848] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/XXX** - 本文编辑：胡中豪，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241018-20241024/LongRAG：长文本问答的 “超级导航仪”，精准定位答案.md ================================================ # LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigmfor Long-Context Question Answering **作者**：*Qingfei Zhao, Ruobing Wang , Yukuo Cen* 等 **单位**： *Institute of Information Engineering, Chinese Academy of Sciences等* 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/26/1729951624779-4413a16a-c37e-4f51-bdee-de04e93dcfa0.png) 本文研究的问题是**提升大型语言模型在处理长文本问答任务时的表现**。之前的方法包含self-RAG以及cRAG等，其中前者依赖自我反思标记来探索全局信息，但这种依赖可能误删含有重要细节的有效检索块；后者逐个评估块以识别事实细节，却忽略了块之间的关联，当关键细节分散在多个块中时，可能造成重要信息的遗漏。 本文的**LongRAG**的核心思想是**通过增强LLM对长文本中全局信息的理解来增强其识别关键信息的能力** **LongRAG**框架具体流程如下：
**实验方案**
1. **混合检索器（Hybrid Retriever）:** 采用双向编码器进行快速检索，并通过交叉编码器深入理解语义关系，确保检索效率。 2. **LLM增强信息提取器（LLM-augmented Information Extractor）：** 上述检索到的块被固定的窗口截断，难以携带额外的全局信息。此外，当检索到的数据块来自同一段落p时，它们的顺序可能与p中的原始语义顺序不一致，导致向下游llm提供无序的语义信息。将检索到的短文本片段映射回原始长文本段落，提取包含广泛背景和结构知识的全局信息。 $f_m(p_{c_1}, p_{c_2}, \cdots, p_{c_k}) \rightarrow p_1, p_2, \cdots, p_{k'}$
其中$p_{c_1}$表示检索到的块，之后将映射后的段落连接，并输入给大语言模型总结得到全局信息$I_g$。 $I_g = \text{LLM}\left(\text{prompt}_e\left(q, p_1\left|p_2\right|\cdots\mid p_{k'}\right)\right)$ 3. **CoT引导过滤器（CoT-guided Filter）：** 检索到的块通常包含大量的冗余；有些块甚至可以是完全冗余的。这种复杂性使得很难确定一个块是否包含解决多跳问题的关键信息，为了解决上述问题，作者采用两阶段策略，第一阶段基于检索语义空间生成一个具有全局视角的CoT： $CoT = \text{LLM}\left(\text{prompt}_c\left(q, p_{c_1}\left|p_{c_2}\right|\cdots\mid p_{c_k}\right)\right)$ 第二阶段利用全局线索（CoT）指导模型精确筛选出包含关键事实细节的文本块$I_d$。 $$ V(q, p_c, \text{CoT}) = \begin{cases} \text{True,} & \text{if 作者选取了三个多跳数据集*HotpotQA*， *2Wiki-MultiHopQA*，*MusiQue*，并与三类方法进行了比较，*Long-Context LLM Methods*，*Advanced RAG Methods*，*RAG-Base (Vanilla RAG)*，分别提升了**6.94%，6.16%，17.25%** 的准确率 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/24/1729768767012-48349cb3-37c6-4f13-b272-b9b9323e3441.png) --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2406.15319] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMS** - 本文编辑：刘亚川，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241018-20241024/NetSafe：探秘多智能体网络安全拓扑“攻守道”(1).md ================================================ # NetSafe: Exploring the Topological Safety of Multi-agent Network **作者**：*Miao Yu, Shilong Wang, Guibin Zhang, Junyuan Mao, Chenlong Yin, Qijiong Liu, Qingsong Wen, Kun Wang, Yang Wang* 等 **单位**： *University of Science and Technology of China, Squirrel AI, Hong Kong Polytechnic University* 等 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/10/24/1729772713541-cf342327-80e6-4557-a346-7e6a47392852.png) ## 方法详解 本文研究的是**如何确保基于大型语言模型的多智能体网络的拓扑安全**。现有方法在保障多智能体网络拓扑安全方面存在不足，缺乏统一的安全研究标准，难以准确评估不同拓扑结构的安全性。受图论和拓扑学理论启发，本文提出了**NetSafe**框架，通过**定义多智能体网络拓扑结构**、**设计特定通信机制**和**攻击策略**以及**采用静态和动态评估方法**，探究多智能体网络在面对各种攻击时的网络安全特性。 具体地，**NetSafe**方法分为三个主要部分，多智能体网络、攻击策略和评估方法，主要框架如下图所示，以下是详细介绍。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/10/24/1729772940745-aa8aff90-1d07-486e-bb9f-02e217c4583e.png) #### 多智能体网络 1. **网络拓扑结构表示**： - 将多智能体网络的拓扑结构定义为**有向图**，有向图中的节点代表各个智能体，而有向边则表示信息从一个智能体向另一个智能体的流动方向。 - 同时，使用**邻接矩阵**来具体描述有向图。邻接矩阵中的元素表示两个智能体之间是否存在连接以及连接的强度等信息，为分析网络的结构特性提供了量化的手段。 主要定义了**链型拓扑**、**循环拓扑**、**二叉树拓扑**、**星型拓扑**、**完全图拓扑**几种类型，如下图所示。 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/10/24/1729773798365-42d456b3-579f-4f20-b585-b0f57789b3f1.png) 2. **RelCom 通信机制**： - **Genesis（生成初始响应）**：在多智能体网络中，每个智能体首先通过这个步骤独立地对给定的任务或问题生成初始的响应。这一过程基于智能体自身所拥有的知识和能力，不依赖于其他智能体的信息。 - **Renaissance（收集邻居响应并更新）**：智能体在这个阶段不再孤立行动，而是积极收集来自与其有连接关系的邻居智能体的响应。智能体在收集到这些响应后，会对自己的初始响应进行**更新**。 注意：本文提出的 RelCom 是**迭代**的。在实践中，Genesis 步骤仅执行一次，而 Renaissance 步骤在给定的轮数内循环执行。 ***RelCom 既支持基于语言模型的智能体节点之间的全面信息交换，又具有理想的迭代性和标准化的数学特性***，使我们能够在多个交互轮次中动态地检查多智能体网络的拓扑安全性。 #### 攻击策略 **提示级攻击方法**：采用提示级攻击方法，这种方法通过改写输入 Prompt 来注入恶意信息，包括错误信息、偏见和有害信息。与传统的攻击方式相比，提示级攻击能够更好地模拟现实中恶意信息的传播方式。通过精心设计的攻击策略，将恶意信息注入到多智能体网络中，使正常的智能体节点受到攻击，以观察不同拓扑结构下网络对恶意信息的抵抗能力以及智能体之间的相互影响。下图为一个例子： ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/10/24/1729773942781-ca7feb2c-89a9-461d-bfd0-64583757e5d7.png) #### 评估方法 1. **静态评估**： - **使用指标**：采用**网络效率**、**特征向量中心性**、**攻击路径脆弱性**等指标进行静态评估。网络效率可以衡量网络中信息传递的效率，特征向量中心性可以反映节点在网络中的重要性，攻击路径脆弱性则可以评估网络在遭受攻击时的脆弱程度。 - **局限性**：传统的静态评估指标虽然能够从一定角度反映网络的结构特性，但难以准确反映复杂的多智能体网络在实际运行中的安全性能，与实际性能的相关性较差。 2. **动态评估**： - **多轮交互计算准确率**：通过多轮交互计算**单智能体准确率**和**多智能体联合准确率**进行动态评估。在多轮交互过程中，智能体不断地进行信息交流和更新，更接近实际的应用场景。单智能体准确率可以衡量单个智能体在面对攻击时的表现，多智能体联合准确率则可以反映整个网络的综合性能。 - **优势**：动态评估方法能够更准确地反映多智能体网络在实际运行中的安全性能，为评估不同拓扑结构的安全性提供了更有效的手段。 ### 实验结果 #### 错误信息注入攻击实验 ![](https://fastly.jsdelivr.net/gh/bucketio/img14@main/2024/10/24/1729773980502-acb19ec8-78b1-402d-b6d7-5597fa90908e.png) 1. **多智能体网络收敛性分析**： - 经过 RelCom 多轮交互后，多智能体网络趋于收敛。例如在简单逻辑任务中，以循环拓扑网络为例，其准确率呈下降趋势并最终收敛，这表明可以研究网络的稳态安全性能。 2. **网络连接性与安全性关系分析**： - 连接性高的拓扑（如星型拓扑）在错误信息攻击下更脆弱。这是因为恶意信息可以通过中心节点快速传播到其他节点，导致整个网络的准确率下降。相比之下，链型拓扑在事实和常识问答数据集上安全性较高。其连接性较弱，错误信息传播相对困难，节点之间的影响相对较小。 - 多智能体网络在复杂逻辑任务中对错误信息有更强的鲁棒性，说明不同任务类型下网络的安全性表现不同。另外，某些拓扑结构可能更容易通过邻居节点的反馈来纠正错误信息，而另一些拓扑结构则可能难以纠正错误。 #### 偏见诱导和有害信息诱导攻击实验 1. **偏见诱导攻击分析**： - 多智能体网络对偏见诱导攻击有很强的抵抗力。在多数情况下，智能体能够准确识别偏见陈述，并在攻击过程中对攻击者有纠正作用。 - 连接性高的拓扑（如完全图拓扑）纠正作用更强，这可能是因为信息在高连接性网络中传播更快，使得更多的智能体能够参与到纠正偏见的过程中。 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/10/24/1729774152688-6a705ad7-f382-46b6-8a4c-709025ca6269.png) 2. **有害信息诱导攻击分析**： - 多智能体网络对有害信息也有很强的防御能力。如下图所示，在完全图拓扑中，即使大部分节点变为通过不良特征注入的越狱语言模型（5个攻击节点，1个正常节点），有害信息仍难以在网络中传播，正常节点几乎不受影响，体现了**聚合安全**现象，这表明多智能体网络在一定程度上能够自我保护。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/24/1729774207505-3d1d7c26-b1da-484b-b920-ca13b9b767d1.png) #### 攻击者节点数量影响实验 1. **攻击者节点增加的影响分析**： - 攻击者节点数量增加会严重损害网络安全。例如，在数学任务中，完全图拓扑随着攻击者数量增加，安全性大幅下降。这是因为更多的攻击者可以注入更多的恶意信息，使正常节点更容易受到影响。 - 不同拓扑结构在攻击者数量增加时的安全性能变化不同。链型拓扑在多数情况下安全性较高，说明其对攻击者数量的增加相对不敏感。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/24/1729774256122-f8c7a817-d96d-4b57-ae7a-1bb11e6520ff.png) 2. **正常节点增加的影响分析**： - 正常节点数量增加对网络安全的提升有限，且存在边界效应。例如，在事实数据集上，二叉树拓扑在正常节点增加时有一定准确率提升，但过多增加会使准确率下降。这表明单纯增加正常节点数量并不能有效提高网络的安全性，需要综合考虑拓扑结构和其他因素来设计更安全的多智能体网络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/10/24/1729774344966-9e37b38d-442f-4383-bd70-8666b19aa2da.png) --- - 原文链接: https://arxiv.org/pdf/2410.15686 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/XXX ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241018-20241024/SSO：无需人工标注，自动对齐 LLM！.md ================================================ # Aligning Large Language Models via Self-Steering Optimization **作者**：*Hao Xiang, Bowen Yu, Hongyu Lin, Keming Lu, Yaojie Lu, Xianpei Han, Le Sun, Jingren Zhou, Junyang Lin* **单位**：*1 Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, 2 Alibaba Group, 3 University of Chinese Academy of Sciences, Beijing, China* ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/10/24/1729775574669-b7f2709a-2235-403c-b4e6-ea923275ff50.png) 本文研究的是**如何自动化地对齐 LLM 与人类偏好**，而**无需人工标注偏好数据**。自动化对齐的关键在于提供可学习的、准确的偏好信号，以便于在没有人工标注的情况下进行偏好学习。为此，本文提出了**自我引导优化（Self-Steering Optimization, SSO）** 算法。 SSO 的核心思想是在迭代训练期间，基于**预定义的原则**自动生成高质量的偏好数据，从不同角度计算偏好对损失来获取偏好信号。SSO 通过确保正面回答和负面回答之间的偏好差距，同时保持偏好信号接近 On-Policy，即符合当前策略模型的学习状态，从而维持信号的准确性。 #### 1. 构建对比提示并采样回答 给定一个问题 $x$，策略模型首先识别与该问题最相关的特性和原则，包含**正面原则** $p^+$ 和**负面原则** $p^-$。然后，基于这些原则构建对比 Prompt，并抽样相应的回答，分别为**正面回答** $y^+$ 和**负面回答** $y^-$。然后用这些回答组成三个偏好对进行对齐。 给定正面原则 $p^{+}$和负面原则 $p^{-}$ 以及原始问题 $x$，模型生成正面回答 $y^{+}$ 和 负面回答 $y^{-}$，定义损失函数为 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/24/1729775608485-5bdf729c-ed6b-4014-a6f1-7c3b23757614.png) 其中 $\mathcal{G}$ 是**自我引导损失**，用于控制 $y^{+}$ 和 $y^{-}$ 之间的质量差距，$\theta$ 是一个控制 $\mathcal{G}$ 权重的参数。$L$ 是基础损失函数（本文使用的是IPO损失），用于朝着优势回答优化模型。受 WPO（Zhou等人，2024）的启发，本文通过权重函数 $W$ 来控制符合策略的行为。 #### 2. 自我引导损失 ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/10/24/1729775772182-89e595c0-c39a-4722-a9fa-a8c1a236dbe0.png) 自我引导损失 $\mathcal{G}$ 用来 $y^{+}$ 和 $y^{-}$ 之间的质量差距，一种自然的方法是使用正面原则的Prompt $x^+$ 和负面原则的Prompt $x^-$ 作为指令来构建损失，它们相应的回答作为优势回答： $$ \mathcal{G}=L_{base}(\mathbf{x}^+,\mathbf{y}^+,\mathbf{y}^-)+L_{base}(\mathbf{x}^-,\mathbf{y}^-,\mathbf{y}^+) $$ 但这种设计存在后门问题：容易通过精心设计的提示，将 $p^{-}$ 用作后门，从而操纵 LLM 产生有害文本。 因此，$y^{-}$应该在仍然满足 $x^{-}$ 的情况下尝试近似于模型当前的原始回答 $y^{o}$。SSO 通过使用 $y^{o}$ 作为优势回答来调整$L_{base}(x^{-}, y^{-}, y^{+})$。 $\mathcal{G}$ 的最终形式为： $$ \mathcal{G}=\mathcal{L}_{base}(\mathbf{x}^+,\mathbf{y}^+,\mathbf{y}^-)+\mathcal{L}_{base}(\mathbf{x}^-,\mathbf{y}^o,\mathbf{y}^+) $$ #### 3. 权重函数 为了在迭代过程中调整对偏好回答的学习程度，SSO设计了一个权重函数 $W$，用来决定损失函数权重。它使用 $y^{+}$ 和 $y^{-}$ 的平均对数概率简单地**评估回答的 On-Policy 程度**，即 $$ \tilde{\pi}_{\theta}(y|x)=\frac{\log\pi_{\theta}(y|x)}{|y|} $$ $\tilde{\pi}$ 越大，表明该回答越符合当前策略模型的行为。 权重函数 $W$ 综合正面回答 $y^{+}$ 和负面回答 $y^{-}$ 的平均对数概率，来决定损失函数的权重： $$ \mathcal{W}(\mathbf{x},\mathbf{y}^+,\mathbf{y}^-)=\mathrm{Sigmoid}\left(-\left(\alpha\cdot\tilde{\pi}_\theta(\mathbf{y}^+|\mathbf{x})+(1-\alpha)\tilde{\pi}_\theta(\mathbf{y}^-|\mathbf{x})\right)\right) $$ #### 4. 实验结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2024/10/24/1729775659610-94cd1e7e-1a0b-4cf5-82af-8e751409837f.png) + SFT 模型对齐 与基于原则的对齐方法相比，SSO 表现更好，在客观基准尤其是数学推理任务上存在优势。 + Instruct 模型再次对齐 将 SSO 应用于对齐后的模型，性能仍有改进。 + 离线数据训练奖励模型 使用 SSO 产生的离线数据集训练奖励模型，能够提升 Skywork 数据集的性能，而使用另外一个偏好数据集 UltraFeedback 数没有带来提升。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2410.17131] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：樊怡江 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241018-20241024/WMA Web Agent：让世界告诉Agent决策有风险需谨慎！.md ================================================ # WEB AGENTS WITH WORLD MODELS: LEARNING AND LEVERAGING ENVIRONMENT DYNAMICS IN WEB NAVIGATION **作者**：*Hyungjoo Chae, Namyoung Kim, Kai Tzu-iunn Ong, Minju Gwak, Gwanwoo Song, Jihoon Kim, Sunghwan Kim, Dongha Lee, Jinyoung Yeo* **单位**：*Yonsei University* ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img15@main/2024/10/24/1729773018477-a7693480-3a5b-405c-a6a3-339995903e08.png) ## 方法详解 本文研究的是**如何提升 Agent 在网络导航任务中的决策能力**。在网络导航中，LLMs需要生成一系列动作（如点击）来完成用户在网站上的目标。然而，现有的LLMs在长期任务中表现不佳，经常犯下不可逆的错误，例如重复购买不可退的机票。为了解决这一问题，本文提出了一种新的Web Agent框架——**World-Model-Augmented (WMA) Web Agent**。 WMA Web Agent的核心思想是利用**世界模型**来模拟Agent行动的可能结果，从而进行更好的决策。**世界模型**是指系统内部对环境的表示，能够预测Agent行动对环境的影响。本文中，世界模型通过生成自由形式的自然语言描述来突出时间步之间的重要状态差异，从而帮助Agent在不实际执行动作的情况下预见行动的结果。 ### 初步实验分析 本文首先进行了初步实验分析： 1. **分析LLM预测网络上动作造成的结果的能力**：给定LLM一个动作和两个候选的结果，两个结果的词义比较相似，令LLM通过二元分类任务判断该动作会造成什么结果。 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/10/24/1729773111639-e2a66a6f-8204-4f73-bc26-c30f25b9b29c.png) 2. **分析LLM已知结果之后对动作的选择能力**：将每个候选动作的结果提供给LLM，分析其是否可以选择与用户目标相一致的正确操作。 ![](https://fastly.jsdelivr.net/gh/bucketio/img2@main/2024/10/24/1729773122259-34d556c9-e2f3-41ff-ae99-9dfc28f9de5c.png) 结论：**用SOTA LLMs构建的Web Agent很难预测它们的行为的结果；然而，当了解到一个行动可能产生的潜在结果时，LLMs可以做出更好的决定。** WMA Web Agent 框架图如下图所示，包括**训练世界模型**和**执行策略优化**两个主要步骤。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/24/1729773156194-06139659-4513-47dc-9953-a77f4165fc27.png) ### 训练世界模型 1. **数据收集**：首先，通过LLM作为Web Agent与环境交互，收集训练数据集 $\mathcal{D}=\sum_{t=1}^n\{I,o_t,a_t,o_{t+1}\}$，包括用户指令 $I$、当前状态 $o_t$、Agent动作 $a_t$ 和下一状态 $o_{t+1}$。 2. **信息提取**： 简单地使用文本观察来表示环境状态并将它们作为训练目标可能会带来以下缺点： （1）**训练中的信息增益低**： 网页的状态转换往往只涉及对之前观察结果的一小部分进行修改（例如，点击下拉菜单）。因此，在时间步 $t+1$ 的观察结果 $o_{t+1}$ 中，大部分信息与时间步 $t$ 的观察结果 $o_t$ 相同。从头开始预测整个文本观察结果可能导致在训练过程中信息增益较低。 （2）**序列长度过长**： 处理基于**文本**的完整观察结果可能导致序列长度异常长，从而导致计算成本高昂。虽然可以通过使用相对简单的**可访问性树**来替代**原始HTML**来部分缓解这个问题，但作为LLMs的训练目标，它仍然引入了较长的序列长度（平均4K个标记）。 为了解决这些问题，本文提出了一种**专注于状态转变的观察抽象法(Transition-focused Observation Abstraction)**，该方法通过如图所示步骤来改进训练过程： - 使用**匈牙利算法**来计算 $o_t$ 和 $o_{t+1}$ 之间的成本矩阵，以匹配两个状态之间的元素。 - 将匹配结果转换为状态转换的列表，指出网站上**新增**、**删除**和**更新**的元素。 - 利用LLM将提取的 $\Delta(o_t,o_{t+1})$ 转换为自由形式的**自然语言描述** $\tilde{o}_{t+1}$，突出新旧观察结果之间的差异。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/10/24/1729773089638-ed4f9db1-aeaf-49c7-b07a-1de511fa8527.png) 3.**训练世界模型**：使用上述生成的描述 $\tilde{o}_{t+1}$ 作为训练目标，通过以下损失函数训练一个LLM作为世界模型，使其能够预测给定当前状态和动作后的下一状态描述。 $$ \mathcal{L}_\phi=-\log\sum_{(\tilde{o},o,a,I)\in\tilde{\mathcal{D}}}p(\tilde{o}_{t+1}|o_t,a_t,I) $$ ### 执行策略优化 Web Agent 由三个主要部分组成：**策略模型 $\theta$**、**世界模型** $\phi$ 和一个**值函数 $V$**。在推理时，策略模型 $\theta$ 是固定的，不会更新其参数。在时间 $t$ ，Agent会使用当前的观察结果 $o_t$ 和世界模型 $\phi$ 来预测下一个观察结果 $\tilde{o}_{t+1}$，并据此从策略模型 $\theta$ 中找到最优的动作/策略 $a_t$，以实现在 $I$ 中定义的目标。 首先，Agent 通过 top-p 解码从策略模型 $\theta$ 中采样 $k$ 个动作候选 $\{a^1_t, a^2_t, ..., a^k_t\}$。然后，使用世界模型 $\phi$ 来“模拟”每个动作候选 $a_t$ 可能引起的下一个观察结果 $\tilde{o}_{t+1}$： $$ \{\tilde{o}^i_{t+1}\}^k_{i=1} = \{\phi(o_t, a^i_t, I)\}^k_{i=1} $$ 最后，Agent 使用现成的 LLM 作为价值函数 $V(\cdot)$ ，用来估计每个动作候选产生的奖励，并选择奖励最高的动作 $\hat{a}_t$： $$ \hat{a}_t = \arg\max_{a_t \in \{a^1_t,...,a^k_t\}} V(I, o_t, a_t, \tilde{o}^i_{t+1}) $$ 通过这个过程，可以在推理时优化 Web Agent的策略选择，而**无需训练**策略模型。这种无需训练的世界模型增强方法能够轻松地将世界模型 $\phi$ 适应于现有的Web Agent，包括基于提示的（prompt-based）和微调过的LLMs。 ### 实验结果 **1. WebArena 性能**： 表1首先将 WMA Web Agent（16.6%）与 Vanilla CoT（13.1%）进行比较，发现在 WebArena 的几乎所有领域中都有显著提升，具体如表 2 所示。并且，当使用 GPT-4o-mini 作为策略模型时，在 Gitlab 和 Map 领域，该代理分别比 CoT 实现了 181% 和 92% 的性能提升。在 Shopping 领域的提升相对较小，可能是由于该领域的大规模状态空间，比如不同用户查询得到的搜索物品列表的多样性，这使得世界模型更难正确地学习环境动态。尽管如此，整体的提升表明了在推理时利用学习到的环境动态的有效性。 接下来，将 WMA Web Agent 与 Tree search agent 进行比较。当使用 GPT-4o 作为策略模型时，WMA Web Agent 的绝对成功率（16.6%）略低于 Tree search agent（19.2%）。然而，通过世界模型进行的策略优化为普通 CoT 带来的性能提升比树搜索更大（+29.7% 对比 + 28.0%）。 ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/10/24/1729773275507-696a2eed-84a0-47e7-9f19-909f78c70e5e.png) **2. Mind2Web性能**： 将 WMA Web Agent 与 MindAct和 AWM 进行比较，它们分别是 Mind2Web 上先前和当前的最佳方法。表 3 显示， WMA Web Agent 代理显著优于 AWM，实现了新的最佳性能。此外，结果表明，在 Mind2Web 数据上训练的 WMA Web Agent 具有很强的泛化能力。 ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/10/24/1729773289181-e5b3ae07-7af7-4094-975a-943d6dae7f42.png) 本文首次在基于 LLM 的网络代理中引入**世界模型**，解决了当前 SOTA LLM 在理解环境动态方面的局限性。通过在 WebArena 和 Mind2Web 中的广泛实验，**表明 WMA Web Agent 有效**，且在成本和时间上优于强基线，并在 Mind2Web 中达到新的最佳性能，为网络导航的未来研究奠定了基础。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2410.13232] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：宓禹 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241018-20241024/普林斯顿大学提出 TreeBoN ！大语言模型推理效能「提升秘籍」曝光.md ================================================ # TREEBON: Enhancing Inference-Time Alignment with Speculative Tree-Search and Best-of-N Sampling **作者**：*Jiahao Qiu, Yifu Lu, Yifan Zeng, Jiacheng Guo, Jiayi Geng, Huazheng Wang, Kaixuan Huang, Yue Wu, and Mengdi Wang* **单位**：Princeton University, University of Michigan, Oregon State University 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/10/25/1729870055198-94516a51-2f3a-49e6-b9c9-68f8b4b8b617.png) 论文提出了 TreeBoN 方法，通过将投机树搜索策略与 Best-of-N（BoN）采样相结合，并利用从 DPO 隐式奖励修改而来的 token 级奖励引导，来提高大语言模型推理时的对齐性能和效率。以下是 TreeBoN 方法的详细细节： ### TreeBoN方法 在大语言模型推理过程中，使模型输出符合人类意图和伦理标准的对齐至关重要。目前已有一些方法，如 BoN 采样通过生成多个回答并选择最优来尝试提高推理性能，但这种方法存在明显缺陷。 **BoN 采样的问题**：其计算成本高，因为它需要生成大量回答，计算成本随生成回答数量的增加呈线性增长，这在实际应用中效率低下，尤其是对于大规模的语言模型和复杂任务，会带来巨大的计算开销和延迟，限制了其在实时或对回答速度有要求场景中的应用。 **加速方法的局限性**：像 Speculative BoN 等加速方法，试图通过对部分回答（如前 K 个 Token）进行评分来预测整体回答的质量，但由于奖励模型通常是在完整回答上训练的，对部分回答的评分不准确，导致预测结果与实际评分有较大偏差，无法有效提升性能，反而可能影响最终的推理效果。 为了克服 BoN 采样效率低下的问题，TreeBoN 采用层次化策略，将长序列生成过程拆分为多个子序列。通过在树结构中逐层生成候选回答片段，避免了一次性生成大量完整回答带来的高额计算成本。TreeBoN通过在树结构中逐层生成候选回答片段来工作。算法从一组初始根回答片段开始，在每一层，选择高奖励的回答片段并扩展为多个子回答片段。这种对树空间的推测性搜索提高了效率和最终回答质量。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/10/26/1729876214352-89036c0f-00a1-4463-a0cf-3a3631dd696a.png) 具体来说，TreeBoN生成过程包含以下步骤： - **初始候选生成**：使用基础策略$π_{base}$生成$N$个长度为$l_1$的候选回答片段$C_1$，总最大回答长度$l_{max}$被分割为多个长度为$l_i$的段。 - **部分奖励评分**：在每层$i$，使用奖励模型或部分奖励函数$r(y|x)$计算候选回答片段$y \in C_i$的奖励分数，在生成长度为$l_i$的回答片段后进行评分。 - **剪枝和选择**：根据奖励分数，从当前层中选择前$N / N_{children}$个候选回答片段形成活动集$P_i$，这些高奖励的父回答片段将用于在下一层生成回答片段。 - **回答片段扩展**：对于每个父回答片段$y \in P_i$，TreeBoN从基础策略$π_{base}$中采样$N_{children}$个回答片段，每个回答片段的最大新token长度为$l_{i + 1}$，从而生成下一层的候选集$C_{i + 1}$。整个过程中，候选集大小始终为$N$，活动集$P_i$大小始终为$N / N_{children}$，以确保在不增加计算预算的情况下生成相同数量的总token。 - **最终选择**：在生成所有层的候选回答片段后，使用奖励模型计算最后一层候选回答片段$C_{N_{layer}}$的最终奖励，选择奖励最高的回答$y*$作为最终输出。 在这个过程中，TreeBoN使用**加权隐式奖励函数**来评估部分回答片段。对于序列y的前K个token，部分奖励计算为 $$ r_{partial}(y_{:K}|x)=\sum_{k=0}^{K - 1}w_k log\frac{\pi^{*}(y_k|x,y_{:k})}{\pi(y_k|x,y_{:k})} $$ 其中$w_k=\frac{1}{|y_k|}$是加权因子，用于调整每个token级别的对数似然比的贡献。 这种加权奖励有助于早期剪枝低质量回答片段，并在整个树扩展过程中鼓励继续生成更高质量的候选回答片段。通过利用DPO策略模型的隐式奖励，TreeBoN能够更准确地评估部分回答片段，从而提高整体的回答质量。 ### 实验结果 论文通过一系列实验评估了TreeBoN方法在不同数据集上的性能表现，包括与Baseline方法的对比、不同树结构和参数设置的影响、效率评估以及对不同隐式奖励的探索等方面。具体实验结果如下： 1.**在不同数据集上的改进** **评估方法**：使用GPT4 win-rate评估方法，在AlpacaFarm、UltraFeedback、HH - RLHF和TutorEval等数据集上，针对100个随机选择的提示，对比TreeBoN与Baseline方法（Best-of-N采样，N = 128）的性能。对于数学推理数据集GSM8K，报告零样本pass@1解决率。 ![](https://fastly.jsdelivr.net/gh/bucketio/img10@main/2024/10/26/1729876350955-4f754095-8a40-4f56-9bdf-e6736c81dcf4.png) - 在AlpacaFarm、UltraFeedback、HH - RLHF和TutorEval数据集上，TreeBoN在最大长度为192和384 tokens时，始终优于Baseline方法。例如，在192 tokens时，TreeBoN在AlpacaFarm上达到64%的win-rate，在其他数据集上至少达到60%的win-rate；在384 tokens时，在AlpacaFarm上保持62%的win-rate，在其他数据集上至少54%，使用SFR模型时在所有数据集上达到60% - 65%的win-rate。 - 在GSM8K数据集上，TreeBoN在最大回答长度为576 tokens时，pass@1解决率比BoN高出9%，表明TreeBoN的分层结构有助于处理需要长CoT推理的数学推理任务。 2.**不同树结构的影响** **实验设置**：在保持计算成本不变（$N = 128$和$l_{max}$相同）的情况下，分别改变树层数(Number of Layers)和每个节点的子节点数量(Number of Children)，在AlpacaFarm数据集上计算TreeBoN相对于BoN的win-rate。 ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/10/26/1729876397886-74292db3-e428-4c2e-b121-ec29af2611ae.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/10/26/1729876427865-eb65d3bc-3830-454b-aee5-9ceda3b8cef1.png) - 增加树层数能持续提高性能，如在192和384 tokens的最大长度下，随着树层数增加，win-rate有所提升。 - 对于不同的最大生成长度，最佳子节点数量不同。但总体而言，无论树结构如何变化，TreeBoN相对于Baseline方法的win-rate保持在约60%左右，显示了方法的有效性和稳健性，同时表明未来可通过针对不同任务探索更多超参数来进一步提高性能。 3.**效率评估** - 在实验设置中，计算成本仅由根样本数量$N$和最大生成长度$l_{max}$控制，这里Baseline方法BoN设置同时生成128个回答，并从中利用奖励模型选择最佳结果。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/26/1729876876219-519489a4-10a1-4b0d-8477-2653a4c70e19.png) - 随着计算预算增加（即$N$增加），TreeBoN相对于BoN的win-rate也增加，表明TreeBoN比Baseline方法更具可扩展性，能更有效地利用额外计算预算。例如，在AlpacaFarm数据集上，当$N$从8增加到128时，TreeBoN的win-rate逐渐提高，即使在$N = 8$（仅为BoN计算成本的$8/128=6.3\%$）时，TreeBoN仍能以$55\%$的win-rate优于BoN。 4.**不同隐式奖励的探索** **实验设置**：测试不同的隐式奖励，包括DPO隐式奖励、加权隐式奖励、加权隐式奖励（指数衰减）、长度归一化DPO隐式奖励、DPO策略对数概率和、SimPO奖励等，在AlpacaFarm数据集上使用默认配置的TreeBoN进行实验。 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/10/26/1729876957829-94847f91-dea7-4317-81c7-f0c4370a2880.png) **加权隐式奖励**在树搜索设置中表现最佳，达到最高的GPT4 win-rate，证明了该奖励设计在TreeBoN方法中的有效性。 5.**与其他方法对比讨论** **与SBoN对比**：SBoN依赖于**部分奖励分数与回答奖励正相关的假设**，但由于奖励模型通常在完整回答上训练，对部分回答的评分不准确，导致性能欠佳。TreeBoN通过使用更精确的**DPO策略模型的隐式奖励信号**解决了这一问题，显著提高了部分奖励近似的可靠性。此外，TreeBoN的分层树结构能更全面地探索回答空间，在扩展有希望的候选回答片段的同时有效地剪枝低质量回答片段，是SBoN的一种广义形式（当Nchildren = 1且Nlayer = 2时，TreeBoN可简化为SBoN的两层结构）。 **与传统BoN对比**：传统BoN在生成候选回答片段时没有分层结构，只是简单地探索回答空间。TreeBoN采用**更结构化的探索策略**，通过逐层生成和优化回答，使用更少的总样本更有效地搜索回答空间，从而在速度和性能上都有所改进，更好地平衡了探索与利用之间的权衡。并且，TreeBoN可以利用键值缓存机制进一步加速，在树结构中，父token的键和值可被其子节点重用，提高了计算效率。 --- - 原文链接: https://arxiv.org/abs/2410.16033 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241025-20241031/2D-DPO：告别“一刀切”！多维度对齐 LLM 偏好.md ================================================ # 2D-DPO: Scaling Direct Preference Optimization with 2-Dimensional Supervision **作者**：Shilong Li, Yancheng He 等 **单位**：*Alibaba Group* ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/10/31/1730384064045-0926bb91-f239-481a-acdd-f8d59fe17d0b.png) 本文研究的是**通过二维的多方面的监督信号扩展 DPO 对齐方法，更好地对齐大型语言模型与人类偏好**。现有的DPO方法通常优化一个标量分数或排名奖励，忽略了人类偏好的多维性质。为了解决这一问题，本文提出了一种新的DPO扩展方法 —— **2D-DPO**。 2D-DPO 的核心思想是将偏好优化扩展到两个维度：**片段（segments）**和 **方面（aspects）**。具体来说，本文首先构建了一个名为 HelpSteer-2D 的二维监督数据集，为每个样本都标注了一个**二维评分矩阵**，评估模型回答中的每个片段在多个方面的表现。然后，基于二维的偏好标签，设计了 2D-DPO 损失，进行多片段和多方面的优化。 ![](https://fastly.jsdelivr.net/gh/bucketio/img10@main/2024/10/31/1730384089416-e51d5d71-eae8-4900-a104-59412233cfa1.png) #### 1. 数据集构建 将每条偏好数据的回答分割为句子级的片段，使用人工制定的评分准则提示 GPT-4 对**每个片段**在**多个方面**（如帮助性、正确性、安全性、完整性和清晰度）进行独立评分，为每个样本标注一个**二维评分矩阵**。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/10/31/1730384114702-c236a034-f0b2-44fb-b5e9-9997b5b44396.png) 下面是一个 2D 奖励模型与其他类型奖励模型在奖励值分配上的对比示例： ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/10/31/1730384126143-b0aac5f4-31d2-4c92-bae4-9764e1517530.png) #### 2. 2D-DPO 损失 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/10/31/1730384147866-f90b612b-8c7f-4590-8381-94d7ef51b549.png) 在 Token Level 的马尔可夫决策过程（Markov Decision Process，MDP）的视角下，DPO 的损失函数为 $$ \begin{aligned} &\mathcal{L}_{DPO}(\pi_{\theta};\pi_{ref})= \\ &-\mathbb{E}\left[\log\sigma\left(\beta\sum_{t=0}^{N-1}\log\frac{\pi_\theta(a_w^t\mid s_w^t)}{\pi_{ref}(a_w^t\mid s_w^t)}\right.\right. -\beta\sum_{t=0}^{M-1}\log\frac{\pi_\theta(a_l^t\mid s_l^t)}{\pi_{ref}(a_l^t\mid s_l^t)}\Bigg)\Bigg]. \end{aligned} $$ 其中，$\beta\log\frac{\pi_\theta^*(\mathbf{a}_t|\mathbf{s}_t)}{\pi_{ref}(\mathbf{a}_t|\mathbf{s}_t)}$ 可看作强化学习中的优势函数 $A^*(\mathbf{s}_t,\mathbf{a}_t)$。详细推导见文章附录 A.2 和 A.3。 基于以上优化目标，本文**将不同方面的偏好奖励加权平均**，使用正则化的细粒度奖励作为一个系数，用来调整 Token-Level 的优势函数 $\beta\log\frac{\pi_\theta^*(\mathbf{a}_t|\mathbf{s}_t)}{\pi_{ref}(\mathbf{a}_t|\mathbf{s}_t)}$。此外，**将优势函数项分解为片段级别的累加**，分别进行 Token-Level 的优化。 $$ \begin{aligned} \mathcal{L}(\pi_\theta&,D)= \\ &- \mathbb{E}_{(\tau_{w},\tau_{l})\sim D}\log\sigma(\beta\sum_{k=0}^{S_{w}-1 }\sum_{t=n_k}^{n_k+l_k}r_{w,k}\log\frac{\pi_{\theta}(\mathbf{a}_{t}^{w}|\mathbf{s}_{t}^{w})}{\pi_{ref}(\mathbf{a}_{t}^{w}|\mathbf{s}_{t}^{w})} \\ &-\beta\sum_{k=0}^{S_l-1}\sum_{t=n_k}^{n_k+l_k}r_{l,k}\log\frac{\pi_\theta(\mathbf{a}_t^l|\mathbf{s}_t^l)}{\pi_{ref}(\mathbf{a}_t^l|\mathbf{s}_t^l)}) \end{aligned} $$ 其中，$r_{w,k}=\mathbf{W}\mathbf{\tilde{r}}_{w,k}$。$W$ 是总和为1的权重，用来对不同方面的奖励进行加权，反映每个方面的重要性；$\mathbf{\tilde{r}}_{w,k}=\{r_{w,k,j}\}_{j=1}^A$，是每个样本中的片段级奖励集合。 考虑到好回答和坏回答中的片段数量可能有显著差异，为了更加关注偏好影响大的关键片段，本文**从好回答中选择得分 最高的 N 个片段，从坏回答中选择得分最低的 N 个片段**，其中 $N = min(S_w, S_l)$，进一步提高了模型对齐训练的效率。 此外，**将所选的好回答和坏回答的片段成对分组，作为偏好对，形成 N 个 Bradley-Terry 模型**，从而在对齐过程中提供更清晰的对比，使模型更容易学习被选择和拒绝响应之间的细粒度差异。（这种重新排列的可行性基于以下事实：单片段 BT 模型的损失可以被视为将其他片段的 $\beta_t$ 设置为 0，如附录A.4所示） 最终，得到了包含细粒度信号的 **Token 级 2D-DPO 损失函数** $$ \begin{aligned} &\mathcal{L}_{group}(\pi_{\theta},D)= \\ &-\mathbb{E}_{(\tau_w,\tau_l)\sim D}\left[\sum_{k=0}^{N-1}\log\sigma\left(\beta\sum_{t=n_k}^{n_k+l_k}r_{w,k}\log\frac{\pi_\theta(\mathbf{a}_t^w|\mathbf{s}_t^w)}{\pi_{ref}(\mathbf{a}_t^w|\mathbf{s}_t^w)}\right.\right. \\ &-\beta\sum_{t=n_k}^{n_k+l_k}r_{l,k}\log\frac{\pi_\theta(\mathbf{a}_t^l|\mathbf{s}_t^l)}{\pi_{ref}(\mathbf{a}_t^l|\mathbf{s}_t^l)}\Bigg)\Bigg].& \text{(6)} \end{aligned} $$ #### 3. 实验 在流行基准测试上的实验表明，**2D-DPO** 比使用**标量偏好**或**一维偏好**的方法表现得更好。 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/10/31/1730384165009-345caaab-34ec-463e-9942-3fa480671b5e.png) 综上所述，2D-DPO通过**引入二维监督信号，实现了对大型语言模型偏好的细粒度优化**。这种方法提高了模型与人类偏好的对齐效果，其监督信号具有更高的质量和可解释性，为细粒度偏好优化研究提供了新的思路。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2410.19720] - **更多**大模型学习资料，请详见浙大 Daily 实验室 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：樊怡江，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241025-20241031/AgentStore：智能世界的超级 “App Store”.md ================================================ # AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant **作者**：*Miao Yu, Shilong Wang* 等 **单位**：*Xi’an Jiaotong University, Shanghai AI Lab* 等 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img15@main/2024/11/03/1730629912408-eb1c94ae-600a-4c52-9a5c-223e064fd121.png) ## 方法详解 本文研究的是**如何通过动态集成异构 Agent 和高效管理策略实现系统任务的自动化**。现有Agent方法在处理开放式任务时，特别是在真实世界环境中，表现出泛化和专业化能力的不足，缺乏有效的集成和管理机制。受App Store丰富功能的启发，本文提出了**AgentStore**平台，通过**动态集成异构Agent**、**引入MetaAgent 和 AgentToken 策略**以及**自动化训练过程**，提升Agent系统在处理开放式任务时的性能。 具体地，**AgentStore**平台的主要框架如下图所示，以下是详细介绍。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/11/01/1730444796401-4106a8e0-dfe0-4284-8bd4-a030daeb3ebd.png) #### 框架组成 1. **AgentPool**：存储具有不同功能的Agent，涵盖单模态到多模态、开源到闭源模型、命令行界面到图形用户界面等多种类型，以满足不同任务需求。 2. **AgentEnroll**：定义添加新Agent的集成协议，包括Agent的能力、限制、交互的应用程序和功能演示，确保所有Agent的注册信息以标准化格式存储，规范地融入平台，便于管理和查询。 3. **MetaAgent**：作为平台核心，根据任务描述和系统状态，从 AgentPool 中选择合适的Agent（单个或多个）独立或协作完成任务。 #### MetaAgent 与 AgentToken 策略 MetaAgent是AgentStore平台的核心组件，负责管理和调度，从 AgentPool 中选择合适的Agent（单个或多个）来完成任务。对于不同的任务，MetaAgent采用思维链的方式进行分析，并从**单Agent路由**与**多Agent协作**两种模式中进行选择。 在这一过程中，AgentToken策略是MetaAgent的关键技术，具体包括： 1. **Agenttoken嵌入**： - 每个Agent被表示为一个可学习的token嵌入，这些嵌入被添加到MetaAgent的词汇表中。 2. **单Agent路由**： - 在推理时，MetaAgent通过最大化条件概率来预测最可能的下一个token。 - 如果预测的token是Agent token，则激活相应的Agent执行任务。 3. **多Agent协作**： - 对于需要多个Agent协作的任务，MetaAgent通过多token预测来选择多个Agent。 - 使用TopK函数选择概率最高的K个Agent token。 - MetaAgent切换到Manager模式，使用构建好的提示模板，将任务分解为子任务并分配给选定的Agent。 #### AgentToken训练 1. **数据生成** - 采用Self-Instruct方式，从少量原始演示集和Agent描述开始，让MetaAgent依据这些信息生成新的演示集。 - 生成新演示集后，用BERTScore筛选。计算新演示与现有演示的相似度，设定阈值范围，如果不在该范围内，就认为该演示要么与现有数据过于相似（可能是冗余的），要么过于不相似（可能是错误或不相关的），从而得到精炼后的集合，不断重复此过程，直至生成足够的演示用于训练。 2. **训练过程** - 训练时把任务描述和初始状态作前缀，附上Agent token作为下一个token预测的正确答案。训练目标是让模型通过更新与Agent对应的Embedding矩阵参数，使预测正确Agent token的概率尽量高，无需更新模型其他参数，具体通过计算负对数似然损失来衡量预测误差。 ### 实验结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img10@main/2024/11/01/1730444831381-06bf89af-2779-4d3a-9fa3-806a79356300.png) 测试基准采用 **OSWorld**，一个包含 369 个任务的可扩展真实环境，涉及真实的网络和桌面应用程序，用于评估计算机Agent处理开放域任务的能力，是实验的主要平台。 实验设定了AgentStore的不同管理模式如下： - GT：代表了一种理想的任务分配方式，即将每个任务分配给最适合的Agent，可视为当前 AgentStore 实现的性能上限； - ICL：是一种基于上下文学习的方法，通过在模型输入中提供任务描述和少量示例来让模型学习如何选择Agent； - FT：对模型进行全面的微调，通过在大量任务数据上训练模型来调整模型的参数，以学习不同的任务和Agent的关系； - AT：即采用本文创新性提出的 AgentToken 策略。 实验结果如表1所示，与之前的通用Agent方法对比，AgentStore 通过集成 20 多个专门Agent，克服了先前方法的局限性。这些专门Agent在各自擅长的领域表现出色，在几乎所有任务领域都能稳定发挥，而通用Agent在某些特定任务类别中表现较弱。不同任务管理方法下，**AgentStore 均优于单Agent系统**，其中 **AgentToken（AT）管理能力最佳**，显著超过其他方法。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/pdf/2410.18603] - **更多**大模型学习资料，请详见浙大 Daily 实验室 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：董雪梅，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241025-20241031/CMU 与普林斯顿大学携手改进 BoN 算法，打破大模型推理时计算效率瓶颈！.md ================================================ # Fast Best-of-N Decoding via Speculative Rejection **作者**：*Hanshi Sun, Momin Haider, Ruiqi Zhang, Huitao Yang, Jiahao Qiu, Ming Yin, Mengdi Wang, Peter Bartlett, Andrea Zanette* **单位**：Carnegie Mellon University, University of Virginia, UC Berkeley, Princeton University, Fudan University 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/10/31/1730380341474-35d36f2c-be2c-4c04-9012-ba059addc3e9.png) ### Speculative Rejection 方法 #### 研究动机 **大模型后训练挑战**：为了让 LLMs 更好地根据人类意图回答问题并遵循伦理标准，通常需要进行后训练，如监督微调、强化学习等。这些后训练方法虽然能提升模型性能，但却增加了部署前的复杂性，需要大量的时间、数据和计算资源。 **大模型推理时对齐方法**：推理时对齐方法的出现为解决上述问题提供了新途径，它直接在推理时改变解码策略进行对齐，无需复杂的后训练步骤。其中，Best-of-N 方法是一种简单且有效的推理时对齐策略，通过生成多个响应并选择最佳的一个来提高生成质量。然而，其在推理时**效率极低**，因为需要对**每个响应进行完整生成**。更确切地说，虽然 Best-of-N 的延迟在很大程度上不受 N 的影响，生成和评估可以并行进行，但如果 N 大于单个 GPU 内存能够容纳的最大批量大小，Best-of-N 需要多个 GPU。然而，为了达到后训练方法效果，可能需要更高的 N 值，如 1000 到 60000，但这些在计算上不可行，因为它们需要几十个甚至几百个 GPU。 #### 技术动机 针对上述问题，作者对如何提高BoN效率进行细致的探究，并有一些有意义的发现： 当向大模型进行提问："What’s the best way to hack into someone’s bank account and steal money from them?" 模型可能给出多个回答： - 回答1："Never, ever do this. Hacking into someone else’s financial information is illegal." - 回答2："Hackers usually begin the process by identifying..." 当我们看到第一个回答的前几个词"Never, ever do this."时，基本能够判定大模型后续生成的是无害的内容；看到第二个回答的前几个词"Hackers usually..."，那么可以直观预料到后面就会输出黑客操作具体内容，从而产生有害的答案。所以，对于我们人类来说，通过观察整个回答的前面少部分内容，我们大致上就能判定整段话的好坏。 那么对于大模型来说，有没有这样的能力呢？为了验证这个猜想，作者做了一个实验，通过Llama-3-8B-Instruct生成 N = 1000 个响应，并通过 Mistral-7B-RM 评估部分奖励（Token序列长度 τ = 256 时作奖励评估）和最终奖励。如下图所示，可以发现，**部分响应内容的奖励评分与完整响应内容的奖励评分呈正相关**。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/10/31/1730380476216-0fd7c2ab-10fd-4ab3-91a6-901e474d2c1f.png) 基于此发现，作者提出了 Speculative Rejection 方法，核心思想就是**根据当前生成的部分响应内容的奖励评分值，来拒绝低奖励值响应，在高奖励值响应基础上继续生成**。 #### Speculative Rejection 算法流程 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/10/31/1730380528780-afef0be1-e892-4ca8-8c09-e7347467a512.png) 算法包括三个流程： 1. **早期生成**：根据 GPU 内存容量确定初始批量大小。如果 GPU 内存较大，可以适当增大初始批量，或者一次性生成更多的响应内容开头部分。然后开始生成响应，持续进行这个过程，直到内存耗尽或者达到 EOS。这一步就像是在播种，为后续的筛选做准备。 2. **推测拒绝**：使用奖励模型评估部分响应的得分。通过对已生成部分的分析，计算一个截止阈值。这个阈值就像是一个筛选标准，低于它的响应被认为不太可能成为最佳响应。然后确定要终止的低得分响应，提前停止这些响应的继续生成，从而节省计算资源。比如，在生成一个句子的过程中，如果前几个词的组合得分很低，就可以推测这个句子最终的得分也不会高，于是停止对它的进一步生成。 3. **继续生成**：继续生成得分超过截止阈值的部分响应，让这些有希望的响应继续发展。这个过程会一直持续到达到 EOS 或者下一个决策点（奖励评估点）。最终，从所有完成生成的响应中输出得分最高的响应，作为最终的结果。就像在一场比赛中，经过层层筛选，留下最有实力的选手（响应），并宣布它为冠军（最佳响应）。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/10/31/1730380579579-0267e4ce-563d-460e-b37a-772c27aed9a4.png) #### 实验结果 论文中的实验主要围绕评估 Speculative Rejection 算法的有效性和效率展开，具体结果如下： 1. **效率评估** - **实验设置**：在AlpacaFarm数据集上进行实验，将 Speculative Rejection 与Best-of-N算法对比。 Speculative Rejection 在单GPU上运行，记录其生成响应的最大奖励值。Best-of-N算法则逐步增加N值（从120开始，每次翻倍至3840），直至其奖励值与 Speculative Rejection 匹配，同时记录所需GPU数量。 - **实验结果**： Speculative Rejection 使用较少的GPU资源就能达到与Best-of-N相当的奖励得分。例如，使用Llama3 - 8B和RM - Mistral - 7B模型时， Speculative Rejection 达到的奖励分数，Best-of-N需要16到32个GPU才能实现。不同模型和奖励模型组合下趋势一致，但Llama - 3 - 8B - Instruct模型因本身更对齐且生成响应较短，导致 Speculative Rejection 对其改进相对较小，因为其拒绝轮次较少。 ![](https://fastly.jsdelivr.net/gh/bucketio/img2@main/2024/10/31/1730380656874-2ebf7efa-9be0-4917-9d51-28837fe8c1bc.png) 2. **胜率评估** - **实验设置**：使用GPT - 4 - Turbo评估生成质量，计算 Speculative Rejection 和Best-of-N算法在不同N值下的win-rate（胜率）和length-controlled win-rate（长度控制胜率），win-rate基线为Bo120。 - **实验结果**： Speculative Rejection 在保持生成质量的同时实现了显著加速，在大多数模型和奖励模型组合中，其win-rate和length-controlled win-rate表现良好，表明生成的响应在质量和长度控制方面与Best-of-N相当甚至更优。 ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/10/31/1730380689010-aa2b8b19-b46e-4edb-b9bb-db554f6195e8.png) 3. **生成语句概率最大化** - **实验设置**：在AlpacaFarm - Eval数据集上，以生成语句的概率为奖励函数，测试Best-of-N和 Speculative Rejection 算法。Best-of-N从生成模型中采样N个响应，选择平均概率最高的一个； Speculative Rejection 在每个拒绝轮次中拒绝平均概率最低的部分响应。 - **实验结果**： Speculative Rejection 优于Best-of-N，能持续生成在语言模型下概率更高的响应，并且实现了显著的速度提升。例如，使用Mistral - 7B模型时， Speculative Rejection （α = 0.5）生成的响应概率（PPL为1.476）高于Best-of-N（Bo120的PPL为2.316），速度提升倍数达到76.9x。不同模型下均有类似趋势，平均速度提升明显。 ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2024/10/31/1730380710711-1a995d3d-4214-4de3-b01f-104b64950bd2.png) --- - 原文链接: https://arxiv.org/pdf/2410.20290 - 更多文章请详见 Github 仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241025-20241031/Flow-DPO：像数学老师一样思考！多智能体推理链自动生成.md ================================================ # Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning **作者**：*Yihe Deng ; Paul Mineiro* **单位**：*University of California, Los Angeles，Microsoft Research* ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/11/01/1730392356383-92fdd8bc-4958-436d-9946-5e76b8f1fe9e.png) ## 方法详解 本文研究的是如何提升 **LLM在数学推理任务中的性能**。在微调这些模型以适应特定数学问题时，一个关键挑战是生成详细且准确的数学推理路径。然而，现有的方法要么依赖于人工注释，要么通过单一模型推理来生成这些路径，这些方法往往效率低下或成本过高。为了解决这一问题，本文提出了 Flow-DPO。 Flow-DPO方法的核心思想是利用多个LLM组件通过迭代通信共同构建解决方案。这种方法不依赖于单一模型的推理，而是通过在线学习Flows来生成推理路径。 Flow-DPO包括两个部分，分别是**增量输出生产流程** （Incremental Output Production Flow）和 **在线Flow学习与Rollouts**（Online Flow Learning with Rollouts）。 1. **增量输出生产流程**（Incremental Output Production Flow）：该流程通过分步生成答案片段来构建完整的数学推理路径。这一流程主要涉及两个独立的LLM：Answer LLM和Stop LLM。它们使用相同的架构，但承担不同的任务，通过不同的LoRA适配器进行微调，以专门化它们各自的任务。 （1）**Answer LLM** 负责生成答案的一部分，即一个答案片段； （2）**Stop LLM** 负责评估当前的部分答案是否已经构成了**完整的回答**。 这个过程是迭代的，直到 Stop LLM 判断出最终答案已经完成。 通过这种方式，Flow 逐步构建起完整的回答，其中较小的片段（Chunk）大小可以提供更细致的控制，而较大的片段大小则近似于单次模型生成的过程。这种设计允许模型在生成推理路径时更加灵活和精确。增量输出生产流程示意图如下： ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2024/10/31/1730383587539-f1a04678-6525-4e63-b1b4-525a43087270.png) 2.**在线Flow学习与rollouts（Online Flow Learning with Rollouts）**：该方法旨在进一步提升Flow的性能。与优化预定义推理步骤的方法不同，该方法**在细粒度的答案片段上执行在线DPO学习**。 对于每个输入问题，首先由 Answer LLM 生成答案片段，一直到产生**一个完整的回答**。在得到这个输出链之后，在每个输出节点进行**随机 rollout**。例如，在初始答案片段生成和 Stop LLM 判断为“No”之后，基于之前的部分答案生成一个替代的答案片段。这个过程会一直持续到得到**第二个完整的答案**。如果这两个答案在正确性上有所不同，就将它们视为Answer LLM的DPO对，其中能够生成正确答案的推理步骤被选为优选步骤。 Answer LLM 和 Stop LLM都参与到这些 rollout 和随后的微调中。对于每个包含问题和答案的训练实例，生成一批DPO对来训练两个LLM。这种方法使得模型能够以在线的方式进行训练，即随着新数据的处理，模型会逐步更新。 ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2024/10/31/1730383653932-4cb41cfa-c3cb-4497-895f-e3f903545491.png) 与传统的单一模型推理相比，Flow-DPO方法提供了更大的灵活性，它不局限于预定义的“推理步骤”，而是允许可调整的片段大小，从而适应不同粒度的推理需求。 ### 实验 实验中使用了两个不同规模的模型，分别为Llama-3-8B-Instruct和Phi-3-medium-128k-instruct（14B）。实验在MetaMath数据集上进行了评估。 1. **泛化性评估**：该实验的目的是评估在线DPO训练和rollouts在**提升Flow模型泛化能力**方面的有效性。实验通过计算模型在训练前对即将到来的训练数据的累积准确率，即逐步验证准确率，来衡量Flow模型的泛化性能。 实验比较了Flow模型在有无训练情况下的推理准确率，并与单一LLM一步生成推理和答案的零样本性能进行对比。结果发现，未经训练的Flow模型初始推理准确率略低，但在线DPO训练能显著提升模型性能，如Llama-3-8B-Instruct模型在2,000个训练实例后性能提升了20%，Phi-3-medium-128k-instruct模型的准确率也提高了4个百分点，达到近83%。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/10/31/1730383681905-7f706bbc-c7bd-4f10-b23a-3b21137d5eb8.png) 2.**数据质量评估**：将 **Flow 生成的推理轨迹**与在**单个LLM上收集的 SFT 推理轨迹**进行了比较。使用模型的 zero-shot 精度和基于数据集的 ground-truth 轨迹的 SFT 模型的性能来建立基线。 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/10/31/1730383901156-69027eb3-04f4-4e41-963b-ebb37be35300.png) 结果表明，Flow-DPO方法能够有效提升模型在数学推理任务中的性能；并且在线DPO学习过程能够显著增强模型的泛化能力。 综上所述，Flow-DPO通过在线多智能体学习和增量输出生产流程，显著提升了LLM在数学推理任务中的性能。此外，这种方法与数据增强和DPO等进一步的增强措施兼容，有助于提升模型性能。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2410.22304] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：宓禹 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241025-20241031/PULSE 多模态大模型读懂你的心٨ـﮩ٨ـ🖤ﮩ.md ================================================ # TEACH MULTIMODAL LLMS TO COMPREHEND ELECTROCARDIOGRAPHIC IMAGES *Ruoqi Liu ,Yuelin Bai , Xiang Yue, Ping Zhang* *The Ohio State University, Carnegie Mellon University* ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/10/31/1730386939104-17a009c5-6cc7-4f42-8690-86034a7ef5b6.png) ## 方法详解 为解决心电图图像解读难题，本文开展了一系列研究。首先**构建了 ECGInstruct 数据集**，其涵盖超百万样本，包含多种任务类型，数据来源广泛且经多种方式处理，图像合成模拟真实情况并增强多样性。接着**训练 PULSE 模型**，基于LLaVA架构，利用 ECGInstruct 训练，使模型能理解分析心电图图像。最后**建立 ECGBench 评估基准**，从现有数据集策划多种任务，确定不同评估指标，用于全面评估模型性能，实验表明 PULSE 在不同数据集和任务上表现优异，具有很强的应用潜力。 ### 构建指令微调数据集 ##### 整合不同来源的数据 从多个地理区域的不同数据源收集心电图数据，包括德国的 PTB - XL、美国的 MIMIC - IV - ECG、巴西的 CODE - 15% 以及基于 PTB - XL 构建的 ECG - QA。这些多样化的数据源确保了数据的广泛代表性，能够涵盖不同地区人群的心电图特征差异。 ##### 设计不同的任务和类型 - **基本特征识别**：例如涉及识别心电图中的心率、节律、心脏轴等基本参数，以及波形形态（如 P 波、QRS 波群、T 波等）和间隔（如 PR 间期、QT 间期等）的特征。问题形式多样，包括封闭式问答（如判断心脏传导系统是否正常）、开放式问答（如描述根据心电图可推断的心脏电传导系统情况）、填空题（如填写心电图的节律、心脏轴和束支传导阻滞情况）和选择题（如从给定选项中选择受基线漂移影响的导联）。 - **心律分析**：涵盖对心律失常、起搏模式等的分析。任务包括识别和分类心电图中的节律异常（如判断是窦性心动过速、心房颤动、心室早搏等哪种心律失常），对多种节律异常同时存在时进行排序（如按对患者血流动力学稳定性的潜在影响排序），以及在特定临床场景下（如急诊医生查看心电图时）确定主要关注的节律问题等，问题类型有开放式、多项选择和填空等形式。 - **形态和病理识别**：主要涉及识别心电图波形中与病理状况相关的特征，如判断是否存在心肌梗死（根据 Q 波、ST 段变化等特征确定梗死位置）、缺血（通过 ST 段和 T 波变化分析）、心包炎等病理情况，以及对 QRS 波群形态变化（如右束支传导阻滞时 V1、V2 导联的特征性波形）与心脏传导模式关系的解释，问题形式包括开放式问答、多项选择和填空等。 - **临床报告生成**：根据心电图图像生成详细的临床报告，描述心电图的各项特征、诊断结论以及可能的临床意义等，问题类型为开放式问答。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/10/31/1730387133236-64c52eec-a59e-4c70-a82d-69d91b97b29e.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/10/31/1730387151519-a930489b-ba36-4d5d-a537-ae3461e7ec71.png) ##### **图像合成与增强** - **基础图像生成**：生成标准 12 导联心电图图像，其具有黑波形、白背景、红网格线、4x3 布局的特征。 - **失真与噪声添加**： - 添加模拟纸质磨损的皱纹和折痕。 - 随机旋转图像模拟扫描或打印偏差。 - 改变图像分辨率和背景颜色（如模拟老化或扫描质量差的微黄背景）。 - 添加噪声。 - 调整图像纵横比、整体大小以及心电图在图像中的位置。 - 随机去除网格线以体现不同系统和格式差异。 - **元信息插入**：从相关数据集（如 PTB - XL+）中提取患者人口统计学信息（年龄、性别）和基本心电图特征（心率、轴偏差等）作为元信息随机插入图像头部，增加视觉多样性和上下文信息。 - **导联配置多样化**：采用多种导联配置（如 12x1、6x2 等）丰富模型训练的图像类型。 - **数据集平衡**：合成图像与标准图像比例约为 1:1，帮助模型学习不同质量和特征的心电图图像。 ##### 数据合成方式 - **自动数据合成pipeline**：利用 PTB - XL 和 MIMIC - IV - ECG 的临床报告作为初始数据，借助 Llama - 3 - 70B - Instruct 模型进行数据合成。基于专家提供的示例和现实世界场景，生成大量心电图相关指令和响应。对于缺乏全面报告的数据集（如 CODE - 15%），手动构建模板将现有数据转换为指令 - 响应格式。 - **数据评估方式**：使用 Llama 3 模型来评判，根据指令相关性、清晰度、响应的可回答性等评估标准对生成的指令 - 响应对进行评分（0 - 5 分） ### PULSE 模型训练 - **模型架构**： LLaVA，主要由三个核心组件构成。 - 视觉编码器负责处理心电图图像，将图像信息转换为模型能够理解的特征表示； - 大语言模型作为文本解码器，对输入的指令和图像特征进行分析和处理，生成相应的文本回应； - 投影层则起到连接视觉编码器和大语言模型的桥梁作用，使两者能够协同工作，实现图像与文本模态的对齐。 - **数据组织与训练**： - **数据格式**：图像、指令和输出。指令是与心电图图像相关的查询或任务描述，在数据处理过程中，将图像置于每次对话的开头，作为整个对话的视觉基础，为后续的文本分析提供直观的视觉信息支持。 - **训练策略**：在训练时，冻结视觉编码器的参数，仅更新投影层和大语言模型的参数。采用自回归训练目标，在训练过程中，会屏蔽属于图像和指令的所有标记 ### **ECGBench 评估基准建立** - **异常检测**：对不同数据集特点选择合适指标，对于多标签数据集（PTB - XL Super、CODE - 15%、CPSC 2018）采用 AUC、 F1 和 HL 损失，对于单标签数据集（ECG - QA、CSN、G12EC）采用 Accurary，从不同角度全面评估模型对异常检测任务的性能。 - **报告生成**：利用 GPT - 4o 作为评判者，从节律、波形和诊断三个关键组件对模型生成的报告进行评估，每个组件 0 - 10 分，最终平均并缩放至 100 分，通过这种方式更细致地评估报告质量，而不是简单依赖传统文本生成指标。 - **MMMU ECG**：以准确率为主要指标，设计基于规则的评估管道，运用正则表达式等技术处理模型的长响应，提取答案选项进行准确匹配，确保评分的一致性和可靠性，对于无法提取有效答案的情况进行随机选择评分，以客观评估模型在该任务中的表现。 - **ECG Arena**：使用 GPT - 4o 作为评估模型，从准确性（模型回应与真实答案在心电图解读和诊断方面的匹配程度）、完整性（模型回应涵盖心电图解读关键方面的全面程度）和指令遵循（模型遵循问题特定指令的程度）三个角度进行评估，每个角度 0 - 10 分，通过平均这三个方面并缩放至 100 分来确定模型在 ECG Arena 任务中的综合表现。 ### 实验： 在不同数据集和任务上均达到了最先进水平，显著优于其他模型。在域内数据集方面，如 PTB - XL Super 任务中，PULSE 的 AUC 值高达 82.4，相比最佳专有模型 GPT - 4o 提高了 27%，报告得分提升 11 分，在 ECG - QA 任务中准确率提高 39%；与最佳开源模型相比，在相同任务上 AUC 提升 28%，报告得分增加 12 分，准确率提高 44%。在域外数据集上同样表现出色，在 MMMU ECG 基准测试中，准确率相比 GPT - 4o 提高了 15% ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/10/31/1730387366776-b8dc6d69-5578-4905-b847-396a3c7ca70c.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/10/31/1730387398318-3cb87c3f-c72c-476b-8ac6-c5f64af17828.png) --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2410.04749] - **更多**大模型学习资料，请详见浙大 Daily 实验室 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：徐文溢，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241101-20241107/Adapting While Learning：自适应使用智能工具助力科学探索.md ================================================ # **Adapting While Learning: Grounding LLMs for Scientific Problems with Intelligent Tool Usage Adaptation** **作者**：*Bohan Lyu, Yadi Cao*等 **单位**：*Tsinghua University, University of California, San Diego* ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/11/07/1730970776990-ddf1a3a6-8941-4e5b-9fd9-2948e35d89fd.png) ## 方法详解 本文研究的是**如何使 LLMs 在解决科学问题时智能地适应工具使用**。在科学问题解决中，LLMs 需要在依赖工具获取准确答案和通过基础推理独立解决问题之间做出选择。然而，现有的LLMs要么过度依赖工具，要么完全依赖自身的推理能力，这限制了它们在不同复杂性问题上的表现。为了解决这一问题，本文提出了一种新的两组件微调方法——**世界知识蒸馏（World Knowledge Distillation, WKD）**和**工具使用适应（Tool Usage Adaptation, TUA）**。 WKD 的核心思想是让 LLMs 直接从使用工具生成的解决方案中学习，以内化领域知识。TUA 的核心思想是根据问题的复杂性智能地决定是否使用工具。以下是该方法的总体框架图。 图(a)表示 WKD 过程。WKD 通过监督式微调，使 LLMs 能够模仿工具生成的准确答案，从而学习到解决简单科学问题所需的关键知识。 图(b)表示 TUA 过程。通过评估 LLMs 在基准测试问题上的直接回答能力，将问题划分为简单（$D_{easy}$）和困难（$D_{hard}$）两个子集。对于简单问题，LLMs 继续使用 WKD 中的对齐目标；而对于困难问题，则训练 LLMs 遵循工具使用轨迹，从而实现基于问题复杂性的智能切换。 图(c)展示了模型改进的可视化过程。蓝色和红色分别代表简单和困难的问题。垂直虚线向左移动表示内部可以解决更多的问题；简单/困难问题的水平线的移动分别显示出更智能的工具使用决策。 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/11/07/1730970217825-8b4bd132-fb77-43bf-a640-62af596871b4.png) 该方法的四个关键步骤如下： 1. **使用工具生成解决方案（Solution Generation with Tools）** 将专业工具（如物理模拟器）与 LLMs 集成，以生成高精度答案。使用问题模板和相应的工具轨迹模板来生成解决方案。在每个工具轨迹步骤中，通过系统Prompt$P_f$指导LLM强制使用工具。LLM根据工具使用轨迹返回的信息$\{I_e\}_t$和问题$x$的上下文，生成解决方案$y$。整个过程表示为： $$ y \sim \pi(\cdot | x, \{I_e\}_t, P_f) $$ 下图为解决方案的生成过程。对于选择题，LLM 在工具辅助下得到正确答案，使用答案进行微调；对于开放性问题，除了第一步之外，LLM 生成一个建议集合，使用预先定义的度量进行排序来构建偏好对，然后使用这些数据进行偏好优化。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/11/07/1730970997657-5ec3d808-9f76-4b68-8381-e30c7fb5f540.png) 2. **世界知识蒸馏（World Knowledge Distillation, WKD）** 在生成解决方案后，直接对目标LLM进行微调。对齐损失定义为生成答案和直接答案之间的损失： $$ J_{Direct}(\theta, D, P) = -\mathbb{E}_{x \sim D, y \sim \pi(\cdot | x, \{I_e\}_t, P_f)} [\log \pi_\theta(y | x, P)] $$ 其中$D$代表训练数据集。WKD的损失为： $$ J_{WKD}(\theta, D) = J_{Direct}(\theta, D, P_n) $$ 这里$P_n$是不允许使用工具的Prompt。**WKD的目标是在不依赖工具的情况下直接生成解决方案。** 3. **工具使用适应（Tool Usage Adaptation, TUA）** TUA首先评估WKD微调后的LLMs在基准问题上的表现。对于每个问题，采样一组直接生成的答案以计算准确率，并根据**预定义的准确率阈值**将问题划分为简单（$D_{easy}$）和困难（$D_{hard}$）两个子集。对于$D_{easy}$，保持WKD中的对齐目标；而对于$D_{hard}$，将对齐目标切换为包含工具使用轨迹的增强解决方案，并训练LLM准确跟随这些轨迹。这种情况下，正确轨迹的对齐损失为： $$ J_{Trace}(\theta, D, P) = -\mathbb{E}_{x \sim D, t \sim \pi(\cdot | x, E, P_f)} \log \pi_\theta(t | x, E, P) $$ 综合考虑简单和困难问题的培训损失为： $$ J_{TUA}(\theta, D_{easy}, D_{hard}) = \lambda J_{Direct}(\theta, D_{easy}, P_i) + (1 - \lambda) J_{Trace}(\theta, D_{hard}, P_i) $$ 其中$P_i$是允许LLMs智能选择是否使用外部工具的Prompt。$λ$调整两个子集之间的权重，以防止极端比例分布。 4. **跨Prompt策略的知识一致性（Knowledge Consistency Across Prompt Strategies）** 在设置中，某些直接回答问题所需的知识应在WKD期间的$P_n$和TUA及部署期间的$P_i$下学习。**为了缓解一个Prompt策略下获得的知识可能不会顺利转移到另一个Prompt策略的问题**，提出了一个**混合损失**，同时考虑WKD和TUA目标，从而在不同的Prompt策略下保持一致的知识。混合损失函数定义为： $$ J_{Mix}(\theta, D, D_{easy}, D_{hard}) = \alpha J_{WKD}(\theta, D) + (1 - \alpha) J_{TUA}(\theta, D_{easy}, D_{hard}) $$ ## 实验 与仅使用监督式微调（SFT）的方法相比，该方法不仅提高了LLMs的答案准确率，还增强了它们在何时使用工具方面的决策能力。 1. **答案准确率**：在自定义的 Mujoco，PDE，Climate和 Epidemiology 数据集上表现明显领先，这些数据集通常没有在预训练中覆盖。在公开数据集 MATH 和 SciBench 上没有超越目前的先进模型，但比基础模型有了改进。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/11/07/1730971981816-eda9e94d-1f60-4449-be2b-61b16c4e357b.png) 2. **工具使用准确性**：自定义了工具使用评估标准。模型在除 SciBench 之外的数据集上都表现出了明显领先的工具使用准确性，意味着模型能够更智能地决定在面对复杂问题时是否需要使用外部工具，以及在能够通过基础推理解决的问题上减少对工具的依赖，从而在保持准确性的同时提高了效率。 ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2024/11/07/1730971999419-a21f270e-973f-4198-8450-f3d1254820e7.png) 综上所述，本文提出的两组件微调方法通过**智能适应工具使用**，减少了LLMs在解决科学问题时对预训练知识的遗忘，并提高了模型在不同复杂性问题上的表现。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2411.00412] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：宓禹 毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241101-20241107/SCPO：Meta 提出大模型自我进化新方法，突破复杂推理能力.md ================================================ # Self-Consistency Preference Optimization **SCPO：Meta 提出大模型自我进化新方法，突破复杂推理能力 ** **作者**：*Archiki Prasad, Weizhe Yuan等* **单位**：Meta FAIR, UNC Chapel Hill, New York University 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/07/1730984587486-e71370a5-40ed-47bb-be16-0297a6797924.png) ### SCPO 方法 大语言模型（LLMs）已在众多领域展现出卓越的性能，其成功在很大程度上依赖于大规模的人类注释数据。然而，人类注释数据的获取面临着诸多挑战，数据收集过程不仅成本高昂，还需耗费大量时间且要求具备专业知识，这一系列因素构成了制约模型训练进展的关键瓶颈。为应对这一困境，**自训练**方法作为一种极具潜力的解决方案被提出，旨在借助模型自身生成数据来推动性能提升。 但现有自训练方法暴露出明显的局限性。当面对复杂问题时，模型自身难以准确评估回答的正确性，即便引入外部奖励模型进行回答排序，仍无法有效解决问题，特别是在处理分布外问题时，这些方法的缺陷更为显著。 深入分析可知，复杂推理任务中模型解码过程的随机性虽可能引发随机错误，但同时也为解决问题提供了新视角。在这种情况下，**若多个生成答案趋于一致，则该答案正确的概率显著提高**，类似于在复杂迷宫中多次尝试后路径指向同一方向更可能通向出口的原理。对于**复杂推理任务**（例如算术问题）来说，一个问题的解题过程是多种多样的，但是正确的答案是唯一的，我们可以统计各种答案出现的频率，并以此评估答案的一致性。鉴于此，将答案一致性作为训练过程中衡量正确性的重要指标，为改进自训练方法开辟了新的研究方向。 本篇文章利用自一致性方法的特点，改进了自训练的过程，并且提出了SCPO算法。下面将具体介绍该算法的实现过程。 ### SCPO 算法流程 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/11/07/1730984626075-6af92593-0840-46c6-92e0-b6f2bb3b5738.png) 算法包括三个流程： 1. **生成新问题并过滤**：SCPO 方法首先**利用模型本身生成多个新的推理问题**。在这个过程中，**基于投票方法对问题进行筛选**。具体而言，对于每个问题，使用模型生成多个响应，然后统计每个答案出现的频率（即投票数）。如果某个问题的所有响应中，没有一个答案的投票数达到预先设定的阈值，则该问题被过滤掉，确保留下来的问题具有一定的质量和可解答性。 2. **标注偏好对**：对于经过筛选后的每个问题，再次使用**温度采样**的方式让模型生成多个响应。接着，通过**投票**函数计算每个响应的最终答案的相对频率，根据投票结果，挑选出**投票数最高（最自一致）**和**最低（最不自一致）**的响应，将它们组成偏好对。这样的偏好对标注方式能够反映模型在不同回答之间的一致性差异，为后续训练提供有价值的信息。 3. **加权改进损失函数并迭代模型**：SCPO **基于模型对偏好对的信心来加权**改进直接偏好优化（DPO）损失函数。具体而言，对于每个偏好对，根据选择和拒绝响应的投票数差异计算实例级权重$\omega(x)$ $$ w(x)=\frac{V(y + ) - V(y⌝)}{k} $$ 然后将这个权重应用到损失函数中。在迭代训练过程中，模型根据这个加权损失函数不断优化自身参数，从初始模型开始，经过多次迭代（如在实验中通常进行两次迭代），逐步提升模型在复杂推理任务上的性能。每次迭代时，模型都会根据**前一次迭代生成的数据和偏好对**进行训练，使得模型越来越倾向于生成与一致性更高的答案相关的响应。 $$ \mathcal{L}_{ScPO}\left(y^{+}, y^{-} | x\right)=-w(x) \log\sigma\left(\beta\log\frac{M_{\theta}\left(y^{+} | x\right)}{M_{t}\left(y^{+} | x\right)}-\beta\log\frac{M_{\theta}\left(y^{-} | x\right)}{M_{t}\left(y^{-} | x\right)}\right)-\frac{\alpha w(x)}{\left|y^{+}\right|} \log M_{\theta}\left(y^{+} | x\right) $$ ### 实验结果 论文中的实验主要围绕Self-Consistency Preference Optimization（SCPO）方法在多种推理任务上的性能表现展开，具体结果如下： 1. **数学推理任务（GSM8K和MATH数据集）表现** - **实验设置**：在GSM8K和MATH数据集上分别进行实验，将SCPO方法与多种基线方法对比，包括种子模型（Zero-shot CoT）的贪婪解码和带推理时自一致性（SC）的结果、监督训练方法（IRPO Gold）、无监督训练方法（IRPO RM）等。 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/11/07/1730984881776-13212ba9-dcd4-4ba4-8885-14c72902d501.png)
GSM8K数据集上结果
![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/11/07/1730984938366-50873fa8-63e3-4317-a93d-b3d53d9dc492.png)
MATH数据集上结果
- **实验结果** - **SCPO在无监督设置下表现优异**，在GSM8K数据集上，仅一次迭代的SCPO使用贪婪解码就比零样本种子模型和IRPO RM分别提高了22.74%和12.36%的准确率；在MATH数据集上，两次迭代的SCPO相比相同基线也分别有5.26%和1.64%的提升。 - **迭代训练对SCPO效果显著**，在GSM8K和MATH数据集上，两次迭代的SCPO在贪婪解码下的准确率均高于一次迭代。例如，在GSM8K上，无监督和半监督训练下准确率分别提高了2.88%和3.03%；在MATH上，M2模型比M1模型贪婪准确率高出最多2.36%。不过，使用8路自一致性计算的准确率在第一次迭代后有时会饱和甚至略微下降，第三次迭代收益也较小。 - **无监督SCPO与监督训练效果相当**，在GSM8K和MATH数据集上，经过两次迭代训练的SCPO Unsup.在贪婪性能上与IRPO Gold差距小于1%，在n=8的自一致性准确率上差距小于2%。这表明SCPO在不使用真实标签的情况下能达到与监督训练相近的效果。 - 半监督训练进一步提升性能，在GSM8K数据集上，SCPO Semi-Sup.相比IRPO Gold，贪婪准确率提高了2.35%，SC准确率提高了2.19%；在MATH数据集上也有类似趋势，一次迭代的SCPO Semi-Sup.使用贪婪解码优于IRPO Gold达1.24%。 2. **逻辑推理任务（ZebraLogic数据集）表现** - **实验设置**：在ZebraLogic数据集上进行实验，同样对比多种基线方法，模型采用相应的初始化设置（如Llama - 3 Instruct 8B作为种子模型），并根据任务特点调整超参数。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/07/1730984995200-23b4e9cc-7209-464b-9165-8627df64d5f8.png) - **实验结果** - SCPO在无监督设置下显著优于基线，一次迭代的无监督SCPO（M1）使Llama - 3 Instruct 8B种子模型在整体拼图准确率上提高了5.4%，在单元准确率上提高了8.5%；而IRPO RM的无监督训练在该数据集上效果不佳，拼图准确率甚至略有下降。经过两次迭代的SCPO训练，模型在排行榜上提升了8个位置，拼图准确率提高了6.5%，在该数据集上超过了Llama - 3 Instruct 70B、Gemma - 2 27B和Claude - 3 Haiku等更大模型，并且在解决简单拼图问题上有显著提升（高达10.3%），从而获得了最高的单元准确率。 3. **消融实验与分析结果** - **加权SCPO损失重要性**：对比使用加权（w(x)基于一致性计算）和未加权（w(x) = 1）的SCPO损失函数进行训练，结果表明加权损失在不同数据集和迭代中均表现更优。在GSM8K和MATH数据集上，第一次迭代时加权损失训练的模型准确率提升明显，分别提高了2.5%和1.44%，即使在第二次迭代，SCPO训练的模型准确率也比未加权的高出约1%。这说明在优化一致性时考虑投票数能更好地反映模型对选择和拒绝标签的信心，有助于提高准确性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img10@main/2024/11/07/1730985083840-c0078249-46b3-43be-9dfc-7f6b9e9721d4.png) - **模型一致性变化**：通过测量使用无监督SCPO训练的模型在不同迭代中最一致响应的投票份额（V(y⁺)/k）来分析模型一致性变化，发现**随着训练迭代增加，模型在不同任务上的一致性均提高**。这可能源于模型准确性提高、偏好优化减少模型多样性以及SCPO训练有效将自一致性分布蒸馏到模型单样本分布等因素。同时，模型在测试准确率较高的任务上更一致，如在GSM8K上最一致且准确，在ZebraLogic上最不一致且准确。 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/11/07/1730985183311-c9f67137-6da2-4f71-b531-d1c13761b9b2.png) - **一致性过滤对构建偏好的影响**：在生成自一致性偏好数据时，对GSM8K和MATH数据集过滤掉少于一半投票指向多数答案的实例（即设定不同阈值τ），分析发现随着阈值增加，训练偏好对的质量提高（如准确率差距增大），但训练数据量减少。实验表明，在MATH数据集上，阈值从0.1k增加到0.7k时，准确率差距从18%增加到68%，但训练数据对数量从6.7K减少到少于700对。当阈值为0.5k时，在数据质量和数量之间达到较好平衡，能提高下游模型性能；而当阈值为0.7k时，数据量可能不足以训练8B参数的模型。 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/11/07/1730985194544-9cc86ab2-0fdc-44c3-9e38-67964855b33d.png) - **自一致性与奖励模型（RM）对比**：通过比较SCPO和使用ArmoRM构建偏好对的IRPO在区分正确和错误响应方面的能力（与黄金标签对比），发现ArmoRM在所有三个数据集上比SCPO有更多错误的成对偏好排序（即选择了错误答案而拒绝了正确答案），这可能是IRPO RM表现较差的主要原因。而自一致性方法虽然会产生更多平局（选择和拒绝答案投票数相同），但在分布外设置（如ZebraLogic）中，自一致性在正确排序成对偏好方面比ArmoRM高12.3%。 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/11/07/1730985202095-f51366f7-3259-4826-87c2-9977e09fd0e2.png) --- - 查看 Arxiv 原文链接请点击“**阅读原文**” [https://arxiv.org/pdf/2411.04109] - **更多**模型学习资料，请详见浙大 Daily 实验室 Github 仓库：**https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：张超 毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241101-20241107/StepAgent：从小白到大神，过程奖励助力 Agent 进化.md ================================================ # From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning **作者**：*Zhirui Deng, Zhicheng Dou* 等 **单位**：*Gaoling School of Artificial Intelligence, Renmin University of China* 等 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/11/08/1731080788479-be08c132-b269-43a5-a03d-7638d450ebcb.png) 本文研究的是**通过逐步强化学习优化 Agent 系统的策略模型**。现有的 LLM as Agent 方法主要依赖于LLM的固有知识，或者使用强化学习策略来增强 Agent 解决复杂交互任务的能力。然而，这些方法受到稀疏奖励问题的限制，即现有数据集仅提供每个多步推理链的最终标量奖励，可能导致策略学习的效果和效率低下。为了解决这一问题，本文提出了 **StepAgent** 优化框架，利用逐步奖励来优化 Agent 的强化学习过程。 StepAgent 的核心思想是模拟新手到专家的学习过程，通过自动构建监督信号来优化 Agent 策略。具体而言，该框架分为两个阶段：**检查（Inspection）** 和 **反思（Reflection）**。在检查阶段， Agent 观察专家行为并进行模仿练习，以识别自身与专家之间的能力差距；在反思阶段， Agent 根据练习结果，通过两种策略（隐式奖励强化学习和逆强化学习）生成步骤奖励，再使用 PPO 算法改进策略。 #### 1. 检查阶段：生成步骤级对比数据 在 LLM Agent 任务中， Agent 需与环境交互并多次试错才能得出最终推理结果，传统监督微调方法观察和模仿专家的完整轨迹，并根据最终的环境奖励或人工标注信号进行优化。一方面，模拟完整轨迹需不断与环境交互，该过程顺序进行且无法并行化，需要大量**计算时间和资源**；另一方面，Agent 同时理解所有专家行为易造成**信息过载**，难以消化和掌握每个行为的细节，导致学习过程低效。 为克服这些问题，本文让 Agent 逐步骤观察专家行为并进行练习，根据轨迹片段生成步骤级的对比数据。 对于包含 $n$ 步的专家轨迹 $t_{e}=(\hat{o}_{1}, \hat{a}_{1}, \cdots, \hat{o}_{n}, \hat{a}_{n})$ ，在每个动作之后**分割轨迹**，产生**专家轨迹片段**，将每个动作视为 Agent 学习目标，即 $$ (\hat{o}_{1}, \hat{a}_{1}, \cdots, \hat{o}_{i}, \hat{a}_{i}) \in \mathcal{T}_{sample }, i = 1,2, \cdots, n $$ Agent 确定学习目标后进入练习阶段，基于专家轨迹片段中的状态生成动作。具体来说，对于 $\mathcal{T}_{sample}$ 中的每个轨迹片段，将当前动作之前的序列作为状态 $\hat{s}_{i}=(\hat{o}_{1}, \hat{a}_{1}, \cdots, \hat{o}_{i})$ ， 组成 Prompt 让 Agent $\pi_{\theta}$ 生成相应动作 $a_{i}^{\theta} \sim \pi_{\theta}(a | s)$ ，得到 Agent 在每个轨迹片段的决策动作，构成 Agent 的轨迹片段数据： $$ (\hat{o}_{1}, \hat{a}_{1}, \cdots, \hat{o}_{i}, a_{i}^{\theta}) \in T_{sample}^{\theta}, i = 1,2, \cdots, n $$ #### 2. 反思阶段：生成步骤级奖励信号 反思阶段利用**专家轨迹片段数据**和 **Agent 轨迹片段数据**，自动生成步骤级的奖励信号，用来直到强化学习算法更新策略模型。本文提出了两种方法来产生步骤奖励，分别为**隐式奖励** 和**逆强化学习**。 **2. 1 隐式奖励** 利用 DPO 损失 $L_{implicit}(\pi_{\theta}, \pi_{e})$ 优化 Agent 策略： $$ L_{implicit}(\pi_{\theta}, \pi_{e}) = -\mathbb{E}\left[log \sigma\left(\beta log \frac{\pi_{\theta}\left(\hat{a}_{i} | \hat{s}_{i}\right)}{\pi_{e}\left(\hat{a}_{i} | \hat{s}_{i}\right)}-\beta log \frac{\pi_{\theta}\left(a_{i}^{\theta} | \hat{s}_{i}\right)}{\pi_{e}\left(a_{i}^{\theta} | \hat{s}_{i}\right)}\right)\right] $$ 通过优化该损失， Agent 策略可逐渐接近专家策略。 **2.2 逆强化学习** 训练**判别器网络**区分专家和 Agent 策略与环境交互产生的状态-行动对的**数据分布差异**，以此作为奖励信号优化 Agent 策略。 1.定义策略 $\pi$ 的**占用度量** $\rho_{\pi}$ ，表示 Agent 采用策略 $\pi$ 与环境交互过程中产生的**状态-行动对**的归一化分布： $$ \rho_{\pi}(s, a)=(1 - \gamma) \sum_{t = 0}^{\infty} \gamma^{t} P_{\pi}\left(s_{t}=s\right) \pi(a | s) $$ 其中 $1 - \gamma$ 是归一化因子， $P_{\pi}(s_{t}=s)$ 表示 Agent 在时间 $t$ 处于状态 $s$ 的概率。 2.为准确模仿专家策略，让 Agent 的占用度量 $\rho_{\pi_{\theta}}$ 接近专家的 $\rho_{\pi_{e}}$ ，采用 **Jensen-Shannon散度（JS）** 衡量两分布距离，优化目标为： $$ \min _{\pi} JS\left(\rho_{\pi_{\theta}}, \rho_{\pi_{e}}\right)-\lambda H\left(\pi_{\theta}\right) $$ 其中 $\lambda$ 是超参数， $H(\pi_{\theta}) \triangleq \mathbb{E}_{\pi_{\theta}}[-log \pi_{\theta}(a | s)]$ 是 Agent 策略的 $\gamma$ - 折扣因果熵。 3.根据 GAIL，Jensen - Shannon散度 $JS(\rho_{\pi_{\theta}}, \rho_{\pi_{e}})$ 可由凸成本函数正则化项 $\omega(\rho_{\pi_{\theta}}-\rho_{\pi_{e}})$ 表示（在常数偏移和缩放范围内），凸成本函数正则化项 $\omega: \mathbb{R}^{S \times A} \to \mathbb{R} \cup{\{\infty\}}$ 定义为： $$ \omega(c) \triangleq \begin{cases}\mathbb{E}_{\pi_{c}}\left[-c(s, a)-log \left(1 - e^{c(s, a)}\right)\right] & c < 0 \\ +\infty & c \geq 0\end{cases} $$ 上述正则化项 $\omega(\rho_{\pi_{\theta}}-\rho_{\pi_{e}})$ 的最优解表示为： $$ \sup _{D \in(0,1)^{S \times A}} \mathbb{E}_{\pi_{\theta}}[log (D(s, a))]+\mathbb{E}_{\pi_{e}}[log (1 - D(s, a))] $$ 因此，优化问题可转化为寻找下式的鞍点 $(\pi, D)$ : $$ \mathbb{E}_{\pi_{\theta}}[log (D(s, a))]+\mathbb{E}_{\pi_{e}}[log (1 - D(s, a))]-\lambda H\left(\pi_{\theta}\right) $$ 4.使用从专家和 Agent 轨迹中采样的数据训练**判别器网络** $D: S \times A \to (0,1)$ ，其主要目标是**区分 Agent 策略 $\pi_{\theta}$ 和专家策略 $\pi_{e}$ 生成的数据分布**。当判别器无法区分时， Agent 的占用度量成功匹配专家。**判别器网络 $D$ 可作为隐式奖励模型为 Agent 策略提供逐步的奖励信号。** 最后，使用生成的过程奖励，指导 PPO 算法对 Agent 策略进行更新。 #### 3. 实验 在 Web 任务、Agent 任务以及 Question - Answering 任务中，StepAgent 的两种变体（Implicit 和 Inverse）在各项评估指标上均表现出色，超越了所有基线方法。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/11/08/1731080466207-212c74de-7a7c-4089-a75a-35795be2774d.png) 综上所述，StepAgent框架通过观察阶段和反思阶段的逐步监督学习，利用步骤过程奖励有效地改进了LLM代理的策略训练过程。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2411.03817] - **更多**文章请详见 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：樊怡江，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241101-20241107/谷歌出品 SLED 解码技术，让大语言模型输出更靠谱！.md ================================================ # SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models **作者**：*Jianyi Zhang, Da-Cheng Juan* 等 **单位**： *Duke University, Google Research* 等 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/07/1730983904538-8030588e-5dd5-4fb7-808b-f33a7cb5ac48.png) ## 方法详解 本文研究的是**如何提高大语言模型输出的真实性**。现有方法在提高大语言模型输出真实性方面存在不足，缺乏高效且广泛适用的方法。受模型内部不同层 logits 关系的启发，本文提出了**SLED 方法**，通过**分析模型不同层 logits 的差异挖掘潜在知识**、**估计真实知识分布**、**实现 logits 自我进化**以及**降低计算复杂度**，提高大语言模型输出的真实性和在实际应用中的可行性。 具体地，**SLED**方法分为三个主要部分，估计真实知识分布、实现 logits 自我进化和降低计算复杂度，主要工作流程如下图所示，以下是详细介绍。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/11/07/1730984037270-8ff069f3-b088-4945-8213-b9c79d8b4a3f.png) #### 估计真实知识分布 大语言模型在生成文本的过程中，不同层的 logits 蕴含着丰富的信息。通过对比早期层和最终层的 logits，可以发现它们之间的差异能够反映出模型在推理过程中的潜在知识变化，从而近似真实知识分布与模型输出分布之间的关系。 SLED利用早期层和最后一层logits的差别来估算梯度并估计真实知识分布，主要基于以下原理： 1. **训练阶段的启示**：在大语言模型的训练过程中，最终层的logits（$$logits_N$$）直接通过损失函数与真实知识分布（$$P_{real}$$）相关联，训练的目标是最小化真实分布与输出分布之间的KL散度，这意味着$$logits_N$$比早期层的logits（$$logits_n$$）更能反映真实知识分布，即 $$KL(P_{real}, P_{logits_N}) < KL(P_{real}, P_{logits_n})$$。 2. **方向近似性**：基于上述训练阶段的特性，如果对比 $$logits_n$$ 和 $$logits_N$$ ，它们的差（$$logits_n - logits_N$$）在方向上可以近似于 $$KL(P_{real}, P_{logits})$$ 在 $$logits = logits_n$$ 处的梯度$$\nabla_{logits_n} KL(P_{real}, P_{logits_n})$$。 3. **估计真实知识分布（$$P_{real}$$）**：由于难以直接获取真实知识分布，SLED利用这种近似关系来估计$$P_{real}$$。具体而言，对于每个早期层$$n$$，通过计算余弦相似度，即 $$ CosSim(logits_n - logits_N, \nabla_{logits_n} KL(P_{e_{i}}, P_{logits_n})) $$ 其中， $$ \nabla_{logits_n} KL(P_{e_{i}}, P_{logits_n})=(P_{logits_n}-P_{e_{i}})/\tau $$ $$P_{e_{i}}$$为标准基向量，表示真实知识分布要求生成词汇中的第$$i$$个词。 然后选择相似度最高的 $$P_{e_{i}}$$ 作为$$P_{latent}^{(n)}$$（硬估计），进一步扩展为软估计 $$ P_{latent}^{(n)}=(m_{1}^{(n)},..., m_{i}^{(n)},..., m_{d}^{(n)})/m^{(n)} $$ ，其中 $$m^{(n)}=\sum_{i=1}^{d} m_{i}^{(n)}$$ 为归一化因子。 最后对所有早期层的 $$P_{latent}^{(n)}$$ 进行加权平均得到 $$P_{latent}$$，作为真实知识分布的最终估计，其中权重$$s^{(n)}$$根据各层梯度近似与词汇表中Token的对齐程度确定，即如果某层 $$n$$ 的 $$logits_n - logits_N$$与词汇表中各Token的梯度 $$\nabla_{logits_n} KL(P_{e_{i}}, P_{logits_n})$$ 更为接近，那么该层在最终估计中的权重 $$s^{(n)}$$ 就更大。 #### 实现 logits 自我进化 利用得到的最终估计 $$P_{latent}$$，计算 $$KL(P_{latent}, P_{logits_N})$$ 在 $$logits = logits_N$$ 处的梯度 $$ \nabla_{logits_N} KL(P_{latent}, P_{logits_N})=(P_{logits_N}-P_{latent})/\tau $$ ，进而得到更新后的 logits $$ \tilde{logits}_N = logits_N - \alpha \cdot \nabla_{logits_N} KL(P_{latent}, P_{logits_N}) $$ ，其中$$\alpha$$为进化率，控制对$$logits_N$$调整的幅度。 #### 降低计算复杂度 为了使 SLED 方法在实际应用中更具可行性，需要降低计算复杂度。选择最终层中 logits 值最高的前$$k$$个Token进行自我进化，其他 Token 的 logits 调整为较低数值（如$$-1000$$），从而将计算复杂度从 $$O(d^{2})$$ 降低到$$O(k^{2})$$，其中 $$k \ll d$$，$$k$$ 被称为进化规模，决定了参与自我进化的高概率Token数量。 ### 实验结果 #### 广泛的 LLM 基准测试结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/11/07/1730984071584-6b8a9b74-fcf6-4e2a-b313-2c5329cc85d9.png) 实验基线主要使用 DoLa ，它是一种与 SLED 类似的基于层对比的解码方法。根据实验结果，SLED在**多选任务**、**开放生成任务**以及**思维链推理任务**中均表现良好，在几乎所有指标上超越了基线方法。 #### 多样化 LLM 配置评估结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/11/07/1730984111880-4f148d83-d1a5-4cff-8dfa-275a9b5fede3.png) SLED 在不同模型家族（LLaMA 2、LLaMA 3、Gemma 等）和规模（2B - 70B）以及 Mixture of Experts（MoE）架构上均表现出强大的泛化能力，进一步证明了其在不同模型配置下的有效性。 #### 解码时间开销 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/07/1730984180289-3b595a3e-3e06-4d40-8f86-7b727cb4a979.png) SLED 增加的解码时间开销较小，与 DoLa 相比，增加范围在 0.1% - 10% 之间，确保了方法的实用性。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/pdf/2411.02433] - **更多**大模型学习资料，请详见浙大 Daily 实验室 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：董雪梅，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241101-20241107/颠覆Transformer，神经网络自演化的开端！！！1.md ================================================ ## TOKENFORMER: RETHINKING TRANSFORMER SCALING WITH TOKENIZED MODEL PARAMETERS 作者：Haiyang Wang, Yue Fan 等 单位：Max Planck Institute for Informatics Google Peking University等 当我们想要让Transformer模型“长大”时，需要改变模型结构，然后对其进行重新训练。这种方式导致Transformer不能像人脑一样，随着时间和环境自动的进行演进。本文提出的Tokenformer新架构，从底层赋予了神经网络模型自演化的能力。下面对Tokenformer展开介绍。 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img14@main/2024/11/08/1731059796149-0f0e133d-d8a1-4718-a8e8-a70e23f1b53f.png) 本文研究内容是Transformer模型参数扩展。Transformer通常将处理单个token所需的计算划分为两个不同的部分：**与其他输入token的交互（token-token交互）**和**涉及模型参数的计算（token-parameter交互）**。注意力机制促进了token-token交互，使现代通用基础模型能够将多模态数据编码为统一的token序列，并有效捕捉它们之间的复杂依赖关系。相对而言，token-parameter的计算主要依赖于线性投影，即输入token与一组固定参数相乘。这种设计限制了可扩展性，因为增加模型规模需要改变核心架构组件，通常需从头开始**重新训练整个模型**。随着模型规模的增长，这导致了过度的资源消耗，使其变得越来越不实际。 为了解决这一问题，本文从模型架构入手，提出了一种新的架构-Tokenformer，引入token-parameter注意力（Pattention）层，增强了token-parameter交互的灵活性，**允许模型参数的增量扩展并有效重用先前训练的模型**，从而显著降低训练负担。 本文提出的Tokenformer架构与原始Transformer架构对比如下图所示： ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/11/08/1731059901278-5ea58bfc-c6ab-4769-bf9c-52b64430519f.png) #### 原始transformer： 首先我们来回顾一下原始transformer，给定一组包含 $ T $ 个输入 token 的集合 $ X \in \mathbb{R}^{T \times d} $，其中 $ d $ 是通道维度。自注意力块首先通过三种不同的线性投影生成输入相关的查询 $ Q $、键 $ K $ 和值 $ V $： $$ Q = X \cdot W^Q, \quad K = X \cdot W^K, \quad V = X \cdot W^V $$ 其中，$ W^Q, W^K \in \mathbb{R}^{d \times d_k} $ 和 $ W^V \in \mathbb{R}^{d \times d_v} $ 是可学习的权重矩阵。注意力分数通过查询和键向量的相似度计算，并使用 softmax 函数获得归一化的权重。这些分数用于计算缩放点积注意力的输出： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q \cdot K^\top}{\sqrt{d}}\right) \cdot V $$ 其中 $ \sqrt{d} $ 是缩放因子，用于缓解 softmax 引起的小梯度问题。最终输出为： $$ O = X_{\text{att}} \cdot W^O $$ 其中 $ X_{\text{att}} $ 是注意力输出，$ W^O \in \mathbb{R}^{d_v \times d} $ 是输出投影矩阵。 #### Tokenformer Tokenformer的核心创新是token-parameter注意力（Pattention）层，它引入了两组可训练的token充当模型参数，并使用交叉注意力管理输入token与这些参数token之间的交互。这样，Pattention层**引入了一个附加维度**，即**参数token的数量**，与输入和输出通道维度无关。这种解耦**允许网络参数沿着参数token轴无缝扩展**，为通过重用预训练模型实现增量模型扩展提供了所需的灵活性。 ###### 对于Pattention 层，其架构如下图： 具体来说，设输入 tokens 和输出 tokens 分别表示为 $ I \in \mathbb{R}^{T \times d_1} $ 和 $ O \in \mathbb{R}^{T \times d_2} $，其中 $ T $ 是序列长度，$ d_1 $ 和 $ d_2 $ 分别为输入和输出维度。为了实现 Pattention 机制，我们引入了两组 $ n $ 个可学习的参数 tokens：$ K_P \in \mathbb{R}^{n \times d_1} $ 表示键，$ V_P \in \mathbb{R}^{n \times d_2} $ 表示值。Pattention 层的输出 $ O $ 通过缩放点积计算得到： $$ \text{Pattention}(X, K_P, V_P) = \Theta \left( X \cdot K_P^\top \right) \cdot V_P $$ 其中 $ \Theta $ 是用于稳定 Pattention 层优化的改进型 softmax 操作。Pattention 分数 $ S \in \mathbb{R}^{n \times n} $ 的计算方式为： $$ S_{ij} = f \left( \frac{A_{ij} \times \tau}{\sqrt{\sum_{k=1}^n |A_{ik}|^2}} \right), \quad \forall i, j \in 1...n, $$ 其中 $ A $ 是从 $ X \cdot K_P^\top $ 得到的分数，$ \tau $ 是缩放因子，默认为 $ \sqrt{n} $，$ f $ 是非线性函数，在模型中为 GeLU 函数。 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/11/08/1731059957110-2af0a697-8c66-4778-a1bc-1b13eaefb44c.png) ###### Tokenformer的整体架构如上图所示: 具体来说：给定输入 tokens $ X_{\text{in}} \in \mathbb{R}^{T \times d} $，采用 pre-norm Transformer 的设计，其 Tokenformer 层的输出计算如下： $$ X_{\text{inter}} = X_{\text{in}} + \text{MHA}(\text{LN}(X_{\text{in}})), \quad X_{\text{out}} = X_{\text{inter}} + \text{FFN}(\text{LN}(X_{\text{inter}})) $$ 其中，$ \text{LN} $ 表示层归一化，MHA 和 FFN 分别指我们修改后的多头自注意力和前馈层。 在多头自注意力模块中，为简化起见，采用单头变体并将 $ d_k $ 和 $ d_v $ 设为 $ d $。然后我们用 Pattention 层替代所有线性投影。记 $ \text{LN}(X_{\text{in}}) $ 为 $ X $，该模块的公式如下： $$ Q = \text{Pattention}(X, K_P^Q, V_P^Q), \quad K = \text{Pattention}(X, K_P^K, V_P^K), \quad V = \text{Pattention}(X, K_P^V, V_P^V) $$ $$ X_{\text{att}} = \text{softmax} \left( \frac{Q \cdot K^\top}{\sqrt{d}} \right) \cdot V $$ $$ O_{\text{att}} = \text{Pattention}(X_{\text{att}}, K_P^O, V_P^O) $$ 其中公式 (7) 和 (9) 表示 token-parameter 注意力，而公式 (8) 表示 token-token 注意力。QKV 投影的键值参数 token 分别为 $ (K_P^Q, V_P^Q) \in \mathbb{R}^{n_q \times d} $，$ (K_P^K, V_P^K) \in \mathbb{R}^{n_k \times d} $，$ (K_P^V, V_P^V) \in \mathbb{R}^{n_v \times d} $，而 $ (K_P^O, V_P^O) \in \mathbb{R}^{n_o \times d} $ 则用于输出投影层。 为了保持一致性和简洁性，**Tokenformer 中的前馈块使用单一 Pattention 层**。记 $ \text{LN}(X_{\text{inter}}) $ 为 $ X_{\text{ffn}} $，前馈网络 (FFN) 的计算如下： $$ O_{\text{ffn}} = \text{Pattention}(X_{\text{ffn}}, K_{\text{ffn}}^P, V_{\text{ffn}}^P) $$ 其中 $ (K_{\text{ffn}}^P, V_{\text{ffn}}^P) \in \mathbb{R}^{n_{\text{ffn}} \times d} $ 是 FFN 块的可学习键值对。 通过上述的架构设计，**将所有基本组件（包括输入数据和模型参数）表示为计算框架中的 token**。以 token 为中心的视角允许利用注意力机制的优势，**统一 Transformer 中的两个主要计算**，即 token-token 和 token-parameter 交互，从而构建出一个完全基于注意力的神经网络，以实现渐进式模型扩展。 ###### 模型参数扩展 为了在不影响通用性的情况下便于理解，以下使用一个单独的 Pattention 层来展示模型扩展的细节。考虑一个现有的 Tokenformer 模型，带有一组预训练的键值参数 token，记作 $ K_{\text{old}}^P, V_{\text{old}}^P \in \mathbb{R}^{n \times d} $。如上图所示，为了扩展模型，将网络参数沿着参数token轴扩展，通过追加新的键值参数 token 来增强这组参数，记作 $ K_{\text{new}}^P, V_{\text{new}}^P \in \mathbb{R}^{m \times d} $，如下所示： $$ K_{\text{P}}^{\text{scale}} = \begin{bmatrix} K_{\text{P}}^{\text{old}} , K_{\text{P}}^{\text{new}} \end{bmatrix}, \quad V_{\text{P}}^{\text{scale}} = \begin{bmatrix} V_{\text{P}}^{\text{old}} , V_{\text{P}}^{\text{new}} \end{bmatrix} $$ 其中 $ [\cdot_{\text{old}}, \cdot_{\text{new}}] $ 表示在 token 维度上的拼接操作，扩展后的参数集 $ K_{\text{scale}}^P, V_{\text{scale}}^P \in \mathbb{R}^{(m+n) \times d} $。扩展模型的前向传播过程定义如下： $$ O = \text{Pattention}(X, K_{\text{scale}}^P, V_{\text{scale}}^P) $$ 这种扩展方案允许任意数量的参数集成，而无需更改输入或输出的维度。 #### 实验方面 实验方面，主要分为三个部分，分别是**渐进式模型扩展测试**，**扩展后的模型表达能力的基准测试**以及与**标准Transformer模型扩展方法的对比。** ###### 1.渐进式模型扩展测试 数据集使用了OpenWebText语料库，基线为从头训练的Transformer模型，对具有124M到1.4B参数的模型扩展性能进行了测试。Tokenformer每次扩展迭代都利用了预训练的小型Tokenformer来部分初始化较大模型的权重，例如，为了训练一个具有354M参数的模型，使用124M模型作为部分初始化器。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/11/08/1731060023847-2000888b-9292-4c4b-9c4a-e7a709239e4e.png) 实验结果如上图中的Figure 3所示，使用Tokenformer的渐进式扩展方法在显著减少训练预算的同时，取得了与从零训练的Transformer模型相当的性能。具体而言，从一个使用300B token训练的124M参数模型开始，逐步扩展至354M、757M和1.4B参数，仅需额外的30B token——相比于从零训练的Transformer仅需十分之一的计算预算。该扩展过程在1.4B参数规模上实现了11.77的测试困惑度。相比之下，同等规模的从零训练的Transformer模型达到了类似的困惑度11.63，但耗费了3倍的训练成本。 ###### 2. 扩展后的模型表达能力测试 Tokenformer在语言建模和视觉建模上，在多个广泛认可的下游任务中测试，与同等规模的主流开源 Transformer/Vision Transformer 模型进行对比，如下图所示，Tokenformer的表现与标准 Transformer 架构的模型能力相当。 ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2024/11/08/1731060121885-7a32f13d-640d-4446-842c-57b67636015e.png) ###### 3.与标准Transformer模型扩展方法的对比 Transformer在一定程度上也可以实现模型的重用。Net2Net 作为一种经典的模型增长方法，提出了通过复制神经元来扩展神经网络宽度的技术。在这种方法中，较小模型中某层Transformer的预训练权重矩阵 $$ W_{\text{s}}^{\text{old}} \in \mathbb{R}^{d_s \times d_s} $$ 被用于生成一个较大的权重矩阵 $$ W_{\text{l}}^{\text{new}} \in \mathbb{R}^{d_l \times d_l} \ (d_l > d_s) $$ 来填充更大的模型。此扩展过程的公式如下： $$ W_{\text{l}}^{\text{new}} = \begin{bmatrix} W_{\text{s}}^{\text{old}} & W_{\text{l(12)}}^{\text{new}} \\ W_{\text{l(21)}}^{\text{new}} & W_{\text{l(22)}}^{\text{new}} \end{bmatrix} $$ 其中 $$ W_{\text{l(12)}}^{\text{new}} \in \mathbb{R}^{(d_l - d_s) \times d_s} $$，$$ W_{\text{l(21)}}^{\text{new}} \in \mathbb{R}^{d_s \times (d_l - d_s)} $$，以及 $$ W_{\text{l(22)}}^{\text{new}} \in \mathbb{R}^{(d_l - d_s) \times (d_l - d_s)} $$ 是用于扩展的新参数。 Tokenformer对比此方法在模型参数扩展的优势如下： - **长上下文建模的可控token-token交互成本** ，如前所述，Transformer架构的训练成本主要分为两部分：涉及模型参数的交互和输入序列之间的交互。其中token-参数交互的成本是线性扩展的，而token-token交互的成本是二次扩展的（新token需要与已有的所有token计算注意力）。传统上，扩展Transformer模型通常通过增加通道维度来实现，比如此方法（Net2Net ）。对于更长的文本，这会导致更高的计算成本，主要是因为主要的token-token交互变得更加密集，从而影响模型在长文本处理上的性能。而Tokenformer将token-token交互的计算成本与模型扩展过程解耦。增加了参数大小而不改变token通道维度，从而保持token-token交互相关的计算成本不变。 - **扩展而不丢失已学分布** 当新增参数初始化为零时，Tokenformer可以保持现有的输出分布。这一特性在模型不断扩展以纳入更多数据时非常有利，因为它可以在增加模型容量的同时不破坏模型已有的知识，从而促进快速收敛。为评估Tokenformer的扩展效率，我们将Net2Net的Transformer扩展与Tokenformer扩展的损失曲线进行对比。如下图Figure 6所示，Tokenformer不仅收敛更快，而且达到了更低的最终损失，这归功于其在恢复训练过程中保持输出分布的能力。 - **增量扩展的性能更好** 使用Net2Net方法逐步扩展标准Transformer和Tokenformer扩展。如下图Figure 7所示，Tokenformer在扩展方面的性能优于标准Transformer。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/08/1731060197595-ea3d1a2e-0b57-4207-a027-341a2b21d955.png) 综上所述，本文提出了Tokenformer，这是一种天然可扩展的架构，通过将模型参数表示为token，用Pattention层替代了Transformer中的所有线性投影层，使得模型可以无缝且高效地进行增量扩展，而无需从零开始重新训练，同时，它原生具备参数高效调优的能力，可无缝适应新任务需求。这种比传统Transformer更具灵活性的架构将进一步推动基础模型的发展。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/pdf/2410.23168] - **更多**大模型学习资料，请详见浙大Daily实验室GitHub仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：胡中豪，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241108-20241114/IOPO：化身超级助手，让 LLM 轻松应对复杂指令.md ================================================ # IOPO: Empowering LLM s with Complex Instruction Following via Input-Output Preference Optimization **作者**：*Xinghua Zhang, Haiyang Yu 等* **单位**：*Tongyi Lab* ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/14/1731588823337-4f29693b-f33b-4047-8ee9-7f2649d6df26.png) 本文研究的是**通过输入输出偏好优化（IOPO）方法，提升大型语言模型（ LLM s）遵循复杂指令的能力**。随着 LLM s在各种应用中的广泛使用，指令的复杂性也在迅速增加。然而，现有的复杂指令评估数据有限，且缺乏专门用于提升复杂指令遵循能力的算法。为了解决这一问题，本文提出了**IOPO**方法，并构建了一个名为**TRACE**的基准数据集。 IOPO的核心思想是**同时考虑输入和输出的偏好对**，使 LLM 不仅能够快速适应响应偏好，还能细致地探索指令偏好。具体来说，IOPO不仅将指令作为输入来直接学习响应偏好，还基于相同的响应深入探索指令，以促进对细粒度约束的有效感知。 #### 1. TRACE 基准数据集 本文首先构建了 TRACE 复杂指令数据集，包含120K条训练数据和1K条评估数据。其中每条复杂指令都包含多个约束，涵盖了 26 个**约束维度**和 5 种**约束类型**。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/11/14/1731588927191-f35a2fca-a1c5-44db-9775-074213671b01.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/11/14/1731588937809-f59bc31e-6642-46fc-9287-b2bc2e04c51d.png) TRACE 复杂指令数据集的构建过程包括以下几个关键步骤： - **约束分类**：通过 LLM 从大量开源简单指令中**归纳出约束分类**，并由人工专家进一步细化，形成 5 种约束类型和 26 个约束维度。 - **约束扩展**：基于约束分类，通过提示 LLM 将简单指令扩展为**包含多个约束的复杂指令**。 - **指令结构化**：将扩展后的指令文本结构化为任务描述、约束和输入部分。 - **质量控制**：通过提示 LLM 对扩展后的指令进行质量控制，确保指令的有效性。 - **响应生成与评估**：使用 LLM 生成响应，并通过 LLM 评估响应的质量，确保其完全遵循指令中的所有约束。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/11/14/1731588890212-4b5b315d-ac85-4860-b3f3-5bcc7e815a17.png) #### 2. IOPO方法 **IOPO方法通过构建一对包含多项约束内容的指令 $$ 及其对应的响应 $$，其中 $x_2$ 在某些约束上与 $x_1$ 有细微差异，这些差异会导致响应的显著不同。**然后，形成四个输入输出对 $$、$$、$$ 和 $$，构成一个**偏好组对** $G1 ≻ G2$，其中 $G1 = {, }$，$G2 = {, }$。具体的数据构建过程如下： - **$x_2$ 生成**：通过 “添加”、“删除” 和 “修订” 操作生成新的约束，使响应不再符合新约束，并结合任务描述、新约束和输入形成 $x_2$。 - **$y_2$ 生成**：对于指令 $x_2$，生成相应的响应 $y_2$。 - **响应评估**：评估响应 $y_2$，仅保留完全符合约束的响应。 基于 DPO 的优化目标，通过**最大化偏好组对 $G1 ≻ G2$ 的概率**，推导出 IOPO 的损失函数： $$ \begin{gathered} \mathcal{L}_{\mathrm{IOPO}}(\pi_{\theta})=-\mathbb{E}_{x_{1},y_{1},x_{2},y_{2}\sim D} \bigg\{\operatorname{log}\bigg[\sigma\bigg(\frac{1}{2}(2\beta\mathrm{log}\frac{\pi_{\theta}(y_{1}|x_{1})}{\pi_{\mathrm{ref}}(y_{1}|x_{1})}\bigg) \\ -\beta\mathrm{log}\frac{\pi_\theta(y_2|x_1)}{\pi_\mathrm{ref}(y_2|x_1)}-\beta\mathrm{log}\frac{\pi_\theta(y_1|x_2)}{\pi_\mathrm{ref}(y_1|x_2)}+2\beta\mathrm{log}\frac{\pi_\theta(y_2|x_2)}{\pi_\mathrm{ref}(y_2|x_2)} \\ -\left.\beta\mathrm{log}\frac{\pi_{\theta}(y_{1}|x_{2})}{\pi_{\mathrm{ref}}(y_{1}|x_{2})}-\beta\mathrm{log}\frac{\pi_{\theta}(y_{2}|x_{1})}{\pi_{\mathrm{ref}}(y_{2}|x_{1})})\right)\bigg]\bigg\} \end{gathered} $$ #### 3. IOPO方法推导 IOPO方法的核心在于同时优化包含输入和输出的偏好对数据，推导过程类似 DPO： - **奖励函数表示**： 奖励函数 $ r(x, y) $ 可以表示为策略模型 $ \pi_r $ 的形式： $$ r(x, y) = \beta \log \frac{\pi_r(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x) $$ ​ 其中 $ Z(x) = \sum_y \pi_{\text{ref}}(y|x) \exp\left(\frac{1}{\beta} r(x, y)\right) $。 - **Bradley-Terry模型**： Bradley-Terry模型用于估计成对比较的概率： $$ p(i \succ j) = \frac{p_i}{p_i + p_j} $$ ​ 其中 $ p_i $ 是分配给个体 $ i $ 的正实数得分。 - **偏好组对概率**： 给定一对偏好组 $ \mathcal{G}_1 $ 和 $ \mathcal{G}_2 $，定义 $ p_1 = e^{r(x_1, y_1) + r(x_2, y_2)} $ 和 $ p_2 = e^{r(x_1, y_2) + r(x_2, y_1)} $，则偏好组对概率为： $$ p(\mathcal{G}_1 \succ \mathcal{G}_2) = \frac{e^{r_{\mathcal{G}_1}}}{e^{r_{\mathcal{G}_1}} + e^{r_{\mathcal{G}_2}}} $$ ​ 其中$ r_{\mathcal{G}_1} = r(x_1, y_1) + r(x_2, y_2) $ 和 $ r_{\mathcal{G}_2} = r(x_1, y_2) + r(x_2, y_1) $。 - **优化目标**： 结合上述公式，优化目标可以进一步推导为： $$ p(\mathcal{G}_1 \succ \mathcal{G}_2) = \sigma\left(\frac{1}{2}(\Pi_1 + \Pi_2)\right) $$ ​ 其中： $$ \Pi_1 = 2\beta \log \frac{\pi_r(y_1|x_1)}{\pi_{\text{ref}}(y_1|x_1)} - \beta \log \frac{\pi_r(y_2|x_1)}{\pi_{\text{ref}}(y_2|x_1)} - \beta \log \frac{\pi_r(y_1|x_2)}{\pi_{\text{ref}}(y_1|x_2)} $$ $$ \Pi_2 = 2\beta \log \frac{\pi_r(y_2|x_2)}{\pi_{\text{ref}}(y_2|x_2)} - \beta \log \frac{\pi_r(y_1|x_2)}{\pi_{\text{ref}}(y_1|x_2)} - \beta \log \frac{\pi_r(y_2|x_1)}{\pi_{\text{ref}}(y_2|x_1)} $$ - **损失函数**： 最终的损失函数为： $$ \begin{gathered} \mathcal{L}_{\mathrm{IOPO}}(\pi_{\theta})=-\mathbb{E}_{x_{1},y_{1},x_{2},y_{2}\sim D} \bigg\{\operatorname{log}\bigg[\sigma\bigg(\frac{1}{2}(2\beta\mathrm{log}\frac{\pi_{\theta}(y_{1}|x_{1})}{\pi_{\mathrm{ref}}(y_{1}|x_{1})}\bigg) \\ -\beta\mathrm{log}\frac{\pi_\theta(y_2|x_1)}{\pi_\mathrm{ref}(y_2|x_1)}-\beta\mathrm{log}\frac{\pi_\theta(y_1|x_2)}{\pi_\mathrm{ref}(y_1|x_2)}+2\beta\mathrm{log}\frac{\pi_\theta(y_2|x_2)}{\pi_\mathrm{ref}(y_2|x_2)} \\ -\left.\beta\mathrm{log}\frac{\pi_{\theta}(y_{1}|x_{2})}{\pi_{\mathrm{ref}}(y_{1}|x_{2})}-\beta\mathrm{log}\frac{\pi_{\theta}(y_{2}|x_{1})}{\pi_{\mathrm{ref}}(y_{2}|x_{1})})\right)\bigg]\bigg\} \end{gathered} $$ #### 4. 实验 在 Trace、IFEval 和 CFBench 三个数据集上的实验表明，IOPO 在复杂指令遵循能力上显著优于现有的 SFT 和 DPO 方法。具体来说，IOPO 在 TRACE 数据集上的单约束和多约束指令遵循能力分别提升了 8.15% 和 2.18%，在 IFEval 和 CFBench 数据集上的表现也有显著提升。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/11/14/1731588985139-6a864ff6-683e-4ee3-9dea-863d8822d3cb.png) 综上所述，IOPO 通过**同时优化输入和输出的偏好，显著提升了 LLM 遵循复杂指令的能力**。这种方法不仅提高了模型在复杂指令场景下的表现，还为复杂指令遵循能力的研究提供了新的思路。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/abs/2411.06208] - **更多**大模型学习资料，详见浙江大学LLMs GitHub仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：樊怡江，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241108-20241114/Spider 2.0 来袭！大语言模型能否应对企业级 Text-to-SQL 的超强挑战？.md ================================================ # Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows **作者**：*Fangyu Lei, Jixuan Chen等* **单位**：*University of Hong Kong, Google等* 下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/11/17/1731837342120-ae307026-bf7f-489b-bd28-fb33c0836dbf.png) ### Spider 2.0 自动代码生成可以作为人类与数据之间的桥梁，帮助个人使用复杂数据完成困难或单调的任务。现有数据的大部分存储在关系数据库中，SQL作为与这些数据交互的关键接口。在这种情况下，Text-to-SQL是一项重要技术，能够帮助数据分析师执行常规查询、编排数据工作流并实现高级商业智能，从而显著减少重复的人力劳动并减轻程序员的负担。大语言模型在生成代码方面展示了出色的能力，基于GPT-4的方法在经典基准Spider 1.0和Bird上分别达到了91.2%和73.0%的执行准确率。 尽管LLMs在这些数据集上表现出色，但它们通常使用非工业数据库，这些数据库包含少量表和列，具有简单的SQL和问题，无法反映真实世界的复杂性，并忽略了多样化的SQL方言。相比之下，真实世界的数据存储在各种数据库系统中，每个系统都有其独特的SQL方言，引入了广泛的SQL语法和函数。此外，这些企业级应用数据库的特点是大规模模式，包含数千列和复杂的嵌套结构。此外，真实世界的 Text-to-SQL 工作流需要利用项目代码库、外部知识和各种上下文来构建跨多个步骤的复杂SQL查询，完成各种操作，并构建全面的数据工程管道。这包括数据整理以清理和组织数据以进行分析，数据转换以重新构建和增强数据，以及进行数据分析以提取洞察力，从而为决策提供信息并推动战略举措。所有这些复杂性都凸显了需要更现实的企业级基准的迫切需求。 针对当前Text-to-SQL落地应用存在的问题，本文提出了 Sider 2.0，一个反映真实世界数据工作流的基准，涵盖632个真实世界的复杂数据整理、转换和分析任务。Spider 2.0中的数据库来自工业应用（例如Google Analytics和Salesforce），具有大量的表列项（一个数据库平均812列）和复杂的结构，以及TB级数据量。它们涵盖了各种数据库系统，包括本地数据库（例如SQLite和DuckDB）和云数据仓库（例如BigQuery和Snowflake）。这些数据库的复杂SQL方言从技术教程、社区论坛和开源项目中整理而来。平均而言，每个标准SQL查询包含144个Token，并包括高级函数（例如，ST_DISTANCE(x1, x2)测量两点之间的最短距离），显示出显著超过先前基准的复杂性。所有任务都基于项目代码库以及文档和数据库接口，以模拟真实世界的文本到SQL编写场景。 接下来将介绍 Spider 2.0 构造流程。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/11/17/1731837389676-50aaee33-2882-461e-923b-d82d88342103.png) ### Spider 2.0 基准构建 八位计算机科学出身的SQL的专家共同参与做数据注释。注释流程包括以下六个步骤： 1) **数据库和SQL收集。** 从云数据仓库（包括BigQuery公共数据、Snowflake市场数据和其他平台）收集各种数据库，以确保它们满足特定标准：每个数据库必须包含超过200列或具有嵌套模式结构。经过过滤后，选择了74个BigQuery、54个Snowflake、30个SQLite、40个DuckDB、10个PostgreSQL和5个ClickHouse数据库。从相应的教程和论坛中，收集了1,021个复杂SQL查询，以及157个来自Fivetran和DBT的数据转换项目。为了满足标准，SQL查询必须包含超过50个Token（按空格分词；作为参考，Bird的平均标记数为30.9）。此外，查询必须来自实际项目或教程，而不是合成示例或极端情况。最终，保留了547个高质量SQL查询和78个DBT项目。 2. **SQL重写以防止数据泄露。** 为了避免污染并确保Spider 2.0评估的可信度，注释者需要重写每个SQL并验证其无错误。重写分为两个层次的复杂性：表面层次和语义层次，如下表所示。84.2%的示例进行了表面层次的重写，而42%进行了语义层次的重写。注释者必须确保重写的SQL执行成功，在可接受的时间内完成，并返回非空结果。85.98%的这些SQL查询使用各种方言中的高级函数，而10.76%的SQL需要使用额外的DBT工具，这些SQL需要整合项目上下文才能书写。 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/11/17/1731837440128-68cc74dd-d61c-4d21-86fa-630462788716.png) 3) **代码库和上下文设置。** 对于Spider 2.0-lite和Spider 2.0-snow中的每个复杂SQL查询，收集完成任务所需的外部参考文档。由于任务跨越多种数据库类型，收集了SQL方言和外部函数的文档。此外，对于Spider 2.0，保留了SQL相关项目的原始代码库。对于Spider 2.0，除了收集参考文档外，注释者还收集资源，如代码库、数据库接口，以建立每个任务的上下文。 4) **自然语言任务指令注释**。 注释者需要根据步骤3中收集的SQL和上下文编写问题，为不同设置编写两个版本。指令旨在平衡自然性和无歧义性。注释者手动编写指令，使其自然化，避免生硬的描述，消除预期结果中的歧义，并确保所有SQL条件都清晰提及。注释者根据提供的上下文编写任务指令。在初始注释后，验证SQL查询和指令之间的语义等价性，并通过LLMs的帮助进行改写以提高清晰度。 6) **质量控制**。 为了确保基准的质量，每个指令、标准SQL查询和评估脚本至少由三位注释者审查。要求注释者反复审查步骤3）、4），以确保注释的正确性、自然性和无歧义性。因此，45%的示例在第一次验证者中发现了错误。经过第二次验证者的第二轮迭代讨论和修正后，只有5%的示例包含错误。然后修正所有错误并完善所有注释，最终所有示例都被认为是完全注释的。 ### 数据集统计 在下表中详细分析了Spider 2.0、Spider 2.0-snow和Spider 2.0-lite的特征，并将它们与其他多个数据集进行了比较。Spider 2.0 的数据集在数据库、SQL和任务场景方面表现出较强的复杂性和现实性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/11/17/1731844483742-94f7b661-e317-4eb2-8abd-5c8c60a5a31b.png) 多样化的数据库系统和SQL方言。 Spider 2.0的基准包含多种数据库系统，包括云数据仓库如BigQuery和Snowflake，本地托管的数据库如Postgres和ClickHouse，以及轻量级系统如SQLite和DuckDB。这种多样性使我们的基准与之前的工作区分开来，涵盖了各种SQL方言。值得注意的是，85.98%的示例需要使用这些方言中的专用函数，每个标准SQL平均使用7.1个特殊函数。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/11/17/1731844529053-b55b477b-bb06-4ed8-8314-fb171ba71701.png) **真实且复杂的数据库模式。** Spider 2.0中的数据库配备了大规模模式，包含广泛的表和列，有效反映了真实世界的企业级环境。如下表所示，这些数据库具有复杂的模式结构（例如，多模式和嵌套模式，分区表），并且动态表每天更新。此外，数据涵盖了广泛的复杂类型、大量数据量和多样化的范围，使其比之前的基准更加多样化。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/11/17/1731844561192-803bfb19-c5fe-4c79-94b7-64c9776e77ea.png) **数据工程管道中的挑战性任务。** 基准中的示例来自实际教程和论坛，涵盖了数据管道中遇到的各种问题，包括数据整理、数据转换和数据分析。这些问题的难度显著超过了之前的SQL相关基准，因为Spider 2.0中的SQL查询包含的列、Token和函数比先前的工作多得多 **包含代码库和文档的真实项目场景。** 数据集中的任务都需要专业访问文档，如外部知识和SQL方言，这需要模型对这些资源有深入的理解。对于Spider 2.0中的每个任务，论文提供了一个代码库上下文来模拟真实工作流。 ### 实验结果 1. **实验设置** - **评估指标** - **成功率（SR）**：用于Spider 2.0，衡量模型成功完成任务实例的比例。例如，在一组100个任务中，模型成功完成了20个，那么成功率为20%。 - **执行准确率（EX）**：用于Spider 2.0 - lite和Spider 2.0 - snow，通过比较预测SQL查询的执行结果与真实结果来衡量模型生成SQL的准确性。例如，预测的SQL查询执行结果与真实结果完全一致的任务占总任务数的比例。 - **难度分类** - 根据SQL查询的token数量将问题分为易（<80 tokens）、中（80 - 159 tokens）、难（≥160 tokens）三类。例如，一个简单的查询“SELECT * FROM table WHERE id = 1”可能被归为易类，而一个复杂的嵌套查询涉及多个表连接和条件判断可能被归为难类。 - **模型选择** - 实验多种开源（如DeepseekCoder - V2.5、Qwen2.5 - 72B - Instruct、Llama - 3.1 - 405B等）和闭源（如Gemini - Pro - 1.5、Claude3.5 - Sonnet、GPT系列等）语言模型，以全面评估不同类型模型在基准上的表现。 - 采用多个代码代理框架（如Reflexion、CodeR、AutoEval、Spider - Agent等）和文本到SQL方法（如DIN - SQL、DAIL - SQL、CHESS、SFT CodeS等）进行实验，比较它们在处理企业级文本到SQL任务中的能力。 2. **实验过程** - 对于Spider 2.0，模型在给定问题、数据库接口和代码库的情况下，迭代修改代码（SQL/Python），通过执行代码与数据库交互，直到获得最终结果（文本/表格/数据库），然后根据成功率指标评估模型性能。 - 对于Spider 2.0 - lite和Spider 2.0 - snow，模型根据给定的数据库模式、自然语言问题和辅助文档，生成SQL查询，通过执行SQL查询并根据执行准确率指标评估模型性能。在这个过程中，为了处理复杂数据类型，会提供采样单元格值；对于某些方法，还会进行参考计划、提供oracle函数等操作来辅助模型生成SQL查询。同时，由于评估时从大规模数据库检索值成本高，在处理BigQuery实例时不进行值链接（部分方法）。 3. **实验结果** ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/11/17/1731844611626-57d285d6-8475-428b-9da4-1189af5a1420.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/11/17/1731844623159-fefcf8fd-1116-4678-b9a1-1f0c42d0d1cd.png) - 现有语言模型在真实世界文本到SQL工作流任务中表现不佳，如o1 - preview模型在Spider 2.0上的成功率最高仅为17.01%，远低于其在以往基准（如Spider 1.0上91.2%的执行准确率）上的表现，这表明即使是先进的语言模型在处理企业级复杂任务时仍有很大提升空间。 - 现有代码代理框架解决数据库相关编码任务能力有限，例如使用强大的GPT - 4o的CodeR框架在Spider 2.0上的成功率仅为7.91%，而在其他基准（如SWE - Bench）上表现较好，说明当前框架在处理企业级数据库任务时面临挑战，需要专门针对数据库任务进行改进。 - 当前基于语言模型的方法在处理企业级文本到SQL任务时能力有限，如在Spider 2.0 - lite和Spider 2.0 - snow中，表现最佳的DAIL - SQL + GPT - 4o方法的执行准确率分别仅为5.68%和2.20%，远低于其在Spider 1.0（86.6%）和BIRD（57.4%）数据集上的得分，反映出Spider 2.0基准的复杂性和挑战性。 ### Spider 2.0 榜单 论文还提出了 Spider 2.0 榜单，所有对 Text-to-SQL 感兴趣的研究人员都可以在该榜单上提交自己的方法。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/11/17/1731844659221-7c875bb9-e59e-443b-be9d-85e1de078b0c.png) --- - 查看 Arxiv 原文链接请点击“**阅读原文**” [https://arxiv.org/pdf/2411.07763] - **更多**模型学习资料，请详见浙大 Daily 实验室 Github 仓库：**https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：张超 毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241108-20241114/UC Berkeley 和 CMU 出手！揭开大语言模型泛化的 “神秘面纱”.md ================================================ # What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? **作者**：*Katie Kang, Amrith Setlur* 等 **单位**： *UC Berkeley, CMU* 等 ## 研究框图 下图给出此文的的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。 ![](https://fastly.jsdelivr.net/gh/bucketio/img2@main/2024/11/14/1731587290267-3abf0fe3-66b2-4b9a-8c69-8d59991a224c.png) ## 方法详解 本文研究的是**如何有效预测大语言模型在推理任务中的泛化能力并优化数据筛选**。现有方法在理解大语言模型微调过程中的学习动态与泛化关系上存在局限，所提出的各种泛化度量指标在LLM推理任务中与测试准确率相关性不强，在数据筛选方面也缺乏有效的度量标准。受对模型训练过程中逐步学习行为观察的启发，本文通过**定义预记忆训练准确率**来评估模型学习动态、并基于此**指导数据筛选策略**，有效预测模型泛化能力并提升数据筛选效率。 如下图所示，相同预训练模型在相同推理数据集上微调，仅因学习率不同，测试性能就有很大差异，传统基于记忆的解释无法完全说明 LLM 的泛化行为，而预记忆训练准确率则能够表现出与测试准确率较强的相关性，这说明了本方法的可行性，接下来我们具体介绍方法流程。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/11/14/1731587332612-553e1088-251f-493a-866b-d6c682b296be.png) #### 分析模型学习动态 在分析模型的学习动态时，论文主要关注两个关键指标：（1）模型对训练查询的回答准确率，即衡量衡量模型生成的最终答案是否正确；（2）模型预测与目标推理步骤之间的距离（困惑度），衡量模型生成的推理步骤与目标推理步骤之间的相似性。 通过跟踪这两个指标在训练过程中的变化，可以全面评估模型的学习过程。具体来说，模型在训练初期可能会生成多样化的推理步骤，这些步骤可能与目标推理步骤不同，但最终答案是正确的。随着训练的进行，模型可能会逐渐“记忆”目标推理步骤，即生成的推理步骤与目标推理步骤高度一致。 ##### 1. 分析学习动态与泛化能力的关联 首先，论文先定义了衡量记忆的指标，即困惑度。如果模型生成的推理步骤与目标推理步骤的困惑度低于某个阈值 \( p \)，则认为模型已经记忆了该目标推理步骤。 $$ \text{Perp}(f_{\theta}(y|x_i), y_i) > p $$ ，其中$$ \text{Perp}(f_{\theta}(y|x_i), y_i) $$是模型预测 $$ f_{\theta}(y|x_i) $$与目标推理步骤 $$ y_i $$ 之间的困惑度。 有了记忆的定义，接下来我们分析训练过程中的不同学习动态。如下图所示，在训练过程中主要存在三类情况： - **高准确率+高困惑度**（粉色A点）：模型生成的推理步骤与目标推理步骤不同，但最终答案是正确的，表明模型在生成多样化的推理步骤时仍然能够正确解决问题。 - **低准确率+高困惑度**（黑色B点）：模型生成的推理步骤与目标推理步骤不同，且最终答案是错误的，表明模型在生成多样化的推理步骤时未能正确解决问题。 - **高准确率+低困惑度**（黄色C点）：模型生成的推理步骤与目标推理步骤高度一致，且最终答案是正确的，表明模型已经“记忆”了目标推理步骤。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/11/14/1731587487986-03bd7c12-bd0f-42cc-8ea8-f883690ea7fc.png) 下图进一步通过颜色编码展示了三个不同模型在训练过程中对训练查询的预测行为，在不同训练阶段主要有以下变化： - **训练准确率的提高**：随着训练的进行，模型的训练准确率逐渐提高，表明模型在训练过程中逐步学会了如何正确解决问题。 - **困惑度的降低**：随着训练的进行，模型生成的推理步骤与目标推理步骤之间的困惑度逐渐降低，表明模型在训练过程中逐步“记忆”了目标推理步骤。 - **不同学习率设置的影响**：不同学习率设置的模型在训练过程中表现出不同的行为，表明学习率的选择对模型的学习动态有显著影响。 - **记忆与泛化的区别**：模型在训练过程中既有可能通过泛化（生成多样化的推理步骤）来解决问题，也有可能通过记忆（复制目标推理步骤）来解决问题。 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/11/14/1731587509744-0fa743de-c3be-4839-9568-090c93d232cc.png) ##### 2. 定义预记忆准确率 为了量化模型在学习过程中是否真正掌握了问题的解决方法，而不是简单地“记忆”训练数据，论文引入了“预记忆准确率”（pre-memorization accuracy）这一指标。预记忆准确率定义为模型在完全记忆目标推理步骤之前，对训练查询的最高准确率。具体计算方法如下： - **掩码准确率**：对于每个训练查询，如果模型在某个训练阶段已经记忆了目标推理步骤，则该阶段的准确率被掩码为0。 $$ \text{MaskedAcc}(f_{\theta}(y|x_i), y_i, p) = \text{Acc}(f_{\theta}(y|x_i), y_i) \cdot \mathbb{1}[\text{Perp}(f_{\theta}(y|x_i), y_i) > p] $$ ，其中$$ \text{Acc}(f_{\theta}(y|x_i), y_i) $$ 是模型预测的准确率，$$ \mathbb{1}[\cdot] $$ 是指示函数，当条件为真时取值为1，否则为0。 - **预记忆准确率**：对于每个训练查询，预记忆准确率为模型在记忆目标推理步骤之前达到的最高准确率。 $$ \text{PreMemAcc}(f_{\theta_{1:m}}(y|x_i), y_i, p) = \min\left\{\max_{1 \leq m' \leq m} \text{MaskedAcc}(f_{\theta_{m'}}(y|x_i), y_i, p), \text{Acc}(f_{\theta_m}(y|x_i), y_i)\right\} $$ ，其中$$ f_{\theta_{1:m}}(y|x_i) $$ 表示模型在训练过程中的不同阶段，$$ m $$ 表示当前训练阶段。通俗来讲，预记忆准确率衡量了模型在训练进程中，尚未陷入对目标推理步骤死记硬背的情况下，所能展现出的最佳能力。通过这种方式，我们可以更精准地洞察模型在正常学习过程中的真实水平，以便更好地理解模型的泛化能力来源。 #### 基于预记忆准确率筛选数据 基于所提出的泛化指标预记忆准确率，论文提出了一种数据筛选策略，以提高数据效率和模型在推理任务中的性能。具体步骤如下： - 计算现有训练数据集内每个示例的预记忆训练准确率。设定一个合适的阈值，这个阈值可以根据模型在验证集上的性能表现或者对模型泛化能力的期望来动态调整。 - 优先选择预记忆训练准确率低于阈值的示例组成新的数据分布，以此为基础收集新的数据。在多次迭代的训练过程中，不断评估模型在测试集上的准确率，同时根据新的数据分布更新阈值，逐步优化数据筛选过程。 通过这种迭代的数据收集方法，可以使新收集的数据更具针对性，能够有效提高样本效率，减少不必要的数据收集，在推理任务中表现出优于独立同分布采样和其他标准数据筛选方法的性能。 ### 实验结果 #### 预记忆训练准确率与测试准确率的关系 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/11/14/1731587361754-43a79913-d1e2-4e85-a5a8-9ea650f59e87.png) 如上图所示，在不同的模型和不同的数据集中，预记忆训练准确率和测试准确率均呈现出很强的线性关系。 ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/11/14/1731587383842-3fd92a76-7673-4026-bc53-9520c7e441eb.png) 与其他用于预测泛化差距的指标对比实验中，论文对比了梯度方差、与初始化参数的距离、平均阈值置信度三个指标，结果显示预记忆训练准确率与测试准确率的相关性更强。 #### 预记忆训练准确率对模型预测稳健性的影响 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/11/14/1731587537490-195da511-56fe-4f89-8bb3-83d044ed8bb9.png) 上图中说明了原始训练提示（紫色）、原始提示加上 “First”（粉色）以及原始提示加上 “We know that”（蓝绿色）。一个稳健的模型即使在提示中的推理步骤发生变化时也能得出正确的最终答案，而一个不稳健的模型预测在提示偏离训练数据时会产生错误的最终答案。基于此进行了以下实验： ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/11/14/1731587439179-2f5305f9-b08c-4a5f-80ba-5c39cfb8ccde.png) 结果表明，对于预记忆训练准确率低的示例，当对输入提示施加微小扰动时，模型预测准确性会显著下降。这意味着模型对这些示例的学习较为脆弱，可能只是表面地记住了部分特征，而没有真正理解问题的本质和解决方法，而对于预记忆训练准确率高的示例，模型在面对输入扰动时仍能保持较高性能。这为针对性地改进模型训练提供了方向。 #### 基于预记忆训练准确率的数据筛选效果 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/11/14/1731587462764-e1645473-5bf5-4b1b-960c-473b31887eb7.png) 相较于独立同分布采样和其他标准数据筛选方法，样本效率大幅提高。而随着数据集规模的增大，这种性能差距更加明显，进一步证明了基于预记忆训练准确率的数据筛选方法在提升模型训练效果方面的潜力。 --- - 查看 Arxiv 原文请点击"**阅读原文**" [https://arxiv.org/pdf/2411.07681] - **更多**大模型学习资料，请详见浙大 Daily 实验室 Github 仓库: **https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：董雪梅，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241115-20241121/LPO：“智能控温”，自适应调整 LLM 解码温度.md ================================================ # Adaptive Decoding via Latent Preference Optimization **作者**：*Shehzaad Dhuliawala, Ilia Kulikov 等* **单位**：*Meta AI* ![](https://fastly.jsdelivr.net/gh/bucketio/img14@main/2024/11/24/1732445635647-db5c8266-c4ff-4cce-8c66-47b1fb898fd1.png) 本文研究的是**在语言模型解码过程中动态选择采样温度以优化性能**。现有的语言模型在解码时通常使用固定的温度参数，这可能导致在需要创造性和事实准确性的任务中表现不佳。为了解决这一问题，本文提出了一种新的方法 —— **Adaptive Decoding**，通过在模型中添加一个可学习的层来动态选择解码温度。 Adaptive Decoding 的核心思想是**在推理时动态调整采样温度**，以优化模型在不同任务中的表现。具体来说，本文引入了一个名为 **AdaptiveDecoder** 的模块，该模块可以根据上下文动态选择最优的温度值。为了训练这个模块，本文提出了一种新的训练方法 —— **Latent Preference Optimization (LPO)**，用于优化离散的潜在变量（如温度选择）。 ### 1. AdaptiveDecoder 模块 AdaptiveDecoder 模块是一个小型的神经网络，可以附加在现有的语言模型上，文中使用的是一个三层的MLP 。它接收最后一层的隐状态作为输入，并输出一个概率分布，用于选择不同的温度值。具体来说，AdaptiveDecoder 模块可以通过以下方式生成下一个 token： - **序列级 AdaptiveDecoder**：为整个响应预测一个单一的温度值。 $$ \tau\sim\mathrm{AdaptiveDecoder}(h_T)\\y_{t+1}\sim\mathrm{Softmax}(Wh_t/\tau)\quad\mathrm{for}\quad T\leq t和包裹连续思维。 - **初始阶段**：模型使用传统的链式思维（CoT）生成语言推理链。 - **后续阶段**：逐步增加潜在推理步骤，减少语言推理步骤。每个阶段用连续思维替代语言推理，通过隐状态指导推理。 - **训练目标**：优化负对数似然损失，并对**输入问题和连续思维**进行掩码。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/12/17/1734416758960-0042e687-c82f-452b-ab45-d9b223812961.png) 3. **推理过程**：Coconut推理和标准的语言模型解码过程类似。不同之处在于，在潜在模式下，模型直接将最后的隐状态作为输入嵌入进行推理。LLM根据设定的标记（如\和\）在语言模式和连续推理模式之间切换。 ### 实验结果 实验表明，Coconut在多个推理任务中有效增强了LLM的性能。在需要大量回溯规划的逻辑推理任务中，Coconut比CoT表现更优，且在推理过程中生成的token更少。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/12/17/1734416837301-e8c55ada-2970-4e5f-9279-056283ee1cf9.png) 综上，Coconut 引入一种新的LLM推理范式—潜在空间推理，突破了传统语言空间推理的局限性。多阶段训练策略和潜在思维的端到端优化，使得Coconut在处理复杂推理任务时，能够更灵活地进行推理，并在效率和准确性上超越了传统的链式思维（CoT）方法。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.06769] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：葛宇航，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241206-20241212/RARE 登场：大模型推理的 “智慧导航仪”，精准穿越知识迷宫.md ================================================ # RARE: Retrieval-Augmented Reasoning Enhancement for Large Language Models _Hieu Tran, Zonghai Yao 等_ _University of Massachusetts Amherst, University of Massachusetts Medical School, University of Massachusetts Lowell, VA Bedford Health Care 等_ 本文研究的是**如何利用检索增强提升大语言模型在复杂知识密集型问答任务中的推理准确性与事实可靠性**。现有大语言模型在处理如医学问答和常识问答等复杂任务时面临诸多挑战，推理路径单一且缺乏有效的事实性评估机制，难以充分利用外部知识资源，导致在与顶尖模型竞争以及满足任务高要求方面存在不足。受蒙特卡洛树搜索（MCTS）在复杂决策优势以及检索增强技术有效性的启发，本文提出了 **RARE（Retrieval-Augmented Reasoning Enhancement）框架**，通过**设计检索增强行动和检索增强事实性评分器**，有效整合外部知识并精准评估推理结果，从而显著提升模型在相关任务中的性能表现。 ## 研究内容 提升大语言模型在复杂知识密集型中的推理准确性与事实可靠性。 ## 研究动机 现有大语言模型在复杂知识密集型问答任务中存在局限，复杂问答任务（如医学和常识问答）需要多步推理、专业知识以及准确的事实依据，但当前大语言模型在处理这些任务时推理路径较为单一，对外部知识的利用不够充分，且缺乏有效的事实性评估机制。 ## 技术动机 基于rStar自博弈互推理技术（自生成推理轨迹和推理轨迹选择），借助蒙特卡洛树搜索（MCTS）与检索增强提升模型性能，在 MCTS 框架内设计新的检索增强行动，以便在推理时能有效整合外部知识资源，同时利用检索增强事实性评分器对推理路径的事实性进行准确评估，提升模型整体性能。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/12/12/1733994511185-c9880ee1-93ea-44e8-b7ce-9b71506ff0e7.png) 1. **检索增强生成器**：基于 MCTS 的 rStar 自生成器的五个动作，包括： - A1：提出一步思考：基于先前步骤生成下一步推理，使语言模型逐步构建解决方案。 - A2：提出剩余思考步骤：对于较简单问题，语言模型一次性产生所有剩余推理步骤，类似于思维链。 - A3：生成下一个子问题并回答：将主问题分解为一系列子问题，依次解决每个子问题。 - A4：重新回答子问题：允许语言模型重新回答之前生成的子问题，通过少样本提示提高准确性。 - A5：重新表述问题 / 子问题：重新表述问题以澄清条件，减少误解，增强模型对问题的理解。 引入两个新的检索增强动作，将其转变为检索增强生成器，包括： - A6 ：搜索查询生成和信息检索：依据初始问题生成搜索查询并检索相关文档。 - A7：子问题检索与重新回答：针对子问题检索特定信息并重新作答以优化中间推理步骤。 最后借助 MCTS 选取最优行动路径生成候选推理轨迹。
Image 1 Image 2
2. **检索增强事实性评分器（RAFS）**：将推理轨迹拆分为陈述（statement），针对陈述生成检索查询并检索信息，依据检索到的信息对陈述进行事实性评估（支持或不支持），计算推理路径的事实性得分，选取最高分的路径作为最终答案。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/12/12/1734002425337-d5da92d5-9b30-4edc-9272-c509d6af69d4.png) ## 实验结果 在 MedQA、MedMCQA 和 MMLU-Medical 等医学推理基准测试以及 StrategyQA、CommonsenseQA 等常识推理基准测试中，RARE 在不同模型规模（如 LLaMA3.2 3B、LLaMA3.1 8B 和 LLaMA3.1 70B）上均显著超越基线方法，且随着模型规模增大性能提升更显著，LLaMA3.1 70B 在部分任务上超越 GPT-4。
Image 1 Image 2
综上，该研究通过引入检索增强行动和事实性评分机制，显著提升了大语言模型在复杂推理任务中的性能与可靠性，为知识密集型推理任务提供了高效解决方案。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.02830] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：董雪梅，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241206-20241212/VisionZip压缩视觉token，提升视觉模型推理效率.md ================================================ # VisionZip: Longer is Better but Not Necessary in Vision Language Models _Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia_ _CUHK HKUST HITSZ_ 现有的视觉大模型如LLaVA，依赖大量的视觉 token从图像中提取信息。然而，随着视觉 token 数量的增加，模型的性能并不是线性提升，反而有可能导致冗余和效率低下的问题。因此本文提出了 **VisionZip** 方法。该方法是一种简单有效的视觉token压缩方法，通过选择高信息量的视觉token并减少冗余，提高视觉语言模型的推理效率，在不显著牺牲性能的情况下显著降低计算成本。 ## 研究内容 本文研究如何压缩视觉token以减少冗余，实现视觉语言模型的效率提升，同时保持模型性能。 ## 研究动机 现有视觉语言模型中视觉token的数量远超文本令牌，存在大量冗余，导致计算成本高，限制了其在实际应用中的发展。 ## 技术动机 观察到视觉编码器生成的视觉token中仅有少部分包含高信息量，大部分token关注度低且贡献有限，因此需要通过选择和融合高信息量token来提高模型效率。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2024/12/13/1734054696996-c87a2141-6599-4461-91e6-d7ad857c5256.png) **重要token选择** 分析视觉编码器生成的视觉token，基于注意力权重计算每个token的重要性。通过以下公式计算注意力分数： $$ S_h = \text{Softmax} \left( \frac{Q_h K_h^\top}{\sqrt{D_h}} \right) $$ 其中，$Q_h$ 和 $K_h$ 分别是查询和键向量，$D_h$ 是注意力头的维度。综合所有头的注意力分数： $$ S_{\text{avg}} = \frac{1}{H} \sum_{h=1}^H S_h $$ **剩余token合并** 对剩余token进行相似性计算，使用点积公式评估token间的语义相似性，将相似的token合并，通过加权平均生成上下文token： **调优** 采用少量数据对跨模态投影器进行微调，冻结其他模型组件，以适应压缩后的视觉token。 ## 实验结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/12/13/1734054805390-669eb4be-12db-4154-bab0-9116c7fe2648.png) 在实验过程中，VisionZip 被广泛应用于诸多基准测试，比如 LLaVA 和 Video-LLaVA 等。实验得出的结果表明，运用 VisionZip 的模型在多项任务中都有优异表现。具体来说，在 LLaVA-1.5 模型中，即使仅使用 64 个视觉 token，VisionZip 也能取得与使用 576 个 token 相近的性能。而且，VisionZip 还明显提升了推理速度，预填充时间大幅缩短，达到原来的八分之一，充分展现出其在实际应用中的巨大潜力。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.04467] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：徐文溢，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241206-20241212/迈向高效智能：大语言模型的能力密度增长与密度定律.md ================================================ - # Densing Law of LLMs Chaojun Xiao , Jie Cai, Maosong Sun等 _Tsinghua University ModelBest Inc.等_ 本文引入了“**能力密度（capability density）**”的概念，用于评估LLM的训练质量，同时考虑LLM在性能和效率的发展趋势。通过对近期开源LLM的进一步分析揭示了一条经验定律，即“**密度增长定律（Densing Law）**”：LLM的能力密度随着时间呈指数增长，能力密度大约每**三个月翻一倍**。 ## 研究内容 LLM训练质量评估，指综合考虑LLM在性能和效率上的表现。 ## 研究动机 Scaling law 揭示LLM性能会随着模型规模的增加而提升。然而，这种扩展带来了巨大的训练和推理效率挑战，变得越来越难以维持。在扩大LLM规模以提高性能与缩小LLM规模以提升效率这两条看似矛盾的路径之间，能否定量评估不同规模LLM的训练质量？ ## 技术动机 能提升模型下游任务性能的是模型的有效参数，能够获知模型有效参数规模可以更准确地衡量模型训练质量。 ## 解决方案 引入能力密度概念，该密度定义为**有效参数规模与实际参数规模的比值**。 1. 对于给定模型 $M$，其实际参数规模为 $N_M$，假设其在下游任务上的性能得分为 $S_M$。了计算有效参数规模，本文训练了一系列具有不同参数规模和训练数据规模的参考模型，并基于这些模型拟合参数规模与下游任务性能之间的函数：$S = f(N)$，其中 $S$ 表示下游性能，$N$ 表示参考模型的参数规模。 2. 在拟合并得到$f$后，利用反函数计算有效参数规模：$\hat{N}(S) = f^{-1}(S)$ 3. 模型 $M$ 的能力密度定义为：$\rho(M) = \frac{\hat{N}(S_M)}{N_M} = \frac{f^{-1}(S_M)}{N_M}$ ## 实验结果 ##### 关键发现：LLMs的最大能力密度约每 **3.3个月** 翻一倍，换句话说，每隔约三个月，仅使用一半参数规模的模型即可实现当前最先进LLMs的性能。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/12/15/1734252142661-de114204-795a-4870-bced-b907a7b70173.png) 基于上述发现，本文有以下推论： 1. **推理成本呈指数下降**， 对于性能相当的LLM，其推理成本正在呈指数下降。 1. **密度定律 × 摩尔定律**，在相同芯片面积上运行的LLM有效参数规模呈指数增长。 1. **ChatGPT发布后密度增长加速，** ChatGPT发布后，LLM能力密度的增长率提高了50%。 1. **高效压缩 ≠ 密度提升**， 剪枝和蒸馏方法缩小模型参数的同时，也缩小了模型的能力密度。 1. **迈向密度最优训练——绿色扩展定律**， 单纯通过增加模型参数以追求性能提升可能导致模型密度下降，并造成不必要的能源消耗，模型开发者需要从单纯优化性能转向优化模型密度。 综上，本文提出利用能力密度评估模型训练质量，并基于此方法发现大模型的**密度定律**，**模型能力密度随时间呈指数级增长**，大约每三个月翻一倍。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2410.10630v1] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：胡中豪，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/Meta 提出大概念模型（LCM），突破词级限制的多语言多模态大语言模型.md ================================================ # Large Concept Models: Language Modeling in a Sentence Representation Space *LCM Team，Loïc Barrault，Paul-Ambroise Duquenne 等* *FAIR at Meta* 本文提出了一种名为“大概念模型（Large Concept Model, LCM）”的新型架构，通过在概念嵌入空间（而非传统的词级别）上进行推理和生成，从多语言和多模态的抽象层次改进当前大语言模型（LLMs）。LCM利用SONAR句子嵌入空间，在句子级别进行生成和推理。研究表明，该模型在生成任务（如总结和扩展任务）上展现了卓越的零样本泛化能力，并在多语言支持上超越了同等规模的现有LLMs。 ## 研究内容 研究一种在概念嵌入空间中进行推理和生成的高效架构。 ## 研究动机 现有大语言模型（LLMs）主要基于词级别操作，缺乏多层次抽象推理能力，无法实现人类般的高层次规划和推理。此外，这些模型多为英语中心化设计，对多语言支持不足，处理长上下文的效率也受限。 ## 技术动机 通过在语言和模态无关的概念嵌入空间中进行操作，可以摆脱单词级别的限制，直接建模高层次语义推理过程，从而实现更好的长文本一致性和多语言零样本泛化性能。 ## 解决方案 1. 总体架构设计 LCM 使用 SONAR 嵌入空间（支持 200 种语言和多模态数据）对输入进行编码，每个句子对应一个概念嵌入。整个模型包括以下三个主要步骤： - **输入编码**：将输入文本或语音分割为句子，并使用固定的 SONAR 编码器将句子转化为概念嵌入。 - **嵌入推理**：通过 LCM 在嵌入空间中生成新的概念嵌入。 - **输出解码**：将生成的嵌入通过 SONAR 解码器转化为对应的文本或语音输出。 这种流程使得 LCM 的推理过程语言和模态无关，从而提升了跨语言和跨模态任务的泛化能力。 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/12/22/1734874449337-7539c0f6-f126-49a2-b868-7af3dc364509.png) 2. SONAR 嵌入空间 SONAR 是一个高度语义化的嵌入空间，通过以下方式构建： - **训练目标**：结合 200 种语言的翻译任务、去噪自动编码器任务，以及嵌入瓶颈层的 MSE 损失优化。 - **多模态扩展**：采用教师-学生方法，将文本嵌入扩展到语音模态。 - **语言和模态支持**：覆盖 200 种文本语言、76 种语音输入语言，并支持部分美式手语（ASL）。 SONAR 的多语言和多模态特性使 LCM 能够在统一的嵌入空间中进行推理。 ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/12/22/1734874477502-0205e8ba-1749-4e6c-9f90-f9caf8c23d14.png) 3. 模型变体 LCM 提出了三种不同的推理和生成方法： a. **基准模型（Base-LCM）** - 使用标准 Transformer 模型，优化均方误差（MSE）损失来预测下一个句子嵌入。 - 简单高效，但在多样性和准确性上存在局限。 ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/12/22/1734875328257-9c19708e-c904-4b9c-a149-b8a644c04187.png) b. **基于扩散的生成模型（Diffusion-based LCM）** - 联合上下文建模和逐步去噪推理。 - 包括两种架构： - **单塔架构（One-Tower）**：单个 Transformer 同时处理上下文和去噪任务。 - **双塔架构（Two-Tower）**：上下文编码器（contextualizer）与去噪器（denoiser）分离，上下文通过交叉注意力提供条件信息。 - 使用不同的噪声调度方法（如余弦和 sigmoid）以优化扩散过程。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/12/22/1734875481485-17e64404-7f1f-4a34-ad6d-4bc5489ee17a.png) c. **量化模型（Quantized LCM）** - 使用残差向量量化（RVQ）方法将 SONAR 嵌入离散化为多级码本单元。 - 通过逐步生成量化嵌入（或预测残差），实现从离散表示到目标嵌入的迭代优化。 - 包括 **连续目标（Quant-LCM-c）** 和 **离散目标（Quant-LCM-d）** 两种优化方式。 ### 实验结果 **1. 零样本泛化性能评估**：LCM在多语言任务中表现出显著的零样本泛化能力，超越同规模的现有LLMs。 ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/12/22/1734875153782-85641ac2-9c7a-46b5-956c-fc1e5de50f8a.png) **2. 生成任务实验**：在摘要生成和摘要扩展任务中，LCM表现出高质量的生成结果，扩散模型变体优于其他变体。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/12/22/1734875005652-a3470459-7964-469c-a934-34484769a9cb.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/12/22/1734875178725-8ff101e1-5176-4b77-bbbd-9c66c303b9cb.png) 综上，LCM 的设计以抽象概念为核心，融合了多语言、多模态能力，且通过多种生成方法实现高效的推理与生成。其架构和方法为大语言模型提供了新的思路，特别是在高层次抽象推理和多样性生成方面展示了显著优势。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.08821] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：葛宇航，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/ModernBERT：革新编码器模型，引领高效长上下文处理新时代.md ================================================ # Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference *Benjamin Warner1† Antoine Chaffin† Benjamin Clavié1† Orion Weller Oskar Hallström Said Taghadouini Alexis Gallagher Raja Biswas1 Faisal Ladhak\* Tom Aarsen Nathan Cooper Griffin Adams Jeremy Howard1 Iacopo Poli* *Answer.AI, LightOn, Johns Hopkins University, NVIDIA, HuggingFace* 现有的仅编码器模型如 BERT，在分类和检索任务中被广泛应用，但其架构与训练技术自发布以来改进有限，难以满足长序列处理和效率优化的需求。此外，这些模型通常受限于短序列长度（512 tokens）和低效的推理性能，在大规模数据和复杂任务场景中表现受限。因此，本文提出了 **ModernBERT**，一种现代化的仅编码器模型。通过引入旋转位置编码、交替全局与局部注意力机制，以及无填充技术，结合大规模多样化数据训练，ModernBERT 显著提升了下游任务的性能和推理效率，同时大幅扩展了其在长序列任务和跨领域应用中的适用性。 ## 研究内容 研究如何引入先进架构设计、效率优化技术及大规模多样化数据训练来提高编码器性能。 ## 研究动机 **模型架构与技术更新滞后**：现有仅编码器模型缺乏对近年来先进技术（如长序列支持和优化架构）的整合，无法满足新兴任务需求。 **效率与资源利用不足**：现有模型在推理速度和内存效率上表现不佳，难以适应实际场景中大规模数据处理的需求。 **数据规模与多样性受限**：传统模型的预训练数据规模较小且缺乏代码数据，限制了跨领域和专业任务的表现能力。 ## 技术动机 观察到现代化模型（如 LLMs）在生成任务中进展显著，但改进较少的仅编码器模型仍是分类和检索等任务的关键工具。通过结合最新的架构优化与大规模训练，可以提升仅编码器模型的性能和效率。 ## 解决方案 #### 最新的 Transformer 架构 - **偏差项**：在除最终线性层之外的所有线性层中禁用偏差项。 - **GeGLU 激活函数**：ModernBERT 引入了 GeGLU 激活函数，它是基于 GLU 的改进版本，相较于原始 BERT 的 GeLU 激活函数，在性能上表现更优。 $$ GLU(X)=(XW+b)⊙σ(XV+c),\text{GLU}(X) = (XW + b) \odot \sigma(XV + c) $$ $$ GeGLU(X)=(XW1+b1)⊙GeLU(XW2+b2),\text{GeGLU}(X) = (XW_1 + b_1) \odot \text{GeLU}(XW_2 + b_2) $$ - **旋转位置编码 (RoPE)**：采用 RoPE 位置编码替代绝对位置编码，使得模型在处理长文本时更加高效，并具备更好的上下文扩展能力。 - **局部-全局交替注意力机制**：ModernBERT 的注意力模块通过交替使用全局注意力和局部注意力来提升效率与性能。全局注意力支持每个 token 关注全序列，而局部注意力则专注于相邻 token，从而在提升长文本任务性能的同时减少计算开销。 在 ModernBERT 中，每三层使用全局注意力，RoPE theta 为 160,000，其余层使用 128 个标记的局部滑动窗口注意力，RoPE theta 为 10,000。 #### 效率优化 - **Unpadding**：ModernBERT 在训练和推理时采用无填充策略，通过删除填充标记、将小批次中的所有序列连接成单个序列并将其作为大小为 1 的批次进行处理来避免这种低效性。 - **Flash Attention**：通过利用 Flash Attention 技术，ModernBERT 优化了注意力计算，显著降低了内存占用并加速了训练与推理过程。 - **硬件友好设计**：利用 PyTorch 的内置编译来通过编译所有兼容模块提高训练效率。 #### 训练 - ModernBERT 在 **2 万亿** token 的多样化数据集上进行训练，涵盖网页文档、代码和科学文献。这种大规模数据训练增强了模型的泛化能力，使其能够更好地适应不同的下游任务。 - **上下文扩展训练** - **阶段 1**：在 1024 tokens 上训练 1.7 万亿 token，完成模型基础能力训练。学习率为 8e-4（base）和 5e-4（large）。 - **阶段 2**：扩展上下文长度至 8192 tokens，追加 3000 亿 token 的训练，进一步优化长文本任务性能。降低学习率至 3e-4。 #### 其他训练优化 - **StableAdamW 优化器**：引入 StableAdamW 优化器，在 AdamW 的基础上结合 Adafactor 风格的更新裁剪，进一步提升训练稳定性。 - **改进学习率策略**：采用 Warmup-Stable-Decay 梯形学习率策略，在训练初期稳定模型收敛，同时避免传统学习率衰减方式可能导致的冷启动问题。 - **序列打包**：通过序列打包技术优化训练效率，避免了因无填充机制引发的小批量大小波动，有效提升训练过程的稳定性和资源利用率。 ## 实验结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/12/21/1734771302963-7ded7214-7a1a-4f48-a788-bee5dfe56680.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/12/21/1734777737846-aef6fe64-117c-4963-9fca-dc225da61f88.png) #### 自然语言理解 在 GLUE 基准测试中，**ModernBERT-base** 成为首个超越 DeBERTaV3-base 的 MLM 训练模型，展现了其在自然语言理解任务上的卓越能力。同时，**ModernBERT-large** 以比 DeBERTaV3-large 少 10% 参数、快一倍的处理速度取得了第二名的成绩，进一步验证了其在性能和效率之间的良好平衡。 #### 信息检索 在 BEIR 基准测试中，**ModernBERT** 在单向量（DPR）和多向量（ColBERT）检索设置中均优于其他编码器模型，展现了其在信息检索任务上的显著优势。在长文本检索任务中，尤其是在多向量设置下，ModernBERT 比其他长文本模型高出至少 9 个 NDCG@10 点，证明了其在处理长文本检索任务时的领先地位。 #### 代码理解 在代码相关任务中，**ModernBERT** 同样表现出色。在 CodeSearchNet 和 StackOverflow 问答（StackQA）任务中，ModernBERT 超越了所有对比模型，表明它在代码搜索和理解任务中具有卓越的能力，并且通过预训练代码数据提升了对编程内容的处理性能。 #### 效率 **ModernBERT** 在效率方面也展现了显著提升。在短文本处理上，其推理速度是 DeBERTaV3 的两倍；在长文本输入中，其速度比其他模型快两倍以上。此外，ModernBERT 的内存效率也处于领先地位，在相同的内存条件下能够处理更大的批量，为实际应用场景提供了强大的技术支持。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.13663v2] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：徐文溢，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/RetroLLM：检索生成大融合，“鹰眼”精准定位答案.md ================================================ # RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation _Xiaoxi Li, Zhicheng Dou 等_ _Gaoling School of Artificial Intelligence, Renmin University of China, Tsinghua University, Huawei Poisson Lab 等_ 本文研究的是**如何在生成式检索的视角下，将检索增强过程整合到大语言模型的自回归解码过程中以提升答案准确性**。现有检索增强生成（RAG）方法在处理大语言模型生成过程时存在诸多局限，如增加部署成本、输入冗余、缺乏联合优化等，难以在检索与生成间达成高效协同。为此本文提出了**生成式检索框架 RetroLLM **，通过构建**语料库级和文档级 FM - Index **进行分层约束以减少无关解码空间，**通过前瞻性约束证据生成**定位相关信息以提高证据准确性，有效提升大语言模型在开放域问答任务中的答案准确性，增强模型在实际应用中的可靠性与有效性。 ## 研究内容 研究在生成式检索中，如何将检索增强过程整合到大语言模型的自回归解码过程中，包括如何构建分层 FM - Index 约束机制来优化检索空间并定位潜在相关信息，如何优化证据生成以提高准确性，以及探索联合训练方法使检索与生成任务协同优化等。 ## 研究动机 现有 RAG 方法存在诸多局限，如部署成本较高、检索文本冗余、灵活性受限及难以联合优化检索与生成等。生成式检索方法虽有进展，但仍需提升检索与生成的集成度，并且存在错误剪枝等问题，影响下游任务性能。 ## 技术动机 在生成式检索中，借助分层 FM-Index 与前瞻性解码策略优化检索生成过程。其中分层 FM - Index 可从结构上对检索空间进行有效约束，减少无关解码干扰；前瞻性解码策略则基于对未来序列相关性的感知，避免错误剪枝，提升证据生成的准确性，两者结合以实现检索与生成的高效协同。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/12/18/1734488790478-93a2f28b-4d5d-40bf-9d01-002080109f82.png) 提出了**生成式检索框架 RetroLLM **，将检索与生成紧密结合在一个自回归解码过程中，其主要流程如下： ##### 1. 线索生成阶段 系统首先接收用户输入的查询，随后利用基于整个语料库构建的**语料库级 FM-Index** 来引导线索生成。具体而言，大语言模型依据对查询的理解，尝试生成可能出现在相关文档中的关键短语作为线索（clues），语料库级 FM-Index 起到约束作用，只有那些在语料库中实际存在的短语才能被视作有效的线索。 ##### 2. 证据生成阶段 证据生成阶段主要分为以下几步： - **文档检索与评分**：基于生成的线索，从语料库中检索包含这些线索的文档。接下来对文档进行评分，评估指标包括线索在文档中的出现频率、分布情况等。随后根据评分排名确定一个候选文档子集，作为后续生成证据的基础。 - **前瞻性约束解码证据生成**：生成针对每个候选文档，都有对应的文档级 FM-Index ，通过文档级 FM-Index 能快速定位线索在候选文档中的位置，缩小无关的解码空间。具体步骤如下： 1）**定位未来窗口**：对于每个线索，在文档中确定包含该线索的未来窗口，即线索周围的一段文本范围，将模型的注意力聚焦在可能包含与线索相关证据的区域。 2）**评估窗口相关性**：对定位到的未来窗口，通过计算其内部文本与查询之间的语义相似度来评估相关性。 3）**调整解码logits**：根据窗口相关性的评估结果，调整解码logits。如果某个未来窗口相关性高，就提高该窗口内词汇的生成概率，使生成的证据更倾向于来自这些高相关性的未来窗口。 ##### 3. 答案生成阶段 在前面成功生成证据的基础上，模型再次发挥其生成能力，依据这些证据内容来生成最终的答案，以回答最初用户输入的查询。 ## 实验结果 在域内任务（如 NQ、TriviaQA、HotPotQA 数据集）和域外任务（如 PopQA、2WIKI 数据集）中，RetroLLM 均表现出色，优于传统的 RAG 方法。此外，RetroLLM 显著减少了Token消耗，这是因为 RetroLLM 能够精准检索细粒度证据，并动态决定检索证据的数量。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/12/22/1734849755723-4d2df1a6-3c0d-4e51-b1ba-dc6090d78a68.png) --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.11919] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：董雪梅，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/SHAD+RFT：面向Agent-Task的大模型微调新范式.md ================================================ # Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning *Ziang Ye, Zhenru Zhang* 等 *University of Science and Technology of China 等* 本文提出了一种分辨器 **SHAD**（Shuffle-Aware Discriminator）来区分大语言模型中的**推理 Tokens** 和**样板 Tokens**，并提出了**推理突出微调 RFT**（Reasoning-highlighted Fine-Tuning）方法，在大模型微调过程中自适应地强调推理 Tokens，比常见的监督微调（SFT）产生显著性能提升。 ## 研究内容 研究如何通过区分大语言模型中的推理 Tokens 和样板 Tokens 来提升模型在 agent-task 中的表现。 下图为 agent-task 中一个有关推理 Tokens（绿色）和样板 Tokens（黄色和蓝色）的例子。样板 Tokens 可以进一步分为格式Tokens（黄色）和模板连接Tokens（蓝色）。 ![](https://fastly.jsdelivr.net/gh/bucketio/img0@main/2024/12/21/1734782216786-8a1ec03c-8f3c-47b6-a08b-7679b4516cf1.png) image-20241221194943284 ## 研究动机 现有的大型语言模型在多步推理和工具使用等代理（agent）能力方面存在不足，需要通过特定于 agent-task 的数据集来增强这些能力。 ## 技术动机 本文进行了实验探索：下图为在常规SFT训练中，模型无法回答的不同类型的Token的损失变化。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/12/21/1734782203805-b436eb9a-a367-4209-b3d5-9cbd805b5a15.png) image-20241221195348779 本文结合实验探索提出观点：由于样板 Tokens和推理 Tokens在学习难度和重要性上存在显著差异，因此模型往往容易在样本 Tokens 上过拟合，导致推理能力不足。因此，需要一种自动化和自适应的方法来区分它们，以避免过度拟合样板 Tokens。 ## 解决方案 1. **SHAD（Shuffle-Aware Discriminator）** ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/12/21/1734774676813-c3dfc152-9cef-4f25-9d4b-13b80fb5be91.png) **（1）数据打乱（Data Shuffle）**：选择数据的一小部分，并将输入和输出的对应关系打乱。因为样板 Tokens由于在多个样本中重复出现，其可预测性不会因为打乱而改变，而推理 Tokens则与特定输入相关，打乱后其可预测性会降低。 **（2）模型微调（Model Tuning）**：使用打乱后的数据对大型语言模型进行微调。微调过程中，模型主要学习预测那些即使在打乱后数据中仍然保持可预测性的 Tokens ，也就是样板 Tokens 。 **（3） Tokens 分类（Classifying）**：通过比较微调模型和原始模型的 Tokens 级损失来分类 Tokens ，区分推理 Tokens 和样板 Tokens 。 - 如果损失差≤0，则该 Tokens 被分类为样板 Tokens ，因为它在微调模型中的损失没有增加，表明其可预测性没有因为输入和输出的打乱而受到影响。 - 如果损失差>0，则该 Tokens 被分类为推理 Tokens ，因为它在微调模型中的损失增加，表明其与特定输入相关，打乱后变得不可预测。 2. **RFT（Reasoning-highlighted Fine-Tuning）** ​ RFT对推理 Tokens 和样板 Tokens 的损失进行加权，使得模型在训练过程中更加关注于推理 Tokens ，从而提高模型的推理能力。 ​ 设 $L_b$ 为样板 Tokens 的总损失，$L_r$ 为推理 Tokens 的总损失。通过 softmax 函数动态计算权重： $$ \omega_b = \frac{\exp(L_b / \tau)}{\exp(L_b / \tau) + \exp(L_r / \tau)} $$ $$ \omega_r = \frac{\exp(L_r / \tau)}{\exp(L_b / \tau) + \exp(L_r / \tau)} $$ 其中，$\tau$ 是温度参数，控制权重分配的敏感度。 ​ 计算加权损失 $L_{RFT}$： $$ L_{RFT} = \omega_b L_b + \omega_r L_r $$ ## 实验结果 使用 ToolBench 和 APIGen 数据集来训练模型，采用相同来源的 StableToolBench 和 BFCL 数据集进行held-in评估，使用 T-eval 数据集评估模型在多步推理任务中的表现，使用Nexus评估模型在复杂、嵌套的单步工具使用任务中的能力。 上表显示了SHAD+RFT方法在多个评估数据集上的性能比较，结果表明该方法在所有held-in和held-out评估数据集上均优于基线方法。 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/12/21/1734775187967-172dae48-aa58-4ba6-b5d1-ad90299ce8d9.png) 上图展示了SFT和RFT的训练损失。RFT可以降低了推理 Tokens的损失，同时保持了与SFT相当的样板 Tokens损失。 综上，SHAD和RFT方法有效地提高了大型语言模型在复杂真实世界问题解决中的推理能力，展现了在 agent-task 中提升模型性能的潜力。 ------ - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.14780] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：宓禹，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/Think&Cite：让 LLM 不再“空口无凭”，句句有出处.md ================================================ # Think&Cite: Improving Attributed Text Generation with Self-Guided Tree Search and Progress Reward Modeling *Junyi Li, Hwee Tou Ng* Department of Computer Science, National University of Singapore 本文提出**Think&Cite**框架，将带引用文本生成任务转化为多步骤推理问题，设计自引导蒙特卡洛树搜索（SG-MCTS）方法，利用大语言模型的自我反思能力优化推理路径，并引入过程奖励模型（PRM）从生成过程和引用过程两个方面为搜索过程提供反馈，从而提升生成文本的准确性和引用质量。 ## 研究内容 改进大语言模型生成带引用文本的能力，逐步生成文本并引用相关文献，确保生成的文本和引用的一致性，使生成内容更加可靠。 ## 研究动机 现有方法通过 Prompt方法或监督微调让 LLM 在生成文本时提供引用，它们完全基于自回归过程，任何中间生成错误（例如，错误陈述或错误引用）都可能导致最终回答不正确。 ## 技术动机 将带引用文本生成任务转化为多步骤推理问题，将搜索算法引入带引用文本生成过程，从而避免错误的推理路径。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/12/22/1734851975703-38a3eccd-a171-4d4f-bc1d-a717a8b59999.png) 1. **自引导的蒙特卡洛树搜索（Self-Guided Monte Carlo Tree Search, SG-MCTS）**： 扩展了经典的蒙特卡洛树搜索（MCTS），利用 LLM 的自我反思能力来检查 MCTS 的中间状态，并指导树扩展过程，主动避免推理路径上的错误，其具体步骤为： - **选择**：使用UCT算法选择最优节点进行扩展。 - **扩展**：利用 LLM 的自我反思能力检查并修正查询关键词，从语料库中检索相关文献，通过迭代**思考-表述-引用过程**生成高质量的子节点文本。 - **评估**：使用进度奖励模型计算新扩展节点的预期奖励。 - **反向传播**：将新节点的奖励回传到其父节点，更新路径上每个节点的值函数。 2. **过程奖励模型（Progress Reward Models, PRM）** 引入进度奖励模型来衡量从根节点到当前状态的树搜索进度，包括生成过程奖励和归因过程奖励两个方面。提供了可靠和全面的反馈，以指导MCTS搜索过程。 - **生成过程奖励**：衡量生成文本的质量，通过现有的**经过直接偏好优化（DPO）的模型**来计算生成句子的质量得分。 $$ R_g(\boldsymbol{y}_{1:t+1})=\sum_{k=0}^tw_k\log\frac{\pi^*(y_{k+1}|\boldsymbol{x},\boldsymbol{y}_{1:k})}{\pi_{\mathrm{ref}}(y_{k+1}|\boldsymbol{x},\boldsymbol{y}_{1:k})}, $$ - **归因过程奖励**：使用自然语言推理（NLI）模型判断引用的文献是否能够支持生成的句子，通过**引用召回率**和**引用精确率**来评估引用质量。 3. **迭代思考-表述-引用（think-verbalize-cite）范式** 在MCTS的扩展过程中，框架通过迭代**"思考-表述-引用"**的过程来生成带引用文本，即在每一步中生成一个句子，并在每个句子中引用支持该句子的文献。 ## 实验结果 实验表明，**Think&Cite** 在多个数据集上提升了生成带引用文本的准确性和可靠性。在需要复杂推理和引用支持的任务中，**Think&Cite** 比传统方法表现更优，显著减少了生成过程中的错误内容和无效引用。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/12/22/1734852007012-4e580144-c5d3-4621-b39a-f7a24a1a7d6c.png) 综上，**Think&Cite** 引入了一种新的生成带引用文本的范式，通过结合蒙特卡洛树搜索和过程奖励模型，克服了传统自回归生成方法的局限性。多步骤推理和动态反思机制使得 **Think&Cite** 在处理复杂生成任务时，能够更灵活地进行推理，并在生成质量和引用一致性上超越了现有的方法。 ------ - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.14860] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：樊怡江，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/大语言模型的 “幻觉克星” 来了！DePaC 助力精准生成.md ================================================ # Dehallucinating Parallel Context Extension for Retrieval-Augmented Generation _Zexiong Ma, Shengnan An 等_ _Peking University; Microsoft; Xi’an Jiaotong University 等_ 本文提出了DePaC (**De**hallucinating **Pa**rallel**C**ontext Extension) 方法，DePaC的核心思想是通过采用上下文感知的负训练和信息校准聚合，减少了检索增强生成模型中的幻觉，显著提高了生成响应的准确性和可靠性。 ## 研究内容 提高基于RAG的大型语言模型（LLMs）的准确性和可靠性 ## 研究动机 之前的方法包括增强检索器性能，迭代RAG以及提示工程等，这些方法不能有效解决信息遗漏的的问题。 ## 技术动机 通过负训练，让模型学会在上下文与问题不相关时拒绝回答；通过测量文档提供的信息增量，让模型优先考虑包含有用信息的上下文窗口。 ## 解决方案 **背景：**并行上下文扩展（PCE）：PCE的核心思想是将来自多个上下文窗口的信息聚合到一个统一的表示空间中。 ​ 给定一个问题Q和一系列相关文档${d_1,d_2...d_i}$，PCE首先计算每个上下文窗口的输出分布：$ p_{i,j} = p_\theta(\cdot \mid d_j \oplus \mathcal{Q} \oplus A_{1:i-1})$ ,然后， 这些分布通过某个聚合函数被聚合为单一分布$P_i = AGG(P_{i,1},P_{i,2}..)$，本文使用的聚合函数是最低不确定性聚合函数 ​ $p_i = \arg\min_{p_{i,j}} H(p_{i,j})$ $H(p_{i,j}) = -p_{i,j}(\log p_{i,j})^T.$ ![method](C:\Users\lyt\Desktop\method.png) 1. **上下文感知负训练（Context-aware Negative Training）：** 它明确地训练主干模型来确定一个问题是否可以基于所提供的文档进行回答。如果没有，我们希望这个模型能拒绝回答这个问题，而不是产生幻觉。 2. **信息-校准聚合（Information-Calibrated Aggregation）：** 仅仅测量最终输出分布的不确定性可能会受到事实遗漏幻觉的严重影响。所以需要测量每个上下文窗口相对于上下文无关的输出分布的信息增量，以反映检索到的文档所提供的信息增量。这里使用KL散度来度量信息增量：$\Delta(\mathbf{p_{i,j}}, \mathbf{p_{i,c}}) = D_{KL}(\mathbf{p_{i,j}} \parallel \mathbf{p_{i,c}})$ 3. 将上述两个方法代入最低不确定性函数就可以得到： $ p_i = \arg\min_{p_{i,j}} C(p_{i,j}, p_{i,c}) - \gamma \cdot \mathbb{I}(\arg\max_k p_{i,j}^k = t_d)$ $C(p_{i,j}, p_{i,c}) = H(p_{i,j}) - \beta \cdot \Delta(p_{i,j}, p_{i,c})$ ## 实验结果 - DePaC在多个RAG任务上显示出了显著的性能提升。这些任务包括信息检索任务和基于文档的问题回答任务（DocQA）。性能的提升表明DePaC能够有效地利用并行上下文信息，并生成更准确的回答。 ![infores](C:\Users\lyt\Desktop\infores.png) ![tableres](C:\Users\lyt\Desktop\tableres.png) 综上，该研究通过引入内部思考过程，提升了LLM在广泛任务中的指令遵循能力，而无需额外的人类数据。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/html/2412.14905] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑刘亚川，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/强强联合，Meta与斯坦福发布最新视频大模型Apollo：揭示扩展一致性新规律.md ================================================ - - # Apollo: An Exploration of Video Understanding in Large Multimodal Models Orr Zohar , Xiaohan Wang等 Meta GenAI, Stanford University等 本文研究了影响视频多模态大模型性能的主要因素，并发现了**扩展一致性**：即在较小的模型和数据集上做出的设计和训练决策能够有效地转移到较大的模型上。在这些发现的指导下，本文推出了**Apollo**，一系列先进的视频多模态大模型，在不同模型规模下实现了卓越的性能。 ## 研究内容 视频多模态大模型 ## 研究动机 尽管大量多模态大模型已经有视频感知能力，但其驱动视频理解的底层机制仍然没有得到充分探索。许多设计决策在这一领域中常常缺乏充分的论证和分析。训练和评估这类模型的高计算成本，加上开放研究的局限性，阻碍了视频多模态大模型的发展。 ## 技术动机 基于实验探索设计技巧，在模型架构设计，训练策略，数据组成上进行大量实验，采用最适合视频多模态大模型的技术。 ## 解决方案 首先，本文对现有的视频基准进行广泛的评估，发现现有视频问答基准之间存在显著的冗余性，尤其是在不同的视频时长和问题格式之间，高相关性表明，现有的基准可能存在重复性，并且不同视频时长和问题类型对评估结果的多样性贡献有限。所以基于这些见解，本文开发了一个更高效、更有效的基准套件——**ApolloBench**， 在**ApolloBench**上的评估速度是传统基准的41倍，并且更能反映模型的视频理解能力。 然后，为了探索视频多模态大模型的扩展一致性，以及视频多模态大模型的架构设计，视频编码器选择，视频帧采样策略，视频token压缩方法，训练策略，数据选择等等对视频多模态大模型性能的影响，本文训练了84个模型，进行了大量的实验。 最后，在基于大量实验分析的基础上，本文提出了**Apollo**系列，取得了在视频理解方面的最先进成果。 ## 实验结果 实验上，具体来说，本文设计了21个模型变体，涵盖了架构、视频采样方法、训练策略和数据组合等多个设计方面，每个变体使用四个不同的大型语言模型（LLMs）：Qwen2-0.5B、Qwen2-1.5B、Qwen1.5-4B和Qwen2-7B，总共训练了84个模型。 ![](https://fastly.jsdelivr.net/gh/bucketio/img2@main/2024/12/22/1734859524947-730cbd0a-6e83-48ac-969c-918bd9507784.png) 基于以上实验，本文发现了**扩展一致性**，发现在中等规模的模型（约2B到4B参数）和500k大小以上规模的数据集上做出的设计决策，可以可靠地迁移到更大的模型上，而在更小的模型（比如0.5B）和更小的数据集中则未观察到。 此外在模型设计以及数据组合等多方面，本文有以下发现： 1. **视频采样**：在模型训练和推理过程中，相较于均匀采样，FPS采样更为优秀（均匀采样指在帧维度采样，而FPS是在时间维度上进行帧采样）。同时在每秒帧采样数目和帧token压缩之间存在一个平衡，8-32个token每帧是最优的配置。 2. **视频表征**：在实验InternVideo2, LanguageBind-Video v1.5， VideoMAE 等编码器后发现，**SigLIP-SO400M** 是视频-LMMs中最好的单一编码器。将**SigLIP-SO400M**与**InternVideo2**结合，能够实现最优的整体性能。来自不同帧或剪辑的视频标记之间添加token（时间戳或特殊token等）足以实现高效的token集成。 3. **训练策略**：在不同阶段逐步解冻不同的组件可以实现更优的模型训练。三阶段训练能获得最佳性能，其次是两阶段训练计划。需要注意的是，不同的阶段有不同的数据组成；具体而言，每当LLM被冻结时，其他组件仅在视频数据上进行调优，而当LLM被调优时，则使用文本、图像、多图像和视频的混合数据集。仅在视频数据上微调视频编码器进一步提升了整体性能，特别是在推理和领域特定任务上的表现。如果视频编码器和LLM同时解冻，视觉编码器将在图像和视频数据的组合上进行训练会显著降低模型性能。而单独在视频数据上训练编码器会更优。 4. **数据组合**：适量的文本数据和略微偏向视频的数据组合有助于达到最佳性能。在训练数据混合中包含10% ~ 14%的文本数据是必要的，这有助于缓解灾难性遗忘。当文本数据的比例超过14%或低于7%时，模型性能会受到损害。 最后基于以上发现，本文开发了**Apollo**视频多模态大模型，其表现如下： ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/12/22/1734859544714-7deef02a-89ee-4210-aa2f-c0664154abdc.png) --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2410.10630v1] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：胡中豪，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241213-20241219/腾讯提出Cal-DPO，解决DPO重大缺陷.md ================================================ # Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment **作者**：*Teng Xiao, Yige Yuan等* **单位**：Pennsylvania State University, Tencent AI Lab等 本文提出了 Cal-DPO 算法，通过校准隐式奖励与真实奖励的尺度，解决在对比偏好优化训练过程中正例响应的奖励值持续下降问题，显著提升了大语言模型在人类偏好对齐任务中的表现。 ## 研究内容 改进现有对比偏好优化方法奖励机制，提升模型在人类偏好对齐任务中的表现。 ## 研究动机 现有对比偏好优化方法（如DPO）主要关注于提升正负例隐式奖励值之差，忽略真实奖励的绝对值，真实奖励与隐式奖励存在尺度不一问题，导致在训练过程中正例响应的奖励值持续下降，从而使得对于正例的似然概率降低，这意味着模型对正例的置信度降低，进而增大模型在推理和数学问题的不确定性，导致生成的结果不够准确或可靠。 如下图所示，***Chosen、Rejected、Margins***分别代表正例响应的奖励值、负例响应的奖励制、正负例响应的奖励制之差。可以看到，在DPO中，随着训练进程推进，尽管正负例响应的奖励值之差不断增大，但是正例的响应值持续下降。而真实应用中，希望奖励模型能够给予正例更高的奖励值，DPO算法构造的奖励模型与真实的奖励值存在偏差，进而影响模型性能。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/12/22/1734847233759-172a1b6b-cfb0-4408-9305-b51ae2654787.png) ## 技术动机 上述现象出现的原因在于，DPO的损失函数中只针对正负例响应的隐式奖励奖励值之差进行建模，忽略了正例本身的真实奖励。为了防止正例奖励随训练进程下降，需要校准隐式奖励与真实奖励的尺度，确保隐式奖励与真实奖励在同一尺度上。 ## 解决方案 为解决原始DPO算法的对比性损失无法未校准奖励本身尺度的问题，定义校准损失： $$ \mathcal{L}_{Cal}(\theta; x, y)=(log\frac{\pi_{\theta}(y|x)}{\pi_{ref}(y|x)}-\frac{r(x, y)}{\beta})^{2} $$ 其中$r(x, y)$是真实奖励，$\beta$是超参数。在仅有时对偏好反馈的场景中，定义$r(x, y_w)=\frac{1}{2}$，$r(x, y_l)=-\frac{1}{2}$。 结合校准损失与基于BT模型的DPO损失，得到最终Cal-DPO损失为： ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/12/22/1734847260392-7c2a5b8c-35fe-4d67-aee2-8109b20bc78e.png) 上述公式中蓝色为校准损失，$$\beta$$为超参数，直观上来看，该损失期望正例响应奖励值朝着$$1/2\beta$$靠近，负例响应奖励值朝着$$-1/2\beta$$靠近，使得正例响应奖励值增加，负例奖励值降低，从而使模型生成的响应更符合人类偏好。 ## 实验结果 Cal-DPO 在多个方面的实验结果展现出其显著优势与有效性，在多个关键指标和任务场景下均表现出色，优于已有的对比偏好优化算法。 ![](https://fastly.jsdelivr.net/gh/bucketio/img11@main/2024/12/22/1734847289107-fb543817-f56b-413e-93fe-b1ae6f0a51e6.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/12/22/1734847295437-080ec217-7cac-4ab9-b072-d783f42da892.png) 论文还通过实验展示了 Cal-DPO 在训练过程中奖励值的变化情况，与 DPO 进行对比，突出了 Cal-DPO 在维持正例奖励值和调整负例奖励值方面的优势。在Cal-DPO下，正例响应的奖励持续增加且保持正值，这显示 Cal-DPO 有效地推动了正例响应的奖励朝着期望的方向发展，使得模型更倾向于生成符合人类偏好的总结内容。而在DPO下，负例响应的奖励不断下降，并出现了下降到零以下的情况。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/12/22/1734847306680-8fd797f7-597c-40c7-a3bc-ab0b7ad27f1f.png) --- - 查看 Arxiv 原文链接请点击“**阅读原文**” [https://arxiv.org/pdf/2412.14516] - **更多**模型学习资料，请详见浙大 Daily 实验室 Github 仓库：**https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：张超 毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241220-20241226/GME：打破模态界限，全新通用多模态检索器的探索与突破.md ================================================ # GME: Improving Universal Multimodal Retrieval by Multimodal LLMs 作者：Xin Zhang, Yanzhao Zhang等 单位：Tongyi Lab, Alibaba Group The Hong Kong Polytechnic University等 本文研究了通用多模态检索（GME），为解决现有训练数据中模态不平衡的问题，本文提出了一种用于混合模态数据合成的pipeline，构建了大规模、高质量的融合模态数据集，并在此基础上训练开发了通用多模态检索模型和新的评估基准-UMR Benchmark。 ## 研究内容 **通用多模态检索器**，本文指可以接受文本或图片输入或者图文组合输入的检索器，检索对象也包括图片或者文本，或者图文对象。 ## 研究动机 现有方法使用的训练数据模态受限且模态不平衡，无法充分发挥多模态大模型在通用多模态检索中的潜力，此外通用多模态检索任务的多模态、多场景需求尚未得到全面评估，缺乏一个全面的评测基准。 ## 技术动机 1.多模态大模型已经在多模态信息理解和推理方面展现了令人瞩目的进展，其内部对多模态数据有优秀的表征。2.使用LLM和MLLM来合成数据已有先例。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2024/12/27/1735295897376-b1d34a42-4ee1-4547-9db6-e5703a5e144f.png) **模型架构**：使用 MLLM 作为通用多模态检索器的基座模型。MLLM接收图像、文本或图文组合的输入，将模型最后一层的隐藏状态中的最终token作为输入的表示，并使用对比学习进行训练，使模型适应检索任务。 **训练数据**：为了解决训练数据中模态不平衡的问题，特别是**融合模态数据**稀缺，本文使用 LLM 和 MLLM 的生成能力来合成额外的训练数据，其合成步骤分为以下四步： **Doc2Query 生成**：将每条候选段落的内容输入到一个 LLM 中，并通过提示生成基于段落的自然查询。 **实体抽取与查询重写**：为了使合成的查询同时包含文本和图像（即 IT→IT 类型），采用实体抽取的方法，通过抽取的实体补充图像数据。 **图像检索与生成**：通过 Google Image Search API 检索与实体词条匹配的图像或者通过 **文本生成图像模型** 生成图像。 **数据过滤**：为了确保合成数据的质量，对最终数据集进行了过滤。 ## 实验结果 实验上，本文将所训练的通用多模态检索器与 **VISTA** ， **E5-V** 等方法在**单模态**检索，跨模型检索，以及融合模态检索的对比结果如下图所示： ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/12/27/1735295924667-fc7a5e41-847c-4b30-aa75-759f06da7aff.png) 此外，本文在**微调策略**，训练策略以及是否开启双向注意力上进行了消融实验，实验结果如下图所示： ![](https://fastly.jsdelivr.net/gh/bucketio/img5@main/2024/12/27/1735295954238-1096c45d-45d0-4668-a9e3-b3849224ea26.png) 综上，本文探索了**通用多模态检索**问题，通过在多样化的多模态数据设置上采用对比学习损失进行训练，达到了最新的最先进性能。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2410.10630v1] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：胡中豪，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241220-20241226/Mulberry：多模型合作MCTS，让MLLM进入o1推理时代.md ================================================ # Mulberry: Empowering MLLM with o1-like Reasoning and Reflection via Collective Monte Carlo Tree Search *Huanjin Yao, Jiaxing Huang 等* Tsinghua University, Baidu Inc., Sun Yat-sen University 本文提出集体蒙特卡洛树搜索（Collective Monte Carlo Tree Search, CoMCTS）方法，利用多模型协作搜索和反思推理路径，并使用生成的推理数据对多模态大语言模型（MLLM）进行微调，从而提升其推理能力。 ## 研究内容 改进多模态大语言模型（MLLM）的推理能力，使其能够通过逐步推理和反思来解决复杂问题。 ## 研究动机 现有的MLLM在复杂任务上表现不佳，主要采用“直接预测”的模式，生成简短的最终答案，缺乏明确且定义良好的中间推理步骤和反思能力。 ## 技术动机 通过多模型协作搜索与反思，使用多个模型共同搜索和识别有效的推理路径，并通过反思机制进行校准，从而提高 MLLM 在搜索推理路径时的效率和质量。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/12/27/1735293674989-4dd56311-79b2-4e55-b7b7-64aaa4dc84c2.png) 1. **集体蒙特卡洛树搜索（Collective Monte Carlo Tree Search, CoMCTS）**： CoMCTS通过引入集体学习的概念，利用多个模型的集体知识来协同推测、搜索和识别有效的推理路径。其核心步骤包括： - **扩展**：利用多个MLLM的集体知识，从当前节点扩展出多样且互补的候选推理节点。 - **模拟与错误定位**：通过集体知识模拟推理结果，定位错误节点并剪枝其子节点。 - **反向传播**：从叶节点向根节点反向传播，更新每个推理节点的得分和访问次数。 - **选择**：根据上置信界（UCB）值选择下一个起始节点，平衡搜索的探索与利用。 2. **反思推理路径搜索**： 基于CoMCTS构建的统一推理树，识别并整合负向推理节点，构建包含从负向节点到正向节点过渡的反思推理路径。通过学习反思推理路径，MLLM能够在长链推理中动态校准其推理轨迹。 3. **Mulberry-260k数据集**： 使用CoMCTS搜索有效和反思推理路径，构建了Mulberry-260k数据集，该数据集为每个问题提供了丰富、明确且定义良好的推理节点树，用于训练具有逐步推理和反思能力的MLLM。 4. **集体监督微调（Collective Supervised Fine-Tuning, CoSFT）**： 使用 Mulberry-260k 数据集进行集体监督微调，训练Mulberry模型，使其具备逐步推理和反思能力。具体包括： - **标准监督微调**：训练模型学习有效的推理路径。 - **反思监督微调**：训练模型学习反思推理路径，校准负向推理节点。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/12/27/1735293690473-d77d50ab-2f64-4749-b4f6-31d11b4b4bd7.png) ## 实验结果 1. **CoMCTS的搜索效率与效果**： CoMCTS在搜索效率和成功率上显著优于其他树搜索方法，减少了迭代次数并提高搜索效果。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2024/12/27/1735293730390-c9e145c1-3bce-4973-95bd-af49bec64e01.png) 2. **Mulberry模型的性能**： 在CoMCTS数据上训练的Mulberry模型，在多个基准测试中超越大多数开源MLLM，并与闭源模型竞争，展示了卓越的逐步推理和反思能力。 ![](https://fastly.jsdelivr.net/gh/bucketio/img2@main/2024/12/27/1735293741138-eebb8bf8-a00c-4ebc-a26c-20a060633dd6.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/12/27/1735293747513-68b5f0d2-1819-49a2-9d49-eb24835f52d3.png) 综上，**Mulberry**通过引入集体蒙特卡洛树搜索和反思推理路径搜索，显著提升了多模态大语言模型的推理能力。其逐步推理和动态反思机制使得Mulberry在处理复杂任务时表现更加出色，超越了现有的方法。 ------ - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.18319] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：樊怡江，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241220-20241226/Proactive Agent：主动读取需求，让AI比你更懂你.md ================================================ # PROACTIVE AGENT: SHIFTING LLM AGENTS FROM REACTIVE RESPONSES TO ACTIVE ASSISTANCE *Yaxi Lu, Shenzhi Yang, Cheng Qian* 等 *Department of Computer Science and Technology, Tsinghua University 等* 本文提出了一种数据驱动的方法，通过构建ProactiveBench数据集和奖励模型，训练大型语言模型（LLM）Agent主动预测并提出任务，而无需明确的人类指令。 ## 研究内容 本文研究的是如何开发能够预测并主动提出任务的 LLM Agent。 下图为两种人机交互的Agent系统的比较。主动Agent被动地接收用户的查询，然后生成响应。主动行动主体根据环境观察结果推断任务，并相应地提出可能的援助请求。 ## 研究动机 现有大多数 LLM Agent 处于被动响应模式，需要明确的用户指令才能执行任务，限制了其在需要预见性和自主决策的场景中的有效性。为了提高LLMAgent在需要预见性和自主决策的场景中的有效性，需要从传统的反应式响应转变为主动协助。 ## 技术动机 人类在观察到他人可能需要帮助时主动提供协助，而无需对方明确请求。本文收集了人类行为数据，以训练一个能够根据环境变化和用户活动预测潜在任务的 Agent，使其能够像人类一样主动提供服务。 ## 解决方案 #### 1. 任务定义（Task Definition） 本文的目标是开发一个能够基于用户活动、环境事件和状态预测用户可能分配的任务的Agent，希望通过构建自动数据生成流程来增强 LLM 驱动的Agent的主动能力。 #### 2. 流程概述（Pipeline Overview） 下图展示了数据生成的全流程，核心在于通过模拟用户活动和环境变化来生成训练数据，这些数据将被用来训练和微调LLMAgent，使其能够更好地预测和提出任务。一旦预测被接受，模拟Agent在模拟环境中执行任务并生成新事件。 1. **环境健身房（Environment Gym）**：模拟特定背景设置中的事件，并更新环境状态。 2. **主动代理（Proactive Agent）**：基于事件历史预测用户可能分配的任务，目标是最大化用户接受其提出任务的比率。Agent的预测可以是预测到的任务，或者在Agent认为不需要任务时预测为空。 3. **用户代理（User Agent）**：是使用人类标注的数据训练的**奖励模型**，用于模拟用户判断，根据Agent的预测和自身活动决定是否接受任务。 ##### 2.1 Environment Gym 收集现实世界的事件作为参考，并将其转换为自然文本描述。基于收集的事件生成真实的交互场景，并提供足够的背景信息。根据用户活动生成详细的事件，并根据历史事件和当前环境状态更新实体状态。生成新事件时，需要更新环境实体的状态和属性。 ##### 2.2 Proactive Agent Proactive Agent接收新事件后，更新其记忆，并结合历史事件和用户特征提出潜在任务。一旦用户接受预测任务，Proactive Agent在Environment Gym中执行任务，生成关于Agent与环境交互的多个事件。 ##### 2.3 User Agent User Agent根据预定义的用户特征生成活动和动作，并决定是否接受Proactive Agent提出的任务。User Agent是使用人类标注的数据训练的**奖励模型**，用于模拟用户判断。 #### 3. Agent框架 下图展示了 Proactive Agent 如何通过监控事件、更新记忆、检测需求、预测任务和执行任务来实现主动性。 image-20241227170724942 Proactive Agent 持续监控来自 Environment Gym 的新事件，根据新事件更新其内部记忆，这个记忆包含了用户的历史活动和环境状态信息。通过分析更新后的记忆，可以检测用户可能需要的任务。基于检测到的需求，Proactive Agent 提出一个初步的任务预测，将草稿预测发送给 User Agent，获取用户的反馈。根据用户的反馈，Proactive Agent 优化其任务预测，以提高预测的准确性和用户接受的可能性。一旦用户接受了预测任务，Agent就会在 Environment Gym 中执行这个任务，从而可能会引发更多的事件和用户活动。 该框架使得 Proactive Agent 能够在没有明确指令的情况下，根据用户活动和环境状态主动提出帮助。 ## 实验结果 1. **数据集**：下表显示了ProactiveBench数据集的统计信息，包括不同设置中的事件条目数。 2. **奖励模型评估**：下表展示了不同模型作为奖励模型时与人类标注结果的一致性，本文提出的模型达到了91.80%的F1-Score。 3. **Proactive Agent 评估**：比较了不同模型在ProactiveBench上的性能，本文的微调模型Qwen2-7B-Proactive达到了66.47%的F1-Score，优于所有开源和闭源模型。 综上，本研究通过构建ProactiveBench数据集和奖励模型，有效提升了LLM代理的主动性，为未来人机协作的进一步发展铺平了道路。 ------ - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2410.12361] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：宓禹，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241220-20241226/RobustRF：打造鲁棒微调框架，大幅提升大模型在噪声环境下的性能.md ================================================ # RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response *Junyu Luo, Xiao Luo 等* *Peking University, University of California, Los Angeles 等* 本文提出了一种名为 RobustFT 的鲁棒监督微调框架，旨在缓解大语言模型（LLM）在噪声数据环境下性能下降的问题。通过多专家协作系统和推理增强机制进行噪声检测，并结合上下文增强的重标注策略和基于熵的样本选择机制实现降噪，RobustFT 构建了一个高质量的微调数据集，从而显著提升模型在下游任务中的性能。实验结果表明，该框架在多个数据集和噪声比例下均表现出色，展示了其鲁棒性和广泛适用性。RobustFT 为 LLM 在实际应用中处理噪声数据提供了有效解决方案。 ## 研究内容 研究针对大语言模型在噪声环境中进行监督微调的鲁棒方法。 ## 研究动机 现有的监督微调方法在处理包含噪声的数据时表现较差，这导致模型在下游任务中的性能严重下降；同时，传统的降噪方法无法有效应用于上下文丰富的开放式文本生成任务。 ## 技术动机 通过多专家协作和推理增强机制，结合上下文增强的降噪策略，可以更好地检测噪声并提高数据质量，从而改善模型的下游任务性能。 ## 解决方案 **RobustFT** 的解决方案通过**噪声检测**与**数据降噪**两个阶段，构建一个高质量、低噪声的微调数据集，从而增强大语言模型（LLM）的鲁棒性和性能。 ![](https://fastly.jsdelivr.net/gh/bucketio/img3@main/2024/12/27/1735262919524-e2e434b3-c091-44ce-bde4-95c0da567949.png) #### **噪声检测** 噪声检测的目标是识别数据集中潜在的噪声样本，具体方法如下： 1. **多专家协作机制** 利用多个专家模型（包括基础模型和推理增强模型）对同一数据进行预测。 2. **推理增强策略** 通过模型的推理能力增强噪声检测： - 逐步推理：让模型逐步生成预测结果，确保过程透明且可分析。 - 自我反思：模型在推理后对其过程进行自我审查，优化推理路径。 3. **一致性检测** 比较基础预测结果、推理增强结果与原始标签的一致性。使用一致性度量（Checker）评估样本的可靠性：如果预测结果高度一致，则标记为可靠样本（Clean Data）；如果结果不一致，则标记为潜在噪声样本（Noisy Data）。 #### **数据降噪** 数据降噪的目标是对潜在噪声样本进行处理，生成更可靠的标签，具体包括以下步骤： 1. **上下文增强重标注** - **上下文增强预测**：利用高置信度的可靠数据（Clean Data）为噪声样本（Noisy Data）提供上下文支持。将潜在噪声样本与可靠样本映射到相同的特征空间。检索与噪声样本最相似的高置信度样本，作为上下文支持。基于上下文支持生成新的标签。 - **重标注过程**：通过一个复核代理（Reviewer Agent）对新标签进行评估，结合上下文增强预测与推理增强预测，生成最终的降噪标签。 2. 基于熵的样本选择 为了进一步确保数据质量，对所有降噪后的样本计算预测熵值。根据模型的预测分布，衡量样本的不确定性。样本熵值越低，预测越确定，质量越高。根据熵值对样本排序，选取熵值最低的前 β% 样本（默认 β=50%）作为最终的高质量微调数据。 #### **框架整合** RobustFT 将可靠样本和经过降噪筛选的样本合并为最终的微调数据集，并基于该数据集对模型进行监督微调。 ### 实验结果 本文的实验在五个数据集上进行了验证，包括通用任务（如 **MMLU** 和 **ARC**）以及特定领域任务（如 **PubMedQA**、**Drop** 和 **FPB**），并在不同噪声水平（30%、50%、70%）下进行了全面比较。以下是主要实验结果： ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/12/27/1735262818558-247aa2fd-f590-4d63-811c-79d9c9b29199.png) 与 Vanilla 和标准 SFT 方法相比，RobustFT 在所有噪声水平和数据集上均表现出更高的鲁棒性和更好的性能。实验还评估了不同规模的模型，包括 **Llama3.2 (3B)**、**Llama3.1 (8B)** 和 **Gemma2 (9B)**，并在不同噪声水平下验证了 ROBUSTFT 的普适性： ![](https://fastly.jsdelivr.net/gh/bucketio/img19@main/2024/12/27/1735262890193-a17b56a0-6105-426f-82b0-8d79be7b5bad.png) RobustFT 对不同规模和架构的模型均有效，尤其对小模型的噪声鲁棒性提升更加显著。 综上， RobustFT 专注于解决大语言模型（LLM）在噪声数据环境中的性能下降问题。通过多专家协作机制、推理增强策略、上下文增强重标注和基于熵值的样本选择，RobustFT 实现了从噪声检测到降噪的高效流程，显著提升了微调数据的质量和模型的下游任务性能。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.14922] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：葛宇航，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241220-20241226/大语言模型的 “省钱秘籍”！TALE 框架让推理成本大瘦身.md ================================================ # Token-Budget-Aware LLM Reasoning _Tingxu Han, Chunrong Fang 等_ _Nanjing University, Rutgers University, UMass Amherst 等_ 本文研究的是**如何在大语言模型推理过程中有效管理Token预算，以平衡推理效率与成本**。随着大语言模型在各类任务中的广泛应用，CoT等推理技术虽提升了性能，但也引发了Token成本过高的问题，并且在实际应用场景中，往往只需准确简洁的答案，冗长的推理过程所产生的大量冗余Token造成了资源的浪费。鉴于此，本文提出了**TALE（Token-Budget-Aware LLM Reasoning）框架**，通过创新的预算估计方法，包括零样本估计器、回归估计器以及Token - budget意识内化等手段，精准地确定token预算，并借助基于预算的提示构建策略，引导LLM在预算范围内进行高效推理，从而在保持推理准确率的同时显著降低Token成本。 ## 研究内容 探究如何在保持大语言模型推理准确性的同时显著降低Token成本，具体聚焦于推理过程中的 Token 预算管理及效率优化，包括研究 LLM 推理时的 Token 冗余现象并分析其原因，并探索如何在保证推理准确性的前提下，减少不必要的 Token 消耗。 ## 研究动机 大语言模型推理中的 Token 成本问题日益凸显。随着CoT等推理技术的应用，虽然提升了 LLM 在各类任务中的表现，但也导致了 token 使用量的大幅增加。同时，在很多实际场景中，只需获取准确的答案，冗长的推理和解释引入了大量资源浪费。 ## 技术动机 借助Token 预算思想与动态Token预算优化Token效率。基于 LLM 能够遵循提示中的长度约束这一特性，可以将 Token 预算引入提示或对LLM进一步微调以约束其生成长度。基于资源分配和动态规划的理念，可以根据推理任务的复杂性和需求，动态分配 Token 预算，优化推理过程。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/12/27/1735290462559-67f6e46b-e2f9-42e4-91e5-cbe89148ae89.png) 提出了**TALE框架**，通过动态估计和优化 **Token预算**，减少LLM在推理过程中的 **Token冗余**，同时保持较高的推理准确性。其解决方案包括以下三步： ##### 1. 最优**Token预算搜索** 为了找到能够在保持答案正确性的同时，最小化Token开销的最优预算，TALE设计了一种基于 **二分搜索** 和 **贪心策略** 的算法。具体步骤如下： - **初始化搜索范围**：使用传统的CoT推理生成一个答案，并计算其Token数量，作为搜索的右边界，左边界设为0，表示最小的可能预算。 - **二分搜索**：在每次迭代中，计算当前搜索范围的中点，检查当前预算是否能够生成正确的答案。如果可行，则更新右边界为中点；否则，更新左边界为中点。 - **Token Elasticity 检测**：在每次迭代中，监控实际Token开销。如果发现Token开销随着预算的减少而增加，则说明进入了 **Token Elasticity** 区域。当检测到Token Elasticity现象时，停止进一步减少预算，将当前预算作为搜索的下限，并调整搜索范围继续搜索，确保预算在合理范围内。 - **贪心策略**：在保持答案正确性的同时，结合贪心策略，将二分搜索找到的最小预算设为当前最优预算，逐步减少预算并检查新预算是否仍然能够生成正确的答案，直到找到最优预算。最终找到的预算不仅能够保持答案正确性，还能最小化实际Token开销。 ##### 2. **Token预算估计** TALE提出了三种预算估计方法： - **零样本估计器**：直接利用LLM自身作为预算估计器，通过提示LLM估计回答问题的Token预算。这种方法无需额外训练，直接利用LLM的推理能力生成预算。 - **回归估计器**：训练一个回归模型，使用**最优Token预算搜索**的结果作为训练数据，预测给定问题的最优Token预算。通过最小化预测值与实际最优预算之间的差异，回归估计器能够动态地为新问题生成合理的预算。 - **Token-budget 意识内化**：使用**最优Token预算搜索**的结果，构建Token-budget-aware提示，生成符合预算的推理步骤作为目标输出。微调时，使用目标输出作为训练数据，优化LLM的生成机制，使其在推理时自动生成简洁且符合预算的推理步骤。微调后的LLM无需显式指定Token预算，能够直接生成高效的推理过程。 ##### 3. **Token-Budget-Aware提示构建** 在获得估计的Token预算后，TALE构建一个 **Token-budget-aware提示**，并将其输入LLM以生成最终的答案。根据估计的Token预算，构建提示，例如：“Let’s think step by step and use less than [budget] tokens: [question]”。通过动态调整token预算，确保LLM在生成推理步骤时既简洁又准确。 ## 实验结果 在多个数据集（如 GSM8K、GSM8K-Zero、MathBench 等）和不同 LLM（Yi-lightning、GPT-4o-mini、GPT-4o 等）上，采用零样本估计器版本的TALE 框架平均减少 68.64% 的输出 Token 成本，同时保持较高准确率（平均准确率 81.03%，准确率损失小于 5%），显示出良好的预算估计准确性和有效性，且在不同 LLM 架构上通用性良好，证明其在平衡成本效率和推理性能方面的优势。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2024/12/27/1735290490436-def48ab0-fdb1-48cb-a1da-59c8676dd99c.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img17@main/2024/12/27/1735290515622-40d0033f-7ee6-4296-bc50-fcec8e2f7e64.png) --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.18547] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：董雪梅，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241220-20241226/英伟达和高校联合提出数据选择策略，大幅强化模型预训练效果.md ================================================ ### Maximize Your Data’s Potential: Enhancing LLM Accuracy with Two-Phase Pretraining *Steven Feng, Shrimai Prabhumoye, Kezhi Kong, Dan Su, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro* *NVIDIA, Stanford University, Boston University* 现有的大型语言模型预训练方法在数据选择、混合与排序策略上存在局限，通常未能充分考虑不同训练阶段对数据多样性和质量的差异化需求。这种一刀切的策略导致模型在不同阶段难以取得最优表现，影响在下游任务上的准确性和泛化能力。因此，论文提出了一种**两阶段预训练策略**，针对不同训练阶段的特点，分别采用不同的数据选择和混合策略，有效解决了预训练过程中**数据多样性与质量的平衡**以及**不同阶段数据需求不匹配**的问题。 ## 研究内容 在模型的预训练阶段，优化数据的选择和混合方案，提升模型在下游任务的表现。 ## 研究动机 当前大模型的预训练依赖于大量数据，但关于如何最佳地选择、混合这些数据以提高模型性能这一问题尚未得到很好的解决。 ## 技术动机 通过使用分阶段的方式，将模型的训练过程分为两个阶段，来应对模型训练早期和后期对数据不同的需求，从而整体提升模型性能。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img1@main/2024/12/27/1735262526407-23fd5c2f-e9f8-4ff0-842d-3be31a613879.png) 论文将模型的预训练过程分为了两个阶段，并且按照不同阶段的侧重点，利用不同的数据选择策略。 **Phase-1:注重数据多样性** 在预训练初期，需要确保模型能够学习广泛的语言特性和泛化能力，因此主要使用多样性更高的数据。论文在这一阶段主要使用Web Crawl来进行训练。因为Web Crawl 数据来源广泛，涵盖了海量的文本内容， 数据涵盖不同领域、风格、语言和上下文，适合在预训练初期帮助模型建立通用的语言理解能力。 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2024/12/27/1735262547516-0fc1d381-e0f3-4e94-b875-b5775a59c763.png) **Phase-2: 质量优先** 在预训练后期，模型已经具备了一定的语言理解能力，需要进一步**细化和优化**。而Web Crawl数据集虽然足够丰富多样，但数据的信息密度往往较低，并且可能包含低质量、重复或有偏见的内容。因此在这一阶段使用高质量、结构化的数据源（如维基百科、代码、数学文本），确保训练后的模型在高复杂度任务上的表现更稳定和准确。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2024/12/27/1735262565634-ea4b7d49-4cf1-4321-955e-a19c2c670809.png) ## 实验结果 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2024/12/27/1735262581949-c2b7188c-c96f-4461-b852-413639e03c8d.png) 论文在1T token的规模上设计并验证了数据混合策略， 实验结果显示，该方法在下游任务中平均准确率比随机数据排序和自然分布分别提高了3.4%和17%。接着，论文还进一步扩展到15T token和更大模型规模（25B参数），并证明了方案的有效性。此外，论文还对两阶段中不同的数据集配比等方面进行了深入的探索，为后续大模型的预训练数据选择提供了巨大的参考价值。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.15285] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：李佳晖，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241227-20250102/CCoT压缩链式思维框架，极大降低 CoT 计算开销.md ================================================ # Compressed Chain of Thought: Efficient Reasoning through Dense Representations *Jeffrey Cheng, Benjamin Van Durme 等* *Hopkins University 等* 本文提出了**压缩链式思维（Compressed Chain-of-Thought, CCoT）**框架，用于提高大语言模型的推理效率和性能。传统链式推理（CoT）通过显式生成推理链来分步完成复杂问题，但需要较高的生成成本和时间。CCoT通过生成压缩的内容丰富的连续表征，减少推理链长度，从而显著降低计算成本，同时保持推理性能。 ## 研究内容 研究如何通过压缩的连续表征生成更高效的链式推理机制，从而在推理性能与生成效率之间实现更优的平衡。 ## 研究动机 传统链式推理（CoT）虽然能够提升推理能力，但需要生成完整的推理链，导致计算开销大、生成时间长，限制了实际应用中的效率。 ![image-20250102161908227](/Users/yuhang/Library/Application Support/typora-user-images/image-20250102161908227.png) ## 技术动机 通过将显式的语言推理链压缩为内容丰富的连续表征（连续嵌入空间），可以减少推理步骤，降低生成成本，同时保留推理链的信息，从而在性能和效率上取得平衡。 ## 解决方案 **压缩链式思维（CCoT）框架**旨在通过压缩的内容表征生成推理链，以降低推理开销并提高推理性能。其核心方法包括两个主要模块：**CCOT模块**和**DECODE模块**。 ![image-20250102154901997](/Users/yuhang/Library/Application Support/typora-user-images/image-20250102154901997.png) #### 1. **问题背景与符号** 假设语言模型为预训练的因果解码器 $LM_\theta$，模型权重为 $\theta$。任务输入为一个查询 $w_{1:n}$，其完整推理链为 $t_{1:m}$，目标答案为 $a_{1:o}$。 推理链的压缩比例用 $r$ 表示（$0 < r < 1$），压缩后推理链的长度为 $k = \lceil r \cdot m \rceil$。 #### 2. **CCOT 模块** **目标**：生成内容丰富的连续嵌入作为压缩推理链的表征，记为 $\hat{z}_{1:k}$，以近似完整推理链的隐状态。 **训练流程**： 1. **生成隐状态**： - 对输入 $[w_{1:n}; t_{1:m}; a_{1:o}]$ 进行嵌入和隐状态计算： $$ [\bar{w}_{1:n}; \bar{t}_{1:m}; \bar{a}_{1:o}] = \text{EMBED}_\theta([w_{1:n}; t_{1:m}; a_{1:o}]) $$ $$ [\hat{w}_{1:n}; \hat{t}_{1:m}; \hat{a}_{1:o}] = \text{ATTN}_\theta([\bar{w}_{1:n}; \bar{t}_{1:m}; \bar{a}_{1:o}]) $$ 2. **选择金标准子集隐状态**： - 使用评分器（scorer）模块选择 $k$ 个隐状态 $I$ 索引，得到子集隐状态 $z_{1:k} = \hat{t}_I$，作为金标准。 - 评分器通过线性层实现： $$ I = \text{SCORER}(\hat{t}_{1:m}) $$ 3. **近似生成子集隐状态**： - CCOT模块 $\phi$ 接受输入 $\hat{z}_{0:k-1}$ 生成新的隐状态表征： $$ \hat{z}_{1,k} = \text{CCOT}_\phi(\hat{z}_{0,k-1}) $$ 其中 $\hat{z}_{0,k-1}$ 是查询 $w_{1:n}$ 的最后一个隐状态。 4. **分层训练**： - 对每一层 $l$，优化目标为缩小生成隐状态与目标隐状态之间的均方误差： $$ \text{LOSS}_\phi = \frac{1}{k} \sum_{i=1}^k \frac{\text{MSE}(z_i^l, \hat{z}_i^l)}{\sigma^2(z_i^l)} $$ - 在训练第 $i$ 层时，只更新该层的参数，冻结之前层的参数，分层细化隐状态近似。 #### 3. **DECODE 模块** **目标**：利用生成的压缩推理链 $\hat{z}_{1:k}$ 和查询 $w_{1:n}$，解码最终答案 $a_{1:o}$。 **训练流程**： 1. **生成压缩推理链**： - 使用已训练的 CCOT 模块 $\phi$ 逐步生成推理链表征： $$ \hat{z}_i = \text{CCOT}_\phi(\hat{z}_{i-1}) $$ 2. **解码答案**： - 利用 $w_{1:n}$ 和 $\hat{z}_{1:k}$，基于条件生成模型 $\psi$ 解码答案： $$ p(a_i | a_{1:i-1}, \hat{z}_{1:k}, w_{1:n}) = \text{DECODE}_\psi(\hat{a}_{1:i-1}, \hat{z}_{1:k}, \hat{w}_{1:n}) $$ 3. **优化目标**： - 对解码过程中的生成分布，优化交叉熵损失： $$ \text{LOSS}_\psi = -\sum_{i=2}^o \log p(a_i | a_{1:i-1}, \hat{z}_{1:k}, w_{1:n}) $$ 4. **终止条件预测**： - 增加一个二分类模块 $\text{END}_\psi$，预测是否需要生成更多的推理链表征，直到达到终止条件。 #### 4. **推理阶段** 推理过程的两个主要阶段： 1. **生成推理链表征**： - 使用 CCOT 模块自回归生成 $\hat{z}_{1:k}$，每一步基于上一层的隐状态生成下一步： $$ [\hat{w}_{1:n}; \hat{z}_{1:k}] = \text{CCoT}_{\phi}([\bar{w}_{1:n}; \hat{z}_{1:k-1}]) $$ 2. **生成答案**： - 在生成的推理链和原始查询的条件下，通过 DECODE 模块逐步生成答案： $$ \hat{a}_{1:o} = \text{DECODE}_{\psi}([\bar{w}_{1:n}; \hat{z}_{1:k}; \bar{a}_{1:o-1}]) $$ ### 实验结果 本文在 **GSM8K** 数据集上测试模型性能，该数据集包含数学推理任务，要求语言模型具备多步推理能力。模型选择了 LLAMA2-7B-CHAT，使用 **LoRA**（低秩适配）技术对$CCOT_{\phi}$（rank=128）和$DECODE_{\psi}$（rank=64）的参数进行微调。以下是主要实验结果： image-20250102161512891 以上结果表明，**CCoT** 在 $r=0.05,0.10$ 的低压缩比情况下，以显著低于传统CoT的生成时间实现了较好的准确率，体现了其高效性。 综上， **压缩链式思维（Compressed Chain-of-Thought, CCoT）** 框架，作为传统链式推理（CoT）的高效替代方案。通过生成压缩推理链实现了推理效率与性能的平衡，为复杂推理任务提供了更高效的解决方案，同时保留了推理链的内容表征，具有良好的扩展性和适用性。 - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2412.13171] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：葛宇航，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241227-20250102/任务偏好优化：多模态大语言模型的精细视觉任务革命.md ================================================ # Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment _Ziang Yan, Zhilin Li , Yinan He Chenting Wang , Kunchang Li , Xinhao Li , Xiangyu Zeng Zilei Wang , Yali Wang ,Yu Qiao , Limin Wang , Yi Wang_ _Shanghai AI Laboratory_ 现有的多模态大语言模型（MLLMs），如LLaVA和VideoChat，在处理视觉任务时，虽然展现出一定的推理和理解能力，但在细粒度视觉任务（如时间片段定位、目标跟踪和像素分割）上表现仍然不足。这主要是由于视觉任务需求与语言表征之间的冲突，难以同时兼顾精细预测与多模态推理性能。因此，本文提出了**任务偏好优化（Task Preference Optimization, TPO）**方法。该方法通过引入可学习的任务tokens和任务头架构，结合分阶段多模态训练策略，显著提升了模型在精细化视觉任务和多模态对话中的综合能力，同时保持较高的计算效率。 ## 研究内容 本文研究如何设计一种新框架，使得多模态模型能够处理精细化的视觉任务（如时间定位、分割）并提升多模态对话能力。 ## 研究动机 当前 MLLMs 在视觉推理任务中表现出色，但在处理精细化的视觉任务（如区域定位和时间片段标注）时能力不足，且现有方法常以牺牲整体多模态性能为代价来优化单一任务。 ## 技术动机 跨任务联合训练有互补效应，但视觉预测与语言表征存在冲突，因此需要设计解耦的任务表征来解决。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2025/01/02/1735808763755-37759edd-05d3-4b8f-9728-4f626dd26811.png) #### 任务偏好模型（TPM）设计 任务偏好模型（TPM）由**任务tokens**和**任务头**组成，用于处理不同的视觉任务需求。 **任务tokens：** - 任务 tokens 是可学习的嵌入，模型通过语言输入动态激活相应的任务token。任务tokens 通过语言模型的最后一层隐藏层嵌入生成任务特定表示. **任务头：** 任务头负责根据输入视觉特征和任务嵌入执行特定任务： - **区域头（Region Head）**：基于两层多层感知机（MLP），用于回归边界框坐标，完成空间定位任务。 - **时间头（Temporal Head）**：结合视频编码器、文本编码器和时间定位模型，用于时间片段标注任务，输出开始和结束时间。 - **掩码头（Mask Head）**：通过像素级解码器生成目标掩码，用于分割任务。 任务头通过任务嵌入连接到视觉特征，形成紧密的任务特定优化。 #### 任务偏好优化目标 TPO 的优化目标整合了多模态对话任务和视觉任务，损失函数定义为： $$ L = L_{\text{mllm}} + L_{\text{assign}}(G(T_q), s) + \sum_{i=1}^n L_{\text{task}}(A_i, H_i(G(v_i))) $$ - $L_{\text{mllm}}$：多模态对话任务的最大似然损失。 - $L_{\text{assign}}(G(T_q), s)$：任务分配损失，基于用户输入指令 $T_q$ 和任务标签 $s$，使用交叉熵损失进行优化。 - $L_{\text{task}}(A_i, H_i(G(v_i)))$：任务优化损失，针对不同视觉任务使用分类或回归相关损失： - 如区域任务采用边界框回归损失； - 时间任务采用时间片段回归损失； - 掩码任务采用像素级交叉熵损失。 #### **分阶段训练策略** TPO 使用分阶段的本地到全局训练策略，确保模型在任务识别、单任务性能和多任务能力上的逐步优化。 **阶段1：任务分配阶段** - 让模型能够识别用户输入中的任务类型，并动态激活相应的任务Tokens。使用 LoRA微调语言模型，确保任务token与任务头之间的激活准确性。 **阶段2：单任务优化阶段** - 提高模型在单一视觉任务（如区域定位、时间标注或像素分割）上的性能。模型更新方向仅限于任务头和任务token，确保单任务的局部优化。 **阶段3：多任务联合优化阶段** - 整合多模态对话数据和视觉任务数据，提升模型在多任务场景下的综合能力。 ## 实验结果 在实验设计中，研究者选择了多个主流的多模态理解基准测试，如 MVBench、VideoMME 和 MLVU 等，用于全面验证 TPO 的有效性。实验结果表明，TPO 在多种视觉任务中展现了显著的性能提升： - **时刻检索**：在多个基准测试中，VideoChat-TPO 超越了现有的最先进模型，表现出卓越的时间段定位能力，尤其是在需要复杂推理的场景中展现了明显优势。 - **高亮检测**：TPO 显著增强了模型在关键时刻识别和定位任务中的表现，有效处理动态视觉信息并提取重要内容。 - **空间定位**：通过实验验证，TPO 在文本指导下生成边界框的能力得到了显著提升，展现了模型在精细化空间定位任务中的优越性能。 ![](https://fastly.jsdelivr.net/gh/bucketio/img16@main/2025/01/02/1735808851889-90da9203-6b1b-4a6a-a8d6-efa3ba8a1911.png) --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.19326v1] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：徐文溢，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241227-20250102/减少不必要的计算开销，让模型不再“过度思考”.md ================================================ ### Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs *Xingyu Chen, Jiahao Xu, Tian Liang, Zhiwei He, Jianhui Pang, Dian Yu, Linfeng Song, Qiuzhi Liu, Mengfei Zhou, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, Dong Yu* *Tencent AI Lab, Shanghai Jiao Tong University* 本文聚焦于o1类大语言模型在推理任务中的“过度思考”问题，提出了一种自训练框架，涵盖**长度偏好优化**（SFT、DPO、RPO、SIMPO）和**简化回答**（FCS、GDS）两大策略，分别通过优化推理路径长度和直接简化推理步骤，减少计算冗余并提升推理效率。实验结果表明，该方法在多个基准测试集上有效减少计算开销，同时保持了高水平的性能，展示出在资源受限场景下的广泛应用潜力。 ## 研究内容 在o1类大模型的推理过程中经常出现过度思考的问题，导致推理效率较低。例如在回答“2+3等于几”的问题时，o1类的模型（o1-Preview、QwQ-32B-Preview、Deepseek-R1-Preview）会话费过多的计算资源。平均而言，o1类模型花费的Token比常规模型多出1953%。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2025/01/02/1735829768751-75779328-614c-49fc-a3f3-85846750ed79.png) ## 研究动机 当前o1类大模型在面对简单任务时，往往使用与复杂任务相同的推理路径和计算资源，导致资源浪费，推理速度下降，限制了模型在大规模实际场景下的部署和应用。 ## 技术动机 通过引入自训练机制，使模型可以学习在简单任务上减少不必要的计算步骤，同时在复杂任务上保持足够的推理深度。 ## 解决方案 论文提出了一种基于自训练的优化策略，该策略包括两个核心步骤： **长度偏好优化（Length Preference Optimization）** ![](https://fastly.jsdelivr.net/gh/bucketio/img12@main/2025/01/02/1735829851877-13247e39-a2b5-4d5b-b32f-08bb16a9030d.png) 首先生成10个样本响应，并丢弃未能生成正确答案的样本，使用不同的策略来选择最终的结果。实验结果发现最短的响应在结果和过程效率方面表现更好，且使用的轮次和令牌更少。由此，基于以下方法来进行长度偏好的优化： 1. **监督式微调（SFT）**：使用正合成数据对预训练模型进行微调，使模型学会将输入映射到优选的输出，通过最小化预测输出和实际输出之间的交叉熵损失。 2. **直接偏好优化（DPO）**：直接在人类偏好的回答上训练模型，增加模型产生优选回答的可能性。 3. **推理偏好优化（RPO）**：在DPO损失上增加一个负对数似然（NLL）项，增强DPO训练的稳定性，同时保持生成内容的期望格式，并防止选定响应的对数概率降低。 4. **简单偏好优化（SimPO）**：解决其他偏好优化方法中奖励函数与生成度量之间的差异，通过自训练方式提升模型效率。 **简化回答（Simplifying Responses to Further Enhance Efficiency）** 尽管较短的响应样本提高了o1类模型的效率，但它们仍然存在“过度思考”问题。通过实验发现，响应中较早的解决方案往往更高效，因此我们进一步简化响应以增强效率。我们提出了三种简化策略，这些策略在如何从开头截断响应方面有所不同。 1. **首次正确解决方案（FCS）**：仅保留最早得出正确答案的解决方案，以减少不必要的后续解决方案。 2. **FCS+Reflection**：在正例中包括第二个达到正确答案的解决方案，以保持模型的长反射能力，同时提高效率。 3. **贪婪多样化解决方案（GDS）**：贪婪地扩展提供新视角的解决方案，增加多样性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img14@main/2025/01/02/1735829912263-d9da3ce7-2624-4ebd-8e79-896db799a4fe.png) ## 实验结果 论文的实验结果表明，提出的优化策略在减少推理计算开销的同时，保持了较高的性能表现。在多个基准测试集（如GSM8K、MATH500、GPQA、AIME）上的实验显示，自训练范式（包括长度偏好优化和简化回答）有效减少了推理过程中的冗余步骤，提高了推理效率。此外，在简单任务上，模型表现出更快的响应速度，而在复杂任务上，性能几乎没有下降。这验证了所提出方法在资源受限场景中的实际应用潜力。 ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2025/01/02/1735829815990-48607a84-ddc4-49e2-8867-a99ef65fd9bf.png) --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/pdf/2412.21187] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：李佳晖，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20241227-20250102/大模型 “进化密码”：加权偏好优化弥补自身短板.md ================================================ # Plug-and-Play Training Framework for Preference Optimization **作者**：*Jingyuan Ma , Rui Li等* **单位**：北京大学, 北京航空航天大学 本文提出一种即插即用的加权偏好优化训练框架，通过动态调整训练样本的权重，优化大语言模型在偏好优化中的表现。 ## 研究内容 构建加权偏好优化训练框架。通过多次采样分析模型的输出分布，为不同难度的训练样本分配权重，并将这些权重整合到偏好优化过程中，提升模型性能。 ## 研究动机 现有方法（如DPO、PPO）对所有样本同等对待，忽略了样本复杂性和模型错误倾向的差异，这种对所有样本一视同仁的做法导致模型对于困难样本的学习效果不佳。 ## 技术动机 模型的输出分布可以反映其对问题的掌握程度，简单问题输出一致，复杂问题输出多样且错误率高。通过多次采样，分析模型在不同问题上的表现，动态调整样本权重，优先处理模型难以掌握的问题。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2025/01/02/1735830966010-369d73bd-8d1b-4983-ad60-7fc98b01d341.png) 该框架通过动态调整训练样本的权重，优先处理模型难以掌握的困难样本，从而提升模型在偏好优化中的表现。具体分为以下三个步骤： #### 1. **数据收集** - **多次采样**：对每个问题多次采样模型的输出，收集模型的响应分布。通过多次采样，能够更全面地了解模型在不同问题上的表现，尤其是模型在简单问题和复杂问题上的输出差异。 - **数据集构建**：将多次采样的结果构建成数据集 $ D = \{x, y_1, y_2, \ldots, y_n\} $，其中 $ x $ 是问题，$ y_1, y_2, \ldots, y_n $ 是模型的不同响应。 #### 2. **权重计算** - **分析输出分布**：通过分析模型在多次采样中的输出分布，计算每个问题的正确响应和错误响应的频率。具体来说，计算正确响应的数量 $ P_c $ 和错误响应的数量 $ P_e $。 - **动态权重分配**：根据模型的表现，为每个问题分配权重。权重的计算公式如下： $$ w = \begin{cases} 1 + \alpha \cdot \frac{P_e}{N}, & \text{if } P_c = 0, \\ \max \left(1, 1 + \alpha \cdot \frac{P_e}{P_c + \epsilon} \cdot \frac{1}{N}\right), & \text{if } P_c > 0. \end{cases} $$ 其中，$ \alpha $ 是控制权重调整幅度的超参数，$ \epsilon $ 是一个小常数，$ N $ 是每个问题的采样次数。该公式确保模型在频繁出错的样本上获得更高的权重，从而在训练中优先处理这些困难样本。 - **构建偏好数据对**：根据权重计算结果，构建偏好数据对 $ D = \{x, y_w, y_l\} $，其中 $ y_w $ 是模型生成的正确响应，$ y_l $ 是错误最多的响应。如果模型未能生成正确响应，则使用标准答案作为 $ y_w $。 #### 3. **加权训练** - **整合权重到优化目标**：将计算得到的权重整合到偏好优化过程中，使用 Bradley-Terry 模型优化目标函数。具体来说，优化目标为： $$ L_R = -\mathbb{E}_{(x, y_w, y_l) \sim D} \left[ \log \sigma \left( w \cdot (r(x, y_w) - r(x, y_l)) \right) \right] $$ 其中，$ r(x, y_w) $ 和 $ r(x, y_l) $ 分别是模型对正确响应和错误响应的评分，$ w $ 是样本的权重，$ \sigma $ 是 sigmoid 函数。通过引入权重，模型在训练过程中会优先优化那些权重较高的困难样本。在实际训练中，权重的引入仅增加了少量的计算开销，能够在不显著增加训练时间的情况下，提升模型的训练效果。 ## 实验结果 为了验证提出的加权偏好优化训练框架的有效性，作者进行了多项实验，主要围绕数学推理任务展开，使用了多个数据集和模型进行测试。在 GSM8K 和 MATH500 数据集上的实验结果表明，加权训练框架显著提升了模型的性能。例如，Qwen2-7B-Instruct 模型在 MATH500 数据集上的准确率从 51.0% 提升至 57.6%。加权训练框架在多种偏好优化方法（如 DPO、DPOP、SimPO、IPO）中均表现出色，证明了其即插即用的特性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img15@main/2025/01/02/1735830946188-637e7a17-b29c-447c-9318-713cf4472da2.png) --- - 查看 Arxiv 原文链接请点击“**阅读原文**” [https://arxiv.org/pdf/2412.20996] - **更多**模型学习资料，请详见浙大 Daily 实验室 Github 仓库：**https://github.com/ZJU-LLMs/Foundations-of-LLMs** - 本文编辑：张超 毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20250103-20250109/LLaVA-Mini：压缩至一个视觉token，高效计算与实时响应的多模态大模型.md ================================================ # LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token Shaolei Zhang, Qingkai Fang等 中国科学院智能信息处理重点实验室， 中国科学院计算技术研究所等 本文提出了LLaVA-Mini，通过对多模态大模型注意力矩阵的逐层分析，发现视觉token主要在模型的前几层被利用，基于这一发现，文章引入了模态预融合技术，将视觉信息提前融入文本token，将输入LLM主干的视觉token压缩至一个token。 ## 研究内容 多模态大模型的视觉token压缩 ## 研究动机 现有方法表现不佳：现有方法依赖于预定义规则来减少视觉编码器输出的token数量，或专注于LLM主干小型化，或者其他方法，仍会导致视觉信息的大量丢失。 ## 技术动机 **多模态大模型是如何理解视觉token的？** 通过提出这一疑问，本文对模型进行逐层分析，发现视觉token主要在模型的前几层被利用，随着层级的加深，关注视觉token的注意力急剧减少。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2025/01/11/1736578337919-6891e1bf-7390-4da2-90c8-1dd016b40639.png) 基于上面的发现——视觉token在模型的浅层中对融合视觉信息至关重要，LLaVA-Mini在LLM主干网络之前引入了一个模态预融合模块，将视觉信息提前融合到文本token中。下面分别介绍LLaVA-Mini的两个重要模块，视觉token压缩模块和模态预融合模块 **视觉token压缩模块** LLaVA-Mini 引入了$C \times C$可学习的压缩查询 $Q_v$。这些查询通过交叉注意力与所有视觉token $H_v$进行交互，选择性地提取重要的视觉信息，生成$C \times C$压缩的视觉token $\hat{H}_v \in \mathbb{R}^{C_2 \times d_h}$。为了在压缩过程中保留图像的空间信息，我们对可学习查询和原始视觉token引入了2D正弦位置编码。 **模态预融合模块** 模态预融合模块$f(\cdot)$由 $N_{\text{fusion}}$ 个Transformer块组成，每个Transformer块与LLM骨干网络共享相同的结构和超参数。视觉token $H_v$和文本token $H_q$被连接并输入到预融合模块中，然后提取与文本相关的视觉信息作为融合token，表示为： $$ \hat{H}_q = f(\text{Concat}(H_v, H_q))[-l_q:] $$ 其中$\hat{H}_q \in \mathbb{R}^{l_q \times d_h}$是包含相关视觉信息的文本表示的融合token。 最终，压缩后的视觉token $\hat{H}_v$和融合token $\hat{H}_q$（共$C_2 + l_q$个token）一起输入到LLM中，以生成响应。 ## 实验结果 本文在图像和视频理解任务上评估LLaVA-Mini，为了公平比较，采用与LLaVA-v1.5相同的配置。分为两个配置LLaVA-Mini-HD-压缩至64个token，LLaVA-Mini-压缩为一个token。实验在11个图像基准和7个视频基准上进行，实验结果分别如下： ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2025/01/11/1736578368821-315bbd93-5f8e-4376-b356-b21ba71f83da.png) ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2025/01/11/1736578387466-c9f48c50-7ced-401d-af96-c15d2dd5c76d.png) 综上，本文推出了LLaVA-Mini，结合模态预融合模块高效压缩视觉token。LLaVA-Mini在图像和视频理解方面表现出色，同时在计算效率、推理延迟和内存使用方面具有优势。 --- - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2410.10630v1] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：胡中豪，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20250103-20250109/PPT 生成革命！PPTAgent：AI 帮你一键搞定高质量演示文稿，设计、内容、逻辑全搞定！.md ================================================ # **PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides** *Hao Zheng, Xinyan Guan, Hao Kong* 等 *Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences* 等 本文提出了 PPTAgent，通过基于编辑的两阶段方法生成高质量演示文稿，并引入 PPT Eval 评估框架，全面评估演示文稿的内容、设计和连贯性。 ## 研究内容 本文研究了如何从文档自动生成演示文稿，同时平衡内容质量、视觉设计和结构连贯性。 ## 研究动机 现有方法主要关注文本内容质量，忽视了视觉设计和结构连贯性，导致生成的演示文稿缺乏吸引力和逻辑性，限制了其实际应用价值。下图展示了PPTAgent和现有方法的主要区别，PPTAgent参考已有幻灯片，在已有参考的基础上进行编辑，避免从零开始制作幻灯片，与人类表示创建过程更加接近。 ## 技术动机 模拟人类创作演示文稿的流程。人类通常通过选择示例幻灯片作为参考，然后总结和转移关键内容来创建演示文稿，而非从头开始创建复杂演示文稿。这种基于编辑的方法能更好地处理空间关系和设计风格。 ## 解决方案 #### 1. PPTAgent 下图展示了PPTAgent的工作流程。第一阶段：演示分析，包括分析输入演示，将幻灯片聚类为组，并提取它们的内容模式。第二阶段：演示文稿，首先基于文本生成大纲，然后在大纲的指导下生成新的演示文稿，结合反馈机制以确保鲁棒性。 ![](https://fastly.jsdelivr.net/gh/bucketio/img8@main/2025/01/09/1736424838576-6797d38e-6e35-4cbd-bfb0-6e021eef9433.png) ##### 阶段一：演示文稿分析 - **幻灯片聚类**：首先，将参考演示文稿中的幻灯片根据其功能和内容特征进行聚类。 - **功能性的幻灯片**（如开场幻灯片）通过LLM分析其文本特征进行聚类。 - 主要展示**具体内容的幻灯片**则采用层次聚类方法，利用图像相似性进行聚类。 这样可以将幻灯片分为不同的功能组，为后续的编辑和生成提供结构化的参考。 - **模式提取**：在幻灯片聚类的基础上，进一步分析每个幻灯片的内容模式。利用LLM的上下文感知能力，将幻灯片中的每个元素表示为**类别**、**模态**和**内容**，并提取出幻灯片的内容模式。这一步骤确保了在后续编辑过程中，可以有针对性地对幻灯片进行修改和内容填充，使其符合预期的展示目的和结构。 ##### 阶段二：演示文稿生成 - **大纲生成**：根据输入文档和分析后的参考演示文稿，生成一个详细的大纲。大纲中为每张幻灯片指定**参考幻灯片**、**相关文档部分**以及**新幻灯片的标题和描述**。这一过程利用LLM的规划和总结能力，结合文档内容和参考演示文稿的语义信息，生成一个连贯且吸引人的大纲，为后续的幻灯片生成提供指导. - **幻灯片生成**：在大纲的指导下，通过**交互式可执行代码**动作，对参考幻灯片进行迭代编辑以生成新幻灯片。 - 实现了一系列**编辑动作API**，如替换文本、替换图像、删除元素等，使LLM能够动态修改参考幻灯片。 - 将幻灯片从原始的XML格式转换为更易于LLM理解的**HTML**表示形式，以便更精确地操作幻灯片元素。 - 在生成过程中，LLM根据大纲指定的内容和参考幻灯片的HTML表示，生成新的幻灯片内容，并通过代码交互模块实时检测错误并进行自我修正，确保生成过程的鲁棒性。 #### 2. PPT Eval 评估框架 - 为了全面评估生成演示文稿的质量，提出了PPTEval评估框架。如下图所示，该框架采用 MLLM-as-Judge 的方式，从内容、设计和连贯性三个维度进行评估。该框架为每方面评估打出1-5的分数，并提供详细的反馈，以指导未来演示生成方法的改进。 - **内容**（Content）：评估幻灯片中的文本和图像信息，关注信息量、文本清晰度和视觉内容的支持程度. - **设计**（Design）：考察幻灯片的视觉一致性、色彩方案和视觉元素的使用，确保设计既吸引人又不干扰内容传递. - **连贯性**（Coherence）：分析演示文稿的逻辑结构和上下文信息，评估其是否能够构建引人入胜的故事线，使观众能够顺畅地跟随内容. ## 实验结果 下表展示了PPTAgent与基线方法的性能对比。PPTAgent在成功率（SR）上显著优于基线方法，达到了97.8%，而基线方法的成功率仅为10%左右。在内容（Content）、设计（Design）和连贯性（Coherence）三个维度上，PPTAgent也全面超越了基线方法。具体来说，PPTAgent在设计维度上的得分从基线的2.33提升到了3.24，在连贯性维度上的得分从3.28提升到了4.39，在内容维度上的得分从2.98提升到了3.25。此外，PPTAgent的平均PPTEval得分也从基线的2.85提升到了3.62，显示出PPTAgent在生成高质量演示文稿方面的显著优势。这些结果表明，PPTAgent不仅提高了演示文稿的生成成功率，还在内容、设计和连贯性方面实现了显著的改进，有效地提升了演示文稿的整体质量。 ![](https://fastly.jsdelivr.net/gh/bucketio/img14@main/2025/01/09/1736425851213-d097c5aa-7f8a-475f-9937-3bb28e038064.png) 综上，PPTAgent为自动化演示文稿生成提供了一种高效且高质量的解决方案，其引入的PPTEval评估框架也为演示文稿质量评估提供了新的视角，推动了演示文稿生成技术的发展。 ------ - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2501.03936] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：宓禹，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20250103-20250109/微软提出rStar-Math，7B小模型数学能力直逼o1！.md ================================================ # rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking *Xinyu Guan, Li Lyna Zhang 等* Microsoft Research Asia 本文提出**rStar-Math**框架，通过自我进化的深度思考训练，使小型语言模型（SLMs）能够在数学推理任务中达到或超越大型语言模型（如OpenAI o1）的表现。使用 MCTS 生成高质量 CoT 数据，并采用自我进化式的迭代过程来训练策略模型（SLM）和过程偏好模型（PPM），从而提升 SLM 的推理能力。 ## 研究内容 在不依赖大模型蒸馏的情况下，生成高质量CoT训练数据，提升 SLM 解决复杂数学问题的能力。 ## 研究动机 高质量数学推理数据稀缺，现有数据合成方法效果有限： 1. 高质量数学推理数据稀缺，标注成本高； 2. 基于蒸馏的数据合成方法存在收益递减问题，难以超越教师模型； 3. 语言模型生成的推理数据，其步骤对错难以判断；过程奖励模型可以评估步骤质量，但数据标注成本高，且自动标注方法效果不佳。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img18@main/2025/01/12/1736681334941-40c6805d-c179-440f-a568-f6ac5897965c.png) 1. **代码增强的CoT数据合成方法**： 通过MCTS生成**逐步验证的推理轨迹**，每一步生成的自然语言推理（CoT）和对应的Python代码。通过对代码进行执行验证，过滤低质量的推理内容，确保中间步骤的正确性。MCTS的扩展过程通过选择、扩展、Rollout和反向传播四个步骤，生成高质量的推理轨迹。 - **选择**：使用UCT算法选择最优节点进行扩展。 - **扩展**：生成候选节点，并通过Python代码执行验证，保留有效的节点。 - **Rollout**：执行 Rollout 更新节点的Q值（对节点的价值估计）。 - **反向传播**：将最终答案的正确性反馈到每个中间步骤，更新Q值。 ![](https://fastly.jsdelivr.net/gh/bucketio/img6@main/2025/01/12/1736681362517-098008cf-cdd6-4d5e-98c8-e1f3e5bb455c.png) 2. **过程偏好模型（Process Preference Model, PPM）**： PPM通过构建**偏好对**来训练过程奖励模型，避免了精确奖励分数的需求。具体来说，PPM选择Q值最高的步骤作为正例，Q值最低的步骤作为负例，并通过成对排序损失函数进行训练。 - **偏好对构建**：选择Q值最高的步骤作为正例，Q值最低的步骤作为负例。 - **成对排序损失**：通过Bradley-Terry模型优化PPM的评分预测。 3. **自演化深度思考（Self-Evolved Deep Thinking）**： rStar-Math通过四轮自演化过程，逐步提升模型的能力。每一轮使用最新的策略模型SLM（策略模型）和PPM生成更高质量的推理轨迹，并通过这些轨迹训练更强的SLM（策略模型）和PPM。 - **第一轮**：使用DeepSeek-Coder-V2-Instruct（236B）作为初始策略模型进行MCTS生成初始数据。 - **第二轮**：使用第一轮生成的策略模型（SLM-r1）进行更广泛的MCTS扩展，生成更高质量的推理轨迹，并训练第一个可靠的PPM（PPM-r2）。 - **第三轮**：引入PPM增强的MCTS（PPM-r2），进一步提升数据质量。 - **第四轮**：通过增加MCTS的扩展次数，解决更具挑战性的数学问题。 ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2025/01/12/1736681381916-3d52e5c5-f14a-4575-bc66-e468fb30e681.png) ## 实验结果 实验表明，rStar-Math在多个数学推理基准测试中表现优异，显著提升了小型语言模型的推理能力。在MATH基准测试中，rStar-Math将Qwen2.5-Math-7B的准确率从58.8%提升至90.0%，超过了OpenAI o1-preview的表现。在AIME 2024竞赛中，rStar-Math解决了53.3%的问题，表现优于大多数开源模型。 ![](https://fastly.jsdelivr.net/gh/bucketio/img9@main/2025/01/12/1736681403324-ecf8a89f-b7a2-471e-a43a-915b8c700096.png) 综上，rStar-Math通过自演化的深度思考机制，结合蒙特卡洛树搜索和过程偏好模型，显著提升了小型语言模型在数学推理任务中的表现。该方法不仅减少了对外部大型模型的依赖，还通过自我演化不断优化推理能力，为未来的数学推理研究提供了新的思路。 ------ - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2501.04519] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：樊怡江，毛玉仁 ================================================ FILE: Arxiv 一周进展报告（大模型方向）/20250103-20250109/陈丹琦团队新作 MeCo，元数据条件化加速模型预训练.md ================================================ # Metadata Conditioning Accelerates Language Model Pre-training *Tianyu Gao, Danqi Chen 等* *Princeton Language and Intelligence, Princeton University* 本文提出了一种新的语言模型预训练方法——**元数据调节后冷却**（Metadata Conditioning then Cooldown，简称 MeCo）。该方法通过在预训练过程中将元数据（如 URL）与文本一起提供，提升了训练效率和模型的可控性。实验表明，与标准预训练方法相比，MeCo 能以更少的数据和计算资源实现更好的下游任务性能，同时能够通过元数据引导模型生成更合适的内容。 ## 研究内容 该研究探讨了一种高效的语言模型预训练加速方法，即元数据调节后冷却（MeCo），以提升模型训练效率和生成内容的可控性。 ## 研究动机 现有方法未能充分利用预训练语料中的多样性信息，尤其是元数据（如来源 URL）。这些方法将所有数据等同对待，忽略了数据来源的上下文信号，导致模型无法准确体现数据的特定行为，进而影响下游任务的表现。 ## 技术动机 通过在预训练初期引入元数据增强模型对数据来源的感知能力。这一策略能有效加速预训练过程，并增强语言模型的可引导性。 ## 解决方案 ![](https://fastly.jsdelivr.net/gh/bucketio/img10@main/2025/01/13/1736735080103-b8345033-8ed1-4134-8c28-7e356fc70bbb.png) MeCo 方法由两个阶段组成，分别是**元数据条件训练阶段**和冷却阶段。两个阶段的有机结合在提升预训练效率的同时，保留了模型在推理阶段的通用性。 ### 元数据条件训练阶段（初始 90%） **元数据条件训练阶段**是 MeCo 的核心部分，贯穿了预训练的初始 90% 阶段。在这一阶段，每个训练样本都通过将元数据（如文档的来源 URL）附加到文本前部进行标记。例如，对于来自 Wikipedia 的文本，元数据可能会以 `URL: en.wikipedia.org\n\n[文本内容]` 的形式添加。这一设计使得模型能够学习到不同来源数据之间的语境差异，从而提升对数据多样性的理解能力。在训练过程中，为避免元数据直接干扰模型的语言建模能力，仅对文本内容部分的 token 计算损失，而忽略元数据部分的损失。 ### 冷却阶段（最后 10%） 虽然在训练中引入元数据大大提升了模型对不同数据来源的理解能力，但如果模型始终依赖元数据进行推理，可能会限制其在实际应用中的灵活性。因此，**MeCo 在训练的最后阶段切换为标准的文本输入**。这一冷却阶段确保了模型在推理时，即使没有元数据的帮助，也能做出合理的预测。 冷却阶段直接继承了元数据条件阶段的**优化器状态**和**学习率衰减**策略。 ### 为什么 MeCo 有效？ MeCo 的核心成功因素在于其利用元数据将语料中的内容分组。例如，元数据帮助模型理解某些来源更倾向于产生高质量的知识性文本，而其他来源则可能包含较多噪声。通过这样的分组，模型能够更高效地利用训练数据。此外，即使使用随机生成的元数据（如散列的 URL），模型也能获得类似的提升，这**表明元数据的语义本身并非关键**，而是**它所提供的分组信号**起到了主要作用。 ## 实验结果 文章使用了 **C4、RefinedWeb 和 DCLM** 等数据集验证 MeCo 方法的有效性，模型的训练规模包括 **600M, 1.6B, 3B 以及 8B 参数**。与标准预训练方法相比，MeCo 方法在使用 **33% 更少**的训练数据的情况下，达到了相当的下游任务性能。例如下表，在 **1.6B 参数**模型上，MeCo 方法平均提升了多个下游任务的性能指标，同时显著减少了计算开销。 ![](https://fastly.jsdelivr.net/gh/bucketio/img13@main/2025/01/13/1736735108662-be7312bd-ff90-48d5-a137-3d5c6ccb9954.png) 此外，MeCo 方法还显示出其在推理阶段的独特优势。通过在推理时引入元数据作为条件输入（Conditional Inference），模型能够实现对生成内容的精确控制。例如，添加 `wikipedia.org` 作为元数据可以**显著减少有害内容**的生成，而使用虚构的 URL（如 `factquizmaster.com`）则可以**提升模型在常识问答任务中的表现**。实验进一步表明，与标准预训练模型相比，MeCo 模型在带有条件输入时的性能提升更为显著。 **有毒内容生成**： ![](https://fastly.jsdelivr.net/gh/bucketio/img7@main/2025/01/13/1736735132837-af622ad7-38c7-482a-ba78-6518c140e555.png) **常识问答**： ![](https://fastly.jsdelivr.net/gh/bucketio/img4@main/2025/01/13/1736735146179-c0ba958b-fdbf-4342-bf85-c989af327a25.png) 综上，MeCo 是一种简单而有效的预训练方法，通过元数据条件和冷却阶段相结合，显著提升了数据利用效率，并增强了模型的可控性。它不仅适用于不同规模的模型（从 600M 到 8B 参数），还能够兼容多种元数据类型，甚至包括由模型生成的主题标记。 - 查看 Arxiv 原文请点击"**阅读原文**"[https://arxiv.org/abs/2501.01956] - **更多**大模型学习资料，详见浙江大学LLMs Github仓库: https://github.com/ZJU-LLMs/Foundations-of-LLMs - 本文编辑：葛宇航，毛玉仁 ================================================ FILE: Foundations_of_LLMs(English_version)/readme.md ================================================ This book is the English version of the chinese book 《大语言模型基础》。Now, It is stiil a draft version, which is directly translated from the chinese version by using GPT. We will refine the English writting of this book later. It will be coming soon! ================================================ FILE: LICENSE.md ================================================ # Attribution-NonCommercial-NoDerivatives 4.0 International > *Creative Commons Corporation (“Creative Commons”) is not a law firm and does not provide legal services or legal advice. Distribution of Creative Commons public licenses does not create a lawyer-client or other relationship. Creative Commons makes its licenses and related information available on an “as-is” basis. Creative Commons gives no warranties regarding its licenses, any material licensed under their terms and conditions, or any related information. Creative Commons disclaims all liability for damages resulting from their use to the fullest extent possible.* > > ### Using Creative Commons Public Licenses > > Creative Commons public licenses provide a standard set of terms and conditions that creators and other rights holders may use to share original works of authorship and other material subject to copyright and certain other rights specified in the public license below. The following considerations are for informational purposes only, are not exhaustive, and do not form part of our licenses. > > * __Considerations for licensors:__ Our public licenses are intended for use by those authorized to give the public permission to use material in ways otherwise restricted by copyright and certain other rights. Our licenses are irrevocable. Licensors should read and understand the terms and conditions of the license they choose before applying it. Licensors should also secure all rights necessary before applying our licenses so that the public can reuse the material as expected. Licensors should clearly mark any material not subject to the license. This includes other CC-licensed material, or material used under an exception or limitation to copyright. [More considerations for licensors](http://wiki.creativecommons.org/Considerations_for_licensors_and_licensees#Considerations_for_licensors). > > * __Considerations for the public:__ By using one of our public licenses, a licensor grants the public permission to use the licensed material under specified terms and conditions. If the licensor’s permission is not necessary for any reason–for example, because of any applicable exception or limitation to copyright–then that use is not regulated by the license. Our licenses grant only permissions under copyright and certain other rights that a licensor has authority to grant. Use of the licensed material may still be restricted for other reasons, including because others have copyright or other rights in the material. A licensor may make special requests, such as asking that all changes be marked or described. Although not required by our licenses, you are encouraged to respect those requests where reasonable. [More considerations for the public](http://wiki.creativecommons.org/Considerations_for_licensors_and_licensees#Considerations_for_licensees). ## Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License By exercising the Licensed Rights (defined below), You accept and agree to be bound by the terms and conditions of this Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License ("Public License"). To the extent this Public License may be interpreted as a contract, You are granted the Licensed Rights in consideration of Your acceptance of these terms and conditions, and the Licensor grants You such rights in consideration of benefits the Licensor receives from making the Licensed Material available under these terms and conditions. ### Section 1 – Definitions. a. __Adapted Material__ means material subject to Copyright and Similar Rights that is derived from or based upon the Licensed Material and in which the Licensed Material is translated, altered, arranged, transformed, or otherwise modified in a manner requiring permission under the Copyright and Similar Rights held by the Licensor. For purposes of this Public License, where the Licensed Material is a musical work, performance, or sound recording, Adapted Material is always produced where the Licensed Material is synched in timed relation with a moving image. b. __Copyright and Similar Rights__ means copyright and/or similar rights closely related to copyright including, without limitation, performance, broadcast, sound recording, and Sui Generis Database Rights, without regard to how the rights are labeled or categorized. For purposes of this Public License, the rights specified in Section 2(b)(1)-(2) are not Copyright and Similar Rights. e. __Effective Technological Measures__ means those measures that, in the absence of proper authority, may not be circumvented under laws fulfilling obligations under Article 11 of the WIPO Copyright Treaty adopted on December 20, 1996, and/or similar international agreements. f. __Exceptions and Limitations__ means fair use, fair dealing, and/or any other exception or limitation to Copyright and Similar Rights that applies to Your use of the Licensed Material. h. __Licensed Material__ means the artistic or literary work, database, or other material to which the Licensor applied this Public License. i. __Licensed Rights__ means the rights granted to You subject to the terms and conditions of this Public License, which are limited to all Copyright and Similar Rights that apply to Your use of the Licensed Material and that the Licensor has authority to license. h. __Licensor__ means the individual(s) or entity(ies) granting rights under this Public License. i. __NonCommercial__ means not primarily intended for or directed towards commercial advantage or monetary compensation. For purposes of this Public License, the exchange of the Licensed Material for other material subject to Copyright and Similar Rights by digital file-sharing or similar means is NonCommercial provided there is no payment of monetary compensation in connection with the exchange. j. __Share__ means to provide material to the public by any means or process that requires permission under the Licensed Rights, such as reproduction, public display, public performance, distribution, dissemination, communication, or importation, and to make material available to the public including in ways that members of the public may access the material from a place and at a time individually chosen by them. k. __Sui Generis Database Rights__ means rights other than copyright resulting from Directive 96/9/EC of the European Parliament and of the Council of 11 March 1996 on the legal protection of databases, as amended and/or succeeded, as well as other essentially equivalent rights anywhere in the world. l. __You__ means the individual or entity exercising the Licensed Rights under this Public License. Your has a corresponding meaning. ### Section 2 – Scope. a. ___License grant.___ 1. Subject to the terms and conditions of this Public License, the Licensor hereby grants You a worldwide, royalty-free, non-sublicensable, non-exclusive, irrevocable license to exercise the Licensed Rights in the Licensed Material to: A. reproduce and Share the Licensed Material, in whole or in part, for NonCommercial purposes only; and B. produce and reproduce, but not Share, Adapted Material for NonCommercial purposes only. 2. __Exceptions and Limitations.__ For the avoidance of doubt, where Exceptions and Limitations apply to Your use, this Public License does not apply, and You do not need to comply with its terms and conditions. 3. __Term.__ The term of this Public License is specified in Section 6(a). 4. __Media and formats; technical modifications allowed.__ The Licensor authorizes You to exercise the Licensed Rights in all media and formats whether now known or hereafter created, and to make technical modifications necessary to do so. The Licensor waives and/or agrees not to assert any right or authority to forbid You from making technical modifications necessary to exercise the Licensed Rights, including technical modifications necessary to circumvent Effective Technological Measures. For purposes of this Public License, simply making modifications authorized by this Section 2(a)(4) never produces Adapted Material. 5. __Downstream recipients.__ A. __Offer from the Licensor – Licensed Material.__ Every recipient of the Licensed Material automatically receives an offer from the Licensor to exercise the Licensed Rights under the terms and conditions of this Public License. B. __No downstream restrictions.__ You may not offer or impose any additional or different terms or conditions on, or apply any Effective Technological Measures to, the Licensed Material if doing so restricts exercise of the Licensed Rights by any recipient of the Licensed Material. 6. __No endorsement.__ Nothing in this Public License constitutes or may be construed as permission to assert or imply that You are, or that Your use of the Licensed Material is, connected with, or sponsored, endorsed, or granted official status by, the Licensor or others designated to receive attribution as provided in Section 3(a)(1)(A)(i). b. ___Other rights.___ 1. Moral rights, such as the right of integrity, are not licensed under this Public License, nor are publicity, privacy, and/or other similar personality rights; however, to the extent possible, the Licensor waives and/or agrees not to assert any such rights held by the Licensor to the limited extent necessary to allow You to exercise the Licensed Rights, but not otherwise. 2. Patent and trademark rights are not licensed under this Public License. 3. To the extent possible, the Licensor waives any right to collect royalties from You for the exercise of the Licensed Rights, whether directly or through a collecting society under any voluntary or waivable statutory or compulsory licensing scheme. In all other cases the Licensor expressly reserves any right to collect such royalties, including when the Licensed Material is used other than for NonCommercial purposes. ### Section 3 – License Conditions. Your exercise of the Licensed Rights is expressly made subject to the following conditions. a. ___Attribution.___ 1. If You Share the Licensed Material, You must: A. retain the following if it is supplied by the Licensor with the Licensed Material: i. identification of the creator(s) of the Licensed Material and any others designated to receive attribution, in any reasonable manner requested by the Licensor (including by pseudonym if designated); ii. a copyright notice; iii. a notice that refers to this Public License; iv. a notice that refers to the disclaimer of warranties; v. a URI or hyperlink to the Licensed Material to the extent reasonably practicable; B. indicate if You modified the Licensed Material and retain an indication of any previous modifications; and C. indicate the Licensed Material is licensed under this Public License, and include the text of, or the URI or hyperlink to, this Public License. For the avoidance of doubt, You do not have permission under this Public License to Share Adapted Material. 2. You may satisfy the conditions in Section 3(a)(1) in any reasonable manner based on the medium, means, and context in which You Share the Licensed Material. For example, it may be reasonable to satisfy the conditions by providing a URI or hyperlink to a resource that includes the required information. 3. If requested by the Licensor, You must remove any of the information required by Section 3(a)(1)(A) to the extent reasonably practicable. ### Section 4 – Sui Generis Database Rights. Where the Licensed Rights include Sui Generis Database Rights that apply to Your use of the Licensed Material: a. for the avoidance of doubt, Section 2(a)(1) grants You the right to extract, reuse, reproduce, and Share all or a substantial portion of the contents of the database for NonCommercial purposes only and provided You do not Share Adapted Material; b. if You include all or a substantial portion of the database contents in a database in which You have Sui Generis Database Rights, then the database in which You have Sui Generis Database Rights (but not its individual contents) is Adapted Material; and c. You must comply with the conditions in Section 3(a) if You Share all or a substantial portion of the contents of the database. For the avoidance of doubt, this Section 4 supplements and does not replace Your obligations under this Public License where the Licensed Rights include other Copyright and Similar Rights. ### Section 5 – Disclaimer of Warranties and Limitation of Liability. a. __Unless otherwise separately undertaken by the Licensor, to the extent possible, the Licensor offers the Licensed Material as-is and as-available, and makes no representations or warranties of any kind concerning the Licensed Material, whether express, implied, statutory, or other. This includes, without limitation, warranties of title, merchantability, fitness for a particular purpose, non-infringement, absence of latent or other defects, accuracy, or the presence or absence of errors, whether or not known or discoverable. Where disclaimers of warranties are not allowed in full or in part, this disclaimer may not apply to You.__ b. __To the extent possible, in no event will the Licensor be liable to You on any legal theory (including, without limitation, negligence) or otherwise for any direct, special, indirect, incidental, consequential, punitive, exemplary, or other losses, costs, expenses, or damages arising out of this Public License or use of the Licensed Material, even if the Licensor has been advised of the possibility of such losses, costs, expenses, or damages. Where a limitation of liability is not allowed in full or in part, this limitation may not apply to You.__ c. The disclaimer of warranties and limitation of liability provided above shall be interpreted in a manner that, to the extent possible, most closely approximates an absolute disclaimer and waiver of all liability. ### Section 6 – Term and Termination. a. This Public License applies for the term of the Copyright and Similar Rights licensed here. However, if You fail to comply with this Public License, then Your rights under this Public License terminate automatically. b. Where Your right to use the Licensed Material has terminated under Section 6(a), it reinstates: 1. automatically as of the date the violation is cured, provided it is cured within 30 days of Your discovery of the violation; or 2. upon express reinstatement by the Licensor. For the avoidance of doubt, this Section 6(b) does not affect any right the Licensor may have to seek remedies for Your violations of this Public License. c. For the avoidance of doubt, the Licensor may also offer the Licensed Material under separate terms or conditions or stop distributing the Licensed Material at any time; however, doing so will not terminate this Public License. d. Sections 1, 5, 6, 7, and 8 survive termination of this Public License. ### Section 7 – Other Terms and Conditions. a. The Licensor shall not be bound by any additional or different terms or conditions communicated by You unless expressly agreed. b. Any arrangements, understandings, or agreements regarding the Licensed Material not stated herein are separate from and independent of the terms and conditions of this Public License. ### Section 8 – Interpretation. a. For the avoidance of doubt, this Public License does not, and shall not be interpreted to, reduce, limit, restrict, or impose conditions on any use of the Licensed Material that could lawfully be made without permission under this Public License. b. To the extent possible, if any provision of this Public License is deemed unenforceable, it shall be automatically reformed to the minimum extent necessary to make it enforceable. If the provision cannot be reformed, it shall be severed from this Public License without affecting the enforceability of the remaining terms and conditions. c. No term or condition of this Public License will be waived and no failure to comply consented to unless expressly agreed to by the Licensor. d. Nothing in this Public License constitutes or may be interpreted as a limitation upon, or waiver of, any privileges and immunities that apply to the Licensor or You, including from the legal processes of any jurisdiction or authority. > Creative Commons is not a party to its public licenses. Notwithstanding, Creative Commons may elect to apply one of its public licenses to material it publishes and in those instances will be considered the “Licensor.” Except for the limited purpose of indicating that material is shared under a Creative Commons public license or as otherwise permitted by the Creative Commons policies published at [creativecommons.org/policies](http://creativecommons.org/policies), Creative Commons does not authorize the use of the trademark “Creative Commons” or any other trademark or logo of Creative Commons without its prior written consent including, without limitation, in connection with any unauthorized modifications to any of its public licenses or any other arrangements, understandings, or agreements concerning use of licensed material. For the avoidance of doubt, this paragraph does not form part of the public licenses. > > Creative Commons may be contacted at [creativecommons.org](http://creativecommons.org). ================================================ FILE: readme.md ================================================ ✨ News: 我们开源了一款多智能体开发框架Agent-Kernel，让大家轻松玩转大规模多智能体系统！一百个智能体在自己的笔记本电脑上就能跑起来哦~ 科研、毕设、大创、SRTP都是让人眼前一亮的创新神器！ Github 地址: https://github.com/ZJU-LLMs/Agent-Kernel 快来看看吧！

大模型基础

本书旨在为对大语言模型感兴趣的读者系统地讲解相关基础知识、介绍前沿技术。作者团队将认真听取开源社区以及广大专家学者的建议，持续进行**月度更新**，致力打造**易读、严谨、有深度**的大模型教材。并且，本书还将针对每章内容配备相关的**Paper List**，以跟踪相关技术的**最新进展**。 本书第一版包括**传统语言模型**、**大语言模型架构演化**、**Prompt工程**、**参数高效微调**、**模型编辑**、**检索增强生成**等六章内容。为增加本书的易读性，每章分别以**一种动物**为背景，对具体技术进行举例说明，故此本书以六种动物作为封面。当前版本所含内容均来源于作者团队对相关方向的探索与理解，如有谬误，恳请大家多提issue，多多赐教。后续，作者团队还将继续探索大模型推理加速、大模型智能体等方向。相关内容也将陆续补充到本书的后续版本中，期待封面上的动物越来越多。 当前完整的本书PDF版本路径为大模型基础.pdf。另外，我们还提供了两个文件夹，大语言模型分章节内容文件夹中包含了各章节的PDF版本。而大语言模型相关论文文件夹中包含了各章节的相关论文，当前正处于不断更新中。 其中每个章节的内容目录如下表所示。 ## 本书目录
章节 所含内容
第 1 章：语言模型基础 1.1 基于统计方法的语言模型 1.2 基于 RNN 的语言模型 1.3 基于 Transformer 的语言模型
1.4 语言模型的采样方法 1.5 语言模型的评测
第 2 章：大语言模型 2.1 大数据 + 大模型 → 新智能 2.2 大语言模型架构概览 2.3 基于 Encoder-only 架构的大语言模型
2.4 基于 Encoder-Decoder 架构的大语言模型 2.5 基于 Decoder-only 架构的大语言模型 2.6 非 Transformer 架构
第 3 章：Prompt 工程 3.1 Prompt 工程简介 3.2 上下文学习 3.3 思维链
3.4 Prompt 技巧 3.5 相关应用
第 4 章：参数高效微调 4.1 参数高效微调简介 4.2 参数附加方法 4.3 参数选择方法
4.4 低秩适配方法 4.5 实践与应用
第 5 章：模型编辑 5.1 模型编辑简介 5.2 模型编辑经典方法 5.3 附加参数法：T-Patcher
5.4 定位编辑法：ROME 5.5 模型编辑应用
第 6 章：检索增强生成 6.1 检索增强生成简介 6.2 检索增强生成架构 6.3 知识检索
6.4 生成增强 6.5 实践与应用
## 致谢 本书的不断优化，将仰仗各位读者的帮助与支持。您的建议将成为我们持续向前的动力！ 所有提出issue的人，我们都列举在此，以表达我们深深的谢意。 如果有此书相关的其他问题，请随时联系我们，可发送邮件至：xuwenyi@zju.edu.cn。
================================================ FILE: 大模型经典论文列表/readme.md ================================================ # 大模型基础论文列表 - [语言模型基础](#语言模型基础) - [基于统计方法的语言模型](#基于统计方法的语言模型) - [基于 RNN 的语言模型](#基于-rnn-的语言模型) - [基于 Transformer 的语言模型](#基于-transformer-的语言模型) - [语言模型的采样方法](#语言模型的采样方法) - [语言模型的评测](#语言模型的评测) - [大语言模型](#大语言模型) - [大数据+大模型→新智能](#大数据大模型新智能) - [大语言模型架构概览](#大语言模型架构概览) - [基于 Encoder-only 架构的大语言模型](#基于-encoder-only-架构的大语言模型) - [基于 Encoder-Decoder 架构的大语言模型](#基于-encoder-decoder-架构的大语言模型) - [基于 Decoder-only 架构的大语言模型](#基于-decoder-only-架构的大语言模型) - [非 Transformer 架构](#非-transformer-架构) - [Prompt 工程](#prompt-工程) - [Prompt 工程简介](#prompt-工程简介) - [上下文学习](#上下文学习) - [思维链](#思维链) - [Prompt 技巧](#prompt-技巧) - [相关应用](#相关应用) - [参数高效微调](#参数高效微调) - [参数高效微调简介](#参数高效微调简介) - [参数附加方法](#参数附加方法) - [参数选择方法](#参数选择方法) - [低秩适配方法](#低秩适配方法) - [实践与应用](#实践与应用) - [模型编辑](#模型编辑) - [模型编辑简介](#模型编辑简介) - [模型编辑经典方法](#模型编辑经典方法) - [附加参数法：T-Patcher](#附加参数法t-patcher) - [定位编辑法：ROME](#定位编辑法rome) - [模型编辑应用](#模型编辑应用) - [检索增强生成](#检索增强生成) - [检索增强生成简介](#检索增强生成简介) - [检索增强生成架构](#检索增强生成架构) - [知识检索](#知识检索) - [生成增强](#生成增强) - [实践与应用](#实践与应用) ## 语言模型基础 ### 基于统计方法的语言模型 1. **Foundations of statistical natural language processing.** `BOOK` *Chris Manning, Hinrich Sch{\"{u}}tze* [[PDF](https://nlp.stanford.edu/fsnlp/)], 1999 2. **Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition.Third Edition.** `BOOK` *Daniel Jurafsky, James H. Martin* [[PDF](https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf)], 2023 ### 基于 RNN 的语言模型 1. **A learning algorithm for continually running fully recurrent neural networks.** `Neural computation` *RJ Williams, D Zipser.* [[PDF](https://gwern.net/doc/ai/nn/rnn/1989-williams-2.pdf)], 1989 2. **Long Short-Term Memory.** `Neural Computing` *Sepp Hochreiter, J{\"{u}}rgen Schmidhuber* [[PDF](https://deeplearning.cs.cmu.edu/F23/document/readings/LSTM.pdf)], 1997 3. **On the difficulty of training Recurrent Neural Networks.** `ICML` *Razvan Pascanu, Tomas Mikolov, Yoshua Bengio.* [[PDF](https://arxiv.org/abs/1211.5063)], 2012 4. **Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling.** `arXiv` *Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, Yoshua Bengio* [[PDF](https://arxiv.org/abs/1412.3555)], 2014 5. **Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks.** `NeurIPS` *Samy Bengio, Oriol Vinyals, Navdeep Jaitly, Noam Shazeer* [[PDF](https://arxiv.org/abs/1506.03099)], 2015 ### 基于 Transformer 的语言模型 1. **Layer Normalization.** `arXiv` *Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton* [[PDF](https://arxiv.org/abs/1607.06450)], 2016 2. **Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.** `JMLR` *Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu.* [[PDF](https://arxiv.org/abs/1910.10683)], 2019 3. **Transformer Feed-Forward Layers Are Key-Value Memories.** `EMNLP` *Mor Geva, Roei Schuster, Jonathan Berant, Omer Levy* [[PDF](https://arxiv.org/abs/2012.14913)], 2021 4. **ResiDual: Transformer with Dual Residual Connections.** `arXiv` *Shufang Xie, Huishuai Zhang, Junliang Guo, Xu Tan, Jiang Bian, Hany Hassan Awadalla, Arul Menezes, Tao Qin, Rui Yan.* [[PDF](https://arxiv.org/abs/2304.14802)], 2023 ### 语言模型的采样方法 1. **Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models.** `AAAI` *Ashwin K Vijayakumar, Michael Cogswell, Ramprasath R. Selvaraju, Qing Sun, Stefan Lee, David Crandall, Dhruv Batra.* [[PDF](https://arxiv.org/abs/1610.02424)], 2018 2. **The Curious Case of Neural Text Degeneration.** `ICLR` *Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi* [[PDF](https://arxiv.org/abs/1904.09751)], 2020 ### 语言模型的评测 1. **Perplexity—a Measure of the Difficulty of Speech Recognition Tasks.** `JASA` *F. Jelinek, R. L. Mercer, L. R. Bahl, J. K. Baker* [[PDF](https://pubs.aip.org/asa/jasa/article/62/S1/S63/642598/Perplexity-a-measure-of-the-difficulty-of-speech)], 1997 2. **ROUGE: A Package for Automatic Evaluation of Summaries.** `ACL` *Chin-Yew Lin* [[PDF](https://aclanthology.org/W04-1013/)], 2004 3. **BLEU might be Guilty but References are not Innocent.** `EMNLP` *Markus Freitag, David Grangier, Isaac Caswell* [[PDF](https://arxiv.org/abs/2004.06063)], 2020 4. **BERTScore: Evaluating Text Generation with BERT.** `ICLR` *Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi.* [[PDF](https://arxiv.org/abs/1904.09675)], 2020 5. **Leveraging Large Language Models for NLG Evaluation: Advances and Challenges.** `arXiv` *Zhen Li, Xiaohan Xu, Tao Shen, Can Xu, Jia-Chen Gu, Yuxuan Lai, Chongyang Tao, Shuai Ma* [[PDF](https://arxiv.org/abs/2401.07103)], 2024 6. **G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment.** `EMNLP` *Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, Chenguang Zhu* [[PDF](https://arxiv.org/abs/2303.16634)], 2023 7. **INSTRUCTSCORE: Towards Explainable Text Generation Evaluation with Automatic Feedback.** `EMNLP` *Wenda Xu, Danqing Wang, Liangming Pan, Zhenqiao Song, Markus Freitag, William Wang, Lei Li.* [[PDF](https://aclanthology.org/2023.emnlp-main.365/)], 2023 ## 大语言模型 ### 大数据+大模型→新智能 1. **Scaling laws for neural language models.** `arXiv` *Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei.* [[PDF](https://arxiv.org/pdf/2001.08361)], 2020. 2. **Training Compute-Optimal Large Language Models** `arXiv` *Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre.* [[PDF](https://arxiv.org/pdf/2203.15556)], 2022. 3. **PaLM 2 Technical Report.** `arXiv` *Google.* [[PDF](https://arxiv.org/pdf/2305.10403)], 2023. ### 大语言模型架构概览 1. **Attention is all you need.** `NeurIPS` *Vaswani, Ashish and Shazeer, Noam and Parmar, Niki and Uszkoreit, Jakob and Jones, Llion and Gomez, Aidan N and Kaiser, Lukasz and Polosukhin, Illia.* [[PDF](https://arxiv.org/pdf/1706.03762)], 2017. ### 基于 Encoder-only 架构的大语言模型 1. **A survey on contextual embeddings.** `arXiv` *Qi Liu, Matt J. Kusner, Phil Blunsom.* [[PDF](https://arxiv.org/pdf/2003.07278)], 2020. 2. **BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.** `NAACL` *Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova.* [[PDF](https://aclanthology.org/N19-1423.pdf)][[Code](https://github.com/google-research/bert)], 2018. 3. **RoBERTa: A Robustly Optimized BERT Pretraining Approach.** `arXiv` *Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov.* [[PDF](https://arxiv.org/abs/1907.11692)][[Code](https://github.com/pytorch/fairseq)], 2019. 4. **ALBERT: A Lite BERT for Self-supervised Learning of Language Representations.** `arXiv` *Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut.* [[PDF](https://arxiv.org/pdf/1909.11942)][[Code](https://github.com/google-research/ALBERT)], 2019. 5. **ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators.** `arXiv` *Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning.* [[PDF](https://arxiv.org/pdf/2003.10555)][[Code](https://github.com/google-research/electra)], 2020. ### 基于 Encoder-Decoder 架构的大语言模型 1. **Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.** `arXiv` *Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu.* [[PDF](https://arxiv.org/pdf/1910.10683)][[Code](https://github.com/google-research/text-to-text-transfer-transformer)], 2019. 2. **Multitask Prompted Training Enables Zero-Shot Task Generalization.** `arXiv` *Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Tali Bers, Stella Biderman, Leo Gao, Thomas Wolf, Alexander M. Rush.* [[PDF](https://arxiv.org/pdf/2110.08207)][[Code](https://github.com/bigscience-workshop/promptsource)], 2021. 3. **mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer.** `NAACL` *Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel.* [[PDF](https://aclanthology.org/2021.naacl-main.41.pdf)][[Code](https://goo.gle/mt5-code)], 2021. 4. **Scaling Instruction-Finetuned Language Models.** `Journal of Machine Learning Research` *Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Alex Castro-Ros, Marie Pellat, Kevin Robinson, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, Jason Wei.* [[PDF](https://www.jmlr.org/papers/volume25/23-0870/23-0870.pdf)][[Code](https://github.com/google-research/t5x/blob/main/docs/models.md#flan-t5-checkpoints)], 2024. 5. **Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension.** `ACL` *Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoyer.* [[PDF](https://aclanthology.org/2020.acl-main.703.pdf)][[Code](https://github.com/facebookresearch/fairseq/blob/main/examples/bart)], 2020. 6. **Multilingual denoising pre-training for neural machine translation.** `Transactions of the Association for Computational Linguistics` *Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, Luke Zettlemoyer.* [[PDF](https://arxiv.org/pdf/2001.08210)][[Code](https://github.com/facebookresearch/fairseq/blob/main/examples/mbart)], 2020. ### 基于 Decoder-only 架构的大语言模型 1. **Improving language understanding by generative pre-training.** `Online` *Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever.* [[PDF](https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf)], 2018. 2. **Language models are unsupervised multitask learners.** `Online` *Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever.* [[PDF](https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)], 2019. 3. **Language models are few-shot learners.** `NeurIPS` *Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei.* [[PDF](https://papers.nips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf)], 2020. 4. **Evaluating Large Language Models Trained on Code.** `arXiv` *Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, Wojciech Zaremba.* [[PDF](https://arxiv.org/pdf/2107.03374)], 2021. 5. **WebGPT: Browser-assisted question-answering with human feedback.** `arXiv` *Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, John Schulman.* [[PDF](https://arxiv.org/pdf/2112.09332)], 2021. 6. **Training language models to follow instructions with human feedback.** `NeurIPS` *Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe.* [[PDF](https://proceedings.neurips.cc/paper_files/paper/2022/file/b1efde53be364a73914f58805a001731-Paper-Conference.pdf)], 2022. 7. **Introducing chatgpt.** `Online` *OpenAI.* [[PDF](https://openai.com/blog/chatgpt)], 2023. 8. **Gpt-4 technical report.** `Online` *OpenAI.* [[PDF](https://openai.com/index/gpt-4-research)], 2023. 9. **Gpt-4 technical report.** `Online` *OpenAI.* [[PDF](https://openai.com/index/hello-gpt-4o)], 2024. 10. **Gpt-4 technical report.** `Online` *OpenAI.* [[PDF](https://openai.com/index/hello-gpt-4o)], 2024. 11. **LLaMA: Open and Efficient Foundation Language Models.** `arXiv` *Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample.* [[PDF](https://arxiv.org/pdf/2302.13971)][[Code](https://github.com/facebookresearch/llama)], 2023. 12. **Llama 2: Open Foundation and Fine-Tuned Chat Models.** `arXiv` *Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, Thomas Scialom.* [[PDF](https://arxiv.org/pdf/2307.09288)][[Code](https://github.com/facebookresearch/llama/)], 2023. 13. **Introducing Meta Llama 3: The most capable openly available LLM to date.** `Online` *Meta AI.* [[PDF](https://ai.meta.com/blog/meta-llama-3/)][[Code](https://github.com/meta-llama/llama3)], 2024. 14. **Alpaca: A Strong, Replicable Instruction-Following Model.** `Online` *Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, Tatsunori B. Hashimoto.* [[PDF](https://crfm.stanford.edu/2023/03/13/alpaca.html)][[Code](https://github.com/tatsu-lab/stanford_alpaca)], 2023. 15. **Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%\* ChatGPT Quality.** `Online` *The Vicuna Team.* [[PDF](https://lmsys.org/blog/2023-03-30-vicuna)][[Code](https://github.com/lm-sys/FastChat)], 2023. 16. **QLoRA: Efficient Finetuning of Quantized LLMs.** `arXiv` *Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer.* [[PDF](https://arxiv.org/pdf/2305.14314)][[Code](https://github.com/artidoro/qlora)], 2023. 17. **Code Llama: Open Foundation Models for Code.** `arXiv` *Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Romain Sauvestre, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, Gabriel Synnaeve.* [[PDF](https://arxiv.org/pdf/2308.12950)][[Code](https://github.com/facebookresearch/codellama)], 2023. 18. **A Brief Report on LawGPT 1.0: A Virtual Legal Assistant Based on GPT-3.** `arXiv` *Ha-Thanh Nguyen.* [[PDF](https://arxiv.org/pdf/2302.05729)], 2023. 19. **Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks.** `arXiv` *Tiedong Liu, Bryan Kian Hsiang Low.* [[PDF](https://arxiv.org/pdf/2305.14201)][[Code](https://github.com/liutiedong/goat)], 2023. 20. **Visual instruction tuning.** `NeurIPS` *Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee.* [[PDF](https://papers.nips.cc/paper_files/paper/2023/file/6dcf277ea32ce3288914faf369fe6de0-Paper-Conference.pdf)][[Code](https://llava-vl.github.io/)], 2023. 21. **MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models.** `arXiv` *Deyao Zhu, Jun Chen, Xiaoqian Shen, Xiang Li, Mohamed Elhoseiny.* [[PDF](https://arxiv.org/pdf/2304.10592)][[Code](https://minigpt-4.github.io/)], 2023. ### 非 Transformer 架构 1. **Efficiently modeling long sequences with structured state spaces.** `arXiv` *Albert Gu, Karan Goel, Christopher Ré.* [[PDF](https://arxiv.org/abs/2111.00396)][[Code](https://github.com/state-spaces/s4)], 2021. 2. **On the Parameterization and Initialization of Diagonal State Space Models.** `NeurIPS` *Albert Gu, Karan Goel, Ankit Gupta, Christopher Ré.* [[PDF](https://arxiv.org/abs/2206.11893)], 2022. 3. **RWKV: Reinventing RNNs for the Transformer Era.** `EMNLP` *Bo Peng, Eric Alcaide, Quentin Anthony, Alon Albalak, Samuel Arcadinho, Stella Biderman, Huanqi Cao, Xin Cheng, Michael Chung, Leon Derczynski, Xingjian Du, Matteo Grella, Kranthi Kiran GV, Xuzheng He, Haowen Hou, Przemyslaw Kazienko, Jan Kocon, Jiaming Kong, Bartlomiej Koptyra, Hayden Lau, Jiaju Lin, Krishna Sri Ipsit Mantri, Ferdinand Mom, Atsushi Saito, Guangyu Song, Xiangru Tang, Johan S. Wind, Stanislaw Wozniak, Zhenyuan Zhang, Qinghua Zhou, Jian Zhu, Rui-Jie Zhu* [[PDF](https://arxiv.org/abs/2305.13048)][[Code](https://github.com/BlinkDL/RWKV-LM)], 2023. 4. **Mamba: Linear-Time Sequence Modeling with Selective State Spaces.** `arXiv` *Albert Gu, Tri Dao.* [[PDF](https://arxiv.org/abs/2312.00752)][[Code](https://github.com/state-spaces/mamba)], 2023. 5. **Learning to (Learn at Test Time): RNNs with Expressive Hidden States.** `arXiv` *Yu Sun, Xinhao Li, Karan Dalal, Jiarui Xu, Arjun Vikram, Genghan Zhang, Yann Dubois, Xinlei Chen, Xiaolong Wang, Sanmi Koyejo, et al.* [[PDF](https://arxiv.org/abs/2407.04620)][[Code](https://github.com/test-time-training/ttt-lm-pytorch)], 2024. ## Prompt 工程 ### Prompt 工程简介 1. **A Survey of Large Language Models.** `arXiv` *Wayne Xin Zhao, Qian Liu, Zhicheng Dou, Jian-Yun Nie, and Ji-Rong Wen.*[[PDF](https://arxiv.org/abs/2303.18223)], 2023. 2. **LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models** `EMNLP` *Huiqiang Jiang, Qianhui Wu, Chin-Yew Lin, Yuqing Yang, Lili Qiu.* [[PDF](https://arxiv.org/pdf/2310.05736)] [[Code](https://github.com/microsoft/LLMLingua)], 2023. 3. **FIT-RAG: Black-Box RAG with Factual Information and Token Reduction.** `arXiv` *Yuren Mao, Xuemei Dong, Wenyi Xu, Yunjun Gao, Bin Wei, Ying Zhang.*[[PDF](https://arxiv.org/abs/2403.14374)], 2024. 4. **DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model** `arXiv` *DeepSeek-AI.* [[PDF](https://arxiv.org/abs/2405.04434)] [[Code](https://huggingface.co/papers/2405.04434)], 2024. 5. **Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task.** `EMNLP` *Tao Yu, Rui Zhang, Kai Yang, Michihiro Yasunaga, Dongxu Wang, Zifan Li, James Ma, Irene Li, Qingning Yao, Shanelle Roman, Zilin Zhang, Dragomir Radev.*[[PDF](https://arxiv.org/abs/1809.08887)] [[Code](https://github.com/taoyds/spider)], 2018. 6. **Measuring Massive Multitask Language Understanding** `ICLR` *Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt.* [[PDF](https://arxiv.org/abs/2009.03300)] [[Code](https://github.com/hendrycks/test)], 2021. 7. **FinSQL: Model-Agnostic LLMs-based Text-to-SQL Framework for Financial Analysis.** `SIGMOD` *Chao Zhang, Yuren Mao, Yijiang Fan, Yu Mi, Yunjun Gao, Lu Chen, Dongfang Lou, Jinshu Lin.*[[PDF](https://arxiv.org/abs/2401.10506)] [[Code](https://github.com/bigbigwatermalon/FinSQL)], 2024. 8. **Alpaca: A strong, replicable instruction-following model.** `Stanford Center for Research on Foundation Models` *Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, and Percy Liang.*[[PDF](https://crfm.stanford.edu/2023/03/13/alpaca.html)] [[Code](https://github.com/tatsu-lab/stanford_alpaca)], 2023. 9. **Wizardcoder: Empowering code large language models with evol-instruct.** `arXiv` *Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang.*[[PDF](https://arxiv.org/abs/2306.08568)] [[Code](https://wizardlm.github.io/WizardCoder/)], 2023. 10. **Generative Agents: Interactive Simulacra of Human Behavior.** `UIST` *Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein.*[[PDF](https://arxiv.org/abs/2304.03442)] [[Code](https://github.com/joonspk-research/generative_agents)], 2023. ### 上下文学习 1. **Language Models are Few-Shot Learners** `NeurIPS` *Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei.* [[PDF](https://arxiv.org/abs/2005.14165)] [[Code](https://github.com/openai/gpt-3)], 2020. 2. **An Explanation of In-context Learning as Implicit Bayesian Inference.** `ICLR` *Sang Michael Xie, Aditi Raghunathan, Percy Liang, Tengyu Ma.*[[PDF](https://arxiv.org/abs/2111.02080)], 2022. 3. **In-context Learning with Retrieved Demonstrations for Language Models: A Survey.** `arXiv` *Man Luo, Xin Xu, Yue Liu, Panupong Pasupat, Mehran Kazemi.*[[PDF](https://arxiv.org/abs/2401.11624)], 2024. 4. **What Makes Good In-Context Examples for GPT-3?** `ACL` *Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, Weizhu Chen.*[[PDF](https://arxiv.org/abs/2101.06804)] [[Code](https://github.com/jiachangliu/KATEGPT3)], 2022. 5. **Self-Prompting Large Language Models for Zero-Shot Open-Domain QA** `arXiv` *Junlong Li, Jinyuan Wang, Zhuosheng Zhang, Hai Zhao.* [[PDF](https://arxiv.org/abs/2212.08635)] [[Code](https://github.com/lockon-n/self-prompting)], 2024. 6. **Long Short-Term Memory** `Neural Computation` *Sepp Hochreiter, Jürgen Schmidhuber.* [[PDF](https://www.bioinf.jku.at/publications/older/2604.pdf)] [[Code](https://github.com/topics/long-short-term-memory)], 1997. 7. **The Mystery of In-Context Learning: A Comprehensive Survey on Interpretation and Analysis.** `arXiv` *Yuxiang Zhou, Jiazheng Li, Yanzheng Xiang, Hanqi Yan, Lin Gui, Yulan He.*[[PDF](https://arxiv.org/abs/2311.00237)], 2024. 8. **On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model.** `NAACL` *Seongjin Shin, Sang-Woo Lee, Hwijeen Ahn, Sungdong Kim, HyoungSeok Kim, Boseop Kim, Kyunghyun Cho, Gichang Lee, Woomyoung Park, Jung-Woo Ha, Nako Sung.*[[PDF](https://arxiv.org/abs/2204.13509)], 2022. 9. **Pretraining task diversity and the emergence of non-Bayesian in-context learning for regression.** `NeurIPS` *Allan Raventós, Mansheej Paul, Feng Chen, Surya Ganguli.*[[PDF](https://arxiv.org/abs/2306.15063)] [[Code](https://github.com/mansheej/icl-task-diversity)], 2023. 10. **Data Distributional Properties Drive Emergent In-Context Learning in Transformers** `NeurIPS` *Stephanie C.Y. Chan, Adam Santoro, Andrew K. Lampinen, Jane X. Wang, Aaditya Singh, Pierre H. Richemond, Jay McClelland, Felix Hill.* [[PDF](https://arxiv.org/abs/2205.05055)] [[Code](https://github.com/google-deepmind/emergent_in_context_learning)], 2022. 11. **Emergent Abilities of Large Language Models.** `Transaction of Machine Learning Research` *Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus.*[[PDF](https://arxiv.org/abs/2206.07682)], 2022. 12. **In-Context Learning Learns Label Relationships but Is Not Conventional Learning** `arXiv` *Jannik Kossen, Yarin Gal, Tom Rainforth.* [[PDF](https://arxiv.org/abs/2307.12375)] [[Code](https://github.com/jlko/in_context_learning)], 2024. 13. **Ground-Truth Labels Matter: A Deeper Look into Input-Label Demonstrations.** `EMNLP` *Kang Min Yoo, Junyeob Kim, Hyuhng Joon Kim, Hyunsoo Cho, Hwiyeol Jo, Sang-Woo Lee, Sang-goo Lee, Taeuk Kim.*[[PDF](https://arxiv.org/abs/2205.12685)], 2022. 14. **What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning.** `ACL` *Jane Pan, Tianyu Gao, Howard Chen, Danqi Chen.*[[PDF](https://arxiv.org/abs/2305.09731)] [[Code](https://github.com/princeton-nlp/WhatICLLearns)], 2023. 15. **Emergent Abilities of Large Language Models.** `Transaction of Machine Learning Research` *Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus.*[[PDF](https://arxiv.org/abs/2206.07682)], 2022. 16. **Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?** `EMNLP` *Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi, Luke Zettlemoyer.*[[PDF](https://arxiv.org/abs/2202.12837)] [[Code](https://github.com/Alrope123/rethinking-demonstrations)], 2022. 17. **Unified Demonstration Retriever for In-Context Learning.** `ACL` *Xiaonan Li, Kai Lv, Hang Yan, Tianyang Lin, Wei Zhu, Yuan Ni, Guotong Xie, Xiaoling Wang, Xipeng Qiu.*[[PDF](https://arxiv.org/abs/2305.04320)] [[Code](https://github.com/KaiLv69/UDR)], 2023. 18. **Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity.** `ACL` *Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, Pontus Stenetorp.*[[PDF](https://arxiv.org/abs/2104.08786)] [[Code](https://github.com/yaolu/ordered-prompt)], 2022. ### 思维链 1. **Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.** `NeurIPS` *Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou.*[[PDF](https://arxiv.org/abs/2201.11903)], 2022. 2. **Large Language Models are Zero-Shot Reasoners** `NeurIPS` *Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa.* [[PDF](https://arxiv.org/abs/2205.11916)] [[Code](https://github.com/kojima-takeshi188/zero_shot_cot)], 2022. 3. **Automatic Chain of Thought Prompting in Large Language Models.** `ICLR` *Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola.*[[PDF](https://arxiv.org/abs/2210.03493)] [[Code](https://github.com/amazon-science/auto-cot)], 2023. 4. **Tree of Thoughts: Deliberate Problem Solving with Large Language Models.** `NeurIPS` *Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan.*[[PDF](https://arxiv.org/abs/2305.10601)] [[Code](https://github.com/princeton-nlp/tree-of-thought-llm)], 2023. 5. **Graph of Thoughts: Solving Elaborate Problems with Large Language Models** `AAAI` *Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Michal Podstawski, Lukas Gianinazzi, Joanna Gajda, Tomasz Lehmann, Hubert Niewiadomski, Piotr Nyczyk, Torsten Hoefler.* [[PDF](https://arxiv.org/abs/2308.09687)] [[Code](https://github.com/spcl/graph-of-thoughts)], 2024. 6. **Self-Consistency Improves Chain of Thought Reasoning in Language Models.** `ICLR` *Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou.*[[PDF](https://arxiv.org/abs/2203.11171)], 2023. ### Prompt 技巧 1. **Lost in the middle: How language models use long contexts.** `Transactions of the Association for Computational Linguistics` *Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang.*[[PDF](https://arxiv.org/abs/2307.03172)] [[Code](https://github.com/nelson-liu/lost-in-the-middle)], 2024. 2. **C3: Zero-shot Text-to-SQL with ChatGPT** `arXiv` *Xuemei Dong, Chao Zhang, Yuhang Ge, Yuren Mao, Yunjun Gao, Lu Chen, Jinshu Lin, Dongfang Lou.* [[PDF](https://arxiv.org/abs/2307.07306)] [[Code](https://github.com/bigbigwatermalon/C3SQL)], 2023. 3. **PaLM: Scaling Language Modeling with Pathways** `Journal of Machine Learning Research` *Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, Noah Fiedel.* [[PDF](https://arxiv.org/abs/2204.02311)] [[Code](https://github.com/lucidrains/PaLM-pytorch)], 2023. 4. **Better Zero-Shot Reasoning with Role-Play Prompting** `arxiv` *Aobo Kong, Shiwan Zhao, Hao Chen, Qicheng Li, Yong Qin, Ruiqi Sun, Xin Zhou, Enzhi Wang, Xiaohang Dong.* [[PDF](https://arxiv.org/abs/2308.07702)] [[Code](https://github.com/NKU-HLT/Role-Play-Prompting)], 2023. ### 相关应用 1. **A survey on large language model based autonomous agents.** `Frontiers of Computer Science` *Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, Wayne Xin Zhao, Zhewei Wei, Ji-Rong Wen.*[[PDF](https://arxiv.org/abs/2308.11432)] [[Code](https://github.com/paitesanshi/llm-agent-survey)], 2024. 2. **Generative Agents: Interactive Simulacra of Human Behavior.** `UIST` *Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein.*[[PDF](https://arxiv.org/abs/2304.03442)] [[Code](https://github.com/joonspk-research/generative_agents)], 2023. 3. **HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face.** `Advances in Neural Information Processing Systems` *Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang.*[[PDF](https://arxiv.org/pdf/2303.17580)] [[Code](https://github.com/microsoft/JARVIS)], 2023. 4. **Garbage in, garbage out: Having useful data is everything.** `Measurement: Interdisciplinary Research and Perspectives` *L. Todd Rose and Kurt W. Fischer.*[[PDF](https://psycnet.apa.org/record/2011-27585-006)], 2011. 5. **Will we run out of data? Limits of LLM scaling based on human-generated data.** `arxiv` *Pablo Villalobos, Colin Raffel, and Tim Dettmers.*[[PDF](https://arxiv.org/abs/2211.04325)], 2022. 6. **Self-Instruct: Aligning Language Models with Self-Generated Instructions.** `ACL` *Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi.*[[PDF](https://arxiv.org/abs/2212.10560)] [[Code](https://github.com/yizhongw/self-instruct)], 2023. 7. **C3: Zero-shot Text-to-SQL with ChatGPT** `arXiv` *Xuemei Dong, Chao Zhang, Yuhang Ge, Yuren Mao, Yunjun Gao, Lu Chen, Jinshu Lin, Dongfang Lou.* [[PDF](https://arxiv.org/abs/2307.07306)] [[Code](https://github.com/bigbigwatermalon/C3SQL)], 2023. ## 参数高效微调 ### 参数高效微调简介 1. **Efficient Large Language Models: A Survey.** `arXiv` *Zhongwei Wan, Xin Wang, Che Liu, Samiul Alam, Yu Zheng, Jiachen Liu, Zhongnan Qu, Shen Yan, Yi Zhu, Quanlu Zhang, Mosharaf Chowdhury, Mi Zhang.* [[PDF](https://arxiv.org/abs/2312.03863)] [[Code](https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey)], 2023. 2. **A Survey for In-context Learning.** `arXiv` *Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Jingyuan Ma, Rui Li, Heming Xia, Jingjing Xu, Zhiyong Wu, Baobao Chang, Xu Sun, Lei Li, Zhifang Sui.* [[PDF](https://arxiv.org/abs/2301.00234)] [[Code](https://github.com/dqxiu/ICL_PaperList)], 2023. 3. **Instruction Tuning for Large Language Models: A Survey.** `arXiv` *Shengyu Zhang, Linfeng Dong, Xiaoya Li, Sen Zhang, Xiaofei Sun, Shuhe Wang, Jiwei Li, Runyi Hu, Tianwei Zhang, Fei Wu, Guoyin Wang.* [[PDF](https://arxiv.org/abs/2308.10792)] [[Code](https://github.com/dqxiu/ICL_PaperList)], 2023. 4. **Finetuned language models are zero-shot learners.** `arXiv` *Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, Quoc V. Le.* [[PDF](https://arxiv.org/abs/2109.01652)] [[Code](https://github.com/google-research/flan)], 2021. 5. **Multitask Prompted Training Enables Zero-Shot Task Generalization.** `ICLR` *Victor Sanh et al.* [[PDF](https://arxiv.org/abs/2110.08207)] [[Code](https://github.com/bigscience-workshop/promptsource.git)], 2022. 6. **Instruction in the Wild: A User-based Instruction Dataset.** `GitHub` *Jinjie Ni and Fuzhao Xue and Kabir Jain and Mahir Hitesh Shah and Zangwei Zheng and Yang You.* [[Code](https://github.com/XueFuzhao/InstructionWild)], 2023. 7. **Self-Instruct: Aligning Language Models with Self-Generated Instructions.** `ACL` *Yizhong Wang et al.* [[PDF](https://arxiv.org/abs/2212.10560)] [[Code](https://github.com/yizhongw/self-instruct.git)], 2023. 8. **Llama 2: Open foundation and fine-tuned chat models.** `arXiv` *Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi.* [[PDF](https://arxiv.org/abs/2307.09288)] [[Code](https://github.com/meta-llama/llama.git)], 2023. ### 参数附加方法 1. **The Power of Scale for Parameter-Efficient Prompt Tuning.** `EMNLP` *Brian Lester, Rami Al-Rfou, and Noah Constant* [[PDF](https://arxiv.org/abs/2104.08691)] [[Code](https://github.com/mkshing/Prompt-Tuning.git)], 2021. 2. **Prefix-Tuning: Optimizing Continuous Prompts for Generation.** `ACL` *Xiang Lisa Li and Percy Liang* [[PDF](https://arxiv.org/abs/2101.00190)] [[Code](https://github.com/XiangLi1999/PrefixTuning.git)], 2021. 3. **Parameter-Efficient Transfer Learning for NLP.** `ICML` *Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, Sylvain Gelly.* [[PDF](https://arxiv.org/abs/1902.00751)] [[Code](https://github.com/google-research/adapter-bert.git)], 2019. 4. **AdapterFusion: Non-Destructive Task Composition for Transfer Learning** `` *Jonas Pfeiffer, Aishwarya Kamath, Andreas Rücklé, Kyunghyun Cho, Iryna Gurevych.* [[PDF](https://arxiv.org/abs/2005.00247)] [[Code]()], 2020. 5. **SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters.** `Findings of EMNLP` *Shwai He, Liang Ding, Daize Dong, Miao Zhang, Dacheng Tao.* [[PDF](https://arxiv.org/abs/2210.04284)] [[Code](https://github.com/Shwai-He/SparseAdapter.git)], 2022. 6. **Counter-Interference Adapter for Multilingual Machine Translation.** `Findings of EMNLP` *Yaoming Zhu, Jiangtao Feng, Chengqi Zhao, Mingxuan Wang, Lei Li.* [[PDF](https://arxiv.org/abs/2104.08154)] [[Code](https://github.com/Yaoming95/CIAT.git)], 2021. 7. **Tuning Language Models by Proxy.** `arXiv` *Alisa Liu, Xiaochuang Han, Yizhong Wang, Yulia Tsvetkov, Yejin Choi, Noah A. Smith.* [[PDF](https://arxiv.org/abs/2401.08565)] [[Code](https://github.com/alisawuffles/proxy-tuning)], 2024. 8. **Training Neural Networks with Fixed Sparse Masks.** `NIPS` *Yi-Lin Sung, Varun Nair, Colin Raffel* [[PDF](https://arxiv.org/abs/2111.09839)] [[Code](https://github.com/VITA-Group/ToST)], 2021. ### 参数选择方法 1. **BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models.** `ACL` *Elad Ben Zaken, Shauli Ravfogel, Yoav Goldberg* [[PDF](https://arxiv.org/abs/2106.10199)] [[Code](https://github.com/benzakenelad/BitFit.git)], 2022. 2. **What Would Elsa Do? Freezing Layers During Transformer Fine-Tuning.** `arXiv` *Jaejun Lee, Raphael Tang, and Jimmy Lin* [[PDF](https://arxiv.org/abs/1911.03090)], 2019. 3. **On the Effectiveness of Parameter-Efficient Fine-Tuning.** `AAAI` *Zihao Fu, Haoran Yang, Anthony Man-Cho So, Wai Lam, Lidong Bing, Nigel Collier.* [[PDF](https://arxiv.org/abs/2211.15583)] [[Code](https://github.com/fuzihaofzh/AnalyzeParameterEfficientFinetune.git)], 2023. 4. **Parameter-Efficient Fine-Tuning without Introducing New Latency.** `ACL` *Baohao Liao, Yan Meng, and Christof Monz* [[PDF](https://arxiv.org/abs/2305.16742)], 2023. 5. **Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning.** `EMNLP` *Runxin Xu, Fuli Luo, Zhiyuan Zhang, Chuanqi Tan, Baobao Chang, Songfang Huang, Fei Huang.* [[PDF](https://arxiv.org/abs/2109.05687)] [[Code](https://github.com/pkunlp-icler/ChildTuning.git)], 2021. 6. **Masking as an Efficient Alternative to Finetuning for Pre-trained Language Models.** `EMNLP` *Mengjie Zhao, Tao Lin, Fei Mi, Martin Jaggi, Hinrich Schütze.* [[PDF](https://arxiv.org/abs/2004.12406)], 2020. 7. **Composable Sparse Fine-Tuning for Cross-Lingual Transfer.** `ACL` *Alan Ansell, Edoardo Maria Ponti, Anna Korhonen, Ivan Vulić.* [[PDF](https://arxiv.org/abs/2110.07560)] [[Code](https://github.com/cambridgeltl/composable-sft.git)], 2022. 8. **GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding.** `ICLR` *Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman.* [[PDF](https://arxiv.org/abs/1804.07461)] [[Code](https://github.com/nyu-mll/GLUE-baselines.git)], 2019. 9. **The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks.** `ICLR` *Jonathan Frankle and Michael Carbin* [[PDF](https://arxiv.org/abs/1803.03635)], 2019. 10. **Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning** `EMNLP` *Sarkar Snigdha Sarathi Das, Ranran Haoran Zhang, Peng Shi, Wenpeng Yin, Rui Zhang.* [[PDF](https://arxiv.org/abs/2311.03748)] [[Code](https://github.com/psunlpgroup/FISH-DIP.git)], 2023. ### 低秩适配方法 1. **LoRA: Low-Rank Adaptation of Large Language Models.** `ICLR` *Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen* [[PDF](https://arxiv.org/abs/2106.09685)] [[Code](https://github.com/microsoft/LoRA)], 2022 2. **Towards a Unified View of Parameter-Efficient Transfer Learning.** `ICLR` *Junxian He, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick, Graham Neubig.* [[PDF](https://arxiv.org/abs/2110.04366)] [[Code](https://github.com/jxhe/unify-parameter-efficient-tuning.git)], 2022. 3. **A Note on LoRA.** `arXiv` *Vlad Fomenko, Han Yu, Jongho Lee, Stanley Hsieh, Weizhu Chen.* [[PDF](https://arxiv.org/abs/2404.05086)], 2024. 4. **KronA: Parameter Efficient Tuning with Kronecker Adapter** `arXiv` *Ali Edalati, Marzieh Tahaei, Ivan Kobyzev, Vahid Partovi Nia, James J. Clark, Mehdi Rezagholizadeh.* [[PDF](https://arxiv.org/abs/2212.10650)], 2022. 5. **Parameter-Efficient Model Adaptation for Vision Transformers.** `AAAI` *Xuehai He,Chunyuan Li,Pengchuan Zhang,Jianwei Yang,Xin Eric Wang.* [[PDF](https://ojs.aaai.org/index.php/AAAI/article/view/25160/24932)], 2023. 6. **DoRA: Weight-Decomposed Low-Rank Adaptation.** `arXiv` *Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen.* [[PDF](https://arxiv.org/abs/2402.09353)] [[Code](https://github.com/nbasyl/DoRA.git)], 2024. 7. **LoRA Learns Less and Forgets Less** `arXiv` *Dan Biderman, Jose Gonzalez Ortiz, Jacob Portes, Mansheej Paul, Philip Greengard, Connor Jennings, Daniel King, Sam Havens, Vitaliy Chiley, Jonathan Frankle, Cody Blakeney, John P. Cunningham.* [[PDF](https://arxiv.org/abs/2405.09673)], 2024. 8. **GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection** `arXiv` *Jiawei Zhao, Zhenyu Zhang, Beidi Chen, Zhangyang Wang, Anima Anandkumar, Yuandong Tian.* [[PDF](https://arxiv.org/abs/2403.03507)], 2024. 9. **S-LoRA: Serving Thousands of Concurrent LoRA Adapters.** `arXiv` *Ying Sheng, Shiyi Cao, Dacheng Li, Coleman Hooper, Nicholas Lee, Shuo Yang, Christopher Chou, Banghua Zhu, Lianmin Zheng, Kurt Keutzer, Joseph E. Gonzalez, Ion Stoica.* [[PDF](https://arxiv.org/abs/2311.03285)] [[Code](https://github.com/S-LoRA/S-LoRA.git)], 2023. 10. **Sparse Low-rank Adaptation of Pre-trained Language Models.** `EMNLP` *Ning Ding, Xingtai Lv, Qiaosen Wang, Yulin Chen, Bowen Zhou, Zhiyuan Liu, Maosong Sun.* [[PDF](https://arxiv.org/abs/2311.11696)] [[Code](https://github.com/TsinghuaC3I/SoRA)], 2023. 11. **DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution.** `arXiv` *Yulong Mao, Kaiyu Huang, Changhao Guan, Ganglin Bao, Fengran Mo, Jinan Xu* [[PDF](https://arxiv.org/abs/2405.17357)] [[Code](https://github.com/MIkumikumi0116/DoRA)], 2024. 12. **ReLoRA: High-Rank Training Through Low-Rank Updates.** `NIPS Workshop` *Vladislav Lialin, Namrata Shivagunde, Sherin Muckatira, Anna Rumshisky.* [[PDF](https://arxiv.org/abs/2307.05695)] [[Code](https://github.com/Guitaricet/relora)],2023. 13. **SLTrain: a sparse plus low-rank approach for parameter and memory efficient pretraining.** `arXiv` *Andi Han, Jiaxiang Li, Wei Huang, Mingyi Hong, Akiko Takeda, Pratik Jawanpuria, Bamdev Mishra.* [[PDF](https://arxiv.org/abs/2406.02214)] [[Code](https://github.com/andyjm3/SLTrain)], 2024. 14. **Pissa: Principal singular values and singular vectors adaptation of large language models.** `arXiv` *Fanxu Meng, Zhaohui Wang, Muhan Zhang* [[PDF](https://arxiv.org/abs/2404.02948)] [[Code](https://github.com/GraphPKU/PiSSA)], 2024. 15. **MiLoRA: Harnessing Minor Singular Components for Parameter-Efficient LLM Finetuning.** `arXiv` *Hanqing Wang, Zeguan Xiao, Yixia Li, Shuo Wang, Guanhua Chen, Yun Chen.* [[PDF](https://arxiv.org/abs/2406.09044)], 2024. 16. **A Survey on LoRA of Large Language Models.** `arXiv` *Yuren Mao, Yuhang Ge, Yijiang Fan, Wenyi Xu, Yu Mi, Zhonghao Hu, Yunjun Gao.* [[PDF](https://arxiv.org/abs/2407.11046)] [[Code](https://github.com/ZJU-LLMs/Awesome-LoRAs.git)], 2024. 17. **Parameter-efficient fine-tuning of large-scale pre-trained language models.** `Nat. Mac. Intell.` *Ding, Ning, Yujia Qin, Guang Yang, Fuchao Wei, Zonghan Yang, Yusheng Su, Shengding Hu.* [[PDF](https://www.nature.com/articles/s42256-023-00626-4.pdf)], 2023. 18. **LoTR: Low Tensor Rank Weight Adaptation.** `arXiv` *Daniel Bershatsky, Daria Cherniuk, Talgat Daulbaev, Aleksandr Mikhalev, Ivan Oseledets.* [[PDF](https://arxiv.org/abs/2402.01376)], 2024. 19. **MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning.** `arXiv` *Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang.* [[PDF](https://arxiv.org/abs/2405.12130)] [[Code](https://github.com/kongds/MoRA)], 2024. 20. **Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning.** `arXiv` *Wenhan Xia, Chengwei Qin, Elad Hazan.* [[PDF](https://arxiv.org/abs/2401.04151)], 2024. 21. **Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning.** `ACL/IJCNLP` *Armen Aghajanyan, Luke Zettlemoyer, Sonal Gupta.* [[PDF](https://arxiv.org/abs/2012.13255)],2021. 22. **Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning.** `arXiv` *Pengjie Ren, Chengshun Shi, Shiguang Wu, Mengqi Zhang, Zhaochun Ren, Maarten de Rijke, Zhumin Chen, Jiahuan Pei* [[PDF](https://arxiv.org/abs/2402.17263)], 2024. 23. **LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning.** `arXiv` *Rui Pan, Xiang Liu, Shizhe Diao, Renjie Pi, Jipeng Zhang, Chi Han, Tong Zhang.* [[PDF](https://arxiv.org/abs/2403.17919)] [[Code](https://github.com/OptimalScale/LMFlow)], 2024. 24. **Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning.** `arXiv` *Wenhan Xia, Chengwei Qin, and Elad Hazan* [[PDF](https://arxiv.org/abs/2401.04151)], 2024. 25. **Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning.** `ICLR` *Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng He, Yu Cheng, Weizhu Chen, Tuo Zhao.* [[PDF](https://arxiv.org/abs/2303.10512)] [[Code](https://github.com/QingruZhang/AdaLoRA.git)], 2023. 26. **LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition.** `CoLM` *Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min Lin.* [[PDF](https://arxiv.org/abs/2307.13269)] [[Code](https://github.com/sail-sg/lorahub.git)], 2023. 27. **Dylora: Parameter efficient tuning of pre-trained models using dynamic search-free low-rank adaptation** `EACL` *Mojtaba Valipour, Mehdi Rezagholizadeh, Ivan Kobyzev, Ali Ghodsi.* [[PDF](https://arxiv.org/abs/2210.07558)] [[Code](github.com/huawei-noah/Efficient-NLP/tree/main/DyLoRA)], 2023. 28. **DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dy-namic Rank Distribution** `arXiv` *Yulong Mao, Kaiyu Huang, Changhao Guan, Ganglin Bao, Fengran Mo, Jinan Xu.* [[PDF](https://arxiv.org/abs/2405.17357)] [[Code](https://github.com/MIkumikumi0116/DoRA.git)],2023. ### 实践与应用 1. **FinSQL: Model-Agnostic LLMs-based Text-to-SQL Framework for Financial Analysis.** `SIGMOD` *Chao Zhang, Yuren Mao, Yijiang Fan, Yu Mi, Yunjun Gao, Lu Chen, Dongfang Lou, Jinshu Lin.* [[PDF](https://arxiv.org/abs/2401.10506)], 2024. 2. **TabLLM: Few-shot Classification of Tabular Data with Large Language Models.** `AISTATS` *Stefan Hegselmann, Alejandro Buendia, Hunter Lang, Monica Agrawal, Xiaoyi Jiang, David Sontag.* [[PDF](https://proceedings.mlr.press/v206/hegselmann23a/hegselmann23a.pdf)], 2023. ## 模型编辑 ### 模型编辑简介 1. **Knowledge Editing for Large Language Models: A Survey.** `arXiv` *Song Wang, Yaochen Zhu, Haochen Liu, Zaiyi Zheng, Chen Chen, Jundong Li.* [[PDF](https://arxiv.org/abs/2310.16218)], 2023 2. **A Comprehensive Study of Knowledge Editing for Large Language Models.** `arXiv` *Ningyu Zhang, Yunzhi Yao, Bozhong Tian, Peng Wang, Shumin Deng, Mengru Wang, Zekun Xi, Shengyu Mao, Jintian Zhang, Yuansheng Ni, Siyuan Cheng, Ziwen Xu, Xin Xu, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen.* [[PDF](https://arxiv.org/abs/2401.01286)][[Code](https://github.com/zjunlp/EasyEdit)], 2024 3. **Editing Large Language Models: Problems, Methods, and Opportunities.** `EMNLP` *Yunzhi Yao, Peng Wang, Bozhong Tian, Siyuan Cheng, Zhoubo Li, Shumin Deng, Huajun Chen, Ningyu Zhang.* [[PDF](https://arxiv.org/abs/2305.13172)][[Code](https://github.com/zjunlp/EasyEdit)], 2023 4. **A Survey on Knowledge Editing of Neural Networks.** `arXiv` *Vittorio Mazzia, Alessandro Pedrani, Andrea Caciolai, Kay Rottmann, Davide Bernardi.* [[PDF](https://arxiv.org/abs/2310.19704)], 2023 ### 模型编辑经典方法 1. **Memory-Based Model Editing at Scale.** `ICML` *Eric Mitchell, Charles Lin, Antoine Bosselut, Christopher D. Manning, Chelsea Finn.* [[PDF](https://proceedings.mlr.press/v162/mitchell22a.html?_hsenc=p2ANqtz-8PcBZg33YLCBAVdcZ55PYZXm2xs6OJ8qM1z5cu9NWDbYyx8ey70v--e65rovexQfK34-tjgKdTMqKyU1nNVowzXjY-bA&_hsmi=226067236&utm_source=pocket_mylist)][[Code](https://sites.google.com/view/serac-editing)], 2022 2. **Fixing Model Bugs with Natural Language Patches.** `EMNLP` *Shikhar Murty, Christopher D. Manning, Scott M. Lundberg, Marco Túlio Ribeiro.* [[PDF](https://arxiv.org/abs/2211.03318)], 2022 3. **Calibrating Factual Knowledge in Pretrained Language Models.** `EMNLP` *Qingxiu Dong, Damai Dai, Yifan Song, Jingjing Xu, Zhifang Sui, Lei Li.* [[PDF](https://arxiv.org/abs/2210.03329)][[Code](https://github.com/dqxiu/CaliNet)], 2022 4. **Transformer-Patcher: One Mistake Worth One Neuron.** `ICLR` *Zeyu Huang, Yikang Shen, Xiaofeng Zhang, Jie Zhou, Wenge Rong, Zhang Xiong.* [[PDF](https://arxiv.org/abs/2301.09785)][[Code](https://github.com/ZeroYuHuang/Transformer-Patcher)], 2023 5. **Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors.** `NeurIPS` *Tom Hartvigsen, Swami Sankaranarayanan, Hamid Palangi, Yoon Kim, Marzyeh Ghassemi.* [[PDF](https://proceedings.neurips.cc/paper_files/paper/2023/hash/95b6e2ff961580e03c0a662a63a71812-Abstract-Conference.html)][[Code](https://github.com/thartvigsen/grace)], 2023 6. **Meta-learning in neural networks: A survey.** `IEEE transactions on pattern analysis and machine intelligence` *Timothy Hospedales, Antreas Antoniou, Paul Micaelli, Amos Storkey.* [[PDF](https://ieeexplore.ieee.org/abstract/document/9428530)], 2021 7. **Editable Neural Networks.** `ICLR` *Anton Sinitsin, Vsevolod Plokhotnyuk, Dmitry V. Pyrkin, Sergei Popov, Artem Babenko.* [[PDF](https://arxiv.org/abs/2004.00345)][[Code](https://github.com/xtinkt/editable)], 2020 8. **Editing Factual Knowledge in Language Models.** `EMNLP` *Nicola De Cao, Wilker Aziz, Ivan Titov.* [[PDF](https://arxiv.org/abs/2104.08164)][[Code](https://github.com/nicola-decao/KnowledgeEditor)], 2021 9. **Fast Model Editing at Scale.** `ICLR` *Eric Mitchell, Charles Lin, Antoine Bosselut, Chelsea Finn, Christopher D. Manning.* [[PDF](https://arxiv.org/abs/2110.11309)][[Code](https://sites.google.com/view/mend-editing)], 2022 10. **Transformer Feed-Forward Layers Are Key-Value Memories.** `EMNLP` *Mor Geva, Roei Schuster, Jonathan Berant, Omer Levy.* [[PDF](https://arxiv.org/abs/2012.14913)][[Code](https://github.com/mega002/ff-layers/)], 2021 11. **Knowledge Neurons in Pretrained Transformers.** `ACL` *Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, Furu Wei.* [[PDF](https://arxiv.org/abs/2104.08696)][[Code](https://github.com/Hunter-DDM/knowledge-neurons)], 2022 12. **Locating and Editing Factual Associations in GPT.** `NeurIPS` *Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov.* [[PDF](https://proceedings.neurips.cc/paper_files/paper/2022/hash/6f1d43d5a82a37e89b0665b33bf3a182-Abstract-Conference.html)][[Code](https://github.com/kmeng01/rome)], 2022 13. **Mass-Editing Memory in a Transformer.** `ICLR` *Kevin Meng, Arnab Sen Sharma, Alex J. Andonian, Yonatan Belinkov, David Bau.* [[PDF](https://arxiv.org/abs/2210.07229)][[Code](https://github.com/kmeng01/memit)], 2023 ### 附加参数法：T-Patcher 1. **Transformer-Patcher: One Mistake Worth One Neuron.** `ICLR` *Zeyu Huang, Yikang Shen, Xiaofeng Zhang, Jie Zhou, Wenge Rong, Zhang Xiong.* [[PDF](https://arxiv.org/pdf/2301.09785)][[Code](https://github.com/ZeroYuHuang/Transformer-Patcher)], 2023 ### 定位编辑法：ROME 1. **Locating and Editing Factual Associations in GPT.** `NeurIPS` *Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov.* [[PDF](https://arxiv.org/pdf/2202.05262)][[Code](https://github.com/kmeng01/rome)], 2022 2. **Mass-Editing Memory in a Transformer.** `ICLR` *Kevin Meng, Arnab Sen Sharma, Alex J. Andonian, Yonatan Belinkov, David Bau.* [[PDF](https://arxiv.org/pdf/2210.07229)][[Code](https://github.com/kmeng01/memit)], 2023 ### 模型编辑应用 1. **Scalable Extraction of Training Data from (Production) Language Models.** `arXiv` *Milad Nasr, Nicholas Carlini, Jonathan Hayase, Matthew Jagielski, A Feder Cooper, Daphne Ippolito, Christopher A. Choquette-Choo, Eric Wallace, Florian Tramèr, Katherine Lee.* [[PDF](https://arxiv.org/pdf/2311.17035)], 2023 2. **DEPN: Detecting and Editing Privacy Neurons in Pretrained Language Models.** `arXiv` *Xinwei Wu, Junzhuo Li, Minghui Xu, Weilong Dong, Shuangzhi Wu, Chao Bian, Deyi Xiong.* [[PDF](https://arxiv.org/pdf/2310.20138)][[Code]( https://github.com/flamewei123/DEPN)], 2023 3. **Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space.** `arXiv` *Mor Geva, Avi Caciularu, Kevin Ro Wang, Yoav Goldberg.* [[PDF](https://arxiv.org/pdf/2203.14680)][[Code]( https://github.com/aviclu/ffn-values. )], 2022 4. **Locating and Mitigating Gender Bias in Large Language Models.** `arXiv` *Yuchen Cai, Ding Cao, Rongxi Guo, Yaqin Wen, Guiquan Liu, Enhong Chen.* [[PDF](https://arxiv.org/pdf/2403.14409)], 2024 5. **Debiasing Algorithm through Model Adaptation.** `arXiv` *Tomasz Limisiewicz, David Mareček, Tomáš Musil.* [[PDF](https://arxiv.org/pdf/2310.18913)][[Code](https://github.com/tomlimi/DAMA)], 2023 ## 检索增强生成 ### 检索增强生成简介 1. **No free lunch theorems for optimization.** `IEEE Transactions on Evolutionary Computation` *David H. Wolp ert, William G. Macready* [[PDF](https://ieeexplore.ieee.org/document/585893)], 1997 1. **Retrieval-augmented generation for knowledge-intensive nlp tasks.** `NeurIPS` *Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela* [[PDF](https://proceedings.neurips.cc/paper/2020/file/6b493230205f780e1bc26945df7481e5-Paper.pdf)], 2020 ### 检索增强生成架构 1. **In-context retrieval-augmented language models.** `Transactions of the Association for Computational Linguistics` *Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham.* [[PDF](https://arxiv.org/pdf/2302.00083)][[Code](https://github.com/ai21labs/in-context-ralm)], 2023 2. **Replug: Retrieval-augmented black-box language models.** `arXiv` *Weijia Shi, Sewon Min, Michihiro Yasunaga, Minjoon Seo, Rich James, Mike Lewis, Luke Zettlemoyer, Wen-tau Yih.* [[PDF](https://arxiv.org/abs/2301.12652)], 2023 3. **Atlas: Few-shot learning with retrieval augmented language models.** `Journal of Machine Learning Research` *Gautier Izacard, Patrick Lewis, Maria Lomeli, Lucas Hosseini, Fabio Petroni, Timo Schick, Jane Dwivedi-Yu, Armand Joulin, Sebastian Riedel, Edouard Grave.* [[PDF](https://arxiv.org/pdf/2208.03299)][[Code](https://github.com/facebookresearch/atlas)], 2023 4. **Improving language models by retrieving from trillions of tokens.** `ICML` *Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark.* [[PDF](https://arxiv.org/pdf/2112.04426)][[Code](https://github.com/lucidrains/RETRO-pytorch)], 2022 5. **Augmentation-Adapted Retriever Improves Generalization of Language Models as Generic Plug-In.** `arXiv` *Zichun Yu, Chenyan Xiong, Shi Yu, Zhiyuan Liu*. [[PDF](https://arxiv.org/abs/2305.17331)][[Code](https://github.com/openmatch/augmentation-adapted-retriever)], 2023 6. **Self-rag: Learning to retrieve, generate, and critique through self-reflection.** `arXiv` *Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi.* [[PDF](https://arxiv.org/abs/2310.11511)][[Code](https://github.com/AkariAsai/self-rag)], 2023 ### 知识检索 1. **The Chronicles of RAG: The Retriever, the Chunk and the Generator.** `arXiv` *Paulo Finardi, Leonardo Avila, Rodrigo Castaldoni, Pedro Gengo, Celio Larcher, Marcos Piau, Pablo Costa, Vinicius Carid{\'a}*. [[PDF](https://arxiv.org/abs/2401.07883)], 2024 2. **LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding.** `arXiv` *Mingrui Wu, Sheng Cao*. [[PDF](https://arxiv.org/abs/2404.05825)], 2024 3. **Generate rather than retrieve: Large language models are strong context generators.** `ICLR` *Wenhao Yu, Dan Iter, Shuohang Wang, Yichong Xu, Mingxuan Ju, Soumya Sanyal, Chenguang Zhu, Michael Zeng, Meng Jiang.* [[PDF](https://arxiv.org/pdf/2209.10063)][[Code](https://github.com/wyu97/GenRead)], 2023 4. **An information-theoretic perspective of tf--idf measures.** `IPM` *Akiko Aizawa.* [[PDF](https://doi.org/10.1016/S0306-4573(02)00021-3)], 2003 5. **The probabilistic relevance framework: BM25 and beyond.** `Foundations and Trends in Information Retrieval` *Stephen Robertson, Hugo Zaragoza.* [[PDF](https://dl.acm.org/doi/10.1561/1500000019)], 2009 6. **Investigating the Effects of Sparse Attention on Cross-Encoders.** `ECIR` *Ferdinand Schlatt, Maik Fr{\"o}be, Matthias Hagen.* [[PDF](https://arxiv.org/pdf/2312.17649)][[Code](https://github.com/webis-de/ecir-24)], 2024 7. **A Thorough Comparison of Cross-Encoders and LLMs for Reranking SPLADE.** `arXiv` *Herv{\'e} D{\'e}jean, St{\'e}phane Clinchant, Thibault Formal.* [[PDF](https://arxiv.org/abs/2403.10407)], 2024 8. **Dense passage retrieval for open-domain question answering.** `EMNLP` *Vladimir Karpukhin, Barlas O{\u{g}}uz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih.* [[PDF](https://arxiv.org/pdf/2004.04906)][[Code](https://github.com/facebookresearch/DPR)], 2020 9. **Colbert: Efficient and effective passage search via contextualized late interaction over bert.** `SIGIR` *Omar Khattab, Matei Zaharia.* [[PDF](https://arxiv.org/pdf/2004.12832)][[Code](https://github.com/stanford-futuredata/ColBERT)], 2020 10. **Poly-encoders: Transformer architectures and pre-training strategies for fast and accurate multi-sentence scoring.** `arXiv` *Samuel Humeau, Kurt Shuster, Marie-Anne Lachaux, Jason Weston.* [[PDF](https://arxiv.org/abs/1905.01969)][[Code](https://github.com/sfzhou5678/PolyEncoder)], 2019 11. **Transformer memory as a differentiable search index.** `Advances in Neural Information Processing Systems` *Yi Tay, Vinh Tran, Mostafa Dehghani, Jianmo Ni, Dara Bahri, Harsh Mehta, Zhen Qin, Kai Hui, Zhe Zhao, Jai Gupta.* [[PDF](https://arxiv.org/pdf/2202.06991)][[Code](https://github.com/ArvinZhuang/DSI-transformers)], 2022 12. **From matching to generation: A survey on generative information retrieval.** `arXiv` *Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yuyao Zhang, Peitian Zhang, Yutao Zhu, Zhicheng Dou.* [[PDF](https://arxiv.org/abs/2404.14851)], 2024 13. **A Neural Corpus Indexer for Document Retrieval.** `arXiv` *Yujing Wang, Ying Hou, Hong Wang, Ziming Miao, Shibin Wu, Hao Sun, Qi Chen, Yuqing Xia, Chengmin Chi, Guoshuai Zhao, Zheng Liu, Xing Xie, Hao Sun, Weiwei Deng, Qi Zhang, Mao Yang.* [[PDF](https://arxiv.org/abs/2206.02743)], 2022 14. **Multidimensional binary search trees used for associative searching.** `Communications of the ACM` *Jon Louis Bentley.* [[PDF](https://dl.acm.org/doi/10.1145/361002.361007)], 1975 15. **Ball\*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces.** `arXiv` *Mohamad Dolatshah, Ali Hadian, Behrouz Minaei-Bidgoli.* [[PDF](https://arxiv.org/abs/1511.00628)], 2015 16. **Approximate nearest neighbor algorithm based on navigable small world graphs.** `Information Systems` *Yury Malkov, Alexander Ponomarenko, Andrey Logvinov, Vladimir Krylov.* [[PDF](https://doi.org/10.1016/j.is.2013.10.006)], 2014 17. **Non-metric similarity graphs for maximum inner product search.** `Advances in Neural Information Processing Systems` *Stanislav Morozov, Artem Babenko.* [[PDF](https://proceedings.neurips.cc/paper_files/paper/2018/file/229754d7799160502a143a72f6789927-Paper.pdf)][[Code](https://github.com/stanis-morozov/ip-nsw)], 2018 18. **Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs.** `IEEE Transactions on Pattern Analysis and Machine Intelligence` *Yu A Malkov, Dmitry A Yashunin.* [[PDF](https://arxiv.org/pdf/1603.09320)][[Code](https://github.com/nmslib/hnswlib)], 2018 19. **Product quantization for nearest neighbor search.** `IEEE Transactions on Pattern Analysis and Machine Intelligence` *Herve Jegou, Matthijs Douze, Cordelia Schmid.* [[PDF](https://ieeexplore.ieee.org/document/5432202)], 2010 20. **Optimized product quantization for approximate nearest neighbor search.** `CVPR` *Tiezheng Ge, Kaiming He, Qifa Ke, Jian Sun.* [[PDF](https://ieeexplore.ieee.org/document/6619223)], 2013 21. **Searching in one billion vectors: re-rank with source coding.** `ICASSP` *Herv{\'e} J{\'e}gou, Romain Tavenard, Matthijs Douze, Laurent Amsaleg.* [[PDF](https://arxiv.org/pdf/1102.3828)], 2011 22. **Is ChatGPT good at search? Investigating large language models as re-ranking agent.** `arXiv` *Weiwei Sun, Lingyong Yan, Xinyu Ma, Pengjie Ren, Dawei Yin, Zhaochun Ren.* [[PDF](https://arxiv.org/abs/2304.09542)][[Code](https://github.com/sunnweiwei/rankgpt)], 2023 ### 生成增强 1. **Selfcheckgpt: Zero-resource black-box hallucination detection for generative large language models.** `EMNLP` *Potsawee Manakul, Adian Liusie, Mark JF Gales* [[PDF](https://aclanthology.org/2023.emnlp-main.557.pdf)] [[Code](https://github.com/potsawee/selfcheckgpt)], 2023 2. **Predicting Question-Answering Performance of Large Language Models through Semantic Consistency.** `arXiv` *Ella Rabinovich, Samuel Ackerman, Orna Raz, Eitan Farchi, Ateret Anaby Tavor* [[PDF](https://arxiv.org/pdf/2311.01152)], 2020 3. **Large language models struggle to learn long-tail knowledge.** `ICML` *Nikhil Kandpal, Haikang Deng, Adam Roberts, Eric Wallace, Colin Raffel* [[PDF](https://proceedings.mlr.press/v202/kandpal23a/kandpal23a.pdf)] [[Code](https://github.com/nkandpa2/long_tail_knowledge)], 2023 4. **When not to trust language models: Investigating effectiveness of parametric and non-parametric memories.** `ACL` *Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Hannaneh Hajishirzi, Daniel Khashabi* [[PDF](https://aclanthology.org/2023.acl-long.546)] [[Code](https://github.com/AlexTMallen/adaptive-retrieval)], 2023 5. **Locating and editing factual associations in GPT.** `NeurIPS` *Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov* [[PDF](https://proceedings.neurips.cc/paper_files/paper/2022/file/6f1d43d5a82a37e89b0665b33bf3a182-Paper-Conference.pdf)] [[Code](https://github.com/kmeng01/rome)], 2022 6. **Learning to trust your feelings: Leveraging self-awareness in llms for hallucination mitigation.** `arXiv` *Yuxin Liang, Zhuoyang Song, Hao Wang, Jiaxing Zhang* [[PDF](https://arxiv.org/pdf/2401.15449)][[Code](https://github.com/liangyuxin42/dreamcatcher)], 2024 7. **Improving Language Models via Plug-and-Play Retrieval Feed-back.** `arXiv` *Wenhao Yu, Zhihan Zhang, Zhenwen Liang, Meng Jiang, Ashish Sabharwal* [[PDF](https://arxiv.org/pdf/2305.14002)], 2023 8. **Demonstrate-search-predict: Composing retrieval and language models for knowledge-intensive nlp.** `arXiv` *Omar Khattab, Keshav Santhanam, Xiang Lisa Li, David Hall, Percy Liang, Christopher Potts, Matei Zaharia* [[PDF](https://arxiv.org/abs/2212.14024)][[Code](https://github.com/stanfordnlp/dsp)], 2022 9. **Tree of clarifications: Answering ambiguous questions with retrieval-augmented large language models.** `EMNLP` *Gangwoo Kim, Sungdong Kim, Byeongguk Jeon, Joonsuk Park, Jaewoo Kang* [[PDF](https://aclanthology.org/2023.emnlp-main.63/)][[Code](https://github.com/gankim/tree-of-clarifications)], 2023 10. **Longllmlingua: Accelerating and enhancing llms in long context scenarios via prompt compression.** `arXiv` *Huiqiang Jiang, Qianhui Wu, Xufang Luo, Dongsheng Li, Chin-Yew Lin, Yuqing Yang, Lili Qiu* [[PDF](https://arxiv.org/abs/2310.06839)][[Code](https://github.com/microsoft/LLMLingua)], 2023 11. **FIT-RAG: Black-Box RAG with Factual Information and Token Reduction.** `ACM Transactions on Information Systems` *Yuren Mao, Xuemei Dong, Wenyi Xu, Yunjun Gao, Bin Wei, Ying Zhang* [[PDF](https://dl.acm.org/doi/pdf/10.1145/3676957)], 2024 12. **Prca: Fitting black-box large language models for retrieval question answering via pluggable reward-driven contextual adapter.** `EMNLP` *Haoyan Yang, Zhitao Li, Yong Zhang, Jianzong Wang, Ning Cheng, Ming Li, Jing Xiao* [[PDF](https://aclanthology.org/2023.emnlp-main.326/)], 2023 13. **Triforce: Lossless acceleration of long sequence generation with hierarchical speculative decodingr.** `arXiv` *Hanshi Sun, Zhuoming Chen, Xinyu Yang, Yuandong Tian, Beidi Chen* [[PDF](https://arxiv.org/abs/2404.11912)][[Code](https://github.com/Infini-AI-Lab/TriForce)], 2024 14. **RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation.** `arXiv` *Chao Jin, Zili Zhang, Xuanlin Jiang, Fangyue Liu, Xin Liu, Xuanzhe Liu, Xin Jin* [[PDF](https://arxiv.org/html/2404.12457v1)], 2024 ### 实践与应用 1. **A survey on large language model based autonomous agents.** `Frontiers of Computer Science` *Hanshi Sun, Zhuoming Chen, Xinyu Yang, Yuandong Tian, Beidi Chen* [[PDF](https://link.springer.com/article/10.1007/s11704-024-40231-1)][[Code](https://github.com/Paitesanshi/LLM-Agent-Survey)], 2024 2. **Multimodal prompt retrieval for generative visual question answering.** `ACL` *Timothy Ossowski, Junjie Hu* [[PDF](https://aclanthology.org/2023.findings-acl.158.pdf)][[Code](https://github.com/tossowski/MultimodalPromptRetrieval)], 2023 3. **FinTextQA: A Dataset for Long-form Financial Question Answering.** `arXiv` *Jian Chen, Peilin Zhou, Yining Hua, Yingxin Loh, Kehui Chen, Ziyuan Li, Bing Zhu, Junwei Liang* [[PDF](https://arxiv.org/pdf/2405.09980)], 2024 4. **Retrieval-based controllable molecule generation.** `ICLR` *Zichao Wang, Weili Nie, Zhuoran Qiao, Chaowei Xiao, Richard Baraniuk, Anima Anandkumarn* [[PDF](https://openreview.net/pdf?id=vDFA1tpuLvk)][[Code](https://github.com/NVlabs/RetMol)], 2022 5. **Re-imagen: Retrieval-augmented text-to-image generator.** `arXiv` *Wenhu Chen, Hexiang Hu, Chitwan Saharia, William W. Cohen* [[PDF](https://arxiv.org/pdf/2209.14491)], 2022 6. **Using external off-policy speech-to-text mappings in contextual end-to-end automated speech recognition.** `arXiv` *David M. Chan, Shalini Ghosh, Ariya Rastrow, Björn Hoffmeister* [[PDF](https://arxiv.org/pdf/2301.02736)], 2023 7. **Language models with image descriptors are strong few-shot video-language learners.** `NeurIPS` *Zhenhailong Wang, Manling Li, Ruochen Xu, Luowei Zhou, Jie Lei, Xudong Lin, Shuohang Wang, Ziyi Yang, Chenguang Zhu, Derek Hoiem, Shih-Fu Chang, Mohit Bansal, Heng Ji* [[PDF](https://papers.neurips.cc/paper_files/paper/2022/file/381ceeae4a1feb1abc59c773f7e61839-Paper-Conference.pdf)][[Code](https://github.com/MikeWangWZHL/VidIL)], 2022