Local PDF Knowledge Base

LoRA 与模型合并论文知识图谱

基于 15 篇论文整理。网页按时间、问题目标、方法递进关系和实验证据组织;点击图谱节点或论文卡片可查看每篇论文的动机、详细算法步骤、评测方式、结果、优势与不足。公网版通过 arXiv、GitHub 等公开来源链接原文。

15本地 PDF 已纳入
2023-2026覆盖模型合并快速演进期
5主要问题族:合并、组合、生成、持续学习、优化器
2主线:减少干扰 + 提高复用效率

文章间关系思维导图

二维固定布局;点击论文节点可更新下方论文详情
通用合并:先处理参数干扰 LoRA 专用:低秩空间与方向校准 组合复用:从静态到动态 生命周期:生成、预算、训练 LoRA / Model Merging 共同问题:能力复用与干扰控制 参数干扰 冗余、符号、竞争 TIES 2023 Trim + Sign + Merge DARE 2024 Drop + Rescale PCB 2024 参数竞争平衡 LoRA 几何 对齐、覆盖、A/B 非对称 KnOTS 2025 SVD 对齐 Core Space 2025 小核心空间合并 ENMP 2026 负模块剪枝 TARA 2026 覆盖 + 各向异性 Pico 2026 B-space 共享方向 LoRA 组合 少样本、技能、token 动态 LoraHub 2024 少样本搜索权重 LoRA Soups 二元技能 CAT LoRA-Flow token 级动态融合 系统生命周期 持续学习、预算、生成、优化 Merge before Forget 单 LoRA 持续学习 AdaReason 推理预算插值 LoRAGen 从描述生成 LoRA LoRA-Pre 低秩优化器状态 读图建议:TIES/DARE/PCB 是干扰处理基线;KnOTS/Core/TARA/Pico/ENMP 是 LoRA 合并深化;LoraHub/Soups/Flow 是复用组合路线;MBF/AdaReason/LoRAGen/LoRA-Pre 是系统化扩展。
这张二维图强调“论文之间的递进关系”,不是严格引用图:同一条线上表示问题定义、方法假设或算法组件存在承接关系。

知识图谱

拖拽旋转;点击节点查看详情;滚轮缩放
线条按深度自动变淡;把节点拖到前景后再点击,能更清楚地查看某条技术路线。
合并 组合 持续/预算 生成 优化 概念节点

技术递进脉络

按问题目标而不是文件名分组

从通用模型合并到 LoRA 专用合并

TIES 先把干扰拆成冗余值和符号冲突;DARE、PCB 继续做稀疏化和参数竞争平衡;KnOTS、Core Space、TARA、Pico 进一步转向低秩子空间、方向覆盖和 LoRA A/B 因子差异。

从静态权重到上下文动态组合

LoraHub 用少量样例搜索 LoRA 权重;LoRA Soups 学习拼接系数解决二元技能组合;LoRA-Flow 将权重细化到 token/上下文级别,适合生成任务中技能随输出阶段变化的场景。

从一次性合并到长期维护

Merge before Forget 把持续学习表述为顺序合并问题,用单个共享 LoRA 维持常数存储;AdaReason 则把不同推理预算训练成多个 LoRA,并在运行时插值。

从复用已有 LoRA 到生成/训练低秩结构

LoRAGen 直接从任务描述生成 LoRA 权重;Taming Momentum 将低秩思想推进到优化器状态压缩,说明“低秩”不只用于适配器,也能用于预训练优化。

时间线

年份取自 PDF 首页、会议信息或 arXiv 标注

论文库

说明:结果数值只摘取论文中最能代表结论的报告;不同论文的评测设置、模型、归一化口径不完全一致,网页不把跨论文数字当作直接排行榜。