15本地 PDF 已纳入
2023-2026覆盖模型合并快速演进期
5主要问题族:合并、组合、生成、持续学习、优化器
2主线:减少干扰 + 提高复用效率
文章间关系思维导图
二维固定布局;点击论文节点可更新下方论文详情这张二维图强调“论文之间的递进关系”,不是严格引用图:同一条线上表示问题定义、方法假设或算法组件存在承接关系。
知识图谱
拖拽旋转;点击节点查看详情;滚轮缩放线条按深度自动变淡;把节点拖到前景后再点击,能更清楚地查看某条技术路线。
合并
组合
持续/预算
生成
优化
概念节点
技术递进脉络
按问题目标而不是文件名分组从通用模型合并到 LoRA 专用合并
TIES 先把干扰拆成冗余值和符号冲突;DARE、PCB 继续做稀疏化和参数竞争平衡;KnOTS、Core Space、TARA、Pico 进一步转向低秩子空间、方向覆盖和 LoRA A/B 因子差异。
从静态权重到上下文动态组合
LoraHub 用少量样例搜索 LoRA 权重;LoRA Soups 学习拼接系数解决二元技能组合;LoRA-Flow 将权重细化到 token/上下文级别,适合生成任务中技能随输出阶段变化的场景。
从一次性合并到长期维护
Merge before Forget 把持续学习表述为顺序合并问题,用单个共享 LoRA 维持常数存储;AdaReason 则把不同推理预算训练成多个 LoRA,并在运行时插值。
从复用已有 LoRA 到生成/训练低秩结构
LoRAGen 直接从任务描述生成 LoRA 权重;Taming Momentum 将低秩思想推进到优化器状态压缩,说明“低秩”不只用于适配器,也能用于预训练优化。
时间线
年份取自 PDF 首页、会议信息或 arXiv 标注论文库
说明:结果数值只摘取论文中最能代表结论的报告;不同论文的评测设置、模型、归一化口径不完全一致,网页不把跨论文数字当作直接排行榜。