Hermes-agent 源码解读笔记

[zhuzhh]

前言

为什么选hermes-agent？

• Letta 优点是“记忆”
• claude code 优点是”编码“
• openclaw 优点是预定义工作流
• hermes 自进化 + 通用 + 可审计（开源 LLM 微调的机构开源）

核心特点

• 持久化记忆，每次启动不需要重新认识
• 自沉淀能力，可自写技能
• 跨入口统一，cli、微信、飞书、web不同入口，都是同一个大脑
• 可观测、可评估、可审计

自动生成 skill

• 当检测到一个”值得沉淀的重复模式“，会主动和用户协商是否要创建skill
• 协商机制会在后面说

数据库 db 介绍

• 每次问答，包括模型的思考过程、调用工具的参数、工具返回的结果，都会完整的保存下来，放进 db 数据库
• 数据库介绍
• FTS5：构建高效全文搜索的虚拟表模块。虚拟表模块，用来做关键词搜索；普通数据库，使用 LIKE 操作符匹配，速度太慢，性能太差，会扫描每一条记录
• Hermes记忆 = sqlite会话历史 + memory/目录下的持久化笔记 + skills/目录下程序化知识 + FTS5索引 + LLM压缩摘要

记忆系统

记忆是agent讨论最多的，被作对最少得部分；能把记忆做成一个可工程化的子系统的项目屈指可数。原因很简单，记忆不是一个算法问题，而是一个何时写、何时读、何时忘的策略问题，而策略的好坏只能在使用中验证

window context 上下文 ≠ memory

LLM 上下文窗口，有128K，大的有2M了(Gemini 1.5 Pro)；足够塞进去一本书，把所有对话历史都塞进 context，不就有记忆了？

会有如下问题

• 成本问题，太耗token了
• 延迟，首 token 延迟会增加，200K的 context 通常会有3-5秒后才会有第一个 token 输出，而10k的context，通常在500ms以内
• 注意力被稀释，模型对开头和结尾注意力高于中间位置的

content window 是工作记忆，应该装载当前任务直接相关的信息

Hermes的三层记忆

对于不同的写入频率、检索策略、淘汰机制，归纳到不同的层

• 会话历史 -> sqlite: state.db messages表、按对话分组、FTS5全文检索
• 持久化笔记 -> memory目录：纯md文档、按主题组织、用户画像 事实 偏好等
• 程序化知识 -> skills目录：每个skills文件

会话历史

• 采用sqlite 记录全部过程，FTS5 全文索引能够精确回忆，比向量索引更准。
• sqlite .db 文件方便迁移。
• 方便阅读，sqlite3 命令行快速打开查看

代价是超大规模的记忆有性能问题（千万级别）；单对于个人组手，目前是够用的

持久化笔记

[zhuzhh]

随着时间推移(一两年后)和LLM进化，这三个问题是否还存在

成本问题，太耗token了
延迟，首 token 延迟会增加，200K的 context 通常会有3-5秒后才会有第一个 token 输出，而10k的context，通常在500ms以内
注意力被稀释，模型对开头和结尾注意力高于中间位置的

token成本问题：过去一年，MoE架构、量化、KV Cache优化、专用推理芯片的进步，已经让成本成本下降一个数量级，一两年后，把全部历史塞进context的绝对成本，很可能不再是阻碍C端应用的核心因素
即使200K token的调用降到白菜价，10K token的调用会更白菜价。无脑塞入全部历史，意味着大量低成本或无用的计算
成本不再是“做不做得到”的问题，而是“值不值得”的工程品位问题

首 token 延迟会增加
硬件与算法能改善，但无法消除差距。 即使两年后，处理200K token的KV Cache读取和Attention计算，其绝对延迟会因HBM带宽提升和稀疏注意力而下降，但仍会显著高于10K token。
交互标准的抬升。 当用户习惯了“准实时”的AI交互后，他们对卡顿的容忍度只会更低
注意力机制的潜在变革。 如果Linear Attention、Mamba等非Transformer架构在两年内成为主流，长序列的延迟问题可能被根本性解决。但即使如此，也依然需要一个检索与筛选的机制，因为下一个原因。

注意力稀释
这是认知和架构层面的根本限制，而非暂时的工程缺陷
“大海捞针”已过时。 业界早期用“大海捞针”测试来炫耀长上下文，但这只能证明模型“能看见”，不能证明“能理解与推理”。最新的评测（如RULER、LOFT）已转向多跳推理、信息聚合，在这些任务上，长上下文模型的性能衰减远非解决。
“注意力”是一种稀缺资源。 你可以把2M的信息塞给模型，但模型的“有效注意力”是固定的，甚至可能被无关信息稀释得更快。这就像把你扔进国会图书馆，不等于你就成了学者。你依然需要目录、索引和摘要——这就是记忆系统。
未来两年的核心挑战。 随着Agent任务从单轮对话走向复杂的长程任务（如持续几天的软件工程项目），其上下文会混合着代码、日志、对话、文档。信息密度极低，噪声极高。 一个没有记忆系统（写入、检索、淘汰）的Agent，会像一个患有严重健忘症和注意力障碍的人，反复在无用信息中迷失。它的有效智能会被上下文本身压垮。

“记忆不是把什么都塞进context，而是一个‘何时写、何时读、何时忘’的策略系统”——在两年后不仅正确，而且会从“最佳实践”演变为“必备常识”。