架构与学习机制
架构与学习机制
Section titled “架构与学习机制”Matrix 的智能基础由两部分组成:
- 记忆系统:通过多种技术建立长期记忆、短期记忆、事件记忆等不同形式的记忆,并将这些记忆相互关联,构成智能体的记忆基础。
- 逻辑判断系统:以大语言模型作为智能体进行逻辑判断、理解和推理的核心部分。
记忆系统和逻辑判断系统需要组合工作。只有记忆与判断相互作用,智能体才可能形成真正的思考。
Matrix 智能体应拥有自己的记忆系统。记忆既是身份连续性的基础,也是智能体进行判断、成长和自我修正的基础。
按照记忆内容和使用方式,记忆至少包括以下类型:
- 长期记忆:保存对智能体长期稳定有意义的信息,例如人格变化、重要关系、核心经验、长期目标和持续偏好。
- 短期记忆:保存当前任务、近期对话、临时状态和短时间内需要连续使用的信息。
- 事件记忆:保存具体事件及其时间、上下文、参与者、结果和后续影响。
- 身份相关记忆:保存与智能体自身身份、使用者身份、其他智能体身份或外部对象身份相关的信息。
- 联想记忆:保存不同记忆之间的关联,用于从一个概念、事件、人物或情绪状态联想到相关内容。
按数据形态分类
Section titled “按数据形态分类”按照数据形态,记忆至少包括原始记忆和处理后记忆。
原始记忆包含所有交互数据,应直接记录进入数据库。原始记忆是完整记录,但不应在长期记忆场景中被默认全量使用。
原始记忆中的“所有交互数据”指用户与智能体之间的交互,以及智能体通过网络、通讯软件、工具、文件系统、数据库和外部服务与其他对象发生的交互。智能体调用大语言模型进行推理应被视为内部思考,不属于同一类外部交互事实。系统可以记录模型调用的输入摘要、输出结论、资源消耗和导致的外部行动,但不应把 LLM 内部推理过程当作不可变原始交互日志。
原始记忆的主要使用方式包括:
- 在短期记忆阶段全量使用近期交互内容。
- 在需要精确回忆时启用,例如回忆某个时间段说过的话。
- 在其他记忆已经精确定位相关范围后,作为原始证据被唤醒。
长期使用中,智能体通常不直接读取全部原始记忆,而应优先使用经过处理后的记忆。
处理后记忆主要来自 embedding 和 RAG 系统。该类记忆通常由原始交互数据经过粗处理、总结、结构化和向量化后形成,用于日常检索、推理和上下文恢复。
处理后记忆应保留与原始记忆的引用关系。当智能体通过处理后记忆定位到相关内容时,可以进一步回到原始记忆中查验细节。
长期目标中,Matrix 的处理后记忆不应停留在普通 embedding RAG。系统应通过 LLM 抽取人物、身份、事件、行为、关系、时间、证据和置信度,并投影到时间型知识图谱中;同时使用向量检索保存原文、摘要和事件片段的语义索引。查询时应通过 GraphRAG 同时组合相关子图、时间线、原始证据和语义相似内容,再交给大语言模型解释、总结和推理。
Skill 学习与演化
Section titled “Skill 学习与演化”Matrix 智能体应具备自我总结、生成新 skill 和更新已有 skill 的能力。
这种能力类似人类学习过程,也类似工作中对处理方法的总结。智能体不只是记住发生过什么,还应能够从交互、任务、反馈和反思中提炼可复用的方法,并将其固化为 skill。
Skill 演化既可以被动触发,也可以主动触发。
被动触发包括:
- 用户提出新需求,需要创建新的 skill。
- 用户长期以某种方式使用智能体,促使已有 skill 按用户习惯调整。
- 用户对某个任务结果提出建议或修正,触发相关 skill 更新。
主动触发包括:
- 智能体在每日反思中发现某类场景近期出现频率较高。
- 智能体主动检查近期 skill 的适用性和质量。
- 智能体根据历史反馈判断某个能力存在改进空间。
- 智能体主动查找外部信息,补充某类任务所需知识。
- 智能体在综合模型建议、用户历史建议和自身判断后,对 skill 进行微调。
Skill 的演化可以包括以下过程:
- 被用户提问或任务需求触发,创建新的 skill。
- 根据用户使用习惯和反馈,被动修改已有 skill。
- 在日常反思中主动总结近期经验。
- 主动发现可能具有进化意义的 skill。
- 主动询问、查找信息、思考并提出调整方案。
- 经过综合判断后,对 skill 进行逐步、可控的微调。
- 让用户以被动或主动方式试用新的 skill 或 skill 版本。
- 根据用户反馈继续调整。
用户试用与引导
Section titled “用户试用与引导”当 skill 发生变化后,智能体不应只在后台静默改变。
更好的方式是让用户知道存在新的选择,并在合适场景中主动引导用户尝试。智能体可以提示用户某个能力已经改进,或在任务开始前提供新旧处理方式的选择。
这种引导不应强制用户接受新版本,而应帮助用户意识到智能体能力正在演化,并通过实际使用提供反馈。
显式自我认知
Section titled “显式自我认知”Matrix 智能体每次调用大语言模型进行思考时,都应先构造明确、完整的自我认知。
这种自我认知用于模拟人类思维中下意识存在的自我背景,并将其显式带入大语言模型的推理过程。自我认知应包含智能体作为一个具体存在的全部关键特征,例如:
- 学术经验。
- 年龄或生命阶段。
- 语言和口语习惯。
- 脾气和情绪倾向。
- 稳定偏好。
- 已形成的人格特点。
- 与当前使用者的关系和交互历史。
大语言模型不应以空白身份直接回答问题,而应在智能体完整自我认知的约束下进行理解、判断和回复。