AI桌宠维护长期记忆讨论

前言

本文整理了关于AI桌宠维护长期记忆的不同设计方案，包括视频主的核心方案以及评论区用户的补充观点和改进建议。

---

方案一：视频主的核心设计

核心思想

基于SQLite数据库，通过时间感知、多层记忆结构和专门的记忆检索部门来实现AI的长期记忆管理。

技术实现

1. 时间感知机制

• 每条对话都带有时间戳，格式类似QQ聊天：【时间】发言内容
• AI根据消息的时间差了解用户发言频率，采用不同的发言策略
• 时间标签贯穿整个记忆系统

2. 短期记忆与中期总结

短期记忆：

• 保留最近10条对话作为滑动窗口
• 随时可供AI调用

中期总结：

• 当被挤出的对话累计达到20条时，触发总结员AI
• 总结员以Akane的人格视角，提炼重要的事实和情感
• 生成带日期的一句话总结，格式为”日期+模糊时段”（如”昨天傍晚”、”前天晚上”）
• 总结自动对比当前日期，推断时间相对位置
• 总结存入单独数据表，最多保留10条，新进旧出

效果：

• 理论上可记住200条消息中的重要内容
• 记忆具有清晰的时间锚点

3. 记忆检索部门

TIME部门（时间检索）：

• AI生成指令：CALL|TIME|查询内容
• 调用专门的”时间解析AI模块”，将自然语言时间转换为具体时间范围
• 例如：”去年圣诞节晚上” → “2025年12月25日晚”
• 从数据库检索该时间段的所有聊天记录
• 交给”调查员AI”解读并提炼答案
• 最终由Akane用自己的话回复

SEARCH部门（关键词检索）：

• AI生成指令：CALL|SEARCH|关键词
• 使用SQLite的FTS5全文检索引擎
• 支持模糊匹配（如搜”生快”也能找到”生日快乐”）
• 按时间远近排序
• 交给调查员AI提炼
• 最后由Akane回复

4. 记忆衰减机制

• 按时间衰减权重，模拟人类遗忘曲线
• 记忆随时间推移逐渐淡出

5. 日记系统（二级缓存）

• 将调查员的查询记录以日记形式存储
• 调查员可以直接查日记快速回答
• 作为二级缓存提升效率

---

方案二：用户1的改进方案

核心改进点

1. 结构化输出

• 要求聊天模型以JSON格式回复：{时间戳, 指令, 发言}
• 更方便解析和观看
• 回复更稳定
• 记忆查找指令与发言可共存，避免延迟感
• AI可说”我想想……”来降延迟，甚至不输出发言内容

2. JSON扩展版本

• 扩展为：{指令, 心情, 想法, 发言}
• AI可自由搭配实现复杂行为：
  • “听到有人说话，觉得他还没有说完，等待3秒钟看看他还会不会说”
  • “说完了一句话，等待2秒钟看看别人的反应再继续说”
  • “不想说话，先看看记忆中有没有相关记忆”

3. 短期记忆优化

问题指出：

• 原方案中，短期记忆未满20条时被挤出的部分既不在短期记忆，也没有总结，会丢失

优化方案：

• 短期记忆容量无限（或更大）
• 当短期记忆达到30条时，总结最后的20条
• 避免中间记忆断层

4. 向量记忆存储

• 短期记忆达到100条时，对最后50条进行总结
• 用向量模型将总结翻译成向量
• 同时保存向量和总结内容
• 查找时：将提示词翻译成向量，在向量库中查找相关记忆（数量可定，再加1-2条最新记忆）
• 查找到的记忆一直保留在上下文中，直到AI要求重新查找

5. 对调查员AI的质疑

问题：

1. Token消耗没有降低，且总结后内容会丢失信息，不如直接提交给聊天模型
2. 时间解析和关键词检索功能聊天模型也能担任
3. 信息经过转手越多，结果越不准确，除非是视觉系统或记忆总结那样的必要功能
4. 调查员的好处是减少Akane主模型的幻觉

关于幻觉的讨论：

• 质疑是否有论文讨论AI在主观和客观情况下的幻觉概率
• 认为这类问题应该主观一点，因为是解释权归属问题
• 调查员模型虽然客观，但输出不一定是Akane人设想要的
• 实际上是让AI总结和理解已有信息，不是生成新信息，幻觉概率不大

---

方案三：用户2的向量库方案

核心思想

引入向量数据库（如Milvus）进行混合检索。

技术实现

1. 向量数据库

• 本地部署或使用Milvus云端免费版
• 将记忆内容向量化存储
• 实现语义级别检索

2. 混合检索

• 结构化检索 + 关键词检索 + 向量检索
• 多种检索方式结合

3. 长期记忆治理

权重策略：

• 距离越近的总结摘要应该更加重视（时间权重）

冲突处理：

• 当多个摘要涉及同一知识但内容不同时
• 需要评估哪份内容更合理
• 涉及到长期记忆的治理问题

---

方案四：用户3的RAG多层记忆方案

核心思想

维护短期记忆和动态facts，配合多个RAG系统实现分层记忆管理。

技术实现

1. 双JSON文件管理

• 短期记忆JSON：保存最近25轮对话
• 动态Facts JSON：保存重点记忆点

2. 摘要机制

摘要触发：

• 短期记忆达到窗口上限（25轮）时
• 使用客观摘要模型（不传人格，只要求摘要）

记忆连续性处理：

• 摘要期间产生的短期记忆写入临时文件
• 临时文件与现有的长短期记忆共同作为context
• 摘要结束后，临时文件转为正式文件

重点记忆标记：

• 摘要模型判定有需要重点记忆的记忆点时
• 调用工具将其写入dynamic facts

3. RAG系统架构

两个主要RAG：

• 摘要RAG：存储对话摘要
• 日记RAG：存储每日日记

日记触发：

• 系统时间达到固定刷新点（凌晨4点）
• 系统启动时也会自动检查一次
• 判定成功后调用与对话模型相同人格的模型
• 将现存的短期记忆与摘要记录成日记
• 记录完成后清除短期记忆与摘要

原始对话RAG：

• 在摘要过程中，由摘要模型判断
• 将高质量的、能体现个性的个别对话存入
• 用于维持模型的说话风格

4. 设计演进

• 一开始直接清空短期并摘要，导致摘要期间记忆断层
• 因此引入临时记忆文件解决问题
• 后来引入日记，避免一天内聊天过多导致摘要太多

---

方案五：用户4的向量化质疑

核心观点

对视频主方案的评论：

• 总结员做的事情其实就是广义的向量化
• 但成本比RAG（向量检索）更高

隐含建议：

• 应该直接使用RAG/向量库方案
• 成本效益更优

---

方案对比总结

维度	视频主方案	用户1方案	用户2方案	用户3方案	用户4观点
数据结构	SQLite多表	JSON	向量数据库	双JSON	-
短期记忆	10条滑动窗口	30条触发总结	未明确	25轮窗口	-
总结方式	人格化一句话	客观摘要+向量化	向量化存储	客观摘要+日记	-
检索方式	TIME/SEARCH部门	向量检索	混合检索	多RAG系统	-
时间感知	强（时间戳+解析）	有时间戳	未明确	有	-
记忆衰减	模拟遗忘曲线	未明确	有权重	有权重	-
二级缓存	日记	未明确	未明确	日记RAG	-
说话风格	融在总结中	独立RAG	未明确	原始对话RAG	-
优势	时间感强，结构清晰	行为灵活，连续性好	语义检索准确	多层管理，分工明确	-
劣势	记忆断层，token消耗	系统复杂度高	需要额外部署	架构较复杂	-

---

关键分歧点

1. 调查员AI的必要性

• 支持方（视频主）：减少主模型幻觉，专门处理检索和解读
• 反对方（用户1）：增加延迟、信息失真，主模型自己也能做

2. 短期记忆处理方式

• 视频主：固定窗口，定期总结
• 用户1：无限容量，达到阈值总结
• 用户3：25轮窗口，配合临时文件避免断层

3. 记忆存储方式

• 传统数据库：视频主（SQLite）
• 向量数据库：用户2、用户1
• 文件系统：用户3（JSON）

4. 摘要的人格化

• 视频主：以Akane人格视角总结
• 用户3：客观摘要（不传人格）

5. 说话风格维持

• 视频主：融入摘要
• 用户3：独立的原始对话RAG

---

实践建议

初学者推荐

• 从视频主方案开始，理解核心概念
• 使用SQLite，部署简单
• 逐步加入向量存储优化检索

进阶优化

• 引入用户1的JSON结构化输出，提升系统稳定性
• 参考用户2的向量库方案，实现语义检索
• 学习用户3的多RAG架构，实现分层管理

关键注意事项

1. 避免记忆断层：确保摘要期间记忆连续性
2. 控制token消耗：合理设置记忆窗口大小
3. 平衡客观与主观：摘要客观化，回复人格化
4. 测试检索准确率：定期验证记忆检索效果
5. 监控成本：向量存储和多次调用会增加成本

---

总结

AI桌宠的长期记忆维护是一个复杂但有趣的问题。不同方案各有侧重：

• 时间感知让AI更像”人”
• 多层记忆平衡了存储和检索效率
• 向量检索提升了语义理解能力
• RAG架构实现了精细化管理

最好的方案可能不是单一选择，而是根据具体需求，融合各方案的优点，打造适合自己的记忆系统。