Vercy · 研究
研究。
结构化记忆能为智能体做什么,用测量说话而不是用断言说话。否定性结果留在页面上。
2026-09-07
开启工具:每项先前研究都声明过的那个局限
- 问题
- 本系列的每项研究都关闭了工具,并把这一点列为主要局限:有了 shell 和数据文件,错误中的算术成分会变化,各表示形式之间的平衡也可能移动。它真的会移动吗?
- 结果
- 会移动,但方向与常见假设相反。带完整定义的条件升到 97-100%;没有定义的条件纹丝不动,仅有表结构从 26.5% 变成 23.5%。更糟的是,给出的答案恰好等于已废止规则所产生数字的比例,从 16.2% 升到 29.4%,而恰当弃答从 83.3% 掉到 50.0%。工具不能替代知道这些词是什么意思:它抬高了不知道的代价,也让失败变得更安静。
2026-09-07
Collaborative Memory Benchmark
- 问题
- 当六个团队写入同一份共享记忆时,归属、冲突规则与可见范围清单放在记录内部,还是放在旁边的治理层,会有区别吗?对照三种真实产品形态的重新实现。
- 结果
- 放在哪里没有区别;有没有区别很大。治理信息放在记录内部得到 95.2%,同样的图加一份单独目录得到 93.5%,普通团队 wiki 得到 96.8%,两两比较 p = 1.00。但给双时态图加上治理信息,把它从 77.4% 提到 93.5%,p = 0.039;带可见范围规则的表示在全部 60 次跨团队披露决策中无一出错,而没有这些规则的图出现两次严重越界,并且扣下了各团队本有权看到内容的 41%。
2026-09-06
Personal Dimension Benchmark
- 问题
- 对于一个人自己的记录,表示形式为读取它们的助手带来了什么,结构中的哪一部分承载哪一项能力?
- 结果
- 结构并未胜过完整的笔记:承载全部事实、日期与来源的时序笔记得到 93.4%,结构化维度为 100%,相差三个题项,p = 0.25。但每一次消融都是决定性的。去掉有效期区间后,历史问题的准确率从 100% 降到 0%,过期判断降到 20%,而当前状态问题毫发无损。去掉来源后,冲突解决从 100% 降到 33%。每一类字段都是某一项能力的唯一支撑。
2026-09-06
Semantic Grounding Benchmark
- 问题
- 当两家机构对同样的词给出不同定义时,版本化的定义层能否让智能体更准确?
- 结果
- 不能。承载同样事实的连贯散文与版本化记录完全持平,76.5% 对 76.5%,p = 1.00:准确率取决于完整,而不是表示形式。只有结构化条件说明了所用规则、定位到缺失的定义及其责任人、把请求发给正确的责任人,并在 72 次披露决策中没有出现严重错误。
2026-08
记忆检索
- 问题
- 在回忆一个项目自身的历史时,基于结构化维度的检索能否胜过普通笔记?
- 结果
- 准确率持平:三次全新运行中,两种条件下 15 个问题全部答对。检索所提供的上下文少 57.9%。结果是平局,也按平局发布。
这些研究如何发布
这里的每项研究都会公开产生它的工具、所有模型调用未经编辑的原始运行,以及任何推翻早期版本的评审记录。当某个主张没能经受住数据的检验时,改的是主张,而不是数据。一项不公布自身失败的基准,是营销制品而不是测量。