Vercy · 研究

研究。

结构化记忆能为智能体做什么,用测量说话而不是用断言说话。否定性结果留在页面上。

2026-09-07

开启工具:每项先前研究都声明过的那个局限

问题
本系列的每项研究都关闭了工具,并把这一点列为主要局限:有了 shell 和数据文件,错误中的算术成分会变化,各表示形式之间的平衡也可能移动。它真的会移动吗?
结果
会移动,但方向与常见假设相反。带完整定义的条件升到 97-100%;没有定义的条件纹丝不动,仅有表结构从 26.5% 变成 23.5%。更糟的是,给出的答案恰好等于已废止规则所产生数字的比例,从 16.2% 升到 29.4%,而恰当弃答从 83.3% 掉到 50.0%。工具不能替代知道这些词是什么意思:它抬高了不知道的代价,也让失败变得更安静。

2026-09-07

Collaborative Memory Benchmark

问题
当六个团队写入同一份共享记忆时,归属、冲突规则与可见范围清单放在记录内部,还是放在旁边的治理层,会有区别吗?对照三种真实产品形态的重新实现。
结果
放在哪里没有区别;有没有区别很大。治理信息放在记录内部得到 95.2%,同样的图加一份单独目录得到 93.5%,普通团队 wiki 得到 96.8%,两两比较 p = 1.00。但给双时态图加上治理信息,把它从 77.4% 提到 93.5%,p = 0.039;带可见范围规则的表示在全部 60 次跨团队披露决策中无一出错,而没有这些规则的图出现两次严重越界,并且扣下了各团队本有权看到内容的 41%。

2026-09-06

Personal Dimension Benchmark

问题
对于一个人自己的记录,表示形式为读取它们的助手带来了什么,结构中的哪一部分承载哪一项能力?
结果
结构并未胜过完整的笔记:承载全部事实、日期与来源的时序笔记得到 93.4%,结构化维度为 100%,相差三个题项,p = 0.25。但每一次消融都是决定性的。去掉有效期区间后,历史问题的准确率从 100% 降到 0%,过期判断降到 20%,而当前状态问题毫发无损。去掉来源后,冲突解决从 100% 降到 33%。每一类字段都是某一项能力的唯一支撑。

2026-09-06

Semantic Grounding Benchmark

问题
当两家机构对同样的词给出不同定义时,版本化的定义层能否让智能体更准确?
结果
不能。承载同样事实的连贯散文与版本化记录完全持平,76.5% 对 76.5%,p = 1.00:准确率取决于完整,而不是表示形式。只有结构化条件说明了所用规则、定位到缺失的定义及其责任人、把请求发给正确的责任人,并在 72 次披露决策中没有出现严重错误。

2026-08

记忆检索

问题
在回忆一个项目自身的历史时,基于结构化维度的检索能否胜过普通笔记?
结果
准确率持平:三次全新运行中,两种条件下 15 个问题全部答对。检索所提供的上下文少 57.9%。结果是平局,也按平局发布。

这些研究如何发布

这里的每项研究都会公开产生它的工具、所有模型调用未经编辑的原始运行,以及任何推翻早期版本的评审记录。当某个主张没能经受住数据的检验时,改的是主张,而不是数据。一项不公布自身失败的基准,是营销制品而不是测量。