Vercy · исследования
Исследования.
Что структурированная память даёт агенту - измеренное, а не заявленное. Отрицательные результаты со страницы не убираются.
2026-09-07
С включёнными инструментами: ограничение, заявленное каждым прошлым исследованием
- Вопрос
- Каждое исследование серии отключало инструменты и называло это главным ограничением: с оболочкой и файлом данных арифметическая составляющая ошибки меняется, и баланс между представлениями может сместиться. Смещается ли?
- Результат
- Смещается, вопреки расхожему допущению. Условия с полными определениями вышли на 97-100%; условия без них не сдвинулись вовсе - голая схема с 26,5% на 23,5%. Хуже того, доля ответов, точно равных числу из отменённого правила, выросла с 16,2% до 29,4%, а уместный отказ упал с 83,3% до 50,0%. Инструменты не заменяют знания о том, что означают слова: они повышают цену незнания и делают провал тише.
2026-09-07
Collaborative Memory Benchmark
- Вопрос
- Когда в одну общую память пишут шесть команд, важно ли, где лежат владение, правило конфликтов и список доступа - внутри записи или в соседнем слое governance? Сравнение с реимплементациями трёх работающих продуктовых форм.
- Результат
- Где лежит - не важно; есть ли вообще - важно очень. Governance внутри записи дал 95,2%, тот же граф с отдельным каталогом 93,5%, обычная командная вики 96,8%, все попарные p = 1,00. Зато добавление governance к би-темпоральному графу подняло его с 77,4% до 93,5%, p = 0,039, и все представления с правилами доступа приняли все 60 межкомандных решений о раскрытии верно, тогда как граф без них допустил две критические переотдачи и скрыл 41% того, на что команды имели право.
2026-09-06
Personal Dimension Benchmark
- Вопрос
- Что даёт форма представления личных записей ассистенту, который их читает, и какая часть структуры отвечает за какую способность?
- Результат
- Структура не превзошла полные заметки: хронологические заметки со всеми фактами, датами и источниками дали 93,4% против 100% у структурированного измерения, разница в три задания, p = 0,25. Зато каждая абляция оказалась решающей. Без интервалов действия точность на исторических вопросах упала со 100% до 0%, а суждение о просроченности до 20%, при неизменных вопросах о текущем состоянии. Без провенанса разрешение конфликтов упало со 100% до 33%. Каждый класс полей - единственная опора одной способности.
2026-09-06
Semantic Grounding Benchmark
- Вопрос
- Делает ли слой версионированных определений агента точнее, когда две организации определяют одни и те же слова по-разному?
- Результат
- Нет. Связный текст с теми же фактами сравнялся с версионированными записями полностью, 76,5% против 76,5%, p = 1,00: точность следует за полнотой, а не за формой подачи. Только структурированные условия называли применённое правило, находили недостающее определение и его владельца, адресовали запрос верному владельцу и приняли 72 решения о раскрытии без критической ошибки.
2026-08
Извлечение из памяти
- Вопрос
- Даёт ли извлечение из структурированного Измерения выигрыш над плоскими заметками при вспоминании истории проекта?
- Результат
- Паритет по точности: все 15 вопросов верно отвечены в обоих условиях в трёх свежих прогонах. Извлечение передало на 57,9% меньше контекста. Результат - ничья, и опубликован как ничья.
Как это публикуется
Каждое исследование здесь выкладывает породивший его стенд, неотредактированные сырые прогоны всех вызовов модели и запись любой рецензии, снявшей более раннюю версию. Там, где утверждение не выдержало данных, менялось утверждение, а не данные. Бенчмарк, чьи провалы не опубликованы, является маркетинговым артефактом, а не измерением.