Vercy · исследования
Исследования.
Что структурированная память даёт агенту - измеренное, а не заявленное. Отрицательные результаты со страницы не убираются.
2026-09-06
Personal Dimension Benchmark
- Вопрос
- Что даёт форма представления личных записей ассистенту, который их читает, и какая часть структуры отвечает за какую способность?
- Результат
- Структура не превзошла полные заметки: хронологические заметки со всеми фактами, датами и источниками дали 93,4% против 100% у структурированного измерения, разница в три задания, p = 0,25. Зато каждая абляция оказалась решающей. Без интервалов действия точность на исторических вопросах упала со 100% до 0%, а суждение о просроченности до 20%, при неизменных вопросах о текущем состоянии. Без провенанса разрешение конфликтов упало со 100% до 33%. Каждый класс полей - единственная опора одной способности.
2026-09-06
Semantic Grounding Benchmark
- Вопрос
- Делает ли слой версионированных определений агента точнее, когда две организации определяют одни и те же слова по-разному?
- Результат
- Нет. Связный текст с теми же фактами сравнялся с версионированными записями полностью, 76,5% против 76,5%, p = 1,00: точность следует за полнотой, а не за формой подачи. Только структурированные условия называли применённое правило, находили недостающее определение и его владельца, адресовали запрос верному владельцу и приняли 72 решения о раскрытии без критической ошибки.
2026-08
Извлечение из памяти
- Вопрос
- Даёт ли извлечение из структурированного Измерения выигрыш над плоскими заметками при вспоминании истории проекта?
- Результат
- Паритет по точности: все 15 вопросов верно отвечены в обоих условиях в трёх свежих прогонах. Извлечение передало на 57,9% меньше контекста. Результат - ничья, и опубликован как ничья.
Как это публикуется
Каждое исследование здесь выкладывает породивший его стенд, неотредактированные сырые прогоны всех вызовов модели и запись любой рецензии, снявшей более раннюю версию. Там, где утверждение не выдержало данных, менялось утверждение, а не данные. Бенчмарк, чьи провалы не опубликованы, является маркетинговым артефактом, а не измерением.