Vercy · έρευνα
Έρευνα.
Τι προσφέρει η δομημένη μνήμη σε έναν πράκτορα, μετρημένο και όχι δηλωμένο. Τα αρνητικά αποτελέσματα παραμένουν στη σελίδα.
2026-09-07
Με εργαλεία: ο περιορισμός που δήλωσε κάθε προηγούμενη μελέτη
- Ερώτημα
- Κάθε μελέτη της σειράς απενεργοποίησε τα εργαλεία και το ονόμασε βασικό της περιορισμό: με κέλυφος και αρχείο δεδομένων αλλάζει η αριθμητική συνιστώσα του σφάλματος και η ισορροπία μεταξύ αναπαραστάσεων μπορεί να μετατοπιστεί. Μετατοπίζεται;
- Εύρημα
- Μετατοπίζεται, ενάντια στην κοινή υπόθεση. Οι συνθήκες με πλήρεις ορισμούς ανέβηκαν στο 97-100%· όσες δεν είχαν δεν μετακινήθηκαν καθόλου, από 26,5% σε 23,5% για το σκέτο σχήμα. Χειρότερα, το ποσοστό απαντήσεων ίσων ακριβώς με τον αριθμό καταργημένου κανόνα ανέβηκε από 16,2% σε 29,4%, και η ορθή αποχή έπεσε από 83,3% σε 50,0%. Τα εργαλεία δεν υποκαθιστούν τη γνώση του τι σημαίνουν οι λέξεις: ανεβάζουν το κόστος της άγνοιας και κάνουν την αποτυχία πιο σιωπηλή.
2026-09-07
Collaborative Memory Benchmark
- Ερώτημα
- Όταν έξι ομάδες γράφουν σε μία κοινή μνήμη, έχει σημασία αν η ιδιοκτησία, ο κανόνας σύγκρουσης και η λίστα πρόσβασης βρίσκονται μέσα στην εγγραφή ή σε ένα διπλανό στρώμα διακυβέρνησης; Σύγκριση με αναπαραστάσεις τριών πραγματικών προϊοντικών μορφών.
- Εύρημα
- Το πού βρίσκονται δεν είχε σημασία, το αν υπάρχουν είχε μεγάλη. Η διακυβέρνηση μέσα στην εγγραφή σημείωσε 95,2%, ο ίδιος γράφος με ξεχωριστό κατάλογο 93,5%, ένα απλό wiki ομάδας 96,8%, όλες οι κατά ζεύγη συγκρίσεις με p = 1,00. Όμως η προσθήκη διακυβέρνησης σε διτεμπορικό γράφο τον ανέβασε από 77,4% σε 93,5%, p = 0,039, και κάθε αναπαράσταση με κανόνες πρόσβασης πήρε σωστά και τις 60 αποφάσεις αποκάλυψης μεταξύ ομάδων, ενώ ο γράφος χωρίς αυτούς έκανε δύο κρίσιμες υπερ-αποκαλύψεις και απέκρυψε το 41% όσων δικαιούνταν οι ομάδες.
2026-09-06
Personal Dimension Benchmark
- Ερώτημα
- Στα προσωπικά αρχεία ενός ανθρώπου, τι προσφέρει η αναπαράσταση στον βοηθό που τα διαβάζει, και ποιο μέρος μιας δομημένης αναπαράστασης στηρίζει ποια ικανότητα;
- Εύρημα
- Η δομή δεν ξεπέρασε τις πλήρεις σημειώσεις: οι χρονολογικές σημειώσεις με κάθε δεδομένο, ημερομηνία και πηγή σημείωσαν 93,4% έναντι 100% της δομημένης διάστασης, με διαφορά τριών στοιχείων, p = 0,25. Κάθε αφαίρεση όμως ήταν καθοριστική. Χωρίς διαστήματα ισχύος η ακρίβεια στα ιστορικά ερωτήματα έπεσε από 100% σε 0% και η κρίση λήξης στο 20%, με τα ερωτήματα για το παρόν ανέπαφα. Χωρίς προέλευση, η επίλυση συγκρούσεων έπεσε από 100% σε 33%. Κάθε κλάση πεδίων στηρίζει από μόνη της μία ικανότητα.
2026-09-06
Semantic Grounding Benchmark
- Ερώτημα
- Κάνει ένα στρώμα εκδοσιοποιημένων ορισμών τον πράκτορα πιο ακριβή όταν δύο οργανισμοί ορίζουν τις ίδιες λέξεις διαφορετικά;
- Εύρημα
- Όχι. Ο συνεχής πεζός λόγος με τα ίδια δεδομένα ισοφάρισε ακριβώς τις εκδοσιοποιημένες εγγραφές, 76,5% έναντι 76,5%, p = 1,00: η ακρίβεια ακολουθεί την πληρότητα, όχι την αναπαράσταση. Μόνο οι δομημένες συνθήκες παρέπεμψαν στον κανόνα, εντόπισαν ορισμό που έλειπε και τον υπεύθυνό του, δρομολόγησαν το αίτημα σωστά και πήραν 72 αποφάσεις αποκάλυψης χωρίς κρίσιμο σφάλμα.
2026-08
Ανάκτηση μνήμης
- Ερώτημα
- Υπερτερεί η ανάκτηση πάνω σε δομημένη Διάσταση έναντι επίπεδων σημειώσεων στην ανάκληση της ιστορίας ενός έργου;
- Εύρημα
- Ισοπαλία στην ακρίβεια: και οι 15 ερωτήσεις σωστές και στις δύο συνθήκες σε τρεις νέες εκτελέσεις. Η ανάκτηση έδωσε 57,9% λιγότερα συμφραζόμενα. Το αποτέλεσμα είναι ισοπαλία και δημοσιεύεται ως τέτοιο.
Πώς δημοσιεύονται
Κάθε μελέτη εδώ δημοσιεύει το όργανο που την παρήγαγε, τις ακατέργαστες εκτελέσεις όλων των κλήσεων του μοντέλου, και την καταγραφή κάθε κριτικής που ακύρωσε προηγούμενη έκδοση. Όπου ένας ισχυρισμός δεν επιβίωσε των δεδομένων, άλλαξε ο ισχυρισμός και όχι τα δεδομένα. Ένα benchmark του οποίου οι αποτυχίες δεν δημοσιεύονται είναι τεχνούργημα μάρκετινγκ και όχι μέτρηση.