Vercy · έρευνα
Έρευνα.
Τι προσφέρει η δομημένη μνήμη σε έναν πράκτορα, μετρημένο και όχι δηλωμένο. Τα αρνητικά αποτελέσματα παραμένουν στη σελίδα.
2026-09-06
Personal Dimension Benchmark
- Ερώτημα
- Στα προσωπικά αρχεία ενός ανθρώπου, τι προσφέρει η αναπαράσταση στον βοηθό που τα διαβάζει, και ποιο μέρος μιας δομημένης αναπαράστασης στηρίζει ποια ικανότητα;
- Εύρημα
- Η δομή δεν ξεπέρασε τις πλήρεις σημειώσεις: οι χρονολογικές σημειώσεις με κάθε δεδομένο, ημερομηνία και πηγή σημείωσαν 93,4% έναντι 100% της δομημένης διάστασης, με διαφορά τριών στοιχείων, p = 0,25. Κάθε αφαίρεση όμως ήταν καθοριστική. Χωρίς διαστήματα ισχύος η ακρίβεια στα ιστορικά ερωτήματα έπεσε από 100% σε 0% και η κρίση λήξης στο 20%, με τα ερωτήματα για το παρόν ανέπαφα. Χωρίς προέλευση, η επίλυση συγκρούσεων έπεσε από 100% σε 33%. Κάθε κλάση πεδίων στηρίζει από μόνη της μία ικανότητα.
2026-09-06
Semantic Grounding Benchmark
- Ερώτημα
- Κάνει ένα στρώμα εκδοσιοποιημένων ορισμών τον πράκτορα πιο ακριβή όταν δύο οργανισμοί ορίζουν τις ίδιες λέξεις διαφορετικά;
- Εύρημα
- Όχι. Ο συνεχής πεζός λόγος με τα ίδια δεδομένα ισοφάρισε ακριβώς τις εκδοσιοποιημένες εγγραφές, 76,5% έναντι 76,5%, p = 1,00: η ακρίβεια ακολουθεί την πληρότητα, όχι την αναπαράσταση. Μόνο οι δομημένες συνθήκες παρέπεμψαν στον κανόνα, εντόπισαν ορισμό που έλειπε και τον υπεύθυνό του, δρομολόγησαν το αίτημα σωστά και πήραν 72 αποφάσεις αποκάλυψης χωρίς κρίσιμο σφάλμα.
2026-08
Ανάκτηση μνήμης
- Ερώτημα
- Υπερτερεί η ανάκτηση πάνω σε δομημένη Διάσταση έναντι επίπεδων σημειώσεων στην ανάκληση της ιστορίας ενός έργου;
- Εύρημα
- Ισοπαλία στην ακρίβεια: και οι 15 ερωτήσεις σωστές και στις δύο συνθήκες σε τρεις νέες εκτελέσεις. Η ανάκτηση έδωσε 57,9% λιγότερα συμφραζόμενα. Το αποτέλεσμα είναι ισοπαλία και δημοσιεύεται ως τέτοιο.
Πώς δημοσιεύονται
Κάθε μελέτη εδώ δημοσιεύει το όργανο που την παρήγαγε, τις ακατέργαστες εκτελέσεις όλων των κλήσεων του μοντέλου, και την καταγραφή κάθε κριτικής που ακύρωσε προηγούμενη έκδοση. Όπου ένας ισχυρισμός δεν επιβίωσε των δεδομένων, άλλαξε ο ισχυρισμός και όχι τα δεδομένα. Ένα benchmark του οποίου οι αποτυχίες δεν δημοσιεύονται είναι τεχνούργημα μάρκετινγκ και όχι μέτρηση.