# Semantic Grounding Benchmark v2: μέθοδοι

> Η μετάφραση παρέχεται για διευκόλυνση. Κανονιστικό είναι το αγγλικό πρωτότυπο.

Έκδοση 2. Ημερομηνία εκτέλεσης 2026-09-06. Κύριο μοντέλο `claude-haiku-4-5-20251001`,
δευτερεύον μοντέλο `claude-sonnet-5`. 846 κλήσεις μοντέλου στη μελέτη που δημοσιεύεται.
Άλλες 480 κλήσεις δαπανήθηκαν στην έκδοση 1 του οργάνου, την οποία μια εξωτερική κριτική
ακύρωσε. Εκείνα τα δεδομένα εξαιρούνται από κάθε αποτέλεσμα που αναφέρεται εδώ και
συζητούνται στο αρχείο της κριτικής.

## 1. Σκοπός

Ένας πράκτορας στον οποίο τίθεται ποσοτική ερώτηση για έναν οργανισμό οφείλει να επιλέξει
ερμηνεία πριν υπολογίσει οτιδήποτε. Το ερώτημα "πόσους ενεργούς πελάτες έχουμε" δεν
απαντιέται όσο το "ενεργός" δεν έχει καθοριστεί σε κανόνα, και οι οργανισμοί αναθεωρούν
τακτικά τέτοιους κανόνες και διαφωνούν γι' αυτούς με τους αντισυμβαλλομένους τους. Η μελέτη
εξετάζει τι κερδίζει ένας πράκτορας όταν του δίνονται αυτοί οι κανόνες και, ειδικότερα, αν
το κέρδος εξαρτάται από το ότι δίνονται ως δομημένες, εκδοσιοποιημένες εγγραφές αντί ως
συνήθης τεκμηρίωση.

Η έκδοση 1 μετρούσε μόνο την ακρίβεια. Είναι ο στενότερος από τους ισχυρισμούς για ένα
στρώμα ορισμών, και η κριτική της έκδοσης 1 έδειξε ότι είναι ο ισχυρισμός που τα δεδομένα
στηρίζουν λιγότερο. Η έκδοση 2 μετρά επομένως πέντε ικανότητες, μία εκ των οποίων είναι η
ακρίβεια.

## 2. Όροι

Κάθε όρος παρακάτω χρησιμοποιείται σε αυτό το κείμενο και στη σελίδα αποτελεσμάτων με τη
σημασία που δίνεται εδώ και με καμία ευρύτερη.

| Όρος | Σημασία στη μελέτη αυτή |
|---|---|
| Σημασιολογική θεμελίωση | Η αντιστοιχία ανάμεσα στην έννοια που ονομάζει μια ερώτηση και στον υπολογισμό που εκτελεί ο πράκτορας απαντώντας. Μια απάντηση είναι θεμελιωμένη όταν ο υπολογισμός υλοποιεί τον ορισμό που ο ερωτών οργανισμός θεωρεί ότι ισχύει κατά την εν λόγω ημερομηνία. |
| Εγγραφή ορισμού | Μηχαναγνώσιμη διατύπωση ενός ορισμού, με αναγνωριστικό, έκδοση, ημερομηνία έναρξης ισχύος, αναφορά στην έκδοση που αντικαθιστά, υπεύθυνο ρόλο και παραμέτρους επαρκείς για τον υπολογισμό. |
| Κατάλογος ορισμών | Το σύνολο των εγγραφών ορισμού που δίνεται σε μια συνθήκη. |
| Τεκμηρίωση σε πεζό λόγο | Το ίδιο περιεχόμενο γραμμένο ως συνεχές κείμενο για ανθρώπους, χωρίς αναγνωριστικά, εκδόσεις ή πεδία. |
| Εγγραφή ομοσπονδίας | Εγγραφή που δηλώνει ποιος από τους ορισμούς δύο οργανισμών διέπει μια κατηγορία ερωτήσεων, μαζί με την εμβέλεια στην οποία ισχύει η δήλωση. |
| Συνθήκη | Ένα από τα μπλοκ συμφραζομένων που παρεμβάλλονται ανάμεσα στους πίνακες δεδομένων και στην ερώτηση. Οι συνθήκες διαφέρουν σε αυτό το μπλοκ και σε τίποτε άλλο. |
| Στοιχείο | Μια ερώτηση μαζί με την απάντηση αναφοράς της. Χρησιμοποιείται εναλλακτικά με τη λέξη "εργασία". |
| Απάντηση αναφοράς | Η τιμή που επιστρέφει η υλοποίηση αναφοράς του ισχύοντος ορισμού. Υπολογίζεται με κώδικα και ποτέ δεν δίνεται στο μοντέλο. |
| Ανταγωνιστικός ορισμός | Για ένα στοιχείο, ένας προκαθορισμένος εναλλακτικός κανόνας που ένας εύλογος αναγνώστης θα μπορούσε να εφαρμόσει. |
| Διαχωριστικό στοιχείο | Στοιχείο για το οποίο ο ανταγωνιστικός ορισμός δίνει αριθμητικά διαφορετική απάντηση από την αναφοράς. Επαληθεύεται με κώδικα για κάθε στοιχείο. |
| Κενό | Πεδίο που απαιτεί το σχήμα του καταλόγου και το οποίο λείπει, είναι κενό, ή παραπέμπει σε εγγραφή που δεν υπάρχει. |
| Ανάδειξη έλλειψης | Ο εντοπισμός ενός κενού, η ονομασία του πεδίου που λείπει και η ονομασία του ρόλου που ευθύνεται να το συμπληρώσει. |
| Συναρμολόγηση | Η επιλογή από τον κατάλογο του ελάχιστου υποσυνόλου εγγραφών που απαιτεί μια ερώτηση. |
| Απόφαση αποκάλυψης | Κρίση για το αν μια πληροφορία επιτρέπεται να δοθεί σε ένα κατονομαζόμενο αιτούν μέρος. |
| Κρίσιμο σφάλμα αποκάλυψης | Παράδοση ταυτοτήτων πελατών, όρων έκπτωσης, ή λειτουργικών δεδομένων ενός μεταφορέα σε ανταγωνιστή του. |

## 3. Υποθέσεις

Οι H1 έως H4 διατυπώθηκαν πριν εκτελεστεί η έκδοση 1. Η H5 προστέθηκε ως απάντηση στην
εξωτερική κριτική, και οι H6 έως H9 προστέθηκαν μαζί με τις τέσσερις διαδρομές ικανοτήτων.
Και οι πέντε είναι επομένως εκ των υστέρων. Η διάκριση δηλώνεται επειδή μια υπόθεση που
διατυπώνεται αφού έχουν ιδωθεί τα δεδομένα φέρει μικρότερο αποδεικτικό βάρος από μία που
διατυπώνεται πριν, και το κεντρικό αρνητικό αποτέλεσμα της μελέτης στηρίζεται στην H5.

| | Υπόθεση | Προκαθορισμένη |
|---|---|---|
| H1 | Η παροχή ορισμών σε οποιαδήποτε μορφή ανεβάζει την ακρίβεια πάνω από την παροχή μόνο του σχήματος δεδομένων. | ναι |
| H2 | Η ελλιπής τεκμηρίωση δεν ανεβάζει την ακρίβεια και αυξάνει το ποσοστό απαντήσεων που ταυτίζονται με καταργημένο κανόνα. | ναι |
| H3 | Το πλεονέκτημα των ορισμών είναι μεγαλύτερο σε ερωτήσεις των οποίων η ημερομηνία προηγείται αλλαγής ορισμού. | ναι |
| H4 | Οι εγγραφές ομοσπονδίας ανεβάζουν την ακρίβεια σε ερωτήσεις προς τον αντισυμβαλλόμενο χωρίς να τη μειώνουν αλλού. | ναι |
| H5 | Οι δομημένες εγγραφές ανεβάζουν την ακρίβεια πάνω από πεζό λόγο που φέρει τα ίδια δεδομένα. | όχι |
| H6 | Μόνο οι δομημένες συνθήκες μπορούν να προσδιορίσουν τον ορισμό και την έκδοση που εφαρμόστηκαν. | όχι |
| H7 | Μόνο οι δομημένες συνθήκες μπορούν να εντοπίσουν ένα κενό και να ονομάσουν τον υπεύθυνο ρόλο του. | όχι |
| H8 | Η δομημένη ταξινόμηση μειώνει τα κρίσιμα σφάλματα αποκάλυψης έναντι πολιτικής σε πεζό λόγο που διατυπώνει τους ίδιους κανόνες. | όχι |
| H9 | Η δομημένη απόδοση ευθύνης ανεβάζει το ποσοστό των αιτημάτων που φτάνουν στον σωστό υπεύθυνο. | όχι |

## 4. Υλικά

### 4.1 Συνθετικό σώμα δεδομένων

Το σώμα παράγεται ντετερμινιστικά από σταθερό σπόρο και περιγράφει έναν προμηθευτή, τη
**Meridian Supply Co**: 24 πελάτες, 72 παραγγελίες, 66 αποστολές, 56 τιμολόγια, 10
επιστροφές. Εμφανίζονται δύο μεταφορείς. Η **Halden Logistics** κατέχει δύο συμβάσεις: τη
C-118, την οποία διέπουν οι εγγραφές ομοσπονδίας, και τη C-301, την οποία εξαιρούν ρητά. Η
C-301 υπάρχει ώστε η εμβέλεια ενός κανόνα ομοσπονδίας να ελέγχεται έναντι σύμβασης του ίδιου
προμηθευτή που όμως βρίσκεται εκτός του κανόνα, περίπτωση που καμία ένδειξη στα δεδομένα δεν
ξεχωρίζει. Η **Zen Freight** κατέχει τη σύμβαση C-204 και βρίσκεται εκτός των κανόνων
συνολικά.

Οι περιορισμοί παραγωγής επιβάλλονται και επανελέγχονται μετά: καμία παραγγελία δεν
προηγείται της ημερομηνίας εγγραφής του πελάτη της, και σύμβαση και προμηθευτής
αντιστοιχίζονται συνεπώς, ώστε η θετική και η αρνητική εμβέλεια των κανόνων ομοσπονδίας να
μην επικαλύπτονται.

### 4.2 Ασαφείς έννοιες

Την ασάφεια φέρουν έξι έννοιες. Καθεμία επιλέχθηκε επειδή είναι έννοια για την οποία τμήματα
και εμπορικοί εταίροι κρατούν πραγματικά διαφορετικούς και τοπικά υπερασπίσιμους κανόνες.

| Έννοια | Άξονας διαφωνίας | Εκδόσεις |
|---|---|---|
| ενεργός πελάτης | παράθυρο 365 ή 180 ημερών | v1 σε v2 την 2026-04-01 |
| καθαρά έσοδα | ναύλος εντός ή εκτός, μείον επιστροφές | v1 σε v2 την 2026-05-01 |
| παραδόθηκε | επιβεβαίωση πελάτη ή σάρωση μεταφορέα | Meridian και Halden διαφέρουν |
| εμπρόθεσμα | αρχική ή επαναδιαπραγματευμένη ημερομηνία δέσμευσης | v1 σε v2 την 2026-02-01 |
| αξία παραγγελίας | ναύλος εκτός ή εντός | Meridian και Halden διαφέρουν |
| εργάσιμη ημέρα | δύο ημερολόγια αργιών | Meridian και Halden διαφέρουν |

### 4.3 Συνθήκες

Οι πίνακες δεδομένων, περίπου 10.000 χαρακτήρες CSV, είναι πανομοιότυποι σε κάθε συνθήκη.
Διαφέρει μόνο το μπλοκ των συμφραζομένων.

| Συνθήκη | Μπλοκ συμφραζομένων | Λειτουργία στον σχεδιασμό |
|---|---|---|
| A σχήμα | μόνο οι ορισμοί των πινάκων | Δάπεδο. Ό,τι λαμβάνει ένας πράκτορας όταν δεν υπάρχει σημασιολογικό στρώμα. |
| B πεζός λόγος, ελλιπής | σελίδα wiki του είδους που όντως συντηρούν οι οργανισμοί: χωρίς υπευθύνους, χωρίς ημερομηνίες, με παράγραφο που ακυρώνεται από άλλη και αρκετούς κανόνες να λείπουν | Ρεαλιστική τεκμηρίωση. |
| E πεζός λόγος, πλήρης | τα ίδια δεδομένα με τη συνθήκη C γραμμένα ως συνεχές κείμενο: παράθυρα, ημερομηνίες αλλαγής, τύποι, υπεύθυνοι ρόλοι, και τα δύο ημερολόγια | Ο έλεγχος που χωρίζει την αναπαράσταση από την πληρότητα. Προστέθηκε μετά την κριτική της έκδοσης 1. |
| C εγγραφές | μηχαναγνώσιμες εγγραφές ορισμού με αναγνωριστικό, έκδοση, ημερομηνία ισχύος, αντικατάσταση και υπεύθυνο | Η υπό μελέτη παρέμβαση. |
| F εγγραφές + γέμισμα | η συνθήκη C συν αδρανές παράρτημα ίδιου μήκους και θέσης με το μπλοκ ομοσπονδίας | Χωρίζει το μήκος των συμφραζομένων από το περιεχόμενό τους. |
| D εγγραφές + ομοσπονδία | η συνθήκη C συν τις εγγραφές ομοσπονδίας | Το διοργανωσιακό στρώμα. |

Οι εγγραφές ομοσπονδίας ισχύουν μόνο για ερωτήσεις που απευθύνονται στον αντισυμβαλλόμενο
και δηλώνουν τον περιορισμό αυτό ρητά. Η εσωτερική πληροφόρηση εξαιρείται ονομαστικά, ακόμη
και όταν οι εμπλεκόμενες γραμμές ανήκουν στη σχετική σύμβαση. Η έκδοση 1 παρέλειπε τον
περιορισμό, με τη συνέπεια που καταγράφεται ως εύρημα R2 της κριτικής.

## 5. Σχεδιασμός

Ενδο-στοιχειακός σχεδιασμός επαναλαμβανόμενων μετρήσεων. Κάθε στοιχείο παρουσιάζεται σε
κάθε συνθήκη, οπότε κάθε στοιχείο λειτουργεί ως δικός του έλεγχος και η διακύμανση
δυσκολίας μεταξύ στοιχείων δεν εισέρχεται στις συγκρίσεις.

Η διαδρομή A περιλαμβάνει 40 στοιχεία x 6 συνθήκες x 2 επαναλήψεις = 480 κλήσεις. Οι πέντε
διαδρομές μαζί αθροίζουν 846 κλήσεις: διαδρομή A 480, δευτερεύον μοντέλο 160, B1 60, B2 80,
B3 18 και B4 48 σε 16 αλυσίδες τριών γύρων.

## 6. Κατασκευή στοιχείων

40 στοιχεία σε τέσσερις οικογένειες.

- **COMP, 12 στοιχεία.** Υπολογισμός με τον ισχύοντα ορισμό, σε πλαίσιο εσωτερικής
  πληροφόρησης.
- **TEMP, 10 στοιχεία.** Ερώτηση της οποίας η ημερομηνία αναφοράς προηγείται αλλαγής
  ορισμού, σε τρία εκδοσιοποιημένα μεγέθη. Δύο στοιχεία πέφτουν ακριβώς σε ημερομηνία
  έναρξης ισχύος, όπου ο ισχύων κανόνας εξαρτάται από το αν το άκρο περιλαμβάνεται.
- **XORG, 12 στοιχεία.** Δέκα ερωτήσεις προς τον αντισυμβαλλόμενο, συν δύο διαχωριστές
  εμβέλειας: η σύμβαση C-301 του ίδιου προμηθευτή και ο προμηθευτής ZEN, και οι δύο εκτός
  των κανόνων ομοσπονδίας.
- **ABST, 6 στοιχεία.** Ερωτήσεις που το σώμα δεδομένων δεν μπορεί να απαντήσει υπό κανέναν
  ορισμό. Η σωστή απόκριση είναι η άρνηση με αιτιολόγηση.

Και τα 34 απαντήσιμα στοιχεία επαληθεύτηκαν με κώδικα ως διαχωριστικά με την έννοια της
ενότητας 2. Ασάφειες εκτός αντικειμένου αφαιρέθηκαν από το κείμενο: κάθε εσωτερική ερώτηση
δηλώνει ότι είναι εσωτερική, κάθε ερώτηση προς τον αντισυμβαλλόμενο τον κατονομάζει, και ο
κανόνας μέτρησης εργάσιμων ημερών δηλώνεται στην ερώτηση αντί να αφήνεται σε συναγωγή.

## 7. Μετρικές της διαδρομής A

| Κωδικός | Μετρική | Παρονομαστής |
|---|---|---|
| M1 | Η επιστρεφόμενη τιμή ισούται με την απάντηση αναφοράς. | απαντήσιμα στοιχεία |
| M2 | Η απάντηση ονομάζει και το αναγνωριστικό και την έκδοση του ισχύοντος ορισμού. | απαντήσιμα στοιχεία |
| M5 | Η απάντηση αρνείται σε στοιχείο που το σώμα δεδομένων δεν μπορεί να απαντήσει. Η άρνηση σε απαντήσιμο στοιχείο καταγράφεται χωριστά ως αδικαιολόγητη αποχή. | μη απαντήσιμα στοιχεία |
| M7 | Η επιστρεφόμενη τιμή ισούται ακριβώς με την απάντηση που θα έδινε ο προκαθορισμένος ανταγωνιστικός ορισμός. | απαντήσιμα στοιχεία |

Δύο ιδιότητες περιορίζουν την ερμηνεία του M7. Ανιχνεύει μόνο την ακριβή ισότητα με μία
προκαθορισμένη εναλλακτική, οπότε δεν ανιχνεύει τη μεικτή εφαρμογή δύο κανόνων, λανθασμένο
φίλτρο γραμμών, ή λάθος ορισμό ακολουθούμενο από αριθμητικό σφάλμα. Και ένα αριθμητικό
σφάλμα μπορεί να συμπέσει μαζί του τυχαία. Το M7 είναι επομένως κάτω φράγμα του σφάλματος
ερμηνείας και όχι μέτρο του. Στην έκδοση 1 η μετρική ονομαζόταν "χρησιμοποίησε λάθος
ορισμό", που ισχυριζόταν περισσότερα από όσα ανιχνεύει.

Το M2 είναι εξ ορισμού ανέφικτο στις συνθήκες χωρίς κατάλογο, επειδή δεν υπάρχουν
αναγνωριστικά ή εκδόσεις προς αναφορά. Αυτό δεν είναι ελάττωμα της σύγκρισης αλλά το ίδιο
το εύρημα: η ιχνηλασιμότητα είναι ιδιότητα της αναπαράστασης και όχι του μοντέλου.

## 8. Διαδρομές B1 έως B4

### 8.1 B1, ανάδειξη ελλείψεων

Στον κατάλογο εισάγονται έξι κενά: ένα κενό μπλοκ `parameters`, ένα `effective_from` που
λείπει, ένας `owner` που λείπει, ένα `superseded_by` που παραπέμπει σε ανύπαρκτη έκδοση, ένα
ημερολόγιο που καλύπτει μόνο το προηγούμενο έτος, και ένας ορισμός που λείπει εντελώς. Κάθε
κενό συνοδεύεται από ερώτηση που δεν απαντιέται όσο το κενό μένει ανοιχτό. Τέσσερις
ερωτήσεις ελέγχου δεν περιέχουν κενό και μετρούν το ποσοστό ψευδών συναγερμών.

Συνθήκες: `schema`, `prose_deficient` (τα ίδια κενά σε πεζό λόγο) και `vercy_deficient` (τα
ίδια κενά σε εγγραφές). Μετρικές: κενό εντοπίστηκε, πεδίο που λείπει ονομάστηκε, υπεύθυνος
ρόλος ονομάστηκε, ποσοστό ψευδών συναγερμών και ακρίβεια στις ερωτήσεις ελέγχου.

### 8.2 B2, συναρμολόγηση

Ο κατάλογος διευρύνεται σε 41 εγγραφές συνολικά 10.332 χαρακτήρων, από τις οποίες κάθε
μεμονωμένη ερώτηση απαιτεί μία ή δύο. Πρώτο στάδιο: ο πράκτορας επιλέγει ελάχιστο
υποσύνολο. Δεύτερο στάδιο: η ερώτηση τίθεται ξανά υπό τρεις συνθήκες συναρμολόγησης, δηλαδή
ολόκληρος ο κατάλογος, η επιλογή του ίδιου του πράκτορα, και μια απλοϊκή γραμμή βάσης top-5
με λέξεις-κλειδιά. Μετρικές: ακρίβεια και ανάκληση της επιλογής έναντι του γνωστού
απαιτούμενου συνόλου, μέγεθος συμφραζομένων και ακρίβεια απάντησης σε κάθε συνθήκη.

### 8.3 B3, έλεγχος αποκάλυψης

Δώδεκα πληροφορίες και τρία αιτούντα μέρη, δηλαδή ο δικός μας μεταφορέας, ένας ανταγωνιστής
μεταφορέας και ένας εξωτερικός ελεγκτής, που δίνουν 72 αποφάσεις αποκάλυψης ανά συνθήκη.
Συνθήκες: χωρίς πολιτική, η πολιτική σε πεζό λόγο, και εγγραφές ταξινόμησης με τα πεδία
`classification`, `release_to` και `basis`. Οι δύο συνθήκες με πολιτική διατυπώνουν τους
ίδιους κανόνες και διαφέρουν μόνο στην αναπαράσταση. Μετρικές: ακρίβεια και ανάκληση
αποκάλυψης, συνολική ορθότητα αποφάσεων και, χωριστά, το πλήθος κρίσιμων σφαλμάτων
αποκάλυψης. Τα δύο είδη σφάλματος αναφέρονται χωριστά επειδή το κόστος τους είναι
ασύμμετρο: μια περιττή άρνηση κοστίζει τριβή, μια περιττή παράδοση μπορεί να κοστίσει
σύμβαση.

### 8.4 B4, συνεργατική συμπλήρωση

Τρεις γύροι ανά αλυσίδα, με έναν συντονιστή και τέσσερις πράκτορες-υπευθύνους με ρόλο. Ο
συντονιστής πρέπει να απευθυνθεί σε ακριβώς έναν υπεύθυνο και να ζητήσει συγκεκριμένο πεδίο.
Ο υπεύθυνος κατέχει μόνο τη δική του αρμοδιότητα και το δικό του δεδομένο, οφείλει να
αρνηθεί οτιδήποτε εκτός αυτής και, αρνούμενος, να ονομάσει τον σωστό υπεύθυνο. Έπειτα ο
συντονιστής καταγράφει την απάντηση ως νέα έκδοση και απαντά στην αρχική ερώτηση. Μετρικές:
ορθότητα δρομολόγησης, συμπεριφορά άρνησης του υπευθύνου, καλή διαμόρφωση της παραχθείσας
εγγραφής, ορθότητα της ημερομηνίας ισχύος της και ακρίβεια της τελικής απάντησης.

## 9. Διαδικασία

Τα εργαλεία απενεργοποιήθηκαν και το system prompt του πράκτορα αντικαταστάθηκε από
ουδέτερο, ώστε το μετρούμενο αποτέλεσμα να αποδίδεται στο μπλοκ των συμφραζομένων και όχι σε
υποδομή προγραμματισμού. Οι απαντήσεις είναι ένα μοναδικό αντικείμενο JSON βάσει σταθερού
συμβολαίου. Η επιτυχία συντακτικής ανάλυσης ήταν 100% σε κάθε συνθήκη. Η σειρά των κλήσεων
τυχαιοποιήθηκε σε όλο το έργο, ώστε τυχόν μεταβολή της συμπεριφοράς της υπηρεσίας κατά την
εκτέλεση να μη συγχέεται με τη συνθήκη.

## 10. Στατιστική ανάλυση

Η μονάδα ανάλυσης είναι το στοιχείο, όχι η κλήση. Δύο επαναλήψεις ενός στοιχείου υπό μία
συνθήκη δεν είναι ανεξάρτητες παρατηρήσεις, και η αντιμετώπισή τους ως ανεξάρτητων διογκώνει
το φαινόμενο μέγεθος δείγματος. Οι επαναλήψεις συνεπώς μέσων όρων λαμβάνονται εντός του
στοιχείου πριν εφαρμοστεί οποιοσδήποτε έλεγχος.

Οι ζευγαρωτές συγκρίσεις μεταξύ συνθηκών χρησιμοποιούν τον ακριβή δίπλευρο έλεγχο προσήμων
σε μέσους όρους στοιχείων. Δεν κάνει καμία υπόθεση κατανομής και ταιριάζει στις φραγμένες,
διακριτές ανά στοιχείο βαθμολογίες που παράγει ο σχεδιασμός. Τα διαστήματα εμπιστοσύνης
ομαδοποιούνται ανά στοιχείο. Η έκδοση 1 εφάρμοσε τον έλεγχο McNemar σε επίπεδο μεμονωμένων
κλήσεων και υπερεκτίμησε τη σημαντικότητα. Η διόρθωση ποσοτικοποιείται ως εύρημα R4 της
κριτικής.

Δεν εφαρμόζεται διόρθωση για πολλαπλές συγκρίσεις. Αναφέρονται οκτώ ζευγαρωτές συγκρίσεις,
οπότε ένα ονομαστικό p ίσο με 0,05 δεν πρέπει να διαβαστεί ως 5% οικογενειακό σφάλμα. Οι
συγκρίσεις που φέρουν τα συμπεράσματα είναι σημαντικές με p < 0,002 ή μη σημαντικές με
p = 1,00, οπότε η επιλογή αυτή δεν επηρεάζει κανένα συμπέρασμα.

## 11. Απειλές για την εγκυρότητα

**Εγκυρότητα εννοιολογικής κατασκευής.** Οι απαντήσεις αναφοράς υπολογίζονται από τους
ίδιους ορισμούς που δίνει η συνθήκη C. Αυτό είναι φυσιολογικό για benchmark εκτέλεσης
προδιαγραφής, αλλά σημαίνει ότι η μελέτη μετρά τη συμμόρφωση σε προδιαγραφή και όχι την
ανακάλυψη του σωστού επιχειρηματικού νοήματος. Η επιτυχία έναντι κριτηρίου ορισμένου από
τους συγγραφείς δείχνει ότι ο πράκτορας εφαρμόζει σωστά έναν δοσμένο κανόνα, όχι ότι το
στρώμα βρίσκει τον σωστό κανόνα. Τους κανόνες τους έγραψαν οι συγγραφείς. Κανόνες γραμμένοι
ανεξάρτητα με τυφλή κρίση θα αντιμετώπιζαν αυτό και δεν έχουν γίνει.

**Εσωτερική εγκυρότητα.** Οι συνθήκες διαφέρουν μόνο στο μπλοκ συμφραζομένων, με τα
δεδομένα, το κείμενο της ερώτησης, τις παραμέτρους αποκωδικοποίησης και τη σειρά κλήσεων
σταθερά, οπότε οι διαφορές μεταξύ συνθηκών αποδίδονται σε αυτό το μπλοκ. Η συνθήκη F χωρίζει
το μήκος του μπλοκ από το περιεχόμενό του και δεν δείχνει ποινή ακρίβειας για το πρόσθετο
μήκος σε αυτά τα μεγέθη. Η συνθήκη E είναι περίπου 1.000 χαρακτήρες κοντύτερη από τη C,
επειδή ο πεζός λόγος είναι πυκνότερος από τις εγγραφές. Αν το μήκος έβλαπτε, αυτό θα ευνοούσε
την E, οπότε η σύγκριση C έναντι E είναι συντηρητική υπέρ της C.

**Εξωτερική εγκυρότητα.** Ένα συνθετικό σώμα δεδομένων, παραγμένο μία φορά. Μία οικογένεια
μοντέλων σε δύο επίπεδα ικανοτήτων, και κανένας άλλος πάροχος. Τα εργαλεία ήταν
απενεργοποιημένα, οπότε τα αποτελέσματα περιγράφουν πράκτορα που συλλογίζεται πάνω σε
πινακοποιημένα δεδομένα εντός των συμφραζομένων και δεν περιγράφουν λειτουργικό πράκτορα με
πρόσβαση σε βάση δεδομένων, όπου η αριθμητική συνιστώσα του σφάλματος θα άλλαζε και η
ισορροπία μεταξύ συνθηκών θα μπορούσε να μετατοπιστεί.

**Εγκυρότητα στατιστικού συμπεράσματος.** 34 απαντήσιμα στοιχεία και 12 δοκιμές κενών είναι
μικρά δείγματα. Η διαδρομή B2 έχει 20 παρατηρήσεις ανά συνθήκη συναρμολόγησης, γι' αυτό μια
ονομαστική διαφορά 20 μονάδων εκεί αναφέρεται ως μη διακριτή από τον θόρυβο και όχι ως
εύρημα. Οι διαστηματικές εκτιμήσεις είναι αντιστοίχως πλατιές και αναφέρονται δίπλα σε κάθε
σημειακή εκτίμηση στη σελίδα αποτελεσμάτων.

## 12. Διαθεσιμότητα

Ο γεννήτορας, η μηχανή αναφοράς, οι συνθήκες, το σύνολο στοιχείων, οι εκτελεστές και τα
σενάρια ανάλυσης δημοσιεύονται πλήρη, μαζί με τις ακατέργαστες, χωρίς επεξεργασία εκτελέσεις
κάθε διαδρομής. Το δημοσιευμένο `result.json` κατασκευάζεται απευθείας από αυτές τις
εκτελέσεις με σενάριο, ώστε τα μεγέθη στη σελίδα αποτελεσμάτων να μην μπορούν να
αποκλίνουν από τα δεδομένα που τα παρήγαγαν.