# Εξωτερική αντιπαραθετική κριτική της έκδοσης 1 > Η μετάφραση παρέχεται για διευκόλυνση. Κανονιστικό είναι το αγγλικό πρωτότυπο. ## 1. Πρωτόκολλο κριτικής Η έκδοση 1 αυτού του benchmark υποβλήθηκε σε εξωτερική αντιπαραθετική κριτική πριν τη δημοσίευση. Ο κριτής ήταν το **Codex (GPT-5.2)**, που εκτελέστηκε τοπικά σε κατάσταση μόνο για ανάγνωση πάνω στον κατάλογο του οργάνου, με μία μόνο οδηγία: να λειτουργήσει ως εχθρικός και ικανός μεθοδολόγος, να κατατάξει τα ευρήματα κατά τη σοβαρότητα με την οποία το καθένα απειλεί το δηλωμένο συμπέρασμα, και να παραθέτει αρχείο και γραμμή για κάθε ένα. Η κριτική επέστρεψε δύο ευρήματα που άλλαξαν το αποτέλεσμα και πέντε που άλλαξαν το τι μπορούσε να υποστηριχθεί ή πώς διατυπωνόταν. Τα μεγέθη της έκδοσης 1 απορρίφθηκαν αντί να διορθωθούν επί τόπου, επειδή δύο από τα ευρήματα αφορούσαν το ίδιο το όργανο και όχι μόνο την ερμηνεία του. Το παρόν καταγράφει κάθε εύρημα, την αποδεικτική του βάση, τη διόρθωση που εφαρμόστηκε και την επίδραση στα συμπεράσματα. Ένα benchmark του οποίου οι αποτυχίες δεν δημοσιεύονται είναι τεχνούργημα μάρκετινγκ και όχι μέτρηση. Τα ευρήματα ταξινομούνται κατά το είδος εγκυρότητας που απειλούν, ακολουθώντας την τυπική τετραμερή διάκριση της ενότητας 11 των μεθόδων. ## 2. Σύνοψη | Κωδ. | Απειλούμενη εγκυρότητα | Εύρημα | Διευθέτηση | |---|---|---|---| | R1 | Εννοιολογικής κατασκευής | Η παρέμβαση σύγχεε την αναπαράσταση με την πληρότητα | Διορθώθηκε με προσθήκη συνθήκης, η αρχική υπόθεση καταρρίφθηκε | | R2 | Εσωτερική | Η αιτία της πτώσης στην ομοσπονδία αποδόθηκε λανθασμένα | Διορθώθηκε, το σφάλμα ήταν στο όργανο και το μοντέλο είχε δίκιο | | R3 | Εννοιολογικής κατασκευής | Μια μετρική ονομαζόταν πέρα από όσα ανιχνεύει | Μετονομάστηκε και οριοθετήθηκε | | R4 | Στατιστικού συμπεράσματος | Η σημαντικότητα υπολογίστηκε σε μη ανεξάρτητες παρατηρήσεις | Επαναναλύθηκε, ένα δηλωμένο αποτέλεσμα δεν επιβίωσε | | R5 | Εννοιολογικής κατασκευής | Κυκλικότητα του κριτηρίου | Έγινε δεκτό ως περιορισμός, δεν διορθώθηκε | | R6 | Εσωτερική | Ελαττώματα σε επίπεδο στοιχείου σε τέσσερα σημεία | Όλα διορθώθηκαν και επαναελέγχθηκαν | | R7 | Εξωτερική | Ο ισχυρισμός διατυπωνόταν ευρύτερα από όσο στηρίζει ο σχεδιασμός | Ο ισχυρισμός περιορίστηκε | ## 3. Ευρήματα ### R1. Η παρέμβαση σύγχεε την αναπαράσταση με την πληρότητα **Εύρημα.** Η συνθήκη πεζού λόγου δεν περιείχε δεδομένα που περιείχε η δομημένη: ούτε το τότε ισχύον παράθυρο, ούτε την ημερομηνία που άλλαξε, ούτε τα ημερολόγια αργιών, ούτε τον τύπο αποτίμησης του αντισυμβαλλομένου. **Τεκμηρίωση.** Άμεση σύγκριση των δύο μπλοκ συμφραζομένων. Κανένα μοντέλο δεν συνάγει αυθαίρετη πολιτική 180 ημερών από γραμμές συναλλαγών, οπότε τα δεδομένα που έλειπαν δεν ήταν ανακτήσιμα από τα στοιχεία που παρέμεναν σταθερά στις συνθήκες. **Εκτίμηση.** Η σύγκριση απέδειξε ότι μια πλήρης προδιαγραφή υπερτερεί μιας ελλιπούς, που δεν ήταν ο ισχυρισμός που διατυπωνόταν. Ο ισχυρισμός ότι η εκδοσιοποίηση βοηθά αφ' εαυτής δεν ταυτοποιούνταν καθόλου από τον σχεδιασμό, επειδή δεν υπήρχε κατά τα άλλα ισοδύναμη συνθήκη χωρίς εκδόσεις. **Διόρθωση.** Προστέθηκε η συνθήκη E: πλήρης πεζός λόγος που φέρει ακριβώς τα δεδομένα της συνθήκης C. Έτσι η αναπαράσταση παραμένει η μόνη μεταβλητή στην αντιπαραβολή C και E. **Επίδραση στα συμπεράσματα.** Καθοριστική και δυσμενής. Η συνθήκη E ισοφάρισε τη C ως το δέκατο με p = 1,00. Η υπόθεση H5 καταρρίφθηκε και ο τίτλος της έκδοσης 1 δεν επιβίωσε. ### R2. Η αιτία της πτώσης στη συνθήκη ομοσπονδίας αποδόθηκε λανθασμένα **Εύρημα.** Η έκδοση 1 ανέφερε ότι η συνθήκη ομοσπονδίας έχανε ακρίβεια λόγω αριθμητικής υποβάθμισης από μεγαλύτερα συμφραζόμενα. Η απόδοση αυτή ήταν λανθασμένη. **Τεκμηρίωση.** Ο κριτής διάβασε τις ακατέργαστες απαντήσεις. Σε δύο στοιχεία το μοντέλο επέστρεψε ακριβώς την τιμή που προκύπτει με εφαρμογή του κανόνα του αντισυμβαλλομένου στις δικές του γραμμές και του δικού μας κανόνα στις υπόλοιπες, και το δήλωσε στη δική του επεξηγηματική σημείωση. Η συμπεριφορά ήταν εφαρμογή κανόνα, όχι αριθμητική αστοχία. **Εκτίμηση.** Το ελάττωμα ήταν στο όργανο. Ο κανόνας ομοσπονδίας έλεγε "ισχύει για κάθε ερώτηση σχετικά με τη σύμβαση C-118 ή τον προμηθευτή HAL", οπότε οι ερωτήσεις εσωτερικής πληροφόρησης έπεφταν νόμιμα εντός της εμβέλειάς του, ενώ οι απαντήσεις αναφοράς εφάρμοζαν παντού τον δικό μας ορισμό. Επιπλέον, σύμβαση και προμηθευτής παράγονταν ανεξάρτητα, οπότε η θετική και η αρνητική εμβέλεια του κανόνα επικαλύπτονταν. Το μοντέλο ακολούθησε τον κανόνα που του δόθηκε, η απάντηση αναφοράς όχι. **Διόρθωση.** Οι εγγραφές ομοσπονδίας ισχύουν πλέον μόνο για ερωτήσεις προς τον αντισυμβαλλόμενο και το δηλώνουν ρητά. Το σώμα δεδομένων αναπαράχθηκε ώστε οι εμβέλειες να μην μπορούν να επικαλυφθούν. Προστέθηκε η συνθήκη F για να χωριστεί το μήκος των συμφραζομένων από το περιεχόμενό τους, που η αρχική εξήγηση σύγχεε. **Επίδραση στα συμπεράσματα.** Με το ελάττωμα διορθωμένο, η συνθήκη ομοσπονδίας είναι συνολικά ουδέτερη και βοηθά στις ερωτήσεις για τις οποίες προορίζεται. Η εξήγηση μέσω μήκους αποσύρθηκε πλήρως: η συνθήκη F δεν δείχνει ποινή ακρίβειας για το πρόσθετο μήκος σε αυτά τα μεγέθη. ### R3. Μια μετρική ονομαζόταν πέρα από όσα ανιχνεύει **Εύρημα.** Η μετρική με την ονομασία "χρησιμοποίησε λάθος ορισμό" ανιχνεύει μόνο την ακριβή ισότητα με μία προκαθορισμένη εναλλακτική απάντηση. **Τεκμηρίωση.** Έλεγχος της συνάρτησης βαθμολόγησης. **Εκτίμηση.** Η μετρική δεν μπορεί να ανιχνεύσει τη μεικτή εφαρμογή δύο κανόνων, λανθασμένο φίλτρο γραμμών, ή λάθος ορισμό ακολουθούμενο από αριθμητικό σφάλμα, και ένα αριθμητικό σφάλμα μπορεί να συμπέσει μαζί της τυχαία. Ο συνοδευτικός ισχυρισμός, ότι τα αριθμητικά σφάλματα παράγουν αυθαίρετες τιμές ενώ τα ερμηνευτικά παράγουν την ακριβή εναλλακτική, δεν προκύπτει. **Διόρθωση.** Μετονομάστηκε σε "η απάντηση ισούται ακριβώς με την απάντηση του προκαθορισμένου ανταγωνιστικού ορισμού", με τα όριά της δηλωμένα όπου εμφανίζεται. Περιγράφεται πλέον ως κάτω φράγμα του σφάλματος ερμηνείας. **Επίδραση στα συμπεράσματα.** Καμία αριθμητική μεταβολή. Η κατεύθυνση και το μέγεθος της μετρικής παραμένουν, μειώθηκε μόνο η ισχύς του συμπεράσματος που αντλείται από αυτήν. ### R4. Η σημαντικότητα υπολογίστηκε σε μη ανεξάρτητες παρατηρήσεις **Εύρημα.** Τρεις επαναλήψεις ενός στοιχείου με το ίδιο prompt αντιμετωπίζονταν ως τρεις ανεξάρτητες παρατηρήσεις, και ο έλεγχος συγκέντρωνε όλες τις κλήσεις. **Τεκμηρίωση.** Επανάληψη της ανάλυσης σε επίπεδο στοιχείου, που έγινε ανεξάρτητα από τον κριτή και αναπαράχθηκε από εμάς. | Ανάλυση | δομημένο έναντι ομοσπονδίας | |---|---| | ανά κλήση, όπως δημοσιεύτηκε στην έκδοση 1 | p = 0,027 | | ακριβής έλεγχος προσήμων σε 34 μέσους όρους στοιχείων | p = 0,082 | | McNemar στην πλειοψηφία τριών ανά στοιχείο | p = 0,057 | **Εκτίμηση.** Η διαφορά των 14,7 μονάδων μεταξύ των δύο συνθηκών δεν μεταβάλλεται από τη διόρθωση, η σημαντικότητά της μεταβάλλεται. Υπό τη διορθωμένη ανάλυση δεν φτάνει το συμβατικό κατώφλι. Οι συγκρίσεις που φέρουν τον κύριο ισχυρισμό της μελέτης, δομημένο έναντι σχήματος και έναντι ελλιπούς τεκμηρίωσης, επιβιώνουν της διόρθωσης με p = 0,0005 και p = 0,0015 αντίστοιχα. **Διόρθωση.** Οι επαναλήψεις μέσων όρων λαμβάνονται εντός του στοιχείου, οι ζευγαρωτοί έλεγχοι τρέχουν μεταξύ στοιχείων με τον ακριβή έλεγχο προσήμων, και τα διαστήματα εμπιστοσύνης ομαδοποιούνται ανά στοιχείο. **Επίδραση στα συμπεράσματα.** Ένα δηλωμένο αποτέλεσμα αποσύρθηκε. Το κύριο αποτέλεσμα δεν επηρεάστηκε ως προς το μέγεθος και παραμένει σημαντικό. ### R5. Κυκλικότητα του κριτηρίου **Εύρημα.** Οι απαντήσεις αναφοράς προκύπτουν από τους ίδιους ορισμούς που λαμβάνει η δομημένη συνθήκη. **Τεκμηρίωση.** Έλεγχος της μηχανής αναφοράς και του προτύπου prompt. **Εκτίμηση.** Δεν υπάρχει διαρροή απάντησης: το prompt παρεμβάλλει δεδομένα, συμφραζόμενα, ερώτηση και ημερομηνία, και ποτέ την απάντηση αναφοράς. Όμως η δομημένη συνθήκη λαμβάνει κάτι κοντινό σε εκτελέσιμη προδιαγραφή, οπότε η επιλογή της ερμηνείας ανάγεται σε μεγάλο βαθμό σε ανάκτηση, και η υπόλοιπη εργασία είναι η σύζευξη και η άθροιση. Η επιτυχία έναντι κριτηρίου ορισμένου από τους συγγραφείς δεν αποδεικνύει επομένως ότι το στρώμα ανακαλύπτει το σωστό επιχειρηματικό νόημα. **Διόρθωση.** Καμία. Ο περιορισμός δηλώνεται στις μεθόδους και στη σελίδα αποτελεσμάτων. **Επίδραση στα συμπεράσματα.** Η εμβέλεια κάθε ισχυρισμού περί ακρίβειας περιορίζεται στη συμμόρφωση με δοσμένη προδιαγραφή. Κανόνες γραμμένοι ανεξάρτητα με τυφλή κρίση παραμένουν το κατάλληλο επόμενο βήμα. ### R6. Ελαττώματα σε επίπεδο στοιχείου **Εύρημα.** Τέσσερα ελαττώματα στο σύνολο στοιχείων και στο σώμα δεδομένων. 1. Ένας διαχωριστής εμβέλειας δεν διαχώριζε: η σωστή απάντηση ήταν προσβάσιμη και μέσω μερικώς εσφαλμένης εφαρμογής του κανόνα. 2. Ο κανόνας μέτρησης εργάσιμων ημερών δεν δηλωνόταν ποτέ, οπότε μια ερμηνεία των άκρων του διαστήματος μπορούσε να εκληφθεί ως επιλογή ημερολογίου. 3. Η χρονική οικογένεια στηριζόταν μόνο σε δύο μεγέθη, και τέσσερα στοιχεία μοιράζονταν μία τιμή απάντησης. 4. Παράγονταν παραγγελίες με ημερομηνίες προγενέστερες της εγγραφής των πελατών τους. **Διόρθωση.** Ο διαχωριστής μεταφέρθηκε σε σύμβαση του ίδιου προμηθευτή αλλά εκτός του κανόνα, ο κανόνας μέτρησης δηλώνεται πλέον στην ερώτηση, προστέθηκε τρίτο εκδοσιοποιημένο μέγεθος, και οι ημερομηνίες παραγγελιών περιορίζονται κατά την παραγωγή. Επανελέγχθηκε μετά την αναπαραγωγή, με μηδέν παραβιάσεις. **Επίδραση στα συμπεράσματα.** Ο θόρυβος σε επίπεδο στοιχείου μειώθηκε. Κανένα δημοσιευμένο μέγεθος της έκδοσης 2 δεν εξαρτάται από τα ελαττωματικά στοιχεία, τα οποία δεν υπάρχουν πλέον. ### R7. Ο ισχυρισμός διατυπωνόταν ευρύτερα από όσο στηρίζει ο σχεδιασμός **Εύρημα.** Τα εργαλεία ήταν απενεργοποιημένα σε όλη τη διάρκεια, οπότε η μελέτη μετρά τον συλλογισμό πάνω σε πινακοποιημένα δεδομένα εντός των συμφραζομένων. **Εκτίμηση.** Τα αποτελέσματα δεν περιγράφουν λειτουργικό πράκτορα με πρόσβαση σε βάση δεδομένων. Με διαθέσιμη SQL, η αριθμητική συνιστώσα του σφάλματος αλλάζει και η ισορροπία μεταξύ συνθηκών μπορεί να μετατοπιστεί. **Διόρθωση.** Ο υπερασπίσιμος ισχυρισμός διατυπώνεται πλέον στενά όπου εμφανίζονται αποτελέσματα: σε αυτό το σύνολο στοιχείων, η παροχή ακριβούς καταλόγου ορισμών βελτιώνει τις ακριβείς απαντήσεις αυτού του μοντέλου έναντι απούσας ή ελλιπούς τεκμηρίωσης. ## 4. Τι δεν ανέτρεψε η κριτική Το πλεονέκτημα της παροχής ορισμών, έναντι μόνο του σχήματος και έναντι ελλιπούς τεκμηρίωσης, επιβίωσε της διορθωμένης ανάλυσης κατά αρκετές τάξεις μεγέθους σε p, και ο κριτής το επιβεβαίωσε με ανεξάρτητο επανυπολογισμό. Η διαφωνία ποτέ δεν αφορούσε το αν υπήρχε βελτίωση. Αφορούσε σε τι να αποδοθεί, και η συνθήκη E απάντησε σε αυτό εις βάρος της αρχικής υπόθεσης. ## 5. Ανοιχτά μετά την έκδοση 2 - Ένα συνθετικό σώμα δεδομένων. Για την εξωτερική εγκυρότητα χρειάζονται αρκετά, παραγμένα ανεξάρτητα. - Κανόνες γραμμένοι από τους συγγραφείς της μελέτης. Για το κλείσιμο του R5 χρειάζονται κανόνες γραμμένοι ανεξάρτητα με τυφλή κρίση. - Μία οικογένεια μοντέλων σε δύο επίπεδα ικανοτήτων. Άλλοι πάροχοι αδοκίμαστοι. - Καμία εκτέλεση με ενεργοποιημένα εργαλεία.