Vercy · αναπαραγώγιμη μελέτη
Η δομή δεν βελτίωσε την ακρίβεια έναντι του πλήρους πεζού λόγου.
- Στόχος
- Να διαπιστωθεί αν η παροχή εκδοσιοποιημένων, δομημένων ορισμών σε έναν πράκτορα βελτιώνει τις απαντήσεις του, και αν η όποια βελτίωση αποδίδεται στη δομή ή στην πληρότητα όσων δίνονται.
- Σχεδιασμός
- Ένα συνθετικό σώμα δεδομένων προμηθευτή με έξι ασαφείς έννοιες των οποίων οι κανόνες αλλάζουν σε γνωστές ημερομηνίες και διαφέρουν μεταξύ δύο οργανισμών. 40 στοιχεία υπό έξι συνθήκες συμφραζομένων σε ενδο-στοιχειακό σχεδιασμό, συν τέσσερις διαδρομές που μετρούν εντοπισμό κενών, συναρμολόγηση συμφραζομένων, έλεγχο αποκάλυψης και συμπλήρωση μεταξύ ρόλων. 846 κλήσεις μοντέλου. Μονάδα ανάλυσης είναι το στοιχείο, όχι η κλήση.
- Κύριο αποτέλεσμα
- Το κέρδος σε ακρίβεια οφείλεται στην πληρότητα και όχι στην αναπαράσταση. Ο συνεχής πεζός λόγος με τα ίδια δεδομένα με τις δομημένες εγγραφές σημείωσε ταυτόσημο αποτέλεσμα, 76,5% έναντι 76,5%, ακριβής δίπλευρος έλεγχος προσήμων σε 34 στοιχεία p = 1,00.
- Δευτερεύοντα αποτελέσματα
- Μόνο οι δομημένες συνθήκες παρέπεμψαν στον κανόνα και την έκδοση (100% έναντι 0%), εντόπισαν ορισμό που έλειπε και ονόμασαν τον υπεύθυνό του (83% έναντι 0%), δρομολόγησαν το αίτημα στον σωστό υπεύθυνο (100% έναντι 50%) και πήραν και τις 72 αποφάσεις αποκάλυψης χωρίς κρίσιμο σφάλμα (0 έναντι 2).
- Συμπέρασμα
- Σε αυτό το σύνολο στοιχείων η ακρίβεια είναι συνάρτηση του τι λέγεται στον πράκτορα και όχι του πώς αναπαρίσταται. Τη δομημένη αναπαράσταση τη διακρίνουν η ιχνηλασιμότητα, ο εντοπισμός κενών, ο έλεγχος αποκάλυψης και η δρομολόγηση, και καμία από αυτές δεν επιτεύχθηκε από τις συνθήκες πεζού λόγου σε κανένα επίπεδο.
Όροι που χρησιμοποιούνται σε αυτή τη σελίδα
| Όρος | Σημασία στη μελέτη αυτή |
|---|---|
| Συνθήκη | Ένα μπλοκ συμφραζομένων που παρεμβάλλεται ανάμεσα στα δεδομένα και στην ερώτηση. Οι συνθήκες διαφέρουν σε αυτό το μπλοκ και σε τίποτε άλλο. |
| Εγγραφή ορισμού | Μηχαναγνώσιμη διατύπωση ενός κανόνα, με αναγνωριστικό, έκδοση, ημερομηνία ισχύος, την έκδοση που αντικαθιστά και τον υπεύθυνο ρόλο. |
| Πλήρης πεζός λόγος | Τα ίδια δεδομένα με τις εγγραφές, γραμμένα ως συνεχής τεκμηρίωση χωρίς αναγνωριστικά, εκδόσεις ή πεδία. |
| Διαχωριστικό στοιχείο | Στοιχείο για το οποίο ένας εύλογος ανταγωνιστικός κανόνας δίνει διαφορετική σωστή απάντηση. Επαληθεύτηκε με κώδικα και για τα 34 απαντήσιμα στοιχεία. |
| Ανταγωνιστική απάντηση | Απάντηση ακριβώς ίση με την τιμή που θα έδινε ο προκαθορισμένος ανταγωνιστικός κανόνας. Κάτω φράγμα του σφάλματος ερμηνείας, όχι μέτρο του. |
| Κρίσιμο σφάλμα αποκάλυψης | Παράδοση ταυτοτήτων πελατών, όρων έκπτωσης, ή λειτουργικών δεδομένων ενός μεταφορέα σε ανταγωνιστή του. |
Σχεδιασμός
Την ασάφεια φέρουν έξι έννοιες: ενεργός πελάτης, καθαρά έσοδα, παραδόθηκε, εμπρόθεσμα, αξία παραγγελίας και εργάσιμη ημέρα. Σε καθεμία δόθηκαν κανόνες που αλλάζουν σε γνωστές ημερομηνίες και που ο προμηθευτής και ο μεταφορέας του ορίζουν διαφορετικά. Έπειτα τέθηκαν 40 στοιχεία υπό έξι συνθήκες με τους πίνακες δεδομένων πανομοιότυπους παντού, ώστε κάθε διαφορά μεταξύ συνθηκών να αποδίδεται μόνο στο μπλοκ των συμφραζομένων. Κάθε απαντήσιμο στοιχείο επαληθεύτηκε με κώδικα ως διαχωριστικό.
Διαδρομή A. Ακρίβεια σε συμφωνημένο νόημα
| Συνθήκη | Ακρίβεια (M1) | 95% ΔΕ | Παρέπεμψε σε κανόνα και έκδοση (M2) | Ανταγωνιστική απάντηση (M7) |
|---|---|---|---|---|
| μόνο το σχήμα | 26,5% | 11-42 | 0% | 16,2% |
| ελλιπής τεκμηρίωση | 29,4% | 14-44 | 0% | 35,3% |
| πλήρης πεζός λόγος | 76,5% | 65-88 | 0% | 2,9% |
| εκδοσιοποιημένες εγγραφές | 76,5% | 65-88 | 100% | 1,5% |
| εγγραφές + αδρανές γέμισμα | 85,3% | 78-93 | 100% | 0,0% |
| εγγραφές + κανόνες ομοσπονδίας | 77,9% | 67-89 | 98,5% | 1,5% |
Η παροχή ορισμών σε οποιαδήποτε μορφή ανέβασε την ακρίβεια από 26,5% σε 76,5%, και αυτό αντέχει σε ζευγαρωτό ακριβή έλεγχο προσήμων σε 34 στοιχεία με p = 0,0005. Η συνθήκη που μεταφέρει τα ίδια δεδομένα ως συνεχή τεκμηρίωση βαθμολογήθηκε το ίδιο με τη δομημένη. Υπό αυτόν τον σχεδιασμό η ακρίβεια καθορίζεται από την πληρότητα όσων δίνονται και όχι από την αναπαράστασή τους.
Δύο ακόμη αποτελέσματα περιορίζουν το πρώτο. Η ελλιπής τεκμηρίωση δεν αποδείχθηκε καλύτερη από την ανυπαρξία της και διπλασίασε το ποσοστό των απαντήσεων που ταυτίζονται με καταργημένο κανόνα, από 16,2% σε 35,3%: ένα κείμενο που περιγράφει κανόνα εκτός ισχύος είναι χειρότερο από την απουσία κειμένου. Και η συνθήκη πλήρους πεζού λόγου, που κατέχει κάθε δεδομένο της δομημένης, παρέπεμψε στον ισχύοντα κανόνα στο 0% των απαντήσεων έναντι 100%. Παράγει τη σωστή τιμή και δεν μπορεί να δηλώσει ποιος κανόνας την παρήγαγε.
Ικανότητες πέρα από την ακρίβεια
Η ακρίβεια είναι μία από τις πέντε ικανότητες που μετρήθηκαν. Στις υπόλοιπες τέσσερις οι συνθήκες πεζού λόγου δεν απέδωσαν χειρότερα από τις δομημένες: δεν απέδωσαν καθόλου. Οι συγκρίσεις που ακολουθούν είναι επομένως διαφορές μεταξύ παρουσίας και απουσίας, όχι διαφορές βαθμού.
B1. Εντοπισμός ορισμού που λείπει
Στον κατάλογο εισήχθησαν έξι κενά: ένα κενό μπλοκ παραμέτρων, μια ημερομηνία έναρξης ισχύος που λείπει, ένας υπεύθυνος που λείπει, μια παραπομπή σε ανύπαρκτη έκδοση, ένα ημερολόγιο που τελειώνει έναν χρόνο νωρίτερα, και ένας ορισμός που λείπει εντελώς. Κάθε κενό συνοδεύτηκε από ερώτηση που δεν απαντιέται όσο το κενό μένει ανοιχτό. Άλλες τέσσερις ερωτήσεις ελέγχου δεν περιείχαν κενό και μετρούν το ποσοστό ψευδών συναγερμών.
| Συνθήκη | Κενό εντοπίστηκε | Πεδίο ονομάστηκε | Υπεύθυνος ονομάστηκε | Ψευδείς συναγερμοί |
|---|---|---|---|---|
| μόνο το σχήμα | 0% | 0% | 0% | 0% |
| πεζός λόγος, ίδια κενά | 0% | 0% | 0% | 0% |
| εγγραφές, ίδια κενά | 83,3% | 83,3% | 83,3% | 0% |
Ο πεζός λόγος με τα ίδια έξι κενά δεν εντόπισε κανένα σε δώδεκα δοκιμές. Ο δομημένος κατάλογος εντόπισε δέκα στα δώδεκα, ονομάζοντας κάθε φορά το πεδίο που λείπει και τον υπεύθυνο ρόλο, χωρίς ψευδή συναγερμό στις τέσσερις ερωτήσεις ελέγχου. Και οι δύο αστοχίες αφορούσαν το ίδιο κενό, τον ορισμό που απουσίαζε πλήρως από τον κατάλογο: μια εγγραφή με πεδίο που λείπει μπορεί να εντοπιστεί, μια εγγραφή που απουσιάζει όχι. Αυτό οριοθετεί την ικανότητα και υποδεικνύει το επόμενο βήμα, ένα μητρώο αναμενόμενων εννοιών και όχι μόνο των υπαρχουσών.
B2. Συλλογή μόνο των εγγραφών που απαιτεί η ερώτηση
Ο κατάλογος μεγάλωσε στις 41 εγγραφές και ζητήθηκε από τον πράκτορα να επιλέξει ένα ελάχιστο υποσύνολο πριν απαντήσει. Έπειτα η ίδια ερώτηση τέθηκε υπό τρεις συνθήκες συναρμολόγησης.
| Συνθήκη συναρμολόγησης | Ακρίβεια | Συμφραζόμενα, χαρακτήρες |
|---|---|---|
| όλος ο κατάλογος | 80,0% | 10.332 |
| επιλογή του ίδιου του πράκτορα | 60,0% | 473 (5%) |
| απλοϊκό top-5 με λέξεις-κλειδιά | 60,0% | 1.989 (19%) |
Η επιλογή ήταν σχεδόν τέλεια: 100% ανάκληση των αναγκαίων εγγραφών, 95% ακρίβεια και κατά μέσο όρο 1,2 εγγραφές από τις 41, μειώνοντας τα συμφραζόμενα στο ένα εικοστό του καταλόγου. Η ακρίβεια με μειωμένα συμφραζόμενα είναι ονομαστικά χαμηλότερη, αλλά με 20 παρατηρήσεις ανά συνθήκη η διαφορά δεν ξεχωρίζει από τον θόρυβο (p = 0,34). Τεκμηριώνεται εικοσαπλάσια μείωση συμφραζομένων χωρίς μετρήσιμο κόστος σε ακρίβεια. Κέρδος σε ακρίβεια δεν τεκμηριώνεται.
B3. Απόφαση για το τι επιτρέπεται να αποκαλυφθεί
Δώδεκα πληροφορίες και τρία αιτούντα μέρη, ο δικός μας μεταφορέας, ένας ανταγωνιστής μεταφορέας και ένας εξωτερικός ελεγκτής, που δίνουν 72 αποφάσεις αποκάλυψης ανά συνθήκη. Η πολιτική σε πεζό λόγο και οι εγγραφές ταξινόμησης διατυπώνουν τους ίδιους κανόνες και διαφέρουν μόνο στην αναπαράσταση.
| Αναπαράσταση πολιτικής | Ακρίβεια αποκάλυψης | Ανάκληση αποκάλυψης | Κρίσιμα σφάλματα, από 72 |
|---|---|---|---|
| χωρίς πολιτική | 39,1% | 45,0% | 5 |
| πολιτική σε πεζό λόγο | 66,7% | 100% | 2 |
| εγγραφές ταξινόμησης | 100% | 100% | 0 |
Και τα δύο σφάλματα υπό την πολιτική σε πεζό λόγο ήταν το ίδιο: παράδοση των λειτουργικών δεδομένων ενός μεταφορέα σε ανταγωνιστή του. Η πολιτική σε πεζό λόγο το απαγορεύει με μία πρόταση, η δομημένη το κωδικοποιεί σε ένα πεδίο και δεν έσφαλε ούτε μία φορά στις 72 αποφάσεις. Είναι το αποτέλεσμα με την πιο άμεση λειτουργική συνέπεια, επειδή τα δύο είδη σφάλματος δεν είναι συμμετρικά: μια περιττή άρνηση κοστίζει τριβή, μια περιττή παράδοση μπορεί να κοστίσει σύμβαση.
B4. Συμπλήρωση ορισμού μεταξύ ρόλων
Τρεις γύροι. Ένας συντονιστής πρέπει να απευθυνθεί σε ακριβώς έναν υπεύθυνο και να ζητήσει συγκεκριμένο πεδίο, ο υπεύθυνος κατέχει μόνο τη δική του αρμοδιότητα και το δικό του δεδομένο και οφείλει να αρνηθεί οτιδήποτε άλλο, και έπειτα ο συντονιστής καταγράφει την απάντηση ως νέα έκδοση και απαντά στην ερώτηση.
| Συνθήκη | Στάλθηκε στον σωστό υπεύθυνο | Καλοσχηματισμένη εγγραφή έκδοσης | Τελική απάντηση σωστή |
|---|---|---|---|
| πεζός λόγος, ίδια κενά | 50,0% | 100% | 50,0% |
| εγγραφές, ίδια κενά | 100% | 100% | 50,0% |
Η δρομολόγηση, η ικανότητα που ανήκει ειδικά στη συνεργασία μεταξύ ρόλων, διπλασιάστηκε. Η συνθήκη πεζού λόγου κατεύθυνε λανθασμένα τα αιτήματα για το παράθυρο ενεργού πελάτη και για το ημερολόγιο αργιών, όπου η ευθύνη εκφράζεται ως φράση και όχι ως πεδίο. Η τελική ακρίβεια ήταν ίδια και στις δύο συνθήκες και περιορίστηκε από την αριθμητική, όχι από την αναπαράσταση.
Συμπέρασμα
Ο ισχυρισμός ότι ένα στρώμα εκδοσιοποιημένων ορισμών κάνει έναν πράκτορα πιο ακριβή δεν στηρίζεται από αυτά τα δεδομένα. Η ακρίβεια είναι συνάρτηση της πληρότητας, και μια καλογραμμένη τεκμηρίωση την επιτυγχάνει εξίσου. Αυτό που η τεκμηρίωση δεν πέτυχε σε κανένα επίπεδο ποιότητας είναι ο εντοπισμός ορισμού που λείπει και του υπευθύνου του, η παραπομπή στον κανόνα και την έκδοση πίσω από μια τιμή, και η απόφαση αποκάλυψης χωρίς σφάλμα. Αυτούς τους ισχυρισμούς στηρίζουν τα δεδομένα, και αυτοί διατυπώνονται στη θέση του ευρύτερου.
Περιορισμοί
Ένα συνθετικό σώμα δεδομένων παραγμένο μία φορά, μία οικογένεια μοντέλων σε δύο επίπεδα ικανοτήτων, κανένας άλλος πάροχος, και εργαλεία απενεργοποιημένα σε όλες τις εκτελέσεις. Οι απαντήσεις αναφοράς προκύπτουν από τους ίδιους ορισμούς που λαμβάνει η δομημένη συνθήκη, οπότε η μελέτη μετρά τη συμμόρφωση σε δοσμένη προδιαγραφή και όχι την ανακάλυψη του σωστού επιχειρηματικού νοήματος. Η έκδοση 1 του οργάνου είχε σφάλμα εμβέλειας στους κανόνες ομοσπονδίας και υπολόγιζε σημαντικότητα σε μη ανεξάρτητες παρατηρήσεις. Και τα δύο εντοπίστηκαν από εξωτερική αντιπαραθετική κριτική, και τα δύο είναι καταγεγραμμένα, και τα επηρεασμένα μεγέθη απορρίφθηκαν αντί να διορθωθούν επί τόπου.
Υλικό
Το όργανο δημοσιεύεται πλήρες. Το world.py παράγει ντετερμινιστικά τους συνθετικούς οργανισμούς και περιέχει τη μηχανή αναφοράς, μία υλοποίηση ανά ορισμό. Το layers.py περιέχει τις έξι συνθήκες συμφραζομένων, το tasks.py τα 40 στοιχεία, το tracks.py τις τέσσερις διαδρομές ικανοτήτων. Τα run.py και run_tracks.py εκτελούν τις κλήσεις, τα analyze.py και analyze_tracks.py κάνουν τη στατιστική σε επίπεδο στοιχείου. Κάθε ακατέργαστη εκτέλεση δημοσιεύεται χωρίς επεξεργασία: διαδρομή A, Sonnet, B1, B2, B3, B4.