Vercy · αναπαραγώγιμη μελέτη

Η δομή δεν ξεπέρασε πλήρεις σημειώσεις. Η αφαίρεση οποιουδήποτε μέρους της, ναι.

Στόχος

Να διαπιστωθεί τι προσφέρει στον βοηθό η αναπαράσταση των προσωπικών αρχείων ενός ανθρώπου, και ποιο μέρος μιας δομημένης αναπαράστασης στηρίζει ποια ικανότητα.

Σχεδιασμός

Ένας συνθετικός άνθρωπος: 34 δεδομένα με διαστήματα ισχύος και πηγές, 7 επαφές, 8 ταξίδια, 5 ενεργές συγκρούσεις ανάμεσα σε πηγές άνισης αξιοπιστίας, 3 ληγμένα έγγραφα και 2 σε ισχύ. Έξι αναπαραστάσεις, όλες παραγόμενες από τον ίδιο πίνακα δεδομένων. 43 στοιχεία σε επτά οικογένειες, συν μια διαδρομή αποκάλυψης και μια καταγραφής αλλαγής. 570 κλήσεις μοντέλου. Μονάδα ανάλυσης το στοιχείο.

Κύριο αποτέλεσμα

Ο ισχυρισμός ότι η δομή βοηθά δεν τεκμηριώθηκε. Οι χρονολογικές σημειώσεις με κάθε δεδομένο, ημερομηνία και πηγή σημείωσαν 93,4% έναντι 100% της δομημένης διάστασης, με διαφορά τριών στοιχείων, ακριβής έλεγχος προσήμων p = 0,25.

Τι όντως ξεχώρισε

Κάθε αφαίρεση από τη δομή ήταν καθοριστική. Η αφαίρεση των διαστημάτων ισχύος έριξε την ιστορική ακρίβεια από 100% σε 0% και την κρίση λήξης από 100% σε 20%, αφήνοντας τα ερωτήματα για το παρόν στο 100%. Η αφαίρεση της προέλευσης έριξε την επίλυση συγκρούσεων από 100% σε 33%, πάλι χωρίς να αγγίξει το παρόν. Μόνο τα σκέλη με πολιτική σύγκρουσης μπόρεσαν να ονομάσουν τον κανόνα που εφάρμοσαν: 100% έναντι 0%.

Διόρθωση στην προηγούμενη μελέτη

Η ιχνηλασιμότητα δεν είναι ιδιότητα της δομής. Όταν οι σημειώσεις φέρουν αναγνωριστικά πηγών, τα παραθέτουν στο 96,4% των απαντήσεων. Το προηγούμενο benchmark ανέφερε 0% για τον πεζό λόγο επειδή εκείνος ο πεζός λόγος δεν είχε αναγνωριστικά, όχι επειδή ήταν πεζός λόγος.

Συμπέρασμα

Για ένα σύνολο προσωπικών αρχείων αυτού του μεγέθους, καλά τηρημένες σημειώσεις είναι σχεδόν επαρκείς, και η αξία της δομής δεν βρίσκεται στη μέση απάντηση. Βρίσκεται στο ότι τα πεδία είναι φέροντα ένα προς ένα: καθένα είναι η μοναδική στήριξη μιας ικανότητας που καταρρέει χωρίς αυτό, και μια αναπαράσταση που παραλείπει οποιοδήποτε αποτυγχάνει με συγκεκριμένο, προβλέψιμο τρόπο αντί να φθίνει ομαλά.

Όροι που χρησιμοποιούνται σε αυτή τη σελίδα

Σχεδιασμός

Το υποκείμενο είναι ένας συνθετικός άνθρωπος του οποίου τα αρχεία μοιάζουν με τη μνήμη ενός προσωπικού βοηθού: διευθύνσεις, εργοδότες, τηλέφωνα, μισθός, έγγραφα ταυτότητας, συσκευές και εγγυήσεις, συνδρομές, δεδομένα υγείας, τραπεζικά στοιχεία και διατροφή. Κάθε δεδομένο φέρει τις ημερομηνίες μεταξύ των οποίων ήταν αληθές και την πηγή του, κατηγοριοποιημένη κατά το πόσο εμπιστεύεται κανείς αυτό το είδος πηγής. Πέντε ιδιότητες φέρουν δύο εγγραφές που καλύπτουν το σήμερα και διαφωνούν· τρία έγγραφα έχουν λήξει και δύο όχι.

Το προηγούμενο benchmark επικρίθηκε, σωστά, για μια συνθήκη πεζού λόγου στην οποία έλειπαν σιωπηλά δεδομένα που είχε η δομημένη. Εδώ κάθε αναπαράσταση παράγεται από έναν και μόνο πίνακα δεδομένων, και ένας έλεγχος που τρέχει πριν από κάθε εκτέλεση ρίχνει τη μελέτη αν σε οποιαδήποτε πλήρη αναπαράσταση λείπει τιμή, ημερομηνία ή πηγή που φέρει μια άλλη. Ο έλεγχος αυτός βρήκε επτά παραλείψεις στις σημειώσεις ενώ χτιζόταν το όργανο, και διορθώθηκαν πριν από την πρώτη κλήση. Τα σκέλη A, B και D είναι πλήρη· τα σκέλη C, E και F είναι αφαιρέσεις που αφαιρούν από μία κλάση πεδίων το καθένα, και έτσι επισημαίνονται.

Ο κύριος πίνακας

Η κύρια σύγκριση είναι το σκέλος A έναντι του σκέλους D, οι δύο πλήρεις αναπαραστάσεις. Οι σημειώσεις απάντησαν σωστά στο 93,4% των στοιχείων, η διάσταση στο 100%. Σε 38 απαντήσιμα στοιχεία διαφωνούν σε τρία, όλα υπέρ της διάστασης, που ένας ακριβής έλεγχος προσήμων τοποθετεί στο p = 0,25. Σε αυτό το σύνολο στοιχείων δεν αποδεικνύεται ότι η δομημένη αναπαράσταση είναι πιο ακριβής από πλήρεις σημειώσεις, και η έντιμη διατύπωση είναι ότι ο ισχυρισμός δεν τεκμηριώθηκε, όχι ότι καταρρίφθηκε.

Τρεις διαφορές επιβιώνουν του μικρού δείγματος. Η διάσταση είναι το μόνο σκέλος χωρίς υπερδιεκδικήσεις, δηλαδή ποτέ δεν απάντησε σε ερώτημα για παρελθούσα ημερομηνία με τη σημερινή τιμή, και το μόνο που ποτέ δεν παρήγαγε τιμή απούσα από τις εγγραφές. Τα συμφραζόμενά της είναι επίσης τα μεγαλύτερα, 10.038 χαρακτήρες έναντι 4.664 των σημειώσεων, οπότε ό,τι κι αν αγοράζει, το αγοράζει με περίπου διπλάσια συμφραζόμενα.

Ανά οικογένεια ερωτημάτων

Οι μέσοι όροι κρύβουν τη μορφή του αποτελέσματος. Κάθε αναπαράσταση απαντά τέλεια στα ερωτήματα για το παρόν, ακόμη και εκείνη που δεν κρατά τίποτε άλλο από το παρόν. Οι διαφορές βρίσκονται εξ ολοκλήρου στις οικογένειες που χρειάζονται ένα πεδίο το οποίο τα αφαιρεμένα σκέλη δεν έχουν: ιστορία, σύγκρουση και λήξη. Οι επίπεδες εγγραφές, που κρατούν μόνο ό,τι ισχύει σήμερα, δεν απαντούν σε κανένα ιστορικό ερώτημα και σε ένα στα πέντε για λήξη, και αρνούνται το 44,7% των στοιχείων που τους τέθηκαν.

Ποιο πεδίο στηρίζει ποια ικανότητα

Κάθε αφαίρεση συνοδεύεται από οικογένεια ελέγχου όπου το αφαιρεμένο πεδίο προβλέπεται να μην αλλάζει τίποτα. Αυτό χωρίζει έναν ισχυρισμό για ένα πεδίο από έναν ισχυρισμό για το μέγεθος ή για τη δομή γενικά.

Και οι δύο προβλέψεις κρατούν και οι δύο έλεγχοι κρατούν. Τα διαστήματα ισχύος είναι αυτό που κάνει τα ιστορικά ερωτήματα καν απαντήσιμα· χωρίς αυτά η ακρίβεια στην οικογένεια είναι μηδέν, και η ακρίβεια στο παρόν δεν αλλάζει. Η προέλευση είναι αυτό που κάνει την επίλυση συγκρούσεων να δουλεύει· χωρίς αυτήν η ακρίβεια στις συγκρούσεις πέφτει κατά δύο τρίτα, και πάλι η ακρίβεια στο παρόν δεν αλλάζει. Η αντιπαραβολή σύγκρουσης έχει μόνο έξι στοιχεία και από μόνη της δεν φτάνει το συμβατικό κατώφλι, αλλά η κατεύθυνσή της και ο έλεγχός της είναι όπως προβλέφθηκαν.

Λήξη, ψευδείς συναγερμοί και άρνηση

Τρία έγγραφα έχουν λήξει και δύο όχι. Τα δύο σε ισχύ είναι έλεγχοι: μια αναπαράσταση που κάνει τη λήξη ορατή δεν πρέπει να αρχίσει να σημαίνει εγγραφές που είναι ακόμη καλές.

Η διάσταση κρίνει τη λήξη σωστά στο 90% των δοκιμών χωρίς ψευδείς συναγερμούς, έναντι 70% των σημειώσεων και 60% της σύνοψης προφίλ. Τα αφαιρεμένα σκέλη φαίνονται αξιοπρεπή σε αυτή τη μετρική μόνο επειδή αρνούνται συχνά: οι επίπεδες εγγραφές αρνήθηκαν το 44,7% των απαντήσιμων στοιχείων και το σκέλος χωρίς διαστήματα ισχύος το 39,5%, έναντι 0% και για τις δύο πλήρεις αναπαραστάσεις. Η άρνηση είναι η σωστή απόκριση σε πληροφορία που δεν έχεις, και γι' αυτό η ακρίβεια αυτών των σκελών πρέπει να διαβαστεί ως μέτρο του τι δεν μπορεί να εκφράσει η αναπαράστασή τους και όχι του πώς συλλογίζεται το μοντέλο.

Απόφαση για το τι μπορεί να δοθεί

Δώδεκα πληροφορίες και τρία αιτούντα μέρη: η αδελφή του υποκειμένου ως πλησιέστερος συγγενής, το τμήμα προσωπικού του εργοδότη και μια μη επαληθευμένη φόρμα ιστού. Η πολιτική σε πεζό λόγο και οι εγγραφές ταξινόμησης διατυπώνουν τους ίδιους κανόνες και διαφέρουν μόνο στην αναπαράσταση.

Η πρόβλεψη ότι η δομημένη ταξινόμηση θα μείωνε τα κρίσιμα σφάλματα δεν στηρίχθηκε. Και οι δύο μορφές πολιτικής παρήγαγαν μηδέν: μια σύντομη, καθαρά γραμμένη πολιτική σε πεζό λόγο αρκούσε. Αυτό που έκανε η δομημένη μορφή ήταν να αρνείται λιγότερο άσκοπα, δίνοντας το 88,2% όσων δικαιούταν ο αιτών έναντι 79,4% του πεζού λόγου, με ακρίβεια 100% και στις δύο. Το μοναδικό κρίσιμο σφάλμα όλης της διαδρομής ήρθε από τη συνθήκη χωρίς καμία πολιτική, που έδωσε μια λεπτομέρεια υγείας στον εργοδότη. Αυτό διαφέρει από την προηγούμενη μελέτη, όπου μια πολιτική σε πεζό λόγο διέρρευσε δύο φορές· η εδώ πολιτική είναι συντομότερη και καλύπτει λιγότερες περιπτώσεις, και αυτή είναι η πιθανότερη αιτία.

Καταγραφή μιας αλλαγής

Φτάνουν έξι νέες πληροφορίες: μια μετακόμιση, ένα ανανεωμένο διαβατήριο, μια ακυρωμένη συνδρομή, ένας νέος αριθμός, μια εργαστηριακή διόρθωση και ένα ανανεωμένο ασφαλιστήριο. Ο πράκτορας πρέπει να καταγράψει καθεμία χωρίς να καταστρέψει ό,τι ίσχυε πριν.

Κάθε σκέλος παρήγαγε τη σωστή νέα τιμή και κάθε σκέλος δήλωσε ότι διατήρησε το ιστορικό. Μόνο η διάσταση μπόρεσε να ονομάσει την εγγραφή που αντικαθιστούσε, στο 75% των σεναρίων, και ήταν η μόνη που πέτυχε και τα τέσσερα μέρη της ενημέρωσης, στο 66,7%. Οι σημειώσεις και οι επίπεδες εγγραφές παίρνουν μηδέν σε εκείνη τη στήλη επειδή οι εγγραφές τους δεν έχουν αναγνωριστικά να ονομαστούν, που είναι ιδιότητα της αναπαράστασης και όχι του συλλογισμού του μοντέλου: μια ενημέρωση δεν μπορεί να εκφραστεί ως αντικατάσταση όταν δεν υπάρχει τίποτα να αντικατασταθεί ονομαστικά. Ακόμη και η διάσταση πετυχαίνει ολόκληρη την ενημέρωση μόνο στα δύο τρίτα των περιπτώσεων, οπότε πρόκειται για ικανότητα που η αναπαράσταση καθιστά δυνατή και δεν εγγυάται.

Συμπέρασμα

Δύο μελέτες συμφωνούν πλέον στο ίδιο δυσάρεστο σημείο: στη μέση ακρίβεια, ένα πλήρες και καλά τηρημένο αδόμητο αρχείο δύσκολα ξεπερνιέται. Αυτό που προσθέτει η μελέτη είναι πού ζει πραγματικά η διαφορά. Κάθε κλάση πεδίων της δομής είναι η μοναδική στήριξη μιας ικανότητας, και η αποτυχία όταν λείπει δεν είναι ήπια πτώση αλλά κατάρρευση στο μηδέν ακριβώς στα ερωτήματα που εξυπηρετεί εκείνο το πεδίο. Ένας προσωπικός βοηθός του οποίου η μνήμη κρατά μόνο την παρούσα κατάσταση θα απαντήσει σε κάθε ερώτημα για το σήμερα και δεν θα απαντήσει σε κανένα για πέρσι. Αυτόν τον ισχυρισμό στηρίζουν τα δεδομένα.

Δύο σφάλματα που βρέθηκαν και διορθώθηκαν κατά την εκτέλεση

Η μετρική προέλευσης δεχόταν αρχικά μόνο το αναγνωριστικό της πηγής. Στα σκέλη που φέρουν και αναγνωριστικά δεδομένων το μοντέλο παρέπεμπε στο δεδομένο, που απαντά στο ερώτημα εξίσου μονοσήμαντα, οπότε η μετρική τιμωρούσε τα σκέλη με περισσότερα αναγνωριστικά· ανέφερε 71,4% για τη διάσταση εκεί όπου η διορθωμένη μετρική αναφέρει 100%. Χωριστά, μια αποχή επέστρεφε από τον βαθμολογητή πριν καταγραφεί η κρίση λήξης, οπότε τα αφαιρεμένα σκέλη βαθμολογούνταν στα δύο ή τρία στοιχεία όπου έτυχε να μην αρνηθούν. Και τα δύο βρέθηκαν με ανάγνωση ακατέργαστων απαντήσεων και όχι συνόψεων, και τα δύο διορθώθηκαν, και τα δύο επανυπολογίστηκαν από τις αποθηκευμένες απαντήσεις χωρίς επανάληψη κλήσης. Τα ακατέργαστα αρχεία δημοσιεύονται αμετάβλητα και ο διορθωμένος βαθμολογητής είναι αυτός που βρίσκεται στο όργανο.

Τι δεν δείχνει αυτό

Ένα συνταγμένο υποκείμενο, ένα μοντέλο, εργαλεία απενεργοποιημένα, 34 δεδομένα. Μια διάσταση αυτού του μεγέθους είναι η κλίμακα της μνήμης ενός προσωπικού βοηθού και όχι ενός σώματος εγγράφων, και τίποτα εδώ δεν μεταφέρεται σε μεγάλες συλλογές. Οι απαντήσεις αναφοράς προέρχονται από τον ίδιο πίνακα δεδομένων που δείχνουν τα δομημένα σκέλη, οπότε η μελέτη μετρά την ανάκτηση και τη σωστή εφαρμογή δοσμένων εγγραφών, όχι την ανακάλυψη του τι ισχύει για έναν άνθρωπο. Η διάσταση είναι επίσης τα μακρύτερα συμφραζόμενα και οι επίπεδες εγγραφές τα συντομότερα· δεν υπάρχει εδώ σκέλος γεμίσματος που να χωρίζει το μήκος από το περιεχόμενο, όπως είχε η προηγούμενη μελέτη. Ο κανόνας που αποδίδεται στα σκέλη σύνοψης και επίπεδων εγγραφών, ότι κερδίζει η πιο πρόσφατα καταγεγραμμένη τιμή, είναι υπόθεση μοντελοποίησης για το πώς χτίζονται τέτοιες αναπαραστάσεις.

Υλικό

Το όργανο δημοσιεύεται πλήρες. Το dimension.py περιέχει το υποκείμενο, κάθε δεδομένο με το διάστημα και την πηγή του, και τη μηχανή αναφοράς. Το views.py παράγει και τις έξι αναπαραστάσεις από αυτόν τον έναν πίνακα και περιέχει τον έλεγχο πληρότητας. Το items.py περιέχει τα 43 στοιχεία και τις δύο διαδρομές, το run.py τον εκτελεστή και τη βαθμολόγηση, το analyze.py τη στατιστική σε επίπεδο στοιχείου. Κάθε ακατέργαστη εκτέλεση δημοσιεύεται χωρίς επεξεργασία: ο πίνακας, η αποκάλυψη και η καταγραφή αλλαγής.