Vercy · αναπαραγώγιμη μελέτη
Τα εργαλεία δεν έκλεισαν το χάσμα. Το μεγάλωσαν.
- Στόχος
- Κάθε μελέτη της σειράς απενεργοποίησε τα εργαλεία και το δήλωσε ως βασικό της περιορισμό: με κέλυφος και αρχείο δεδομένων αλλάζει η αριθμητική συνιστώσα του σφάλματος και η ισορροπία μεταξύ αναπαραστάσεων μπορεί να μετατοπιστεί. Αυτό το ελέγχει.
- Σχεδιασμός
- Το δημοσιευμένο benchmark, ξανατρεγμένο αμετάβλητο εκτός από ένα: οι πέντε πίνακες βγαίνουν από το prompt στον δίσκο ως αρχεία CSV και ο πράκτορας παίρνει Bash, Read, Glob και Grep σε νέο κατάλογο εργασίας ανά κλήση. Ίδιες έξι συνθήκες, ίδια 40 στοιχεία, ίδιες απαντήσεις αναφοράς, ίδια βαθμολόγηση. 240 κλήσεις, μία επανάληψη ανά στοιχείο, διάμεσος 55 δευτερόλεπτα.
- Κύριο αποτέλεσμα
- Τα εργαλεία αφαίρεσαν το αριθμητικό σφάλμα μόνο όπου το νόημα ήταν γνωστό. Οι τέσσερις συνθήκες με πλήρεις ορισμούς ανέβηκαν στο 97,1% έως 100%. Οι δύο χωρίς αυτούς δεν μετακινήθηκαν: μόνο σχήμα πήγε από 26,5% σε 23,5%, ελλιπής τεκμηρίωση από 29,4% σε 32,4%.
- Το δυσάρεστο μέρος
- Όπου έλειπαν ορισμοί, τα εργαλεία έκαναν τον πράκτορα να σφάλλει με μεγαλύτερη βεβαιότητα. Το ποσοστό απαντήσεων ίσων ακριβώς με τον αριθμό ενός καταργημένου κανόνα ανέβηκε από 16,2% σε 29,4% στο σκέτο σχήμα και από 35,3% σε 47,1% στην ελλιπή τεκμηρίωση, ενώ η ορθή αποχή έπεσε από 83,3% σε 50,0% και 66,7%.
- Συμπέρασμα
- Ο περιορισμός επιλύεται προς την αντίθετη κατεύθυνση από τη συνήθη προσδοκία. Τα εργαλεία δεν υποκαθιστούν τη γνώση του τι σημαίνουν οι λέξεις: ανεβάζουν το κόστος της άγνοιας. Το χάσμα ανάμεσα στο να έχεις ορισμούς και να μην έχεις πήγε από 50 μονάδες χωρίς εργαλεία σε 74 με αυτά.
Τι άλλαξε και τι σκόπιμα όχι
Άλλαξε: οι πέντε πίνακες βγαίνουν από το prompt στον δίσκο και ο πράκτορας παίρνει κέλυφος σε νέο κατάλογο ανά κλήση. Έτσι μοιάζει μια πραγματική ανάπτυξη και αυτός είναι όλος ο σκοπός. Δεν άλλαξε: οι έξι συνθήκες, τα 40 στοιχεία, οι απαντήσεις αναφοράς, το συμβόλαιο εξόδου και η βαθμολόγηση είναι τα δημοσιευμένα, και τα συμφραζόμενα εξακολουθούν να φτάνουν στο prompt, επειδή τα συμφραζόμενα είναι η παρέμβαση. Να τα βάλουμε κι αυτά σε αρχείο θα άλλαζε δύο πράγματα ταυτόχρονα.
Ακρίβεια, πριν και μετά
| Συνθήκη | Ορισμοί | Χωρίς εργαλεία | Με εργαλεία | Μεταβολή |
|---|---|---|---|---|
| A μόνο σχήμα | απόντες ή ελλιπείς | 26,5% | 23,5% | -2,9 |
| B τεκμηρίωση, ελλιπής | απόντες ή ελλιπείς | 29,4% | 32,4% | +2,9 |
| E πεζός λόγος, πλήρης | πλήρεις | 76,5% | 100,0% | +23,5 |
| C εκδοσιοποιημένες εγγραφές | πλήρεις | 76,5% | 97,1% | +20,6 |
| F εγγραφές + αδρανές γέμισμα | πλήρεις | 85,3% | 100,0% | +14,7 |
| D εγγραφές + κανόνες ομοσπονδίας | πλήρεις | 77,9% | 100,0% | +22,1 |
Ο διαχωρισμός είναι καθαρός. Κάθε συνθήκη που ξέρει τι σημαίνουν οι λέξεις φτάνει στην οροφή, καμία από όσες δεν ξέρουν δεν μετακινείται. Ένα κέλυφος υπολογίζει ό,τι του ζητήσεις, και το τι να υπολογίσεις είναι ακριβώς αυτό που απαντά ένας ορισμός.
Τα δύο είδη σφάλματος
Η ακρίβεια είναι εδώ η λιγότερο ενδιαφέρουσα στήλη. Σημασία έχουν δύο άλλες: πόσο συχνά ο πράκτορας επέστρεψε ακριβώς τον αριθμό ενός καταργημένου ή ανταγωνιστικού κανόνα, και πόσο συχνά αρνήθηκε σωστά μια ερώτηση που τα δεδομένα δεν απαντούν.
| Συνθήκη | Απάντηση καταργημένου κανόνα, χωρίς εργαλεία | με εργαλεία | Ορθή αποχή, χωρίς εργαλεία | με εργαλεία |
|---|---|---|---|---|
| A μόνο σχήμα | 16,2% | 29,4% | 83,3% | 50,0% |
| B τεκμηρίωση, ελλιπής | 35,3% | 47,1% | 83,3% | 66,7% |
| E πεζός λόγος, πλήρης | 2,9% | 0,0% | 66,7% | 50,0% |
| C εκδοσιοποιημένες εγγραφές | 1,5% | 0,0% | 58,3% | 66,7% |
| F εγγραφές + αδρανές γέμισμα | 0,0% | 0,0% | 66,7% | 50,0% |
| D εγγραφές + κανόνες ομοσπονδίας | 1,5% | 0,0% | 66,7% | 83,3% |
Και τα δύο κινούνται προς λάθος κατεύθυνση όπου λείπουν ορισμοί. Με αριθμομηχανή και χωρίς ορισμό, ο πράκτορας υπολογίζει κάτι, και αυτό που υπολογίζει είναι συχνότερα ο αριθμός που θα έδινε ένας καταργημένος κανόνας. Παύει επίσης να λέει ότι δεν μπορεί να απαντήσει: η ορθή αποχή στο σκέτο σχήμα έπεσε κατά ένα τρίτο. Όπου υπάρχουν ορισμοί, το ποσοστό καταργημένου κανόνα μηδενίζεται σε κάθε συνθήκη.
Ανά οικογένεια ερωτημάτων, με εργαλεία
| Συνθήκη | υπολογισμός | σε παρελθούσα ημερομηνία | προς τον αντισυμβαλλόμενο | μη απαντήσιμα |
|---|---|---|---|---|
| A μόνο σχήμα | 41,7% | 20,0% | 8,3% | 50,0% |
| B τεκμηρίωση, ελλιπής | 41,7% | 50,0% | 8,3% | 66,7% |
| E πεζός λόγος, πλήρης | 100,0% | 100,0% | 100,0% | 50,0% |
| C εκδοσιοποιημένες εγγραφές | 100,0% | 100,0% | 91,7% | 66,7% |
| F εγγραφές + αδρανές γέμισμα | 100,0% | 100,0% | 100,0% | 50,0% |
| D εγγραφές + κανόνες ομοσπονδίας | 100,0% | 100,0% | 100,0% | 83,3% |
Οι συνθήκες με ορισμούς είναι τέλειες ή σχεδόν τέλειες και στις τρεις απαντήσιμες οικογένειες. Η μη απαντήσιμη οικογένεια είναι εκεί όπου τα εργαλεία βλάπτουν: ο πράκτορας έχει κέλυφος, οπότε παράγει αριθμό αντί να αρνηθεί.
Οι συγκρίσεις στις οποίες στηριζόταν η προηγούμενη μελέτη
| Σύγκριση | p χωρίς εργαλεία | Από, με εργαλεία | Προς, με εργαλεία | p με εργαλεία |
|---|---|---|---|---|
| A μόνο σχήμα έναντι C εκδοσιοποιημένες εγγραφές | 0,00055 | 23,5% | 97,1% | 0,0 |
| B τεκμηρίωση, ελλιπής έναντι C εκδοσιοποιημένες εγγραφές | 0,00151 | 32,4% | 97,1% | 0,0 |
| E πεζός λόγος, πλήρης έναντι C εκδοσιοποιημένες εγγραφές | 1,0 | 100,0% | 97,1% | 1,0 |
| C εκδοσιοποιημένες εγγραφές έναντι D εγγραφές + κανόνες ομοσπονδίας | 1,0 | 97,1% | 100,0% | 1,0 |
| A μόνο σχήμα έναντι E πεζός λόγος, πλήρης | 0,00151 | 23,5% | 100,0% | 0,0 |
Το εύρημα που στήριζε την αρχική μελέτη, ότι την ακρίβεια την ανεβάζει η ίδια η παροχή ορισμών, επιβιώνει και ενισχύεται: 25 στοιχεία καλύτερα και κανένα χειρότερο. Το εύρημα που ήταν εις βάρος μας επίσης επιβιώνει: ο πλήρης πεζός λόγος και οι εκδοσιοποιημένες εγγραφές παραμένουν αδιάκριτοι, τώρα στο 100% και 97,1%, με το μοναδικό διαφορετικό στοιχείο υπέρ του πεζού λόγου.
Συμπέρασμα
Τα εργαλεία λύνουν τον περιορισμό που δήλωσαν οι προηγούμενες μελέτες, και τον λύνουν ενάντια στην κοινή υπόθεση. Δεν αναπληρώνουν την απουσία σημασιολογίας: κάνουν την αποτυχία πιο σιωπηλή και πιο σίγουρη, επειδή ένας πράκτορας που μπορεί να υπολογίσει παύει να λέει ότι δεν μπορεί να απαντήσει. Η πρακτική ανάγνωση είναι ότι το να δώσεις σε έναν πράκτορα πρόσβαση σε βάση χωρίς να του δώσεις τους ορισμούς είναι χειρότερο απ' ό,τι φαίνεται, και φαίνεται καλύτερο απ' ό,τι είναι.
Τι δεν δείχνει αυτό
Μία επανάληψη ανά στοιχείο αντί για δύο, οπότε δεν υπάρχει μέσος όρος εντός στοιχείου και οι εκτιμήσεις είναι θορυβωδέστερες από της αρχικής μελέτης. Ένα μοντέλο, ένας συνθετικός κόσμος, και κέλυφος με τοπικά CSV αντί για πραγματική βάση με σχεδιαστή ερωτημάτων και δικαιώματα. Η χρήση εργαλείων κόστισε περίπου πενταπλάσιο χρόνο: διάμεσος 55 δευτερόλεπτα ανά κλήση έναντι περίπου 10 χωρίς. Οι συνθήκες συμφραζομένων εξακολουθούν να φτάνουν στο prompt· μια ανάπτυξη που θα έβαζε και τους ορισμούς στον δίσκο μπορεί να συμπεριφερόταν αλλιώς, και αυτό είναι το επόμενο που πρέπει να ελεγχθεί.