Από το Σάββατο 7/11 η χώρα μας βρίσκεται και πάλι σε κατάσταση καθολικής εφαρμογής μέτρων περιορισμού των μετακινήσεων και λειτουργίας των επιχειρήσεων. Είναι ένα ενδεχόμενο που εδώ και μήνες διαψευδόταν επανειλημμένα από τους αρμόδιους ως πιθανό ενδεχόμενο. Την ίδια στιγμή, ακόμα και σήμερα διαψεύδεται η κοινή πλέον αντίληψη ότι το άνοιγμα των συνόρων κατά τη θερινή περίοδο, ειδικά από 1/7 και μετά, έγινε με τρόπο που πρακτικά έκανε το ενδεχόμενο αυτό απόλυτα προβλέψιμο και αναμενόμενο. Τα στοιχεία του ΕΟΔΥ για την πορεία της πανδημίας σε εθνικό επίπεδο το αποδεικνύουν.
——————————
Προς:
- Γενική Γραμματεία Πολιτικής Προστασίας
- Υπουργείο Υγείας
- Υπουργείο Ψηφιακής Διακυβέρνησης
Κοιν.:
- Γραφεία Τύπου πολιτικών κομμάτων
- ΜΜΕ
Αθήνα, 9/11/2020
«SARS–CoV-2: Δέκα κρίσιμα ερωτήματα για τον αλγόριθμο EVA και την πρόσβαση σε επιδημιολογικά δεδομένα του ΕΟΔΥ»
Από το Σάββατο 7/11 η χώρα μας βρίσκεται και πάλι σε κατάσταση καθολικής εφαρμογής μέτρων περιορισμού των μετακινήσεων και λειτουργίας των επιχειρήσεων. Είναι ένα ενδεχόμενο που εδώ και μήνες διαψευδόταν επανειλημμένα από τους αρμόδιους ως πιθανό ενδεχόμενο. Την ίδια στιγμή, ακόμα και σήμερα διαψεύδεται η κοινή πλέον αντίληψη ότι το άνοιγμα των συνόρων κατά τη θερινή περίοδο, ειδικά από 1/7 και μετά, έγινε με τρόπο που πρακτικά έκανε το ενδεχόμενο αυτό απόλυτα προβλέψιμο και αναμενόμενο. Τα στοιχεία του ΕΟΔΥ για την πορεία της πανδημίας σε εθνικό επίπεδο το αποδεικνύουν (βλ. Διάγραμμα 1, πηγή1: ΕΟΔΥ, 7/11/2020).
Από την αρχή της πανδημίας η ΕΠΕ τοποθετήθηκε δημόσια2 και δηλώσαμε έτοιμοι να συμβάλλουμε στην εθνική προσπάθεια με κάθε τρόπο σύμφωνα με το επιστημονικό μας αντικείμενο. Αυτό συμπεριλαμβάνει πολλά διαφορετικά πεδία δράσης, από την προετοιμασία των μαθητών και των απαραίτητων τεχνικών μέσων για τη διεξαγωγή μαθημάτων μέσω τηλε-εκπαίδευσης μέχρι τις συνεργασίες με φορείς και ακαδημαϊκά ιδρύματα για τη δημιουργία ψηφιακού υλικού, δεδομένων και υπηρεσιών ανοικτής πρόσβασης για την επιστημονική κοινότητα με πληροφορίες για την εξέλιξη της πανδημίας και την έγκυρη ενημέρωση των πολιτών. Δυστυχώς μέχρι και σήμερα δεν λάβαμε καμία απολύτως τέτοια πρόσκληση από κανένα δημόσιο φορέα.
Δεδομένης πλέον της πολύ κακής εξέλιξης της πανδημίας από το καλοκαίρι και μετά, είμαστε υποχρεωμένοι να ζητήσουμε δημόσια πληροφορίες του επιστημονικού αντικειμένου μας, σχετικά με δύο στοιχεία εξαιρετικά κρίσιμα για να ερμηνεύσουμε τι δεν πήγε καλά και τι πρέπει να διορθωθεί άμεσα, ώστε να μειώσουμε τον κίνδυνο τα πράγματα να πάνε ακόμα χειρότερα.
Συγκεκριμένα, υπάρχουν τα εξής δέκα συγκεκριμένα ερωτήματα προς απάντηση:
Αλγόριθμος EVA: Εξαγγέλθηκε επίσημα στις αρχές του καλοκαιριού ως ένα σημαντικό εργαλείο “Τεχνητής Νοημοσύνης” που θα διασφαλίσει την αξία των στοχευμένων (και μόνο) τεστ SARS-CoV-2 στις πύλες εισόδου της χώρας. Όμως τόσο στην επίσημη ενημέρωση3 από τη Γενική Γραμματεία Πολιτικής Προστασίας, όσο και στη σχετική ανακοίνωση4 της ομάδας που ανέπτυξε τον αλγόριθμο, δεν υπάρχει καμία σχετική επιστημονική αναφορά για περισσότερες πληροφορίες.
- Που είναι δημοσιευμένος ο συγκεκριμένος αλγόριθμος EVA, με πλήρη επιστημονική τεκμηρίωση και τεχνική περιγραφή;
- Μέσω ποιας διαδικασίας κρίσης (peer-review) έχει αξιολογηθεί η επιστημονική εγκυρότητά του;
- Με βάση ποια δεδομένα και με ποιο πειραματικό πρωτόκολλο έγινε η αξιολόγηση αυτή;
- Ποιος ανέλαβε την υλοποίησή του σε επιχειρησιακό επίπεδο, με ποια διαδικασία επιλογής, ποιος φορέας-υπηρεσία είναι αρμόδιος και ποιος παρέλαβε το σχετικό έργο (λογισμικό);
- Με βάση ποια δεδομένα προσαρμόστηκε, δοκιμάστηκε, αξιολογήθηκε και τελικά εφαρμόστηκε επιχειρησιακά πλέον στις πύλες εισόδου της Ελλάδας;
- Τι αξιολόγηση έχει γίνει κατά της διάρκεια της επιχειρησιακής αυτής λειτουργίας του μέχρι και αυτή τη στιγμή;
- Ποια είναι τα τέσσερα βασικά νούμερα5 ευαισθησίας και ακρίβειας (TP / TN / FP / FN) του αλγορίθμου σε θεωρητικό επίπεδο (βλ. 1-3) και ποια σε επιχειρησιακό επίπεδο εφαρμογής στην Ελλάδα (βλ. 5-6) από το καλοκαίρι μέχρι και σήμερα;
- Που είναι δημοσιευμένα και δημόσια προσβάσιμα στην επιστημονική κοινότητα όλα τα παραπάνω στοιχεία;
Επιδημιολογικά δεδομένα: Από την αρχή της πανδημίας σε εθνικό επίπεδο ο ΕΟΔΥ ως αρμόδιος φορέας ανακοινώνει καθημερινά τα βασικά επιδημιολογικά στοιχεία για την εξέλιξη της νόσου στη χώρα. Παρόλα αυτά, σύντομα μετά την έναρξη της κρίσης, σταμάτησε να ενημερώνει κάποια πολύ σημαντικά δεδομένα, όπως το συνολικό αριθμό των ασθενών που έχουν αναρρώσει (R = “recovered”). Το σημαντικότερο, όσα δεδομένα ανακοινώνονται δημόσια δεν διατίθενται ταυτόχρονα με οργανωμένο τρόπο και με ανοικτή πρόσβαση στην επιστημονική κοινότητα. Το αποτέλεσμα είναι οι ερευνητικές ομάδες που επιθυμούν να δουλέψουν με αυτά τα δεδομένα να τα αναζητούν είτε σε διεθνείς πηγές6 είτε σε εθελοντικές ομάδες7 που αναπτύσσουν παρόμοια συστήματα και υπηρεσίες ακριβώς για να καλύψουν αυτό το κενό.
- Για ποιο λόγο μέχρι και σήμερα τα αναλυτικά επιδημιολογικά δεδομένα8 του ΕΟΔΥ δεν διατίθενται οργανωμένα, ελεύθερα, με ανοικτά πρότυπα στους πολίτες;
- Για ποιο λόγο δεν έχει γίνει ανοικτή πρόσκληση προς όλους τους επιστημονικούς φορείς και τις ερευνητικές ομάδες της χώρας να συμβάλλουν σε επίπεδο επεξεργασίας, αναλυτικής και μοντελοποίησης των δεδομένων αυτών;
Είναι πραγματικά απογοητευτικό να επιβεβαιώνουμε από συναδέλφους σε ακαδημαϊκά ιδρύματα της χώρας μας ότι τόσο στην αρχή της πανδημίας όσο ακόμα και σήμερα, που υπάρχει πλέον πολύ περισσότερη ιατρική γνώση και κλινικά δεδομένα διαθέσιμα, δεν υπήρξε καμία πρόθεση εκ μέρους των αρμόδιων φορέων για την ευρεία αξιοποίηση του εγχώριου επιστημονικού δυναμικού σε τομείς της Πληροφορικής που σαφέστατα εμπλέκονται διεθνώς σε παρόμοιες συνέργειες (Statistics, Simulation, Machine Learning, Databases, Computational Epidemiology, …).
Αναμένουμε τις απαντήσεις εκ μέρους των συναρμόδιων υπουργείων και δημόσιων φορέων με την ελπίδα ότι αυτή τη φορά, καθώς το δεύτερο κύμα της πανδημίας είναι πολύ ισχυρότερο και δεν επιτρέπει κανένα λάθος ή αβλεψία, να σταθούν όλοι στο ύψος των ιστορικών περιστάσεων.
«SARS–CoV-2: Διευκρινίσεις σχετικά με τον αλγόριθμο EVA και τα ερωτήματα που παραμένουν»
Στις 9/11 ως Ένωση Πληροφορικών Ελλάδας δημοσιεύσαμε ανακοίνωση-επιστολή1 στην οποία θέτουμε δέκα κρίσιμα ερωτήματα σχετικά με τον περίφημο αλγόριθμο EVA που εφαρμόστηκε το καλοκαίρι για την κατηγοριοποίηση προφίλ επικινδυνότητας των ξένων τουριστών, καθώς και τη διαθεσιμότητα των αναλυτικών επιδημιολογικών δεδομένων από τον ΕΟΔΥ.
Από την ερευνητική ομάδα που ανέπτυξε τον αλγόριθμο λάβαμε την απάντηση που υπάρχει στο Παράρτημα του παρόντος. Κάποια άλλη απάντηση εκ μέρους των συναρμόδιων υπουργείων ή της Γενικής Γραμματείας Πολιτικής Προστασίας δεν έχουμε λάβει μέχρι και σήμερα.
Από την απάντηση του κ. Δρακόπουλου εκ μέρους της ερευνητικής ομάδας προκύπτουν τα παρακάτω:
Ο αλγόριθμος EVA σχεδιάστηκε, δοκιμάστηκε και υλοποιήθηκε από μια μικρή ερευνητική ομάδα, χωρίς συγκεκριμένη κεντρική διοικητική διαδικασία, ούτε στο πλαίσιο κάποιας επίσημης δράσης κάποιου κρατικού φορέα. Παρόλα αυτά, το αποτέλεσμα, δηλαδή ο αλγόριθμος EVA, όχι μόνο προβλήθηκε από τα ΜΜΕ ως βασική πολιτική αντιμετώπισης του πολύ πιθανού δεύτερου κύματος της πανδημίας στη χώρα μας, αλλά εφαρμόστηκε άμεσα για το σκοπό αυτό στις πύλες εισόδου της χώρας για ολόκληρο το καλοκαίρι.
Μέχρι και αυτή τη στιγμή δεν βλέπουμε η ερευνητική ομάδα να έχει κάπου δημοσιευμένο τον αλγόριθμο σε επίπεδο πλήρους επιστημονικής εργασίας (scientific paper), ούτε επίσημα ούτε ως προ-δημοσίευση για σχολιασμό (preprint). Προτίθεται να υποβάλλει δύο τέτοιες εργασίες μέσα στο Δεκέμβριο, πιθανόν στα περιοδικά “Nature” και “Operational Research”. Αυτό σημαίνει ότι όταν στις αρχές του καλοκαιριού ελήφθη η κυβερνητική απόφαση για επιχειρησιακή εφαρμογή του αλγορίθμου EVA ως εργαλείο κατηγοριοποίησης επικινδυνότητας των ξένων τουριστών στα σύνορα δεν υπήρχε διαθέσιμη η επιστημονική-τεχνική περιγραφή του και άρα ήταν αδύνατο να αξιολογηθεί η αναμενόμενη αποτελεσματικότητά του για το σκοπό αυτό.
Σύμφωνα με τις διευκρινήσεις, δεν εφαρμόστηκε κάποιο συγκεκριμένο κριτήριο αποτελεσματικότητας-αποδοχής του αλγορίθμου EVA πριν την επιχειρησιακή του εφαρμογή, πέρα από τη σύγκριση με τυχαία δειγματοληψία (σύγκριση με κατάσταση χωρίς EVA), δεδομένα προσομοιώσεων και τις γενικές οδηγίες από το ECDC. Αυτό σημαίνει ότι δεν υπάρχει καμία εγγύηση ότι σε επιχειρησιακό επίπεδο η όποια αποτελεσματικότητα του αλγορίθμου EVA έχει επιβεβαιωθεί με επαρκή πραγματικά επιδημιολογικά δεδομένα από την Ελλάδα, κάτι που παραδέχεται και η ίδια η ερευνητική ομάδα, αναφέροντας ότι βασίστηκε κυρίως σε σχετική βιβλιογραφία από άλλους τομείς.
Μέχρι και σήμερα δεν υπάρχει καμία επίσημα δημοσιευμένη αξιολόγηση από την επιχειρησιακή εφαρμογή του αλγορίθμου EVA στην Ελλάδα από τον Ιούλιο. Η ομάδα αναφέρει ότι “θα πρέπει να περιμένουμε μέχρι το Δεκέμβριο” και ότι η ερώτηση σχετικά με τα νούμερα ευαισθησίας/ακρίβειας δεν είναι ορθή επιστημονικά. Εδώ να αναφέρουμε ότι σε κάθε παρόμοιο μοντέλο πρόβλεψης/εκτίμησης, δηλαδή αν κάποιος τουρίστας είναι ή όχι “επικίνδυνος” ή “ασφαλής”, τα νούμερα FP και TN που ρωτούμε αντιστοιχούν στο ποσοστό περιπτώσεων που το μοντέλο χαρακτηρίζει “επικίνδυνο” ενώ είναι “ασφαλής” και το αντίστροφο, δηλαδή την κατανομή του σφάλματός του. Αποτελεί θεμελιώδες στοιχείο για κάθε σωστή πειραματική αξιολόγηση και δεν επιδέχεται άλλη ερμηνεία.
Ως ΕΠΕ σεβόμαστε απόλυτα την ακαδημαϊκή δουλειά της ερευνητικής ομάδας και γνωρίζουμε πάρα πολύ καλά τα στοιχεία που περιγράφουν, καθώς μεγάλο ποσοστό από τα μέλη μας είναι ακαδημαϊκοί και ερευνητές που εργάζονται με τον ίδιο τρόπο. Για εμάς είναι απόλυτα σαφής και αυστηρός ο διαχωρισμός μεταξύ της ακαδημαϊκής έρευνας και της τεχνολογικής-επιχειρησιακής εφαρμογής της, ιδιαίτερα όταν πρόκειται για κάτι που εμπίπτει στον τομέα της δημόσιας υγείας και κατά συνέπεια τα πρότυπα αξιολόγησης και οι απαιτήσεις είναι στο υψηλότατο επίπεδο.
Όμως αυτό δεν σχετίζεται με το πρόβλημα που επισημαίνεται από την αρχική μας ανακοίνωση, ότι δηλαδή στις αρχές του καλοκαιριού υπήρξε κεντρική πολιτική απόφαση να εφαρμοστεί επιχειρησιακά ένα καθαρά επιστημονικό μοντέλο, με αδυναμία πειραματικής του επικύρωσης με πραγματικά δεδομένα για την Ελλάδα, χωρίς να είναι ακόμα δημοσιευμένη η πλήρης επιστημονική-τεχνική του περιγραφή, χωρίς κανένα πλάνο περαιτέρω αξιολόγησης της αποτελεσματικότητάς του στους μήνες που εφαρμόστηκε.
Συνεπώς, ευχαριστούμε την ερευνητική ομάδα για τις διευκρινήσεις που μας παρείχε και εξακολουθούμε να αναμένουμε ουσιαστικές τις απαντήσεις στα ερωτήματά μας εκ μέρους των συναρμόδιων υπουργείων και δημόσιων φορέων.
Το ΔΣ της Ένωσης Πληροφορικών Ελλάδας (ΕΠΕ)
