Εισαγωγή
του Paul Walsh. Η OpenSpending είναι μια πλατφόρμα παγκόσμιου βεληνεκούς, ελεύθερη και ανοικτή προς όλους για αναζήτηση, οπτικοποίηση και ανάλυση φορολογικών δεδομένων στη δημόσια σφαίρα. Αυτή την εβδομάδα παρουσιάσαμε την πλατφόρμα ανανεωμένη σε τεχνικό επίπεδο και με νέα σελίδα προορισμού. Η “OpenSpending Next” αποτελεί ουσιαστικά την ανανεωμένη έκδοση της πλατφόρμας OpenSpending, που χρησιμοποιούταν από το 2011.
Σελίδα προορισμού: https://openspending.org
Στον πυρήνα της ανανεωμένης πλατφόρμας βρίσκεται το Δημοσιονομικό Πακέτο Δεδομένων. Αυτό αναπτύχθηκε σε συνεργασία με το GIFT και μέσα του ορίζονται οι προδιαγραφές για την περιγραφή και μοντελοποίηση φορολογικών δεδομένων. Ακόμη, παρέχει μια ευέλικτη προσέγγιση σχετικά με την τυποποίηση των δεδομένων η οποία α) ελαχιστοποιεί τους περιορισμούς για τους εκδότες και β) προμηθεύει δεδομένα βάση μιας έννοιας που τα μοντελοποιεί, επιτρέποντας τη σταδιακή βελτίωση της περιγραφής των δεδομένων με την πάροδο του χρόνου. Θα συζητήσουμε λεπτομερώς γι’ αυτό παρακάτω.
Από σήμερα:
- Οι εκδότες μπορούν να ξεκινήσουν τη δημοσίευση φορολογικών δεδομένων μέσω του διαδραστικού λογισμικού Packager και να εξερευνήσουν τις δυνατότητες του πλούσιου API της πλατφόρμας, τις προηγμένες οπτικοποιήσεις και τις διάφορες επιλογές ενσωμάτωσης.
- Οι χάκερ μπορούν να δουλέψουν σε ένα σύγχρονο περιβάλλον σχεδιασμένο να απελευθερώνει φορολογικά δεδομένα για καλό σκοπό. Ξεκινήστε με τα έγγραφα, συζητήστε μαζί μας ή απλά ξεκινήστε το hacking.
- Η κοινωνία των πολιτών μπορεί να έχει πρόσβαση σε μια ισχυρή σουίτα εργαλείων οπτικοποίησης και ανάλυσης που λειτουργούν εντός μιας τεράστιας βάσης δεδομένων με ανοικτά φορολογικά στοιχεία. Ανακαλύψτε γεγονότα, δημιουργήστε ιδέες και αναπτύξτε ιστορίες. Μιλήστε μαζί μας για να ξεκινήσετε.
Καμία εργασία για την καινούργια εκδοχή της πλατφόρμας OpenSpending δεν θα ήταν εφικτή αν δεν είχαμε την στήριξη των χρηματοδοτών μας. Θέλουμε να ευχαριστήσουμε τη Hewlett, το Adessium, το GIFT και την κοινοπραξία OpenBudgets.eu για τη χρηματοδότηση αυτής της εργασίας. Όπως είναι φυσικό, αντικαθιστώντας την παλιά πλατφόρμα OpenSpending με την καινούργια, αναμένουμε κάποια σφάλματα. Εάν εντοπίσετε οποιοδήποτε σφάλμα παρακαλούμε να μας ενημερώσετε μέσω του issue tracker μας.
Χαρακτηριστικά
Η νέα πλατφόρμα έχει σχεδιαστεί κυρίως γύρω από την έννοια της συγκέντρωσης δεδομένων και αποκέντρωσης των απόψεων: Στόχος μας είναι να δημιουργήσουμε μια μεγάλη και περιεκτική βάση δεδομένων με φορολογικά στοιχεία και να παρέχουμε ποικίλους τρόπους πρόσβασης σε αυτά ώστε να αναπτυχθούν τοπικά εφαρμογές με συγκεκριμένο πλαίσιο. Τα κύρια χαρακτηριστικά που σχετίζονται με αυτή την προσέγγιση περιγράφονται παρακάτω.
Φορολογικό πακέτο Δεδομένων
Όπως προαναφέρθηκε, το Φορολογικό πακέτο Δεδομένων παρέχει μια ευέλικτη προσέγγιση σχετικά με την τυποποίηση φορολογικών δεδομένων. Δεν αποτελεί ρυθμιστικό πρότυπο και δεν επιβάλει αυστηρές προϋποθέσεις στην συγκέντρωση αρχείων δεδομένων. Αντιθέτως οι χρήστες «χαρτογραφούν» τις πηγές δεδομένων σε «φορολογικές έννοιες» όπως το ποσό, η ημερομηνία, η πρακτική κατηγοριοποίηση κ.α. έτσι ώστε τα συστήματα που ενσωματώνουν το Φορολογικό πακέτο Δεδομένων να μπορούν να επεξεργαστούν μεγάλη ποικιλία πηγών χωρίς να απαιτείται αλλαγή της μορφής των δεδομένων απευθείας από την πηγή. Το ελάχιστο που χρειάζεται ένα Φορολογικό πακέτο Δεδομένων είναι η χαρτογράφηση των εννοιών του ποσού και της ημερομηνίας. Υπάρχει μια σειρά συμπληρωματικών εννοιών που καθιστούν τα φορολογικά δεδομένα αξιοποιήσιμα και χρήσιμα και ενθαρρύνουμε την χαρτογράφηση αυτών, χωρίς όμως να απαιτείται αυτή η διαδικασία για την εγκυρότητα του πακέτου. Βάση της παραπάνω προσέγγισης για το προσδιορισμό των φορολογικών στοιχείων μέσω του Φορολογικού πακέτου Δεδομένων, η ανανεωμένη πλατφόρμα OpenSpending με την σειρά της δεν έχει αυστηρές απαιτήσεις σχετικά με την ονομασία των στηλών ή την παρουσία τους στην πηγή των δεδομένων. Αντιθέτως οι χρήστες (μέσω της εικονογραφημένης διεπαφής χρήστη και των διεπαφών προγραμματισμού της εφαρμογής) είναι σε θέση να παρέχουν οποιαδήποτε πηγή δεδομένων και να δημιουργούν επανειλημμένως ένα μοντέλο που να δηλώνει τα φορολογικά μέτρα και τις διαστάσεις των εν λόγω δεδομένων.
Στοιχεία γραφικού περιβάλλοντος χρήστη (GUIs)
Packager
Ο Packager είναι μια εφαρμογή η οποία χρησιμοποιείται για τη μοντελοποίηση δεδομένων από πηγές μέσα σε Φορολογικά πακέτα Δεδομένων. Χρησιμοποιώντας τον Packager οι χρήστες λαμβάνουν πρωτίστως δομική και σχηματική επικύρωση των αρχείων προέλευσης διασφαλίζοντας ότι τα δεδομένα που προορίζονται για ενσωμάτωση στην πλατφόρμα είναι ορθά διαμορφωμένα και δευτερευόντως προχωρούν στην μοντελοποίηση των φορολογικών εννοιών που υπάρχουν μέσα στα αρχεία προκειμένου να τα δημοσιεύσουν. Μετά τη αρχική μοντελοποίηση των δεδομένων, οι χρήστες έχουν την δυνατότητα να αναδιαμορφώσουν τις πηγές δεδομένων τους στοχεύοντας στην σταδιακή βελτίωση της ποιότητας των δεδομένων που προστίθενται στην πλατφόρμα.
Explorer
O Explorer είναι η εφαρμογή που βοηθάει το χρήστη στην διερεύνηση και ανακάλυψη δεδομένων διαθέσιμα στη πλατφόρμα.
Viewer
Ο Viewer είναι η εφαρμογή που βοηθάει το χρήστη στην παραγωγή οπτικοποιήσεων από ένα σύνολο δεδομένων, παρέχοντας ευρεία γκάμα επιλογών παρουσίασης και ενσωμάτωσης εικόνων σε ιστοτόπους τρίτων.
DataMine
To DataMine είναι μια αυθεντική διεπαφή χρήστη που δημιούργησε η Re:dash με στόχο την διεξαγωγή εις βάθους ερευνητικής εργασίας σε σύνολα δεδομένων. Έχουμε συμπεριλάβει το Datamine στη σουίτα εφαρμογών καθώς αποδείχτηκε εξαιρετικά χρήσιμο α) στη συνεργασία με δημοσιογράφους δεδομένων και άλλους ειδικούς του τομέα και β) στην άμεση παραγωγή πρότυπων εικόνων από τα δεδομένα απελευθερωμένα από τους περιορισμούς πρόσβασης των API, όπως για παράδειγμα κάποια που χρησιμοποιεί SQL.
Διεπαφές προγραμματισμού Εφαρμογών (API’s)
Datastore
To Datastore είναι μια βάση δεδομένων με αρχεία από πηγές δεδομένων που είναι αποθηκευμένα σε Φορολογικά Πακέτα Δεδομένων, παρέχοντας μας άμεση πρόσβαση σε ανεπεξέργαστα δεδομένα. Όλες οι άλλες βάσεις δεδομένων δημιουργήθηκαν από αυτά τα ανεπεξέργαστα δεδομένα, δίνοντάς μας όχι μόνο ένα μηχανισμό που βοηθάει στην σταδιακή ενίσχυση της βάσης δεδομένων στο σύνολό της αλλά και την προοπτική δημιουργίας παρόμοιων επιλογών χρήσης απευθείας στους χρήστες.
Analytics API
Το Analytics API παρέχει μια πλούσια γκάμα ερωτημάτων για σύνολα δεδομένων και το Search API παρέχει δυνατότητες εξερεύνησης και ανακάλυψης στοιχείων από ολόκληρη τη βάση δεδομένων. Προς το παρόν η αναζήτηση αφορά μόνο μεταδεδομένα αλλά σκοπεύουμε να την αναπτύξουμε ώστε να είναι πλήρης και να αφορά όλες τις γραμμές δημοσιονομικών δεδομένων.
Data Importers
Οι Data Importers βασίζονται σε ένα κοινό πλαίσιο εργασίας δεδομένων που αναπτύχθηκε από το Διεθνές Ίδρυμα Ανοικτής Γνώσης με τίτλο Data Package Pipelines. Οι Εισαγωγείς Δεδομένων όπως τους ονομάζουμε, μας δίνουν την δυνατότητα αυτόματου ETL για την λήψη νέων δεδομένων στην πλατφόρμα OpenSpending συμπεριλαμβανομένης της δυνατότητας ενημέρωσης των δεδομένων από την πηγή τους σε καθορισμένα χρονικά διαστήματα. Οι Εισαγωγείς Δεδομένων αποτελούν κεντρική λειτουργία της ανανεωμένης πλατφόρμας επιτρέποντας στο OpenSpending να ξεπεράσει τα παραπάνω από χίλια σύνολα δεδομένων, που ανέβηκαν χειροκίνητα τα τελευταία πέντε περίπου χρόνια και να στοχεύσει σε ακόμη δεκάδες χιλιάδες σύνολα δεδομένων. Ένα καλό παράδειγμα χρήσης των Εισαγωγών Δεδομένων είναι τα στοιχεία των διαρθρωτικών ταμείων της ΕΕ που αποτελούν μέρος του προγράμματος Subsidy Stories.
Χρήσεις
Είναι λίγο παραπλανητικό να ανακοινώσουμε την παρουσίαση της πλατφόρμας OpenSpending σήμερα καθώς τη χρησιμοποιούμε ήδη εδώ και δυο χρόνια. Ορισμένα στιγμιότυπα από τη διαδικασία που οδήγησε στη πλατφόρμα που έχουμε σήμερα είναι τα εξής
SubsidyStories.eu με Adessium
Το Adessium χρηματοδότησε το Διεθνές Ίδρυμα Ανοικτής Γνώσης για την ενίσχυση της δημοσιονομικής διαφάνειας στην Ευρώπη. Αυτό μας επέτρεψε να αναπτύξουμε σημαντικά τεχνικά τμήματα της πλατφόρμας, να εργαστούμε με J++ πάνω στις Γεωργικές Επιδοτήσεις και να εμπλακούμε σε μια παραγωγική συνεργασία με το Ίδρυμα Ανοικτής Γνώσης Γερμανίας από την οποία προέκυψε το SubsidyStories.eu. Το τελευταίο οδήγησε με την σειρά του σε μια ακόμη πρωτοβουλία του Ιδρύματος Ανοικτής Γνώσης Γερμανίας που ονομάζεται The Hunt Story. Η εργασία αυτή συνέβαλε στο τεχνικό κομμάτι της πλατφόρμας παρέχοντας μια εξαιρετική περίπτωση χρήσης. Αυτή αφορά την μεταποίηση ενός μεγάλου και ακατάστατου συνόλου πηγών δεδομένων σε μια καθαρή βάση δεδομένων έτοιμη για ανάλυση με παράλληλη διατήρηση της προέλευσης των δεδομένων και της αναπαραγωγικότητας της διαδικασίας. Είμαστε ιδιαίτερα ενθουσιασμένοι από αυτή την εργασία και από την προοπτική να συνεχίσουμε προς αυτή την κατεύθυνση δημιουργώντας μια βάση δεδομένων που μπορεί να αξιοποιηθεί ως εργαλείο διερεύνησης και αφήγησης ιστοριών με δεδομένα.
OpenBudgets.eu μέσω του Horizon 2020
Ως μέρος της κοινοπραξίας OpenBudgets.eu καταφέραμε όχι μόνο να αναπτύξουμε το τεχνικό κομμάτι της πλατφόρμας αλλά και να έχουμε μια ζωντανή μελέτη περίπτωσης της συμβατότητας της αρχιτεκτονικής που επιλέξαμε. Ορισμένα από τα στοιχεία του πυρήνα της πλατφόρμας OpenSpending χρησιμοποιήθηκαν και στη πλατφόρμα OpenBudgets.eu με ελάχιστες ή και καθόλου τροποποιήσεις καθώς και το analytical API από την OpenSpending χρησιμοποιήθηκε πάνω σε μια εφαρμογή σχετικά με το μοντέλο δεδομένων της OpenΒudgets.eu. Ένα από τα πιο ελπιδοφόρα αποτελέσματα αυτού του έργου ήταν η στενή και παραγωγική συνεργασία τόσο με το Ίδρυμα Ανοικτής Γνώσης Γερμανίας όσο και με το Ίδρυμα Ανοικτής Γνώσης Ελλάδας αναφορικά με τις ευκαιρίες που δόθηκαν σε τεχνικό και δημοσιογραφικό επίπεδο αλλά και ευρύτερα σε επίπεδο κοινότητας. Όπως είναι φυσικό σχεδιάζουμε και ελπίζουμε τη συνέχιση αυτών των συνεργασιών στο μέλλον.
Επεξεργασία Φορολογικού Πακέτου Δεδομένων με GIFT
Σε περισσότερα από τρία στάδια εργασίας από το 2015 (η τρίτη φάση είναι σε εξέλιξη) αναπτύσσουμε το Φορολογικό Πακέτο Δεδομένων ως πρότυπο για την δημοσίευση φορολογικών δεδομένων. Σε αυτό το χρονικό διάστημα πραγματοποιήσαμε εκτεταμένες δοκιμές των προδιαγραφών του πακέτου έναντι μιας ευρείας γκάμας δεδομένων και οδεύουμε προς την δημοσίευση μιας v1 έκδοσης του, το προσεχές χρονικό διάστημα. Ακόμα, δοκιμάζουμε πιλοτικά τις προδιαγραφές και το OpenSpending σε συνεργασία με εθνικές κυβερνήσεις. Αυτό μας επέτρεψε να πραγματοποιήσουμε δοκιμές τόσο για τη χειροκίνητη διαμόρφωση των δεδομένων με χρήση του OpenSpendig Packager όσο και της αυτοματοποιημένης διαδικασίας ETL μέσα στη πλατφόρμα χρησιμοποιώντας το πλαίσιο εργασίας των Data Package Pipelines. Αυτή η πλατφόρμα, ενώ αρχικά είχε σχεδιαστεί με γνώμονα την συμμετοχή και χρήση από τη κοινωνία των πολιτών και τους κοινωνικούς φορείς τεχνολογίας, αξιοποιήθηκε απευθείας από τις κυβερνήσεις. Έχουμε εντοπίσει ήδη τις δυσκολίες και τις ευκαιρίες τόσο σε επίπεδο εφαρμογής όσο και σε αυτό των προδιαγραφών και προσβλέπουμε στη συνέχιση της προσπάθειας και την επίλυση οποιονδήποτε προβλημάτων χρήσης από κυβερνητικούς φορείς.
Ευχαριστίες
Πολλοί άνθρωποι συμμετείχαν στη προσπάθεια αναβάθμισης του τεχνικού περιεχομένου της πλατφόρμας. Πιο συγκεκριμένα οι εργασίες ξεκίνησαν το 2014 όταν οι συνάδελφοί μας Tryggvi Björgvinsson και Rufus Pollock διατύπωσαν το αρχικό όραμα αρχιτεκτονικής της πλατφόρμας. Αυτό προσαρμόστηκε και ξαναδιατυπώθηκε από τους Adam Kariv (Τεχνικό Διευθυντή), Sam Smith (UI/X), Levko Kravets, Vitor Baptista και Paul Walsh. Επαναχρησιμοποιήσαμε και ενισχύσαμε τον κώδικα του Friedrich Lindenberg. Οι Lazaros Ioannidis και Steve Bennett συνέβαλαν και αυτοί με την σειρά τους στην ενίσχυση του κώδικα αλλά και στις διαμόρφωση των προδιαγραφών. Τέλος οι Diana Krebs, Cecile Le Guen, Vitoria Vlad και Anna Alberts συνέβαλαν στους τομείς της διαχείρισης εργασιών, χαρακτηριστικών και σχεδιασμού της πλατφόρμας.
Μελλοντικά Σχέδια
Πάντα θα υπάρχει πολύ δουλειά. Σε τεχνικό επίπεδο, υπάρχει μια μεγάλη λίστα βελτιώσεων. Ωστόσο ενώ το έργο που πραγματοποιήθηκε όλα αυτά τα χρόνια, ήταν συνεργατικό χάρις τους εξειδικευμένους συνεργάτες μας και τον προσανατολισμό α) στην αναγνώριση μελετών περίπτωσης και β) ιστοριών που προέκυψαν από την συνεργασία με άλλους χρήστες, η κοινωνία ήταν απούσα. Η αξιοσημείωτη έλλειψη εμπλοκής της κοινωνίας μας πηγαίνει πίσω στο σημείο μηδέν. Αυτό πρέπει να αλλάξει. Παρακαλούμε μπείτε στο φόρουμ μας και καταθέστε τα σχόλια και τις παρατηρήσεις σας.
ΠΗΓΗ: OpenSpending
