Η ΟΜΑΔΑ ΜΑΣ
Η ομάδα μας » Master Builders» δημιουργήθηκε το 2016 στα Πεύκα Θεσσαλονίκης ως μια ανεξάρτητη ομάδα ρομποτικής. Ο αρχικός στόχος της ομάδας μας ήταν να μάθουμε και να κατανοήσουμε την ρομποτική μεσώ των LEGO MINDSTORM. Στην συνέχεια της εξέλιξης της ομάδας μας το 2017 ξεκινήσαμε να ασχολούμαστε με μικροεπεξεργαστές όπως το ARDUINO! Μάθαμε τον προγραμματισμό του και πως να χρησιμοποιούμε τους αισθητήρες και τους κινητήρες που μπορούμε να χρησιμοποιήσουμε με το Arduino. Πλέον η ομάδα μας γνωρίζει γλώσσες προγραμματισμού όπως paython και c++ μπορώντας να υλοποιεί Project όπως δημιουργία σελίδων και learning machine.
Άτομα Ομάδας:
- Βαρσαμάς Θεολόγος-Ταξιάρχης
- Ελευθεριάδης Νικόλαος
Μέντορες – Προπονητες:
- Παπαζήσης Παναγιώτης
- Βαρσαμάς Νικήτας
ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ:
Επικεντρώνεται σε έργα Ανοιχτών Τεχνολογιών που ενσωματώνουν Τεχνητή Νοημοσύνη στις θεματικές που αφορούν την κοινωνία.
Εισαγωγή
Λόγω της ραγδαίας ανάπτυξης της τεχνολογίας έχει παρατηρηθεί και αύξηση της εμπορικά και ερευνητικά διαθέσιμης υπολογιστής ισχύος. Ως αποτέλεσμα, οι αλγόριθμοι μηχανικής μάθησης ενσωματώνονται σε όλο και περισσότερα έξυπνα συστήματα με στόχο την αυτοματοποίηση λειτουργιών που συμβάλουν στην βελτιστοποίηση των εκάστοτε τους λειτουργιών.
Στην παρούσα εργασία εξετάζονται οι τεχνολογίες που ενσωματώνουν αλγορίθμους μηχανικής μάθησης καθώς και τα μη επανδρωμένα εναέρια οχήματα (Unmanned Aerial Vehicles, UAVs). Στόχος της εργασίας είναι η ανάπτυξη ενός συστήματος το οποίο θα αξιοποιεί ένα μοντέλο βαθιάς μηχανικής μάθησης (Deep Learning, DL) για την αναγνώριση βλαβών στο οδόστρωμα αστικών ιστών. Για την συγκομιδή των δεδομένων τόσο για την εκπαίδευση του μοντέλου όσο και για την επικύρωση του συστήματος έγινε χρήση ενός UAV μικρής εμβέλειας.
Περιγραφή συστήματος
Το προτεινόμενο σύστημα αποτελείται από δυο υποσυστήματα με διακριτούς ρόλους. Κάθε προτεινόμενο υποσύστημα σχεδιάστηκε και υλοποιήθηκε με γνώμονα την εύκολα αλληλεπίδραση του καθώς και την δυνατότητα περαιτέρω ανάπτυξης.
UAV
To υποσύστημα του αυτόνομου μη επανδρωμένου εναέριου οχήματος αποτελεί το αρχικό μέσω για την συλλογή φωτογραφιών για την εκπαίδευση του μοντέλου βαθιάς μηχανικής μάθησης. Συγκεκριμένα, χρησιμοποιήθηκε το UAV της εταιρείας Parrot με την ονομασία Anafi. Πρόκειται για ένα UAV μικρής εμβέλειας διότι η διασύνδεση του λαμβάνει χώρα μέσω της τεχνολογίας του Wifi. Ο ονομαστικός χρόνος πτήσεως ανέρχεται στα 20 λεπτά. Η ανάλυση της RGB κάμερας η οποία είναι ενσωματωμένη στο UAV ανέρχεται στα 21MP με μέγιστη ανάλυση 5344×4016. Το ενσωματωμένο gimbal που διαθέτει το UAV, μας παρείχε την δυνατότητα λήψης φωτογραφιών σε πληθώρα γωνιών.
Μοντέλο βαθιάς μηχανικής μάθησης
Για το μοντέλο βαθιάς μηχανικής μάθησης χρησιμοποιήθηκε ο αλγόριθμος mask RCNN (Region Based Convolutional Neural Networks (R-CNN)) [1]. O RCNN αποτελεί ένα νευρωνικό δίκτυο το οποίο είναι βασισμένο στο Feature Pyramid Network (FPN) καθώς και στο framework ResNet101. Για την εκπαίδευση του μοντέλου χρησιμοποιήθηκαν 300 φωτογραφίας από το UAV με διάφορες γωνίες στο gimbal καθώς και ένα ανοιχτό σύνολο δεδομένο το οποίο εμπεριέχει φωτογραφίες με διάφορες γωνίες και αναλύσεις κάμερας [2]. Η επικύρωση του μοντέλου έβαλε χώρα από άγνωστες φωτογραφίες (not labeled) μέσω του UAV και από φωτογραφίες κινητών.
Βιβλιογραφική έρευνα
Για την ορθή εκπόνηση της εργασίας πραγματοποιήθηκε βιβλιογραφική έρευνα για την εύρεση των μεθόδων που θα χρησιμοποιηθούν. Βασική εργασία απετέλεσε η [3] διότι αναφέρονται πληθώρα εφαρμογών, αλγορίθμων και συνόλων δεδομένων. Επιπροσθέτως, βάσει των [4], το προτεινόμενος αλγόριθμος αποτέλεσε γνώμονας για την αρχιτεκτονική του αλγορίθμου για την επιλογή των κρυφών στρωμάτων και τον εποχών.
Deep Learning
Προ-επεξεργασία δεδομένων
Για την προ επεξεργασία των δεδομένων, όλες οι φωτογραφίες που χρησιμοποιήθηκαν για την εκπαίδευση του μοντέλου μετασχηματίστηκαν από τον χρωματικό χώρο του RGB σε HSV με στόχο την εφαρμογή του αλγορίθμου Circular Hough Transform (CHT) για την καλύτερη διακριτοποίηση των περιοχών ενδιαφέροντος.
Εκπαίδευση μοντέλου
Όπως αναφέρθηκε παραπάνω, για την εκπαίδευση του μοντέλου αξιοποιήθηκε ο αλγόριθμος Mask RCNN. Συνολικά για την εκπαίδευση του χρησιμοποιήθηκαν 700 φωτογραφίες. Ο διαχωρισμός των φωτογραφιών σε σύνολα δεδομένων για εκπαίδευση και επικύρωση έγινε βάσει βιβλιογραφίας και είχε ποσοστό 75% και 25% αντίστοιχα. Παρακάτω απεικονίζεται η φωτογραφία κατά την διάρκεια του labeling. Η εκπαίδευση του μοντέλου έγινε συνολικά σε τρία στάδια. Στο πρώτο στάδιο χρησιμοποιήθηκαν 40 εποχές, στο δεύτερο στάδιο 120 εποχές και 4 layers από το ResNet και στο τρίτο στάδιο 160 εποχές και όλα τα διαθέσιμα layers από το ResNet. Επιπροσθέτως, έγινε χρήση των βαρών (weights) του προ-εκπαιδευμένου μοντέλου COCO.
Αποτελέσματα
Στον παρακάτω πίνακα υπάρχουν μετρικές για την επικύρωση του αλγορίθμου η οποία έλαβε χώρα με ένα συνονθύλευμα γνωστών και άγνωστων δεδομένων κατά την εκπαίδευση
| Μοντέλο εκπαίδευσης | Accuracy | Precision | Recall | F-score | AUC |
| Pothole | 0.95444 | 0.8826 | 0.999 | 0.980392 | 0.9587 |
Βιντεο του Project
Διεπαφή χρήστη
Storage:
Μετά την διαδικασία της αναγνώρισης ζημιών στον οδόστρωμα οι εικόνες που δείχνουν πιθανή καταστροφή αλλά και τα μετα-δεδομένα αυτών μεταφορτώνονται στην βάση δεδομένων προκειμένου να μπορούν να απεικονιστούν στο περιβάλλον της εφαρμογής. Ως βάση δεδομένων χρησιμοποιήθηκε η πλατφόρμα Firebase. Πιο συγκεκριμένα στον φάκελο Storage μεταφορτώνονται όλες οι εικόνες που υπάρχει πιθανότητα με βάση τον αλγόριθμο να υπάρχει καταστροφή ή αλλοίωση του οδοστρώματος ενώ ταυτόχρονα είναι πολύ σημαντικό σε αυτές τις εικόνες να περιέχονται metadata όπως η ημερομηνία λήψης της εκάστοτε εικόνας, οι γεωγραφικές συντεταγμένες και διάφορες ακόμα πληροφορίες, όπως φαίνεται στην παρακάτω εικόνα.
Σε αυτό το στάδιο οι εικόνες μεταφορτώνονται χειροκίνητα από τους συντονιστές του συστήματος. Σε μελλοντικό χρόνο οι εικόνες που έχουν αναγνωριστεί από τον αλγόριθμο θα φορτώνονται αυτόματα στην βάση δεδομένων με python-script για τον αυτοματισμό της λειτουργίας.
Cloud Firestore:
Σε αυτή την καρτέλα δημιουργήθηκαν 3 συλλογές από σημαντικές πληροφορίες που χρησιμοποιήθηκαν στην εφαρμογή.
Αυτές είναι οι ακόλουθες :
- Road damage images, που αποθηκεύονται το url της εκάστοτε εικόνας καθώς επίσης και οι γεωγραφικές συντεταγμένες της εικόνας που ο αλγόριθμος αναγνώρισε ότι υπάρχει αλλοίωση του οδοστρώματος.
- Updates, που αποθηκεύονται διάφορες πληροφορίες για νέες ενημερώσεις που λαμβάνουν χώρα στο περιβάλλον της εφαρμογής.
- Users, που αποθηκεύονται πληροφορίες για τον χρήστη που έχει κάνει είσοδο στην εφαρμογή για την απεικόνιση τους στην σελίδα, όπως για παράδειγμα το ονοματεπώνυμό του.
Παρακάτω φαίνονται εικόνες αυτών των συλλογών:
Μετά την εισαγωγή όλων αυτών των δεδομένων στην βάση δεδομένων, η εφαρμογή μπορεί να διαβάζει τις απαραίτητες πληροφορίες προκειμένου να μπορεί ο χρήστης που έχει κάνει είσοδο στο σύστημα να βλέπει σε πραγματικό χρόνο τις νέες εικόνες που αφορούν την αλλοίωση του οδοστρώματος στα διάφορα σημεία του οδικού δικτύου.
Στόχος του συστήματος
Στόχος του συστήματος στα πλαίσια της έξυπνης πόλης είναι η ενημέρωση των χρηστών της για ζημίες στο οδόστρωμά να γνωρίζουν άμεσα τα σημεία που ο δρόμος απαιτεί επιδιόρθωση. Τα αποτελέσματα των παραπάνω γεγονότων οδηγούν στα εξής αποτελέσματα:
- Μείωση των ατυχημάτων στο οδικό δίκτυο.
- Μείωση των αποζημιώσεων στους ιδιοκτήτες των οχημάτων που έχουν υποστεί υλικές ζημιές στα περιουσιακά τους στοιχεία, λόγω της κακής ποιότητας του οδικού δικτύου.
- Αύξηση της εμπιστοσύνης των πολιτών απέναντι στις δημόσιες αρχές λόγω της συνέπειας τους για την συνεχή αύξηση του επιπέδου ασφάλειας του οδικού δικτύου.
Μελλοντικά σχέδια
Το συγκεκριμένο project είναι πολλά υποσχόμενο για μελλοντικές αναβαθμίσεις με γνώμονα πάντα την αύξηση της ποιότητας της ζωής των ανθρώπων. Κάποια από τα μελλοντικά σχέδια είναι τα εξής:
- Αναλυτική ενημέρωση των πολιτών, για την έναρξη των διαδικασιών συντήρησης ενός δρόμου καθώς επίσης και το χρονικό διάστημα που απαιτείται για την επιδιόρθωση του.
- Καταμέτρηση των οχημάτων αλλά και του συνολικού φορτίου που έχει διασχίσει το οδόστρωμα σε πραγματικό χρόνο, με στόχο την ανάπτυξη μοντέλου υπολογισμού της καταπόνησης του οδοστρώματος αλλά και πρόβλεψης για το πότε θα χρειαστεί επισκευή προληπτικά. Με αυτόν τον τρόπο θα μειωθεί ακόμα περισσότερο το κόστος συντήρησης του οδοστρόματος.
Αναφορές
- Deep learning-based object detection in low-altitude UAV datasets: A survey, https://doi.org/10.1016/j.imavis.2020.104046
- A dual neural network for object detection in UAV images, https://doi.org/10.1016/j.neucom.2021.03.016
Github: