Μοντέλα βασισμένα σε δέντρα

Εισαγωγή

Φανταστείτε ότι εργάζεστε σε μια εταιρεία βιντεοπαιχνιδιών και σας ενδιαφέρει να βρείτε πώς μπορείτε να προβλέψετε αν το επόμενο βιντεοπαιχνίδι θα έχει «υψηλή», «μέτρια» ή «χαμηλή» επιτυχία. Έχοντας δεδομένα για τον προϋπολογισμό και τη βαθμολογία των κριτικών άλλων βιντεοπαιχνιδιών, αποφασίζετε να οπτικοποιήσετε τα δεδομένα, με αποτέλεσμα ενδιαφέροντος την επιτυχία του βιντεοπαιχνιδιού:

Εικόνα 19.1: Διάγραμμα διασποράς της επιτυχίας των βιντεοπαιχνιδιών ανά προϋπολογισμό και βαθμολογία κριτικών.

Το διάγραμμα δείχνει ότι ο υψηλός προϋπολογισμός και η υψηλή βαθμολογία κριτικών οδηγούν συνήθως σε ένα βιντεοπαιχνίδι με υψηλή επιτυχία. Με χαμηλή βαθμολογία κριτικών, το παιχνίδι έχει συνήθως χαμηλή επιτυχία, ακόμη κι αν ο προϋπολογισμός είναι υψηλός. Με μέτρια βαθμολογία κριτικών, το παιχνίδι μπορεί να έχει τουλάχιστον μέτρια επιτυχία.

Είναι ενδιαφέρον ότι, με υψηλή βαθμολογία κριτικών και τουλάχιστον μέτριο προϋπολογισμό, ένα παιχνίδι είναι σχεδόν πάντα επιτυχημένο. Με άλλα λόγια, «αν η βαθμολογία κριτικών είναι μεγαλύτερη από x και ο προϋπολογισμός μεγαλύτερος από y, τότε το παιχνίδι έχει υψηλή επιτυχία». Μπορούμε να διατυπώσουμε παρόμοιες προτάσεις και για τα άλλα δύο επίπεδα επιτυχίας. Έτσι, μπορούμε να δημιουργήσουμε ένα μοντέλο που μιμείται τα δεδομένα χρησιμοποιώντας εντολές if-else. Αυτή είναι στην πραγματικότητα η διαισθητική ιδέα πίσω από τη μέθοδο του δέντρου απόφασης (Decision Tree).

Σε αυτό το κεφάλαιο, εξηγούμε τις εξής μεθόδους μηχανικής μάθησης: το δέντρο απόφασης, τα bagged trees και το τυχαίο δάσος (Random Forest). Το δέντρο απόφασης αποτελεί τη βάση των μοντέλων που βασίζονται σε δέντρα (tree-based models), ενώ οι άλλες δύο μέθοδοι είναι ουσιαστικά προηγμένες εκδοχές του. Συγκεκριμένα, εξετάζουμε πώς δημιουργούνται αυτοί οι τύποι μοντέλων, ποιες είναι οι κύριες υπερπαράμετροί τους και πώς μπορούμε να δημιουργήσουμε τέτοια μοντέλα στην Python.

Το δέντρο απόφασης σε βάθος

Συνεχίζοντας το προηγούμενο παράδειγμα, θέλουμε να προσαρμόσουμε ένα μοντέλο που ακολουθεί τη διαδικασία if-else που περιγράψαμε. Για λόγους απλότητας, ας προσπαθήσουμε να χρησιμοποιήσουμε μόνο μία εντολή if-else. Για να αναπαραστήσουμε μια εντολή if-else σε ένα διάγραμμα, σχεδιάζουμε μόνο κατακόρυφες ή οριζόντιες γραμμές.

Αν και θα μπορούσαμε να σχεδιάσουμε μια κατακόρυφη ή οριζόντια γραμμή οπουδήποτε σε αυτό το διάγραμμα, για παράδειγμα στο σημείο όπου βρίσκεται ο μέσος προϋπολογισμός, πρέπει να βρούμε μια γραμμή που να δίνει ουσιαστικές πληροφορίες. Στο διάγραμμά μας, μια οριζόντια γραμμή που θα είχε νόημα από την άποψη της απόδοσης είναι αυτή που αντιστοιχεί σε βαθμολογία κριτικών 3.75:

Εικόνα 19.2: Διάγραμμα διασποράς της επιτυχίας των βιντεοπαιχνιδιών με μια οριζόντια γραμμή στη βαθμολογία κριτικών 3.75.

Σε αυτή την περίπτωση, η πρότασή μας θα ήταν η εξής: «αν η βαθμολογία κριτικών είναι χαμηλότερη από 3.75, ένα βιντεοπαιχνίδι έχει πιθανότητα 91% να έχει χαμηλή επιτυχία και 9% να έχει υψηλή επιτυχία, αλλιώς έχει πιθανότητα 53% να έχει μέτρια επιτυχία και 47% να έχει υψηλή επιτυχία». Αυτές οι εκτιμώμενες πιθανότητες προκύπτουν από την αναλογία των ομάδων μέσα σε κάθε τμήμα. Για παράδειγμα, έχουμε συνολικά 11 παιχνίδια κάτω από τη διακεκομμένη γραμμή, από τα οποία τα 10 έχουν χαμηλή επιτυχία και 1 έχει υψηλή επιτυχία. Επομένως, 10 από τα 11 βιντεοπαιχνίδια μέσα σε αυτό το τμήμα έχουν χαμηλή επιτυχία, κάτι που οδηγεί σε πιθανότητα (αναλογία) περίπου 91%· όλες οι πιθανότητες εκτιμήθηκαν με τον ίδιο τρόπο.

Ο στόχος μας είναι να σχεδιάσουμε αυτές τις γραμμές έτσι ώστε να μεγιστοποιούν την ομοιογένεια (homogeneity, δηλαδή την ομοιότητα) των παρατηρήσεων μέσα σε κάθε τμήμα. Πριν από αυτή τη γραμμή απόφασης στο διάγραμμα, η πιθανότητα ένα παιχνίδι να έχει χαμηλή επιτυχία ήταν 33%, αλλά με αυτή τη γραμμή η εκτιμώμενη πιθανότητα αυξάνεται στο 91%. Ομοίως, η πιθανότητα ένα παιχνίδι να έχει μέτρια επιτυχία πριν από αυτή τη γραμμή ήταν 33%, αλλά μετά τη δημιουργία της γραμμής η πιθανότητα αυξάνεται στο 53%. Το κύριο σημείο είναι ότι, χρησιμοποιώντας τις δύο προβλεπτικές μεταβλητές, καταφέρνουμε να δημιουργήσουμε ένα σενάριο if-else που αυξάνει την πιθανότητα να εντοπίσουμε την ομάδα επιτυχίας ενός βιντεοπαιχνιδιού.

Μπορούμε να συνεχίσουμε αυτή τη διαδικασία και να σχεδιάσουμε μια ακόμη γραμμή, ώστε να χωρίσουμε τα δεδομένα σε περισσότερα κομμάτια. Η δεύτερη καλύτερη γραμμή θα ήταν η εξής:

Εικόνα 19.3: Διάγραμμα διασποράς της επιτυχίας των βιντεοπαιχνιδιών με μια δεύτερη γραμμή απόφασης.

Με αυτό το πιο σύνθετο μοντέλο δέντρου απόφασης, οι εκτιμώμενες πιθανότητές μας αυξάνονται ακόμη περισσότερο. Καταφέραμε να δημιουργήσουμε ακόμη πιο ομοιογενή τμήματα. Με αυτό το πιο σύνθετο μοντέλο, έχουμε τα εξής σενάρια:

  • Βαθμολογία κριτικών \(\le\) 3.75: 91% χαμηλή επιτυχία και 9% υψηλή επιτυχία

  • Βαθμολογία κριτικών \(>\) 3.75 & Προϋπολογισμός \(\le\) 216: 100% μέτρια επιτυχία

  • Βαθμολογία κριτικών \(>\) 3.75 & Προϋπολογισμός \(>\) 216: 90% υψηλή επιτυχία και 10% μέτρια επιτυχία

Παρατηρήστε ότι η δεύτερη γραμμή δεν αγγίζει τον άξονα x· η γραμμή αυτή αγγίζει την πρώτη μας γραμμή, επειδή αυτό ήταν το βέλτιστο σημείο σε αυτό το παράδειγμα. Ωστόσο, οι γραμμές πρέπει να δημιουργούν ανεξάρτητα τμήματα, δηλαδή οι γραμμές πρέπει να είναι κάθετες είτε σε γραμμές που έχουμε ήδη δημιουργήσει είτε στους αρχικούς άξονες (π.χ. τον άξονα x).

Οι παρατηρήσεις (τα σημεία δεδομένων στο διάγραμμα) δεν έχουν διαχωριστεί πλήρως, και αυτός δεν πρέπει να είναι ούτε ο στόχος μας. Θυμηθείτε από την αντιστάθμιση μεροληψίας–variance ότι ο στόχος μας είναι ένα μοντέλο με χαμηλή μεροληψία και χαμηλό variance. Η προσθήκη περισσότερων γραμμών θα οδηγούσε σε ένα δέντρο απόφασης που θα μάθαινε αυτό το σύνολο δεδομένων υπερβολικά καλά (μηδενική μεροληψία), αλλά πιθανότατα δεν θα απέδιδε καλά σε νέα δεδομένα (πολύ υψηλό variance). Αν συνεχίσουμε να δημιουργούμε περισσότερα τμήματα, θα καταλήξουμε να δημιουργήσουμε ένα ξεχωριστό τμήμα για κάθε παρατήρηση.

Με αυτές τις δύο γραμμές απόφασης, οι εκτιμώμενες πιθανότητες για κάθε τμήμα έχουν βελτιωθεί, δηλαδή οι ομάδες των παιχνιδιών μέσα σε κάθε τμήμα είναι πιο ομοιογενείς. Αυτό αποτυπώνει τη βασική ιδέα πίσω από ένα δέντρο απόφασης στην επιβλεπόμενη μηχανική μάθηση: τον αναδρομικό διαχωρισμό των δεδομένων ώστε να αυξάνεται η καθαρότητα του αποτελέσματος μέσα σε κάθε τμήμα.

Επειδή ένα δέντρο απόφασης είναι ουσιαστικά μια σειρά από εντολές if-else, δεν μπορούμε να εκφράσουμε εύκολα τη δομή του μοντέλου μαθηματικά (Kuhn & Johnson, 2013). Για να εκφράσουμε ένα δέντρο απόφασης, μπορούμε στην πραγματικότητα να οπτικοποιήσουμε τις εντολές if-else σε μια δομή δέντρου με κλάδους. Για παράδειγμα, το δέντρο απόφασης που περιγράψαμε μπορεί να οπτικοποιηθεί ως εξής:

Εικόνα 19.4: Αποτελέσματα του δέντρου απόφασης.

Αυτό το διάγραμμα περιγράφει τις εντολές if-else που περιγράψαμε νωρίτερα. Αν η βαθμολογία κριτικών είναι κάτω από 3.75, τότε το παιχνίδι έχει χαμηλή επιτυχία, αφού το αντίστοιχο πλαίσιο περιέχει:

  • 10 παιχνίδια με χαμηλή επιτυχία
  • 0 παιχνίδια με μέτρια επιτυχία
  • 1 παιχνίδι με υψηλή επιτυχία

Όσον αφορά την ορολογία, τα «πλαίσια» του διαγράμματος ονομάζονται κόμβοι (nodes) και περιέχουν πληροφορίες για την αναλογία κάθε κατηγορίας μέσα σε κάθε περιοχή που δημιουργείται από το δέντρο απόφασης. Στην Εικόνα 19.4, το samples δείχνει τον αριθμό των παρατηρήσεων που ανήκουν σε κάθε κόμβο, ενώ το value δείχνει πόσες από αυτές ανήκουν σε κάθε κατηγορία (με τη σειρά High, Low, Medium). Για παράδειγμα, ο κόμβος που δημιουργήθηκε με βαθμολογία κριτικών χαμηλότερη από 3.75 περιλαμβάνει 11 (ή 36.67%) από τις 30 παρατηρήσεις. Όταν ένας κόμβος είναι ο τελευταίος, ονομάζεται επίσης κόμβος-φύλλο (leaf node), οπότε και οι τρεις κόμβοι που έχουμε μπορούν να ονομαστούν κόμβοι-φύλλα. Οι γραμμές που σχηματίζουν τα πλαίσια στο διάγραμμα διασποράς ονομάζονται διαχωρισμοί (splits) ή εσωτερικοί κόμβοι (internal nodes). Τέλος, οι συνδέσεις μεταξύ των κόμβων ονομάζονται κλάδοι (branches) και δείχνουν τη διαδρομή μιας απόφασης από έναν κόμβο στον επόμενο ή σε ένα φύλλο.

Είναι πλέον φανερό γιατί αυτό το είδος μοντελοποίησης ονομάζεται δέντρο απόφασης: το αποτέλεσμα μοιάζει οπτικά με μια δομή δέντρου, όπου σε κάθε εσωτερικό κόμβο λαμβάνονται αποφάσεις που οδηγούν σε διαφορετικούς κλάδους πιθανών αποτελεσμάτων.

Σε αυτό το στάδιο, είναι λογικό να θέσουμε δύο ερωτήματα: Πώς ξέρουμε ποιες γραμμές είναι οι βέλτιστες και τι εννοούμε με τον όρο «βέλτιστες»; Αν και θα μπορούσαμε να προσπαθήσουμε να βρούμε αυτές τις γραμμές χειροκίνητα σε αυτό το απλό γράφημα, θα ήταν σχεδόν αδύνατο να το κάνουμε όταν υπάρχουν πολύ περισσότερες ανεξάρτητες μεταβλητές και παρατηρήσεις. Για να το λύσουμε αυτό, χρειαζόμαστε έναν αλγόριθμο που χρησιμοποιεί μια μετρική για να καθορίζει αυτόματα τους καλύτερους διαχωρισμούς. Ο πιο γνωστός αλγόριθμος για αυτή την εργασία είναι το CART (Classification And Regression Trees). Αυτός ο αλγόριθμος είναι ένας από τους πρώτους και πιο διαδεδομένους αλγορίθμους για δέντρα απόφασης, και σε αυτόν εστιάζουμε σε αυτό το κεφάλαιο, αν και υπάρχουν και άλλοι παρόμοιοι αλγόριθμοι, όπως ο C5.0, τους οποίους δεν καλύπτουμε εδώ.

Κριτήρια διαχωρισμού σε προβλήματα ταξινόμησης

Για να κάνει τους διαχωρισμούς, ο αλγόριθμος CART χρειάζεται ένα συγκεκριμένο κριτήριο. Με άλλα λόγια, πρέπει να ορίσουμε έναν μαθηματικό τρόπο για να καθορίσουμε ποιος διαχωρισμός θεωρείται καλύτερος από τους υπόλοιπους πιθανούς διαχωρισμούς. Υπάρχουν διαφορετικά κριτήρια διαχωρισμού, ανάλογα με τον αλγόριθμο και την εργασία μηχανικής μάθησης.

Στα προβλήματα ταξινόμησης, ο αλγόριθμος CART χρησιμοποιεί συνήθως την ακαθαρσία Gini ως ένα από τα κριτήρια για τον διαχωρισμό των κόμβων στα δέντρα απόφασης. Η ακαθαρσία Gini (Gini impurity) είναι ένα μέτρο του πόσο συχνά μια τυχαία επιλεγμένη παρατήρηση από το σύνολο θα έπαιρνε λανθασμένη ετικέτα, αν η ετικέτα αποδιδόταν τυχαία σύμφωνα με την κατανομή των ετικετών στο υποσύνολο. Για να κατανοήσουμε τι σημαίνει αυτό, είναι σημαντικό να δούμε πρώτα τον μαθηματικό τύπο. Η ακαθαρσία Gini (\(G\)) για έναν κόμβο \(t\) με \(K\) κατηγορίες μπορεί να υπολογιστεί με τον παρακάτω τύπο:

\[G(t) = 1 - \sum_{i=1}^{K}{p(i|t)^2}\]

όπου \(p(i|t)\) αναπαριστά την πιθανότητα να επιλέξουμε τυχαία από τον κόμβο \(t\) μια παρατήρηση της κατηγορίας \(i\) από τις \(K\) κατηγορίες. Ας δούμε ένα πολύ απλό παράδειγμα για να κατανοήσουμε πώς λειτουργεί αυτός ο τύπος. Ας υποθέσουμε ότι έχουμε ένα σύνολο δεδομένων με 5 παρατηρήσεις: οι 3 ανήκουν στην κατηγορία A και οι 2 στην κατηγορία B:

# Data frame του παραδείγματος
gini_example = pd.DataFrame({
  "x": ["A", "A", "A", "B", "B"]
  })

# Εμφάνιση των αποτελεσμάτων
gini_example
x
0 A
1 A
2 A
3 B
4 B

Χωρίς καμία άλλη πληροφορία, η πιθανότητα να επιλέξουμε τυχαία μια παρατήρηση της κατηγορίας A είναι 60%, αφού οι 3 από τις 5 παρατηρήσεις ανήκουν στην κατηγορία A. Κατά συνέπεια, η πιθανότητα να επιλέξουμε τυχαία μια παρατήρηση της κατηγορίας B είναι 40%. Επομένως, η τιμή της ακαθαρσίας Gini είναι η εξής:

\[G(t) = 1 - (P_A^2 + P_B^2) = 1 - (0.6^2 + 0.4^2) = 1 - (0.36 + 0.16) = 1 - 0.52 = 0.48\]

Αν όλες οι παρατηρήσεις ανήκαν σε μία μόνο κατηγορία, τότε η πιθανότητα να επιλέξουμε μια παρατήρηση αυτής της κατηγορίας θα ήταν 100% και, ως αποτέλεσμα, η ακαθαρσία Gini θα ήταν 0. Επομένως, η ακαθαρσία Gini μετρά πόσο αναμεμειγμένες είναι οι κατηγορίες σε έναν κόμβο και μπορεί να πάρει τιμές μεταξύ 0 και 1. Όπως και ένα μοντέλο Naive Bayes, ένα μοντέλο δέντρου απόφασης ενσωματώνει τις επιπλέον μεταβλητές για να προσπαθήσει να βρει τη βέλτιστη λύση. Έτσι, ο στόχος του αλγορίθμου είναι να ελαχιστοποιήσει την ακαθαρσία Gini, δημιουργώντας όσο το δυνατόν πιο ομοιογενείς κόμβους.

Όσον αφορά τη διαδικασία του, ο αλγόριθμος CART ελαχιστοποιεί την ακαθαρσία Gini αξιολογώντας επαναληπτικά τους πιθανούς διαχωρισμούς των δεδομένων και επιλέγοντας τον διαχωρισμό που μειώνει περισσότερο την ακαθαρσία. Πιο συγκεκριμένα, ο αλγόριθμος CART ακολουθεί την εξής διαδικασία:

1. Αρχικός κόμβος: Στην αρχή, το CART ξεκινά με ολόκληρο το σύνολο δεδομένων στον κόμβο-ρίζα (τον πρώτο κόμβο) του δέντρου απόφασης.

2. Επιλογή μεταβλητής: Για κάθε υποψήφια μεταβλητή, το CART εξετάζει όλα τα πιθανά σημεία διαχωρισμού. Για τις κατηγορικές μεταβλητές, κάθε μοναδική κατηγορία θεωρείται πιθανό σημείο διαχωρισμού. Για τις συνεχείς μεταβλητές, το CART συνήθως ταξινομεί τις τιμές της μεταβλητής και εξετάζει διαχωρισμό σε κάθε διακριτή τιμή ή στα μέσα σημεία μεταξύ διαδοχικών τιμών.

3. Υπολογισμός της ακαθαρσίας: Το CART αξιολογεί την ακαθαρσία του συνόλου δεδομένων πριν από τον διαχωρισμό (κόμβος-γονέας) και την ακαθαρσία των υποσυνόλων που προκύπτουν μετά τον διαχωρισμό (κόμβοι-παιδιά). Χρησιμοποιεί τον τύπο της ακαθαρσίας Gini για να υπολογίσει την ακαθαρσία κάθε κόμβου.

4. Μείωση της ακαθαρσίας: Το CART υπολογίζει τη μείωση της ακαθαρσίας (δηλαδή πόσο όμοιες είναι οι παρατηρήσεις μέσα σε έναν κόμβο μετά από έναν διαχωρισμό) που επιτυγχάνεται με κάθε πιθανό διαχωρισμό. Αυτή υπολογίζεται αφαιρώντας το σταθμισμένο άθροισμα των ακαθαρσιών των κόμβων-παιδιών από την ακαθαρσία του κόμβου-γονέα. Δεν πρέπει να ξεχνάμε ότι η ακαθαρσία Gini σε κάθε κόμβο είναι διαφορετική· είναι πιθανό, σε έναν διαχωρισμό, η ακαθαρσία Gini να είναι 0 στον έναν κόμβο, αλλά σχεδόν 1 στον άλλον.

5. Επιλογή του καλύτερου διαχωρισμού: Το CART επιλέγει τον διαχωρισμό που μεγιστοποιεί τη μείωση της ακαθαρσίας. Με άλλα λόγια, επιλέγει τον διαχωρισμό που οδηγεί στη μεγαλύτερη μείωση της ακαθαρσίας.

6. Αναδρομική διαδικασία: Αφού επιλέξει τον καλύτερο διαχωρισμό, το CART εφαρμόζει αναδρομικά την ίδια διαδικασία σε κάθε κόμβο-παιδί που προκύπτει, μέχρι να ικανοποιηθεί ένα κριτήριο τερματισμού. Αυτό μπορεί να περιλαμβάνει ένα μέγιστο βάθος του δέντρου, έναν ελάχιστο αριθμό παρατηρήσεων ανά κόμβο ή άλλους κανόνες σχεδιασμένους για την αποφυγή της υπερπροσαρμογής. Στα μοντέλα που βασίζονται σε δέντρα, αυτοί οι κανόνες τερματισμού αντιμετωπίζονται ως υπερπαράμετροι.

Επιλέγοντας επανειλημμένα τους διαχωρισμούς που οδηγούν στη μεγαλύτερη μείωση της ακαθαρσίας, το CART κατασκευάζει ένα δέντρο απόφασης που διαχωρίζει αποτελεσματικά τα δεδομένα σε ομοιογενή υποσύνολα ως προς τη μεταβλητή-στόχο, οδηγώντας σε ένα ισχυρό προβλεπτικό μοντέλο για προβλήματα ταξινόμησης.

Κριτήρια διαχωρισμού σε προβλήματα παλινδρόμησης

Όπως και στα προβλήματα ταξινόμησης, το CART προσπαθεί να δημιουργήσει κόμβους στους οποίους τα σημεία δεδομένων είναι όσο το δυνατόν πιο όμοια ως προς μια συνεχή μεταβλητή. Στα προβλήματα παλινδρόμησης, η προβλεπόμενη τιμή για έναν κόμβο είναι ο μέσος όρος των τιμών της μεταβλητής-στόχου όλων των παρατηρήσεων του κόμβου. Για παράδειγμα, αν ένας κόμβος-φύλλο περιέχει 5 παρατηρήσεις με τιμές {1, 2, 3, 4, 5}, η προβλεπόμενη τιμή για αυτόν τον κόμβο θα ήταν 3.

Στα προβλήματα παλινδρόμησης, το CART χρησιμοποιεί διαφορετικό κριτήριο διαχωρισμού από ό,τι στην ταξινόμηση. Αντί για την ακαθαρσία Gini, χρησιμοποιεί συνήθως το μέσο τετραγωνικό σφάλμα (Mean Squared Error, MSE) για να αξιολογήσει την ποιότητα ενός διαχωρισμού. Το MSE μετρά τη μέση τετραγωνική διαφορά μεταξύ των πραγματικών τιμών της μεταβλητής-στόχου και των προβλεπόμενων τιμών για ένα σύνολο παρατηρήσεων. Μαθηματικά, για έναν κόμβο που περιέχει \(n\) παρατηρήσεις με πραγματικές τιμές \(y_{i}\) και προβλεπόμενη τιμή \(\hat{y}\) (τον μέσο όρο του κόμβου), το MSE είναι:

\[\text{MSE} = \frac{1}{n} \sum^n_{i = 1} (y_{i} - \hat{y}) ^ 2\]

Κατά την κατασκευή ενός δέντρου παλινδρόμησης, το CART επιδιώκει να ελαχιστοποιήσει το MSE σε κάθε κόμβο, επιλέγοντας τον διαχωρισμό που προκαλεί τη μεγαλύτερη μείωση του MSE. Στην ουσία, ο αλγόριθμος αξιολογεί όλους τους πιθανούς διαχωρισμούς για κάθε προβλεπτική μεταβλητή και επιλέγει εκείνον που δημιουργεί τους πιο ομοιογενείς κόμβους-παιδιά ως προς τη μεταβλητή-στόχο.

Η συνολική διαδικασία κατασκευής του δέντρου παραμένει η ίδια με την ταξινόμηση: το δέντρο αναπτύσσεται αναδρομικά, μέχρι να ικανοποιηθεί ένα κριτήριο τερματισμού (π.χ. ελάχιστος αριθμός παρατηρήσεων σε έναν κόμβο, μέγιστο βάθος ή ελάχιστη μείωση του MSE). Αφού κατασκευαστεί το δέντρο, η προβλεπόμενη τιμή για κάθε κόμβο-φύλλο είναι απλώς ο μέσος όρος της μεταβλητής-στόχου για τις παρατηρήσεις που ανήκουν σε αυτόν τον κόμβο.

Αυτή η προσέγγιση εξασφαλίζει ότι κάθε διαχωρισμός μειώνει το συνολικό variance της μεταβλητής-στόχου μέσα στους κόμβους που προκύπτουν, κάτι που αποτελεί το αντίστοιχο της δημιουργίας «καθαρών» κόμβων στην ταξινόμηση.

Αντιμετώπιση δυαδικών μεταβλητών-στόχων ως αριθμητικών στα δέντρα παλινδρόμησης

Η ίδια ιδέα ισχύει όταν η εξαρτημένη μεταβλητή μας παίρνει τιμές 0 και 1. Αν και τεχνικά πρόκειται για πρόβλημα ταξινόμησης, μπορούμε να αντιμετωπίσουμε τη μεταβλητή-στόχο ως αριθμητική για να υπολογίσουμε πιθανότητες στους κόμβους. Σε αυτή την περίπτωση, η προβλεπόμενη τιμή για έναν κόμβο είναι απλώς ο μέσος όρος των 0 και 1 στον κόμβο, ο οποίος αντιστοιχεί στην εκτιμώμενη πιθανότητα το αποτέλεσμα να είναι 1. Για παράδειγμα, αν ένας κόμβος-φύλλο περιέχει 5 παρατηρήσεις με τιμές {1, 1, 1, 0, 0}, η προβλεπόμενη τιμή θα ήταν 0.6 (ή 60%) για κάθε νέα παρατήρηση που ανήκει σε αυτόν τον κόμβο. Ωστόσο, με αυτή την προσέγγιση, οι διαχωρισμοί καθορίζονται με βάση το MSE και όχι την ακαθαρσία Gini, οπότε το δέντρο που προκύπτει μπορεί να διαφέρει ελαφρώς από ένα τυπικό δέντρο ταξινόμησης, αφού η αριθμητική προσέγγιση ελαχιστοποιεί το variance και όχι την ακαθαρσία των κατηγοριών.

Υποθέσεις και ζητήματα προς εξέταση

Τα μοντέλα που βασίζονται σε δέντρα είναι σχετικά ευέλικτα και κάνουν λιγότερες αυστηρές υποθέσεις σε σύγκριση με άλλες μεθόδους μηχανικής μάθησης. Ωστόσο, υπάρχουν ορισμένα σημαντικά ζητήματα που πρέπει να έχουμε υπόψη όταν τα εφαρμόζουμε:

  • Ανεξαρτησία των μεταβλητών: Τα μοντέλα που βασίζονται σε δέντρα δεν απαιτούν τα χαρακτηριστικά (μεταβλητές) να είναι ανεξάρτητα μεταξύ τους. Μάλιστα, μπορούν να αποτυπώνουν φυσικά τις αλληλεπιδράσεις μεταξύ των μεταβλητών μέσω της ιεραρχικής τους δομής. Ωστόσο, όταν οι προβλεπτικές μεταβλητές συσχετίζονται έντονα, το μοντέλο μπορεί να γίνει ασταθές, με την έννοια ότι μικρές αλλαγές στα δεδομένα μπορεί να οδηγήσουν στην επιλογή διαφορετικών μεταβλητών για τους διαχωρισμούς, ακόμη κι αν αυτές περιέχουν παρόμοια πληροφορία. Αυτό μπορεί να επηρεάσει την ερμηνευσιμότητα του μοντέλου καθώς και την προβλεπτική του απόδοση.

  • Σημαντικότητα των μεταβλητών (variable importance): Τα μοντέλα που βασίζονται σε δέντρα υποθέτουν σιωπηρά ότι οι προβλεπτικές μεταβλητές περιέχουν χρήσιμη πληροφορία για την πρόβλεψη. Τα άσχετα ή θορυβώδη χαρακτηριστικά μπορεί να οδηγήσουν σε υπερπροσαρμογή ή σε κακή απόδοση του μοντέλου, καθώς ο αλγόριθμος μπορεί να τα επιλέξει για διαχωρισμούς που δεν γενικεύουν καλά σε νέα δεδομένα.

  • Ιεραρχικές διαμερίσεις: Τα μοντέλα υποθέτουν ότι η υποκείμενη δομή των δεδομένων μπορεί να προσεγγιστεί μέσω μιας σειράς ιεραρχικών διαχωρισμών. Κάθε κόμβος αναπαριστά μια απόφαση με βάση ένα χαρακτηριστικό, οδηγώντας σε μια διαμέριση του χώρου των χαρακτηριστικών σε μικρότερες και πιο ομοιογενείς περιοχές.

  • Ομοιογένεια μέσα στους κόμβους: Τα μοντέλα που βασίζονται σε δέντρα στοχεύουν στη δημιουργία κόμβων όπου οι παρατηρήσεις είναι όσο το δυνατόν πιο όμοιες ως προς τη μεταβλητή-στόχο. Γι’ αυτό χρησιμοποιούνται κριτήρια όπως η ακαθαρσία Gini (για την ταξινόμηση) και το MSE (για την παλινδρόμηση): καθοδηγούν τον αλγόριθμο προς διαχωρισμούς που αυξάνουν την ομοιογένεια των κόμβων που προκύπτουν, βελτιώνοντας την προβλεπτική ακρίβεια.

Συνολικά, τα μοντέλα που βασίζονται σε δέντρα προσφέρουν μια ευέλικτη και ερμηνεύσιμη προσέγγιση στην προβλεπτική μοντελοποίηση, αλλά αυτά τα ζητήματα είναι σημαντικό να τα έχουμε υπόψη. Οι έντονα συσχετιζόμενες προβλεπτικές μεταβλητές μπορούν να μειώσουν την ερμηνευσιμότητα, ενώ τα άσχετα χαρακτηριστικά μπορούν να οδηγήσουν σε ασταθείς ή περιττούς διαχωρισμούς. Στην πράξη, η προσεκτική επιλογή των χαρακτηριστικών και η ρύθμιση του μοντέλου μπορούν να βοηθήσουν στον περιορισμό αυτών των ζητημάτων και στη βελτίωση της απόδοσης του μοντέλου.

Το δέντρο απόφασης στην Python

Για να εφαρμόσουμε τη μέθοδο του δέντρου απόφασης στην Python, χρησιμοποιούμε την κλάση DecisionTreeClassifier() από το module sklearn.tree, η οποία βασίζεται στον αλγόριθμο CART. Χρησιμοποιούμε επίσης συναρτήσεις του matplotlib για να οπτικοποιήσουμε τη δομή του δέντρου που προκύπτει. Μαζί με αυτές τις βιβλιοθήκες, εισάγουμε το σύνολο δεδομένων customer_churn από το GitHub.

Επειδή θέλουμε να προβλέψουμε αν ένας πελάτης αποχωρεί, μετατρέπουμε την αρχική δυαδική μεταβλητή Churn σε κατηγορική μεταβλητή (Churn_Label). Αν η αρχική τιμή είναι 1, αποδίδουμε την ετικέτα "Churn", και αν είναι 0, αποδίδουμε την ετικέτα "No Churn". Στη συνέχεια, διαχωρίζουμε τις προβλεπτικές μεταβλητές από τη μεταβλητή-στόχο και χωρίζουμε τα δεδομένα σε training set και test set με τη συνάρτηση train_test_split() από το sklearn.model_selection:

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

# Εισαγωγή του customer_churn
customer_churn = pd.read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/customer_churn.csv")

# Δημιουργία της στήλης Churn_Label
customer_churn["Churn_Label"] = np.where(customer_churn["Churn"] == 1, "Churn", "No Churn")

# Διαχωρισμός των προβλεπτικών μεταβλητών από τη μεταβλητή-στόχο
X = customer_churn[["Recency", "Frequency", "Monetary_Value"]]
y = customer_churn["Churn_Label"]

# Διαχωρισμός των δεδομένων σε training set και test set
X_train, X_test, y_train, y_test = train_test_split(
  X, y, test_size = 0.25, random_state = 35
  )

Επειδή τα δέντρα απόφασης κάνουν διαχωρισμούς με βάση κατώφλια σε μία μεταβλητή κάθε φορά, η κλίμακα των χαρακτηριστικών δεν επηρεάζει το μοντέλο. Επομένως, τα μοντέλα που βασίζονται σε δέντρα δεν απαιτούν scaling των δεδομένων, σε αντίθεση με μοντέλα που βασίζονται σε αποστάσεις, όπως το KNN.

Εκτός από τις προβλεπτικές μεταβλητές και τα δεδομένα εκπαίδευσης, η κλάση DecisionTreeClassifier() μάς επιτρέπει να ορίσουμε υπερπαραμέτρους που ελέγχουν την πολυπλοκότητα του δέντρου, όπως ακριβώς η n_neighbors ελέγχει την πολυπλοκότητα ενός μοντέλου KNN. Τα μοντέλα που βασίζονται σε δέντρα έχουν συνήθως πολλές υπερπαραμέτρους, ανάλογα με τον αλγόριθμο και την υλοποίηση. Δύο από τις πιο συνηθισμένες υπερπαραμέτρους είναι η min_samples_split, η οποία ορίζει τον ελάχιστο αριθμό παρατηρήσεων που απαιτείται για να διαχωριστεί ένας κόμβος, και η max_depth, η οποία περιορίζει τον μέγιστο αριθμό επιπέδων στα οποία μπορεί να αναπτυχθεί το δέντρο.

Μπορούμε τώρα να χρησιμοποιήσουμε την κλάση DecisionTreeClassifier() για να δημιουργήσουμε ένα δέντρο απόφασης στο σύνολο δεδομένων αποχώρησης πελατών, χρησιμοποιώντας ως προβλεπτικές μεταβλητές τις αριθμητικές μεταβλητές Recency, Frequency και Monetary_Value. Ορίζουμε τις υπερπαραμέτρους min_samples_split και max_depth ίσες με 1000 και 20 αντίστοιχα:

from sklearn.tree import DecisionTreeClassifier

# Δημιουργία του μοντέλου δέντρου απόφασης
dt_model = DecisionTreeClassifier(
  min_samples_split = 1000,
  max_depth = 20,
  random_state = 35
  )

# Εκπαίδευση του δέντρου απόφασης
dt_model.fit(X_train, y_train)

Για να οπτικοποιήσουμε το δέντρο απόφασης, χρησιμοποιούμε τη συνάρτηση plot_tree() από το module sklearn.tree. Δίνουμε το εκπαιδευμένο object του μοντέλου και ορίζουμε επιπλέον ορίσματα για να βελτιώσουμε την αναγνωσιμότητα της οπτικοποίησης, όπως την εμφάνιση των ονομάτων των χαρακτηριστικών και των κατηγοριών και τη στρογγυλοποίηση των αριθμητικών τιμών:

from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

# Οπτικοποίηση του δέντρου απόφασης
plt.figure(figsize = (10, 5))

plot_tree(
  dt_model,
  feature_names = X.columns,
  class_names = dt_model.classes_,
  filled = True,
  rounded = True,
  precision = 4
  )

plt.show()

Εικόνα 19.5: Αποτελέσματα του δέντρου απόφασης για την αποχώρηση πελατών.

Εστιάζοντας στον πρώτο διαχωρισμό, βλέπουμε ότι η πλειονότητα των παρατηρήσεων ανήκει στον κόμβο όπου το Recency είναι μικρότερο ή ίσο με 110.5. Σε αυτόν τον κόμβο, η προβλεπόμενη κατηγορία είναι η "No Churn", αφού 2043 από τις 2197 παρατηρήσεις ανήκουν σε αυτή την κατηγορία. Η προβλεπόμενη κατηγορία του κόμβου-φύλλου όπου το Recency είναι μεγαλύτερο από 110.5 είναι η "Churn", καθώς 572 από τις 803 παρατηρήσεις ανήκουν σε αυτή την κατηγορία. Ήδη ο πρώτος διαχωρισμός δείχνει ότι το Recency είναι η σημαντικότερη προβλεπτική μεταβλητή. Επιπλέον, το αποτέλεσμα είναι εύκολο στην ερμηνεία: οι πελάτες που δεν έχουν κάνει αγορά τους τελευταίους περίπου 4 μήνες είναι πολύ πιο πιθανό να αποχωρήσουν από εκείνους των οποίων η πιο πρόσφατη αγορά έγινε μέσα στους τελευταίους 4 μήνες.

Ας δούμε τώρα πώς μπορούμε να χρησιμοποιήσουμε αυτό το μοντέλο για να κάνουμε προβλέψεις στο test set. Όπως κάναμε στα προηγούμενα κεφάλαια, θα χρησιμοποιήσουμε το συνολικό accuracy για να μετρήσουμε την απόδοση του μοντέλου μας στο test set. Για να δημιουργήσουμε προβλέψεις, χρησιμοποιούμε τη μέθοδο predict() του εκπαιδευμένου μοντέλου, και για να υπολογίσουμε το accuracy χρησιμοποιούμε τη συνάρτηση accuracy_score() από το sklearn.metrics:

from sklearn.metrics import accuracy_score

# Πρόβλεψη στο test set
y_pred = dt_model.predict(X_test)

# Υπολογισμός του accuracy
accuracy = accuracy_score(y_test, y_pred)

# Εμφάνιση του accuracy
accuracy
0.869

Το μοντέλο πετυχαίνει accuracy περίπου 87% στο test set, κάτι που είναι σχετικά καλό για ένα τόσο απλό μοντέλο και σημαντικά υψηλότερο από το σημείο αναφοράς NIR (No Information Rate: πρόβλεψη πάντα της κατηγορίας που αποτελεί την πλειονότητα), το οποίο είναι περίπου 73%.

Bagged trees

Το προηγούμενο παράδειγμα έδειξε ότι ακόμη και ένα απλό δέντρο απόφασης μπορεί να δώσει καλή απόδοση και ερμηνεύσιμα αποτελέσματα. Ωστόσο, μια σημαντική πρόκληση με τα δέντρα απόφασης είναι η τάση τους να υπερπροσαρμόζονται στα δεδομένα. Αυτό συμβαίνει επειδή ένα μεμονωμένο δέντρο μπορεί να είναι ιδιαίτερα ευαίσθητο σε μικρές διακυμάνσεις των δεδομένων εκπαίδευσης. Για να αντιμετωπιστεί αυτό, οι ερευνητές ανέπτυξαν μια μέθοδο που κάνει τα δέντρα απόφασης πιο σταθερά και αποτρέπει την υπερπροσαρμογή. Η ιδέα είναι απλή: αντί να βασιζόμαστε σε ένα μόνο ασταθές μοντέλο, κατασκευάζουμε πολλά δέντρα και στη συνέχεια υπολογίζουμε τον μέσο όρο των προβλέψεών τους. Διαισθητικά, αυτή η προσέγγιση σχετίζεται με τον νόμο των μεγάλων αριθμών: καθώς αυξάνουμε τον αριθμό των ανεξάρτητων δέντρων, η συνολική πρόβλεψη συγκλίνει σε μια πιο σταθερή και ακριβή εκτίμηση (Breiman, 1996).

Φυσικά, η επανειλημμένη προσαρμογή ενός δέντρου απόφασης στο ίδιο ακριβώς σύνολο δεδομένων θα έδινε σχεδόν πανομοιότυπα δέντρα. Για να εισαγάγουμε μεταβλητότητα, χρησιμοποιούμε το bootstrapping, μια μέθοδο επαναδειγματοληψίας (resampling method) κατά την οποία οι παρατηρήσεις επιλέγονται τυχαία με επανάθεση (with replacement) από το αρχικό σύνολο δεδομένων. Για παράδειγμα, αν έχουμε ένα σύνολο δεδομένων 100 γραμμών, το bootstrapping μάς επιτρέπει να δημιουργήσουμε ένα νέο σύνολο δεδομένων 100 γραμμών, όπου ορισμένες παρατηρήσεις μπορεί να εμφανίζονται πολλές φορές και άλλες να μην εμφανίζονται καθόλου. Κάθε δείγμα bootstrap είναι παρόμοιο, αλλά όχι πανομοιότυπο, με το αρχικό σύνολο δεδομένων.

Στη συνέχεια, προσαρμόζουμε ένα δέντρο απόφασης σε κάθε δείγμα bootstrap. Επειδή τα σύνολα δεδομένων διαφέρουν, κάθε δέντρο είναι ελαφρώς διαφορετικό. Κατά την πρόβλεψη, κάθε δέντρο δίνει μια «ψήφο» για την κατηγορία μιας παρατήρησης, και η τελική προβλεπόμενη κατηγορία καθορίζεται από την πλειοψηφική ψήφο (majority vote).

Αυτή η διαδικασία (επαναδειγματοληψία των δεδομένων, προσαρμογή ενός δέντρου απόφασης σε κάθε δείγμα και συνάθροιση των προβλέψεων) είναι αυτό που ονομάζουμε bagged trees. Στην ουσία, το bagging είναι ο συνδυασμός πολλών δέντρων απόφασης που έχουν εκπαιδευτεί σε διαφορετικά σύνολα δεδομένων, καθένα από τα οποία ψηφίζει για το τελικό αποτέλεσμα. Εξακολουθούμε να χρησιμοποιούμε τον αλγόριθμο CART και την ακαθαρσία Gini (για την ταξινόμηση) ή το MSE (για την παλινδρόμηση) ως κριτήρια διαχωρισμού, οπότε όλες οι έννοιες που συζητήσαμε για τα μεμονωμένα δέντρα απόφασης εξακολουθούν να ισχύουν.

Στην Python, υλοποιούμε τα bagged trees με την κλάση BaggingClassifier() από το module sklearn.ensemble. Αυτή η μέθοδος προσαρμόζει πολλά δέντρα απόφασης σε δείγματα bootstrap των δεδομένων εκπαίδευσης και συναθροίζει τις προβλέψεις τους. Ο αριθμός των δέντρων ελέγχεται από την παράμετρο n_estimators, ενώ η πολυπλοκότητα κάθε δέντρου ορίζεται μέσω ενός δέντρου απόφασης που δίνεται ως βασικός εκτιμητής, με υπερπαραμέτρους όπως οι min_samples_split και max_depth. Στη μελέτη περίπτωσής μας, προσαρμόζουμε 100 δέντρα και ορίζουμε ένα random seed για να εξασφαλίσουμε την αναπαραγωγιμότητα:

from sklearn.ensemble import BaggingClassifier

# Ορισμός του seed για αναπαραγωγιμότητα
np.random.seed(1234)

# Ορισμός του βασικού μοντέλου (δέντρο απόφασης)
base_tree = DecisionTreeClassifier(
  min_samples_split = 1000,
  max_depth = 20,
  random_state = 1234
  )

# Μοντέλο bagged trees
bt_model = BaggingClassifier(
  estimator = base_tree,
  n_estimators = 100,
  random_state = 1234
  )

# Εκπαίδευση του μοντέλου
bt_model.fit(X_train, y_train)

Σε αντίθεση με ένα μεμονωμένο δέντρο απόφασης, τα bagged trees δεν οπτικοποιούνται εύκολα, επειδή το μοντέλο είναι ένα σύνολο (ensemble) πολλών δέντρων και όχι μία απλή δομή. Το κύριο πλεονέκτημα είναι η αυξημένη προβλεπτική απόδοση και σταθερότητα, καθώς η συνάθροιση πολλών δέντρων μειώνει το variance και περιορίζει την υπερπροσαρμογή. Το αντίτιμο, ωστόσο, είναι η ερμηνευσιμότητα: σε αντίθεση με ένα μεμονωμένο δέντρο, δεν μπορούμε να δούμε εύκολα ποιοι διαχωρισμοί ή κανόνες καθορίζουν τις προβλέψεις.

Μπορούμε να κάνουμε προβλέψεις και να αξιολογήσουμε το μοντέλο με τις ίδιες συναρτήσεις όπως πριν:

# Πρόβλεψη στο test set
y_pred = bt_model.predict(X_test)

# Υπολογισμός του accuracy
accuracy = accuracy_score(y_test, y_pred)

# Εμφάνιση του accuracy
accuracy
0.87

Το accuracy δεν φαίνεται να αυξάνεται σημαντικά, και χάνουμε σε ερμηνευσιμότητα. Αυτό αναδεικνύει μια βασική αρχή της μηχανικής μάθησης: τα πιο σύνθετα μοντέλα δεν είναι πάντα σημαντικά καλύτερα από τα απλούστερα και πιο ερμηνεύσιμα μοντέλα. Παρ’ όλα αυτά, τα bagged trees είναι ένα ισχυρό εργαλείο όταν δίνουμε προτεραιότητα στην προβλεπτική απόδοση έναντι της ερμηνευσιμότητας.

Τυχαίο δάσος

Παρόλο που τα bagged trees βελτιώνουν τη σταθερότητα και την απόδοση υπολογίζοντας τον μέσο όρο πολλών δέντρων απόφασης, εξακολουθούν να λαμβάνουν υπόψη όλες τις προβλεπτικές μεταβλητές σε κάθε διαχωρισμό. Αυτό μπορεί να είναι προβληματικό αν ορισμένες προβλεπτικές μεταβλητές συσχετίζονται έντονα ή αν παραβιάζονται οι υποθέσεις του μοντέλου για την ανεξαρτησία των χαρακτηριστικών και τη σημαντικότητα των μεταβλητών. Ο Leo Breiman (2001) εισήγαγε το τυχαίο δάσος (random forest) για να αντιμετωπίσει αυτό το ζήτημα, προσθέτοντας επιπλέον τυχαιότητα: σε κάθε διαχωρισμό, λαμβάνεται υπόψη μόνο ένα τυχαίο υποσύνολο των προβλεπτικών μεταβλητών.

Με άλλα λόγια, όταν ο αλγόριθμος CART αξιολογεί ποια μεταβλητή οδηγεί στη μεγαλύτερη μείωση της ακαθαρσίας Gini ή του MSE, «βλέπει» μόνο ένα υποσύνολο των υποψήφιων μεταβλητών σε κάθε διαχωρισμό. Όλα τα άλλα στοιχεία των bagged trees παραμένουν τα ίδια: εξακολουθούμε να χρησιμοποιούμε δείγματα bootstrap, να προσαρμόζουμε πολλά δέντρα απόφασης και να συναθροίζουμε τις προβλέψεις τους μέσω πλειοψηφικής ψήφου για την ταξινόμηση (ή μέσου όρου για την παλινδρόμηση). Αυτή η επιπλέον τυχαιοποίηση είναι που δίνει στη μέθοδο το όνομά της (τυχαίο δάσος), και έχει αποδειχθεί ότι μειώνει περαιτέρω την υπερπροσαρμογή, διατηρώντας τη μεροληψία σχετικά αμετάβλητη.

Για να υλοποιήσουμε ένα τυχαίο δάσος στην Python, χρησιμοποιούμε την κλάση RandomForestClassifier() από το module sklearn.ensemble. Ο αριθμός των προβλεπτικών μεταβλητών που λαμβάνονται υπόψη σε κάθε διαχωρισμό ελέγχεται από την παράμετρο max_features, ενώ ο αριθμός των δέντρων ελέγχεται από την n_estimators. Στο παράδειγμά μας, ορίζουμε max_features = 2 και n_estimators = 1000:

from sklearn.ensemble import RandomForestClassifier

# Ορισμός του seed για αναπαραγωγιμότητα
np.random.seed(123)

# Προσαρμογή ενός μοντέλου τυχαίου δάσους
rf_model = RandomForestClassifier(
  n_estimators = 1000,
  max_features = 2,
  max_depth = 20,
  random_state = 17
  )

# Εκπαίδευση του μοντέλου
rf_model.fit(X_train, y_train)

Για να κάνουμε προβλέψεις, ακολουθούμε την ίδια ροή:

# Πρόβλεψη στο test set
y_pred = rf_model.predict(X_test)

# Υπολογισμός του accuracy
accuracy = accuracy_score(y_test, y_pred)

# Εμφάνιση του accuracy
accuracy
0.851

Με αυτές τις ρυθμίσεις, το accuracy του μοντέλου είναι στην πραγματικότητα ελαφρώς χαμηλότερο από εκείνο των bagged trees (περίπου 85% έναντι 87%). Αυτή είναι μια ακόμη υπενθύμιση ότι τα πιο σύνθετα μοντέλα δεν αποδίδουν πάντα καλύτερα και, όπως έχουμε τονίσει, όταν η απόδοση είναι παρόμοια, προτιμώνται γενικά τα απλούστερα μοντέλα.

Επιλογή του αριθμού των δέντρων

Τόσο τα bagged trees όσο και το τυχαίο δάσος έχουν υπερπαραμέτρους που ελέγχουν τον αριθμό των δέντρων. Αν και αυτές μπορούν να ρυθμιστούν, ο στόχος μας δεν είναι να βρούμε έναν «βέλτιστο» αριθμό δέντρων. Ο σκοπός είναι απλώς να δημιουργήσουμε πολλά δέντρα, ώστε ο μέσος όρος των προβλέψεών τους να σταθεροποιεί το μοντέλο. Μετά από ένα σημείο, η προσθήκη περισσότερων δέντρων δεν αλλάζει σημαντικά την απόδοση, αλλά εξασφαλίζει ότι τίθεται σε εφαρμογή ο νόμος των μεγάλων αριθμών: καθώς αυξάνεται ο αριθμός των δέντρων, η μέση πρόβλεψη συγκλίνει σε μια σταθερή τιμή, μειώνοντας το variance χωρίς να αυξάνει τη μεροληψία.

Πλεονεκτήματα και περιορισμοί

Τα μοντέλα που βασίζονται σε δέντρα, συμπεριλαμβανομένων των δέντρων απόφασης, των bagged trees και των τυχαίων δασών, προσφέρουν μια ευέλικτη και διαισθητική προσέγγιση στην προβλεπτική μοντελοποίηση. Τα μοντέλα που βασίζονται σε δέντρα είναι ανθεκτικά στα outliers και μπορούν να χειριστούν διαφορετικούς τύπους δεδομένων, είτε συνεχή, είτε κατηγορικά, είτε συνδυασμό τους (Breiman, Friedman, Olshen, & Stone, 1984· Lantz, 2023). Μπορούν επίσης να αποτυπώσουν σύνθετες, μη γραμμικές σχέσεις χωρίς να απαιτούν ρητούς μετασχηματισμούς των χαρακτηριστικών ή υποθέσεις για την υποκείμενη κατανομή των δεδομένων. Επιπλέον, τα μοντέλα που βασίζονται σε δέντρα απαιτούν γενικά λίγη προεπεξεργασία σε σύγκριση με άλλες μεθόδους (όπως το scaling), κάτι που απλοποιεί την υλοποίησή τους σε πρακτικές εφαρμογές (Kuhn & Johnson, 2013). Ένα ακόμη πλεονέκτημα είναι η ικανότητά τους να χειρίζονται φυσικά τις ελλείπουσες τιμές (Lantz, 2023), σε αντίθεση με άλλα μοντέλα, όπως η γραμμική παλινδρόμηση. Αυτές οι ιδιότητες κάνουν τις μεθόδους που βασίζονται σε δέντρα μια αξιόπιστη επιλογή όταν ο στόχος είναι η μεγιστοποίηση της προβλεπτικής απόδοσης, ιδίως σε σύνολα δεδομένων με αλληλεπιδράσεις ή μη γραμμικές επιδράσεις που είναι δύσκολο να μοντελοποιηθούν με παραδοσιακές παραμετρικές προσεγγίσεις.

Ένα βασικό χαρακτηριστικό αυτών των μεθόδων είναι ότι πρόκειται για άπληστους αλγορίθμους (greedy algorithms): σε κάθε κόμβο, το μοντέλο επιλέγει τον διαχωρισμό που μειώνει περισσότερο την ακαθαρσία (Gini, MSE κ.λπ.), χωρίς να λαμβάνει υπόψη τη συνολική βελτιστότητα του δέντρου (Breiman et al., 1984· Hastie, Tibshirani, & Friedman, 2009). Αν και αυτή η άπληστη προσέγγιση είναι υπολογιστικά αποδοτική, συμβάλλει σε ένα συνηθισμένο μειονέκτημα των μοντέλων που βασίζονται σε δέντρα: την υπερπροσαρμογή. Ένα μεμονωμένο δέντρο απόφασης μπορεί γρήγορα να προσαρμοστεί στον θόρυβο των δεδομένων, παράγοντας πολύ βαθιά δέντρα που ταξινομούν τέλεια τις παρατηρήσεις εκπαίδευσης, αλλά γενικεύουν άσχημα σε νέα δεδομένα. Οι μέθοδοι συνόλου (ensemble methods), όπως τα bagged trees και τα τυχαία δάση, περιορίζουν την υπερπροσαρμογή υπολογίζοντας τον μέσο όρο των προβλέψεων πολλών δέντρων και εισάγοντας τυχαιότητα, αλλά αυτό γίνεται με κόστος τη μειωμένη ερμηνευσιμότητα (Breiman, 1996· Breiman, 2001). Ένας ακόμη περιορισμός είναι το υπολογιστικό κόστος: πολύ μεγάλα δέντρα ή σύνολα εκατοντάδων ή χιλιάδων δέντρων απαιτούν περισσότερη μνήμη και χρόνο επεξεργασίας, κάτι που μπορεί να γίνει σημαντικό για μεγάλα σύνολα δεδομένων ή εφαρμογές πραγματικού χρόνου.

Εφαρμογή μοντέλων που βασίζονται σε δέντρα σε μικρά σύνολα δεδομένων

Τεχνικά, τα μοντέλα που βασίζονται σε δέντρα μπορούν να εφαρμοστούν ακόμη και σε σχετικά μικρά σύνολα δεδομένων, αλλά απαιτείται προσοχή. Λόγω της άπληστης φύσης τους, αυτά τα μοντέλα μπορούν εύκολα να αποτυπώσουν θόρυβο αντί για πραγματικά μοτίβα, οδηγώντας σε ασταθείς προβλέψεις. Τεχνικές όπως ο περιορισμός του βάθους του δέντρου, ο ορισμός ενός ελάχιστου αριθμού παρατηρήσεων ανά κόμβο ή η χρήση μεθόδων συνόλου μπορούν να βοηθήσουν στη μείωση της υπερπροσαρμογής, ωστόσο τα απλούστερα μοντέλα μπορούν μερικές φορές να αποδώσουν καλύτερα από τα σύνθετα σύνολα μοντέλων. Όπως μας υπενθυμίζει το θεώρημα «No Free Lunch», κανένας αλγόριθμος δεν είναι καθολικά ανώτερος· η επιτυχία εξαρτάται από τα χαρακτηριστικά του συνόλου δεδομένων και της εργασίας πρόβλεψης (Wolpert, 1996).

Συνολικά, τα μοντέλα που βασίζονται σε δέντρα είναι ένα ισχυρό και ευέλικτο εργαλείο, ιδιαίτερα κατάλληλο για περιπτώσεις όπου απαιτούνται μη γραμμικές αλληλεπιδράσεις, ετερογενείς τύποι δεδομένων ή ανθεκτικές προβλέψεις. Ωστόσο, η προσεκτική εξέταση του μεγέθους του συνόλου δεδομένων, της πολυπλοκότητας του μοντέλου και των στόχων ερμηνευσιμότητας είναι απαραίτητη για την εξασφάλιση αξιόπιστων και αξιοποιήσιμων αποτελεσμάτων.

Ανακεφαλαίωση

Τα μοντέλα που βασίζονται σε δέντρα είναι μια ευέλικτη οικογένεια μεθόδων τόσο για ταξινόμηση όσο και για παλινδρόμηση, η οποία περιλαμβάνει τα δέντρα απόφασης, τα bagged trees και τα τυχαία δάση. Κάνουν προβλέψεις διαχωρίζοντας αναδρομικά τον χώρο των χαρακτηριστικών σε ομοιογενείς περιοχές, χρησιμοποιώντας κριτήρια όπως η ακαθαρσία Gini ή το μέσο τετραγωνικό σφάλμα. Τα δέντρα απόφασης προσφέρουν μια απλή, ερμηνεύσιμη δομή, ενώ τα bagged trees και τα τυχαία δάση βελτιώνουν την προβλεπτική σταθερότητα συναθροίζοντας πολλά δέντρα, αξιοποιώντας τον νόμο των μεγάλων αριθμών και εισάγοντας τυχαιότητα για να μειώσουν την υπερπροσαρμογή.

Τα μοντέλα που βασίζονται σε δέντρα μπορούν να χειριστούν διαφορετικούς τύπους δεδομένων, να αποτυπώσουν σύνθετες μη γραμμικές σχέσεις, να διαχειριστούν ελλείπουσες τιμές και απαιτούν ελάχιστη προεπεξεργασία. Η άπληστη φύση τους (η επιλογή του τοπικά βέλτιστου διαχωρισμού σε κάθε κόμβο) τα κάνει υπολογιστικά αποδοτικά, αλλά και επιρρεπή στην υπερπροσαρμογή, αν εφαρμοστούν σε μικρά σύνολα δεδομένων ή αναπτυχθούν σε υπερβολικό βάθος. Τα σύνολα μοντέλων περιορίζουν αυτό το ζήτημα, αν και η ερμηνευσιμότητα μειώνεται καθώς αυξάνεται η πολυπλοκότητα.

Συνολικά, τα μοντέλα που βασίζονται σε δέντρα είναι ισχυρά εργαλεία για ανθεκτική και ευέλικτη πρόβλεψη, ιδιαίτερα όταν οι σχέσεις είναι μη γραμμικές ή περιλαμβάνουν αλληλεπιδράσεις, αλλά απαιτείται προσοχή στο μέγεθος του συνόλου δεδομένων, στο βάθος του δέντρου και στην πολυπλοκότητα του μοντέλου για την επίτευξη αξιόπιστων αποτελεσμάτων.