import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, RepeatedStratifiedKFold
# Εισαγωγή του customer_churn
customer_churn = pd.read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/customer_churn.csv")
# Διατήρηση των σχετικών στηλών και δημιουργία της Churn_Label
customer_churn = customer_churn[["Recency", "Frequency", "Monetary_Value", "Churn"]].copy()
customer_churn["Churn_Label"] = np.where(customer_churn["Churn"] == 1, "Churn", "No Churn")
# Διαχωρισμός του customer_churn
training_set, test_set = train_test_split(
customer_churn,
test_size = 0.25,
stratify = customer_churn["Churn_Label"],
random_state = 999
)
# Πτυχές (επαναλαμβανόμενης) διασταυρωμένης επικύρωσης 5x3
folds_rep_cv = RepeatedStratifiedKFold(n_splits = 5,
n_repeats = 3,
random_state = 123)Ρύθμιση υπερπαραμέτρων
Εισαγωγή
Στο Κεφάλαιο Εισαγωγή στη μηχανική μάθηση, αναφέραμε ότι τα περισσότερα μοντέλα μηχανικής μάθησης έχουν υπερπαραμέτρους, δηλαδή ρυθμίσεις που ελέγχουν τη διαδικασία μάθησης. Στην πραγματικότητα, σχεδόν όλα τα μοντέλα μηχανικής μάθησης περιλαμβάνουν κάποια μορφή υπερπαραμέτρου. Ακόμη και ο εκτιμητής Laplace σε ένα μοντέλο Naive Bayes μπορεί να ερμηνευτεί ως υπερπαράμετρος (βλ. Κεφάλαιο Naive Bayes).
Σε αυτό το κεφάλαιο, εστιάζουμε σε μία από τις πιο απλές αλλά και πιο αποτελεσματικές προσεγγίσεις για την επιλογή αυτών των τιμών, με σκοπό τη βελτίωση της προβλεπτικής απόδοσης. Συζητάμε πώς ρυθμίζονται οι υπερπαράμετροι με το scikit-learn, πώς αυτή η διαδικασία ενσωματώνεται σε ροές εργασίας και πώς μπορούν να συγκριθούν διαφορετικές ρυθμίσεις υπερπαραμέτρων ως προς την προβλεπτική απόδοση.
Ρύθμιση υπερπαραμέτρων με αναζήτηση σε κανονικό πλέγμα
Ο στόχος της ρύθμισης υπερπαραμέτρων (hyperparameter tuning) είναι η βελτίωση της απόδοσης του μοντέλου σε δεδομένα που δεν έχει δει. Σε προηγούμενα κεφάλαια, παρουσιάσαμε την κύρια υπερπαράμετρο (ή τις κύριες υπερπαραμέτρους) κάθε μεθόδου μηχανικής μάθησης, αλλά συνήθως τους δίναμε σταθερές τιμές χωρίς εκτενή αιτιολόγηση. Αυτό έγινε κυρίως για λόγους απλότητας. Στην πράξη, όμως, η βέλτιστη επιλογή υπερπαραμέτρων εξαρτάται από το συγκεκριμένο σύνολο δεδομένων και την εργασία πρόβλεψης, κάτι που καθιστά τη ρύθμιση υπερπαραμέτρων σημαντικό βήμα στη ροή εργασίας της μηχανικής μάθησης.
Υπάρχουν διαφορετικές προσεγγίσεις για τη ρύθμιση υπερπαραμέτρων, δηλαδή μέθοδοι για την εύρεση κατάλληλων τιμών που οδηγούν σε καλή προβλεπτική απόδοση. Σε αυτό το κεφάλαιο, εστιάζουμε στην απλούστερη και πιο διαδεδομένη προσέγγιση: την αναζήτηση σε κανονικό πλέγμα (regular grid search). Η ιδέα είναι να ορίσουμε εκ των προτέρων ένα σύνολο υποψήφιων τιμών για κάθε υπερπαράμετρο και να αξιολογήσουμε όλους τους πιθανούς συνδυασμούς με μεθόδους επαναδειγματοληψίας. Κάθε συνδυασμός αντιμετωπίζεται ως ξεχωριστό μοντέλο, και η απόδοσή του εκτιμάται, για παράδειγμα, με διασταυρωμένη επικύρωση. Η τελική επιλογή βασίζεται στη συνέχεια στη μέση απόδοση στα επαναδείγματα.
Για παράδειγμα, στην περίπτωση ενός μοντέλου k πλησιέστερων γειτόνων (KNN), η κύρια υπερπαράμετρος είναι ο αριθμός των γειτόνων. Ένας συνηθισμένος εμπειρικός κανόνας είναι να ορίζουμε το \(k\) ίσο με την τετραγωνική ρίζα του αριθμού των παρατηρήσεων. Ωστόσο, αντί να βασιζόμαστε σε μία μόνο εμπειρική τιμή, η αναζήτηση πλέγματος μάς επιτρέπει να αξιολογήσουμε συστηματικά ένα εύρος τιμών γύρω από αυτή την κατευθυντήρια γραμμή. Για παράδειγμα, αν έχουμε ένα σύνολο δεδομένων με 3,000 παρατηρήσεις, ο κανόνας της τετραγωνικής ρίζας προτείνει μια τιμή περίπου 55. Με μια προσέγγιση κανονικού πλέγματος, δεν θα ελέγχαμε μόνο αυτή την τιμή, αλλά και ένα σύνολο κοντινών τιμών, όπως 10, 25, 50, 75, 100 και 150, για να εκτιμήσουμε πόσο ευαίσθητη είναι η απόδοση του μοντέλου στην επιλογή του \(k\).
Το κύριο πλεονέκτημα της αναζήτησης σε κανονικό πλέγμα είναι ότι είναι εύκολη στην κατανόηση και στην υλοποίηση, ενώ δίνει στον χρήστη πλήρη έλεγχο των τιμών των υπερπαραμέτρων που αξιολογούνται. Αντί να βασίζεται σε μια εμπειρική ή αυτοματοποιημένη στρατηγική αναζήτησης, ο χρήστης ορίζει ρητά τις υποψήφιες τιμές για κάθε υπερπαράμετρο και αξιολογεί συστηματικά όλους τους πιθανούς συνδυασμούς. Ωστόσο, το κύριο μειονέκτημα είναι το υπολογιστικό κόστος. Καθώς αυξάνεται ο αριθμός των υπερπαραμέτρων, ο συνολικός αριθμός των συνδυασμών αυξάνεται πολλαπλασιαστικά. Αυτό μπορεί γρήγορα να γίνει ανέφικτο, ιδίως για σύνθετα μοντέλα ή μεγάλα σύνολα δεδομένων. Για παράδειγμα, αν ρυθμίζουμε τρεις υπερπαραμέτρους και εξετάζουμε μόνο πέντε τιμές για καθεμία, καταλήγουμε ήδη σε 125 πιθανές διαμορφώσεις, καθεμία από τις οποίες θα έπρεπε να αξιολογηθεί με διασταυρωμένη επικύρωση. Για τον λόγο αυτό, η αναζήτηση πλέγματος χρησιμοποιείται συχνά με σχετικά μικρά και προσεκτικά επιλεγμένα εύρη παραμέτρων και όχι για εξαντλητική εξερεύνηση.
Από πρακτική σκοπιά, προτείνεται να ξεκινάμε με ένα σχετικά ευρύ πλέγμα που καλύπτει ένα λογικό εύρος τιμών για κάθε υπερπαράμετρο. Σε αυτό το στάδιο, ο στόχος δεν είναι να βρούμε το ακριβές βέλτιστο, αλλά να κατανοήσουμε πώς συμπεριφέρεται η απόδοση σε διαφορετικές περιοχές του χώρου των παραμέτρων. Μόλις εντοπίσουμε τιμές που οδηγούν σε καλύτερη απόδοση, μπορούμε να εκλεπτύνουμε το πλέγμα, εστιάζοντας σε ένα στενότερο εύρος με μεγαλύτερη λεπτομέρεια.
Όπως και με τις μεθόδους επαναδειγματοληψίας, είναι σημαντικό η ρύθμιση υπερπαραμέτρων να γίνεται εξ ολοκλήρου μέσα στο training set. Το test set δεν πρέπει να χρησιμοποιείται κατά τη διάρκεια αυτής της διαδικασίας, καθώς αυτό θα εισήγαγε και πάλι αισιόδοξη μεροληψία. Αντίθετα, βασιζόμαστε στην απόδοση στο validation set (ή στα validation sets) ή στη διασταυρωμένη επικύρωση για να καθοδηγήσουμε την επιλογή των υπερπαραμέτρων. Μόλις επιλεγεί η τελική διαμόρφωση, το μοντέλο προσαρμόζεται ξανά σε ολόκληρο το training set με τις επιλεγμένες υπερπαραμέτρους. Αυτό διασφαλίζει ότι το μοντέλο ενσωματώνει όλη τη διαθέσιμη πληροφορία πριν αξιολογηθεί στο test set, το οποίο παραμένει το τελικό και αμερόληπτο μέτρο της απόδοσης.
Ρύθμιση υπερπαραμέτρων με το scikit-learn
Με το scikit-learn, η ρύθμιση υπερπαραμέτρων υλοποιείται με pipelines σε συνδυασμό με το GridSearchCV. Για να δούμε πώς λειτουργεί αυτό, εισάγουμε το σύνολο δεδομένων customer_churn. Στη συνέχεια, χρησιμοποιούμε τη train_test_split() για να δημιουργήσουμε τα training και test sets και το RepeatedStratifiedKFold για να δημιουργήσουμε πτυχές επαναλαμβανόμενης διασταυρωμένης επικύρωσης 5×3:
Τώρα ορίζουμε ένα μοντέλο KNN ως μέρος ενός pipeline, του ίδιου είδους object που παρουσιάσαμε στο προηγούμενο κεφάλαιο για να συνδέουμε σε αλυσίδα βήματα προεπεξεργασίας και προσαρμογής μοντέλου. Εδώ, συνδυάζουμε ένα βήμα κλιμάκωσης για την τυποποίηση των προβλεπτικών μεταβλητών με το ίδιο το μοντέλο KNN. Σε αντίθεση με ένα μοντέλο που προσαρμόζεται με σταθερή τιμή, εδώ αφήνουμε προς το παρόν τον αριθμό των γειτόνων απροσδιόριστο, αφού θα βελτιστοποιηθεί αργότερα μέσω της ίδιας της αναζήτησης πλέγματος:
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
# Δημιουργία pipeline με την προεπεξεργασία και το μοντέλο KNN
knn_pipeline = Pipeline([
("scaler", StandardScaler()),
("knn", KNeighborsClassifier())
])Το pipeline έχει δύο βήματα: την κλιμάκωση των προβλεπτικών μεταβλητών και, στη συνέχεια, τον ταξινομητή KNN. Ο αριθμός των γειτόνων μένει προς το παρόν στην προεπιλεγμένη του τιμή· δεν χρειάζεται ρητό σύμβολο κράτησης θέσης (placeholder), αφού το GridSearchCV θα τον αντικαταστήσει με κάθε υποψήφια τιμή κατά την αναζήτηση.
Επειδή ρυθμίζουμε αυτή την παράμετρο, πρέπει να ορίσουμε ένα σύνολο υποψήφιων τιμών. Ένας απλός τρόπος είναι να δημιουργήσουμε ένα dictionary όπου το κλειδί αποτελείται από το όνομα του βήματος του pipeline και το όνομα της υπερπαραμέτρου, ενωμένα με διπλή κάτω παύλα (knn__n_neighbors). Χρησιμοποιούμε τη συνάρτηση range() για να δημιουργήσουμε μια ακολουθία τιμών, κάτι που είναι βολικό επειδή μας γλιτώνει από τον χειροκίνητο ορισμό κάθε τιμής. Στην περίπτωσή μας, δημιουργούμε τιμές από 5 έως 105 με βήμα 10:
# Δημιουργία του πλέγματος των υποψήφιων τιμών της υπερπαραμέτρου
knn_grid = {"knn__n_neighbors": list(range(5, 106, 10))}Τώρα εφαρμόζουμε διασταυρωμένη επικύρωση με το GridSearchCV(). Αυτό αξιολογεί πολλές τιμές της υπερπαραμέτρου αντί να προσαρμόσει ένα μόνο μοντέλο με σταθερή τιμή. Για να το κάνουμε, δίνουμε το pipeline μας, το πλέγμα των υποψήφιων τιμών, τις πτυχές της διασταυρωμένης επικύρωσης και τις μετρικές που θέλουμε να αξιολογήσουμε. Επειδή οι ετικέτες των κλάσεών μας είναι strings ("Churn"/"No Churn") και όχι 0/1, δημιουργούμε scorers για το precision, το recall και το F1 που αντιμετωπίζουν ρητά το "Churn" ως τη θετική κλάση. Το GridSearchCV() δέχεται και απλές συντομεύσεις με strings, όπως scoring = "f1", αλλά αυτές βασίζονται στην προεπιλεγμένη επιλογή θετικής κλάσης του scikit-learn, η οποία (όπως θα δούμε αργότερα σε αυτό το κεφάλαιο με τη roc_auc_score()) δεν είναι πάντα αυτή που πραγματικά εννοούμε. Η συνάρτηση make_scorer() μας επιτρέπει να «τυλίξουμε» κάθε συνάρτηση μετρικής μαζί με ενσωματωμένο το pos_label = "Churn", ώστε να μην αντιμετωπίσουμε αυτό το πρόβλημα εδώ:
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer, precision_score, recall_score, f1_score
# Ορισμός scorers με το "Churn" ως θετική κλάση
scoring = {
"precision": make_scorer(precision_score, pos_label = "Churn"),
"recall": make_scorer(recall_score, pos_label = "Churn"),
"f1": make_scorer(f1_score, pos_label = "Churn")
}Ο παρακάτω κώδικας εκτελεί την ίδια την αναζήτηση πλέγματος. Για κάθε υποψήφιο αριθμό γειτόνων στο knn_grid, το GridSearchCV() προσαρμόζει το knn_pipeline στο analysis set κάθε επαναδείγματος και το βαθμολογεί στο assessment set με τους τρεις scorers. Πρόκειται ουσιαστικά για την ίδια λογική analysis/assessment που βρίσκεται πίσω από την cross_validate() στο προηγούμενο κεφάλαιο, απλώς επαναλαμβάνεται μία φορά για κάθε τιμή της υπερπαραμέτρου αντί για μία φορά συνολικά. Επειδή παρακολουθούμε τρεις μετρικές ταυτόχρονα, το refit = "f1" ορίζει ποια από αυτές θα καθορίσει την τιμή της υπερπαραμέτρου που «κερδίζει» και θα χρησιμοποιηθεί για την προσαρμογή ενός τελικού μοντέλου σε ολόκληρο το training set:
# Προσαρμογή στα επαναδείγματα και ρύθμιση
knn_results = GridSearchCV(
estimator = knn_pipeline,
param_grid = knn_grid,
scoring = scoring,
refit = "f1",
cv = folds_rep_cv
)
knn_results.fit(
training_set[["Recency", "Frequency", "Monetary_Value"]],
training_set["Churn_Label"]
)Μόλις ολοκληρωθεί η προσαρμογή, το knn_results.cv_results_ περιέχει το πλήρες σύνολο των αποτελεσμάτων: μία γραμμή ανά υποψήφια τιμή της υπερπαραμέτρου, με στήλες όπως η param_knn__n_neighbors (η τιμή που ελέγχθηκε) και οι mean_test_precision, mean_test_recall, mean_test_f1 (η μέση βαθμολογία σε όλα τα επαναδείγματα, μία στήλη ανά scorer):
# Συλλογή των μετρικών της διασταυρωμένης επικύρωσης
cv_results = pd.DataFrame(knn_results.cv_results_)Το αποτέλεσμα επιστρέφεται σε «ευρεία» (wide) μορφή, με μία στήλη ανά μετρική, τη μία δίπλα στην άλλη. Ωστόσο, είναι πιο βολικό να το αναδιαμορφώσουμε σε «μακρά» (long) μορφή: μία γραμμή ανά συνδυασμό (τιμή γειτόνων, μετρική), με μία ενιαία στήλη mean και μια στήλη metric που δείχνει ποια βαθμολογία είναι. Για να το πετύχουμε, απομονώνουμε τις δύο σχετικές στήλες κάθε μετρικής, μετονομάζουμε τη στήλη της βαθμολογίας στο κοινό όνομα mean, την επισημαίνουμε με assign(metric = ...) και στοιβάζουμε και τα τρία τμήματα με τη concat():
# Αναδιαμόρφωση από ευρεία σε μακρά μορφή
metrics_summary = pd.concat([
cv_results[["param_knn__n_neighbors", "mean_test_precision"]]
.rename(columns = {"mean_test_precision": "mean"}).assign(metric = "precision"),
cv_results[["param_knn__n_neighbors", "mean_test_recall"]]
.rename(columns = {"mean_test_recall": "mean"}).assign(metric = "recall"),
cv_results[["param_knn__n_neighbors", "mean_test_f1"]]
.rename(columns = {"mean_test_f1": "mean"}).assign(metric = "f1")
], ignore_index = True).rename(columns = {"param_knn__n_neighbors": "neighbors"})
# Εμφάνιση του metrics_summary
metrics_summary| neighbors | mean | metric | |
|---|---|---|---|
| 0 | 5 | 0.77 | precision |
| 1 | 15 | 0.81 | precision |
| 2 | 25 | 0.82 | precision |
| 3 | 35 | 0.83 | precision |
| 4 | 45 | 0.83 | precision |
| 5 | 55 | 0.84 | precision |
| 6 | 65 | 0.84 | precision |
| 7 | 75 | 0.85 | precision |
| 8 | 85 | 0.85 | precision |
| 9 | 95 | 0.85 | precision |
| 10 | 105 | 0.86 | precision |
| 11 | 5 | 0.67 | recall |
| 12 | 15 | 0.67 | recall |
| 13 | 25 | 0.67 | recall |
| 14 | 35 | 0.67 | recall |
| 15 | 45 | 0.67 | recall |
| 16 | 55 | 0.66 | recall |
| 17 | 65 | 0.66 | recall |
| 18 | 75 | 0.65 | recall |
| 19 | 85 | 0.64 | recall |
| 20 | 95 | 0.64 | recall |
| 21 | 105 | 0.64 | recall |
| 22 | 5 | 0.72 | f1 |
| 23 | 15 | 0.73 | f1 |
| 24 | 25 | 0.74 | f1 |
| 25 | 35 | 0.74 | f1 |
| 26 | 45 | 0.74 | f1 |
| 27 | 55 | 0.74 | f1 |
| 28 | 65 | 0.74 | f1 |
| 29 | 75 | 0.73 | f1 |
| 30 | 85 | 0.73 | f1 |
| 31 | 95 | 0.73 | f1 |
| 32 | 105 | 0.73 | f1 |
Το metrics_summary που προκύπτει έχει τρεις γραμμές για κάθε υποψήφιο αριθμό γειτόνων (μία για το precision, μία για το recall και μία για το F1), δηλαδή ακριβώς τη μορφή που χρειαζόμαστε για να χρωματίσουμε ανά μετρική στο επόμενο διάγραμμα.
Μπορούμε να δημιουργήσουμε ένα διάγραμμα για να οπτικοποιήσουμε τα αποτελέσματα με το Seaborn. Αυτό παράγει ένα συνοπτικό διάγραμμα των αποτελεσμάτων της επαναδειγματοληψίας για τις τιμές της υπερπαραμέτρου που ελέγχθηκαν:
import seaborn as sns
import matplotlib.pyplot as plt
# Διάγραμμα των αποτελεσμάτων της μοντελοποίησης
sns.lineplot(
data = metrics_summary,
x = "neighbors",
y = "mean",
hue = "metric",
marker = "o"
)
# Αλλαγή των ετικετών των αξόνων
plt.xlabel("Number of Neighbors")
plt.ylabel("Score")
# Εμφάνιση του διαγράμματος
plt.show()
Με αυτόν τον τρόπο, τα αποτελέσματα εμφανίζονται για διαφορετικές τιμές του αριθμού των γειτόνων, κάτι που διευκολύνει τη σύγκριση της απόδοσης των μοντέλων. Με βάση αυτή την οπτικοποίηση, οι 35 γείτονες οδηγούν στο υψηλότερο F1-score, με precision πάνω από 80% και recall μεταξύ 65% και 70%. Σε πρακτικούς όρους, αυτό σημαίνει ότι περίπου το 80% των πελατών που προβλέπεται ότι θα αποχωρήσουν εντοπίζονται πράγματι σωστά, ενώ το μοντέλο εντοπίζει μεταξύ 65% και 70% όλων των πελατών που πράγματι αποχωρούν.
Σημειώστε ότι αυτές είναι μέσες τιμές στα επαναδείγματα, αλλά με βάση τη διαμόρφωση της μοντελοποίησής μας, οι 35 γείτονες φαίνονται μια λογική επιλογή, εφόσον αυτή η αντιστάθμιση είναι αποδεκτή από επιχειρηματική σκοπιά. Είναι ενδιαφέρον ότι αυτή η τιμή είναι χαμηλότερη από εκείνη που προτείνει ο συνηθισμένος εμπειρικός κανόνας της τετραγωνικής ρίζας του αριθμού των παρατηρήσεων (περίπου 55), κάτι που δείχνει γιατί αξίζει να αξιολογούμε ένα εύρος τιμών αντί να βασιζόμαστε μόνο σε έναν εμπειρικό κανόνα.
Μπορούμε να εξαγάγουμε τις υπερπαραμέτρους με την καλύτερη απόδοση με το attribute best_params_. Επειδή ορίσαμε refit = "f1" παραπάνω, αυτές βασίζονται ήδη στο F1-score:
# Επιλογή των καλύτερων υπερπαραμέτρων
best_params = knn_results.best_params_
# Εμφάνιση του best_params
best_params{'knn__n_neighbors': 35}
Σε αντίθεση με μια διαδικασία δύο βημάτων (οριστικοποίηση και στη συνέχεια προσαρμογή), ο ορισμός refit = "f1" στο GridSearchCV() σημαίνει ότι η διαμόρφωση με την καλύτερη απόδοση προσαρμόζεται αυτόματα ξανά σε ολόκληρο το training set μόλις ολοκληρωθεί η αναζήτηση πλέγματος. Αυτό το εκπαιδευμένο μοντέλο είναι διαθέσιμο απευθείας ως knn_results.best_estimator_, πλήρως καθορισμένο και έτοιμο για αξιολόγηση· δεν χρειάζεται ξεχωριστό βήμα οριστικοποίησης.
Για να αξιολογήσουμε το τελικό μοντέλο στο test set, χρησιμοποιούμε το knn_results.best_estimator_ για να δημιουργήσουμε προβλέψεις και προβλεπόμενες πιθανότητες. Στη συνέχεια, υπολογίζουμε τις ίδιες μετρικές όπως πριν και επιπλέον συμπεριλαμβάνουμε το roc_auc, για να μετρήσουμε την ικανότητα του μοντέλου να διακρίνει μεταξύ των δύο κλάσεων σε όλα τα κατώφλια ταξινόμησης.
Σημειώστε ότι το test_labels_numeric κωδικοποιεί τις πραγματικές ετικέτες ως 0/1 με 1 = "Churn", σύμφωνα με αυτό που αναπαριστά το test_probabilities. Ωστόσο, η roc_auc_score() δεν έχει όρισμα pos_label για να βασιστεί σε αυτό, οπότε αν της δίναμε απευθείας ετικέτες ως strings, θα άλλαζε σιωπηλά την κλάση που αντιμετωπίζει ως θετική:
from sklearn.metrics import roc_auc_score
# Πρόβλεψη στο test set με το μοντέλο με την καλύτερη απόδοση
test_predictions = knn_results.best_estimator_.predict(
test_set[["Recency", "Frequency", "Monetary_Value"]]
)
positive_class_index = list(knn_results.best_estimator_.classes_).index("Churn")
test_probabilities = knn_results.best_estimator_.predict_proba(
test_set[["Recency", "Frequency", "Monetary_Value"]]
)[:, positive_class_index]
# Αριθμητική κωδικοποίηση των πραγματικών ετικετών, με 1 = "Churn" (όπως στο test_probabilities)
test_labels_numeric = (test_set["Churn_Label"] == "Churn").astype(int)
# Συλλογή των μετρικών
test_metrics = pd.DataFrame({
"metric": ["roc_auc", "precision", "recall", "f1"],
"estimate": [
roc_auc_score(test_labels_numeric, test_probabilities),
precision_score(test_set["Churn_Label"], test_predictions, pos_label = "Churn"),
recall_score(test_set["Churn_Label"], test_predictions, pos_label = "Churn"),
f1_score(test_set["Churn_Label"], test_predictions, pos_label = "Churn")
]})
# Εμφάνιση των αποτελεσμάτων
test_metrics| metric | estimate | |
|---|---|---|
| 0 | roc_auc | 0.90 |
| 1 | precision | 0.75 |
| 2 | recall | 0.62 |
| 3 | f1 | 0.68 |
Σημείωση
Συνιστάται έντονα να χρησιμοποιείται το ίδιο σύνολο μετρικών τόσο στη φάση της εκπαίδευσης όσο και στη φάση του ελέγχου, ώστε να διασφαλίζεται η συνέπεια στην αξιολόγηση του μοντέλου. Στο παράδειγμά μας, συμπεριλαμβάνουμε επιπλέον το
roc_aucστο στάδιο του ελέγχου, για να δείξουμε πώς μπορεί να υπολογιστεί και να οπτικοποιηθεί η αξιολόγηση με βάση την καμπύλη ROC, παρόλο που δεν ήταν μέρος των μετρικών της ρύθμισης.
Οι μετρικές στο test set είναι ελαφρώς χαμηλότερες από τα αποτελέσματα της διασταυρωμένης επικύρωσης, κάτι αναμενόμενο. Κάποια πτώση της απόδοσης είναι φυσιολογική, αφού η διασταυρωμένη επικύρωση δίνει μια εκτίμηση με βάση επαναδείγματα, ενώ το test set αναπαριστά δεδομένα που το μοντέλο δεν έχει δει καθόλου. Τέλος, μπορούμε να χρησιμοποιήσουμε ένα διάγραμμα καμπύλης ROC, μια έννοια που συζητήσαμε στο Κεφάλαιο Επικύρωση μοντέλων και αξιολόγηση απόδοσης. Για να το κάνουμε, χρησιμοποιούμε τη RocCurveDisplay.from_predictions() από το scikit-learn, δίνοντας τις πραγματικές ετικέτες των κλάσεων και τις προβλεπόμενες πιθανότητες για τη θετική κλάση ("Churn"), οι οποίες χρησιμοποιούνται για τον υπολογισμό και τη σχεδίαση της καμπύλης σε ένα μόνο βήμα:
from sklearn.metrics import RocCurveDisplay
# Διάγραμμα της καμπύλης ROC
RocCurveDisplay.from_predictions(
test_set["Churn_Label"],
test_probabilities,
pos_label = "Churn"
)
# Εμφάνιση του διαγράμματος
plt.show()
Η καμπύλη ROC πλησιάζει την πάνω αριστερή γωνία του διαγράμματος, δείχνοντας υψηλό true positive rate σε συνδυασμό με χαμηλό false positive rate σε πολλά κατώφλια ταξινόμησης. Αυτό υποδηλώνει ότι το μοντέλο μπορεί να διακρίνει καλά μεταξύ των δύο κλάσεων, πετυχαίνοντας τόσο υψηλό sensitivity όσο και υψηλό specificity. Αυτό το οπτικό αποτέλεσμα συμφωνεί με την τιμή roc_auc 0.9 που βρήκαμε νωρίτερα, η οποία συνοψίζει τη συνολική ικανότητα του μοντέλου να διαχωρίζει τη θετική από την αρνητική κλάση σε όλα τα κατώφλια.
Ανακεφαλαίωση
Σε αυτό το κεφάλαιο, εστιάσαμε στη ρύθμιση υπερπαραμέτρων με αναζήτηση σε κανονικό πλέγμα. Η ιδέα είναι να αξιολογούμε συστηματικά πολλούς συνδυασμούς τιμών υπερπαραμέτρων με μεθόδους επαναδειγματοληψίας και να επιλέγουμε τη διαμόρφωση που αποδίδει καλύτερα κατά μέσο όρο. Δείξαμε πώς υλοποιείται αυτή η διαδικασία στο scikit-learn με pipelines και το GridSearchCV(), και πώς η διαδικασία ρύθμισης ενσωματώνεται με τη διασταυρωμένη επικύρωση σε ένα συνεπές πλαίσιο.
Τονίσαμε επίσης την αντιστάθμιση μεταξύ απλότητας και υπολογιστικού κόστους. Αν και η αναζήτηση πλέγματος είναι εύκολη στην κατανόηση και στην υλοποίηση, μπορεί γρήγορα να γίνει δαπανηρή καθώς αυξάνεται ο αριθμός των υπερπαραμέτρων και των υποψήφιων τιμών. Τέλος, δείξαμε πώς επιλέγεται το μοντέλο με την καλύτερη απόδοση, πώς προσαρμόζεται αυτόματα ξανά και πώς αξιολογείται σε ένα τελικό test set, ώστε να πάρουμε μια αμερόληπτη εκτίμηση της απόδοσης.