Επεξεργασία κειμένου

Εισαγωγή

Σε αυτό το κεφάλαιο, εξετάζουμε διάφορες τεχνικές επεξεργασίας κειμένου (text manipulation) στην Python. Πιο συγκεκριμένα, ξεκινάμε βλέποντας πώς χειριζόμαστε τα strings, με έμφαση στην εμφάνιση και στον συνδυασμό τους. Στη συνέχεια, παρουσιάζουμε τις μεθόδους και τις συναρτήσεις που χρησιμοποιούνται συχνότερα για τον χειρισμό των strings. Τέλος, εξετάζουμε πώς εντοπίζουμε και πώς δουλεύουμε με μοτίβα (patterns) σε δεδομένα κειμένου, μια έννοια γνωστή ως regular expressions (κανονικές εκφράσεις).

Από τα αριθμητικά δεδομένα στα strings

Όταν δουλεύουμε με αριθμητικά δεδομένα, είναι αρκετά διαισθητικό να κάνουμε πράξεις όπως πρόσθεση ή πολλαπλασιασμό σε lists ή arrays. Ωστόσο, η επεξεργασία των strings (ή δεδομένων χαρακτήρων), που αποτελούν έναν από τους βασικούς τύπους δεδομένων της Python, απαιτεί ειδικές συναρτήσεις. Η επεξεργασία strings μπορεί να γίνει πολύπλοκη, ειδικά όταν συνδυάζουμε strings από μία μόνο list ή από διαφορετικές στήλες ενός DataFrame. Με δεδομένα κειμένου, μπορούμε να κάνουμε εργασίες όπως η προσθήκη ή η αντικατάσταση κειμένου, η εύρεση αντιστοιχιών, η καταμέτρηση γραμμάτων, ο εντοπισμός της θέσης συγκεκριμένων χαρακτήρων κειμένου και πολλές άλλες.

Εμφάνιση strings

Μπορούμε να χρησιμοποιήσουμε μονά εισαγωγικά ('') ή διπλά εισαγωγικά ("") για να ορίσουμε μια τιμή (οποιαδήποτε τιμή) ως string. Για παράδειγμα, ας υποθέσουμε ότι θέλουμε να εμφανίσουμε μία από τις πιο γνωστές φράσεις στον κόσμο της επιστήμης υπολογιστών, της επιστήμης δεδομένων και της μηχανικής δεδομένων, το "Hello world!". Μπορούμε να εμφανίσουμε αυτή τη φράση με τη συνάρτηση print(), περικλείοντας το κείμενο σε μονά ή διπλά εισαγωγικά:

# Εμφάνιση με μονά εισαγωγικά
print('Hello world!')
Hello world!
# Εμφάνιση με διπλά εισαγωγικά
print("Hello world!")
Hello world!

Και στις δύο περιπτώσεις, βλέπουμε ότι παίρνουμε ακριβώς τα ίδια αποτελέσματα. Τι γίνεται όμως αν χρειαστεί να έχουμε διπλά ή μονά εισαγωγικά μέσα σε ένα string; Επειδή η Python δεν θα ήξερε ποια εισαγωγικά θέλουμε να συμπεριλάβουμε στο string, πρέπει να μπορούμε να ξεκαθαρίσουμε ποια εισαγωγικά αποτελούν μέρος του ίδιου του κειμένου και ποια χρησιμοποιούνται για να δηλώσουν ένα string. Για να το κάνουμε αυτό, πρέπει να χρησιμοποιήσουμε μια λεγόμενη ακολουθία διαφυγής (escape sequence). Για τον σκοπό αυτό, χρησιμοποιούμε τον ειδικό χαρακτήρα backslash (\) πριν από τα μονά ή διπλά εισαγωγικά που θέλουμε να συμπεριλάβουμε στο string:

# Εμφάνιση του "I want to print "Hello World!""
print("I want to print \"Hello World!\"")
I want to print "Hello World!"

Ένας άλλος τρόπος είναι να χρησιμοποιήσουμε μονά εισαγωγικά γύρω από το ίδιο το string, αν θέλουμε να συμπεριλάβουμε διπλά εισαγωγικά μέσα στο κείμενο (ή το αντίστροφο)· έτσι, σε ορισμένες περιπτώσεις, δεν χρειαζόμαστε ακολουθίες διαφυγής:

# Εμφάνιση διπλών εισαγωγικών μέσα σε μονά εισαγωγικά
print('I want to print "Hello World!"')
I want to print "Hello World!"
# Εμφάνιση μονών εισαγωγικών μέσα σε διπλά εισαγωγικά
print("I want to print 'Hello World!'")
I want to print 'Hello World!'

Συνδυασμός strings

Η Python παρέχει διάφορους τρόπους για να συνδυάζουμε strings. Μια συνηθισμένη προσέγγιση είναι να χρησιμοποιήσουμε τον τελεστή +. Για παράδειγμα, μπορούμε να συνδυάσουμε δύο ξεχωριστά strings για να δημιουργήσουμε τη φράση "Hello World!":

# Συνδυασμός strings με το +
"Hello" + " World!"
'Hello World!'

Μπορούμε επίσης να αποθηκεύσουμε strings σε μεταβλητές και να τα συνδυάσουμε:

# Συνδυασμός μεταβλητών
word1 = "Hello"
word2 = "World!"

# Εμφάνιση των αποτελεσμάτων
print(word1 + " " + word2)
Hello World!

Παρατηρούμε ότι προσθέσαμε ένα κενό " " ανάμεσα στις δύο λέξεις. Χωρίς αυτό το κενό, το αποτέλεσμα θα ήταν "HelloWorld!".

Μερικές φορές μπορεί επίσης να χρειαστεί να συνδυάσουμε strings με τιμές άλλων τύπων δεδομένων, όπως integers ή floats. Σε αυτές τις περιπτώσεις, πρέπει πρώτα να μετατρέψουμε την τιμή σε string με τη συνάρτηση str(). Ο παρακάτω κώδικας δείχνει αυτή την ιδέα:

# Συνδυασμός strings με αριθμούς
age = 33

# Εμφάνιση της πρότασης
print("I am " + str(age) + " years old.")
I am 33 years old.

Η συνάρτηση str() μετατρέπει μια τιμή σε string, ώστε να μπορεί να συνδυαστεί με άλλα strings.

Μια άλλη συνηθισμένη προσέγγιση είναι η χρήση της μεθόδου join(). Αυτή η μέθοδος μας επιτρέπει να συνδυάσουμε πολλά strings χρησιμοποιώντας ένα διαχωριστικό (separator):

# Συνδυασμός strings με την join()
" ".join(["Hello", "World!"])
'Hello World!'

Το διαχωριστικό τοποθετείται πριν από την join(). Στο παραπάνω παράδειγμα, το διαχωριστικό είναι ένα κενό " ". Μπορούμε να χρησιμοποιήσουμε και άλλα διαχωριστικά. Για παράδειγμα, ας υποθέσουμε ότι θέλουμε να εμφανίσουμε το string "Data-Science":

# Συνδυασμός με διαφορετικό διαχωριστικό
"-".join(["Data", "Science"])
'Data-Science'

Αν θέλουμε να συνδυάσουμε όλα τα στοιχεία μιας list σε ένα ενιαίο string, μπορούμε και πάλι να χρησιμοποιήσουμε τη μέθοδο join() με τον εξής τρόπο:

# Συνδυασμός όλων των στοιχείων σε ένα string
words = ["Data", "Science", "Analytics"]

# Συνδυασμός με διαφορετικό διαχωριστικό
" and ".join(words)
'Data and Science and Analytics'

Ένας σύγχρονος και πολύ ευανάγνωστος τρόπος για να συνδυάζουμε strings στην Python είναι τα f-strings. Ένα f-string είναι ένα κανονικό string της Python με ένα f πριν από τα εισαγωγικά, το οποίο μας επιτρέπει να ενσωματώνουμε μεταβλητές ή εκφράσεις απευθείας μέσα στο κείμενο, χρησιμοποιώντας άγκιστρα {}. Σε αντίθεση με ένα κανονικό string, το οποίο αντιμετωπίζει τα πάντα ως απλό κείμενο, ένα f-string αποτιμά ό,τι βρίσκεται μέσα στα {} και το αντικαθιστά με την πραγματική του τιμή όταν εκτελείται ο κώδικας.

# Χρήση f-strings
field = "Data Science"

# Εμφάνιση των αποτελεσμάτων
print(f"I am learning {field}!")
I am learning Data Science!

Όταν συνδυάζουμε strings, είναι πάντα καλή ιδέα να εμφανίζουμε τα αποτελέσματα και να επαληθεύουμε ότι η έξοδος είναι αυτή που περιμένουμε, ειδικά όταν δουλεύουμε με lists ή βρόχους.

Χρήση των f-strings σε prompts της GenAI

Σε εφαρμογές γενετικής τεχνητής νοημοσύνης (generative AI, GenAI), τα f-strings χρησιμοποιούνται συχνά για τη δυναμική δημιουργία prompts (εντολών προς το μοντέλο), με την εισαγωγή μεταβλητών (όπως η είσοδος του χρήστη, οι έξοδοι του μοντέλου ή διάφορες παράμετροι) απευθείας μέσα στο κείμενο. Έτσι, γίνεται εύκολη η δημιουργία ευέλικτων οδηγιών για τα γλωσσικά μοντέλα (language models), οι οποίες λαμβάνουν υπόψη το πλαίσιο, αφού το prompt μπορεί να αλλάζει αυτόματα ανάλογα με τα δεδομένα που του δίνονται.

Συναρτήσεις για strings

Η Python παρέχει ένα ευρύ φάσμα ενσωματωμένων εργαλείων για την επεξεργασία κειμένου. Σε αντίθεση με άλλα περιβάλλοντα που βασίζονται σε ξεχωριστά packages, η Python χειρίζεται τις περισσότερες πράξεις με strings απευθείας μέσω του τύπου str και των μεθόδων του. Αυτό κάνει την επεξεργασία strings συνεπή και εύκολη στη χρήση.

  • Οι μέθοδοι εφαρμόζονται απευθείας σε strings (π.χ. "text".method()).

  • Πολλές πράξεις είναι διαθέσιμες χωρίς να χρειάζεται να κάνουμε import επιπλέον βιβλιοθήκες.

  • Οι πράξεις που βασίζονται σε μοτίβα χρησιμοποιούν το module re όταν χρειάζεται.

Ας ξεκινήσουμε δημιουργώντας μια list με strings:

# Αποφθέγματα
quotes = ["Become a Master in Data Science.",
          "The best way to learn data science is to do data science.",
          "Text mining is an essential skill."]

Με αυτή τη list, μπορούμε να πειραματιστούμε με διάφορες μεθόδους για strings, ώστε να κάνουμε συνηθισμένες πράξεις σε κείμενο. Για παράδειγμα, ας υποθέσουμε ότι θέλουμε να ελέγξουμε αν το string "is" υπάρχει μέσα σε κάθε στοιχείο. Μπορούμε να το κάνουμε αυτό με τον τελεστή in μέσα σε ένα list comprehension, δηλαδή έναν συμπαγή τρόπο δημιουργίας μιας νέας list με την εφαρμογή μιας έκφρασης σε κάθε στοιχείο μιας υπάρχουσας list:

# Υπάρχει το μοτίβο μέσα στο string;
["is" in q for q in quotes]
[False, True, True]

Σε αυτόν τον κώδικα, η Python διατρέχει ένα προς ένα τα στοιχεία της list quotes. Για κάθε στοιχείο (που αναπαρίσταται με το q), ελέγχει αν υπάρχει το substring (υποσυμβολοσειρά) "is". Η έκφραση "is" in q επιστρέφει True αν βρεθεί το μοτίβο και False διαφορετικά. Το list comprehension συγκεντρώνει όλα αυτά τα αποτελέσματα και επιστρέφει μια νέα list με λογικές τιμές, μία για κάθε πρόταση του quotes. Όπως αναμενόταν, παίρνουμε False, True και True, επειδή το string "is" εμφανίζεται στο δεύτερο και στο τρίτο στοιχείο, αλλά όχι στο πρώτο.

Μια άλλη χρήσιμη πράξη είναι ο εντοπισμός των στοιχείων που περιέχουν ένα συγκεκριμένο μοτίβο. Αυτό μπορεί να γίνει με την enumerate() σε συνδυασμό με μια συνθήκη:

# Επιστροφή των θέσεων των στοιχείων που περιέχουν το μοτίβο
[i for i, q in enumerate(quotes) if "is" in q]
[1, 2]

Σε αυτόν τον κώδικα, η enumerate(quotes) μας επιτρέπει να διατρέξουμε τη list κρατώντας τόσο τη θέση (i) όσο και το κείμενο (q). Για κάθε στοιχείο, ελέγχουμε αν το "is" εμφανίζεται στο string με το "is" in q. Αν η συνθήκη είναι True, κρατάμε τη θέση. Το αποτέλεσμα είναι μια list με τις θέσεις στις οποίες εμφανίζεται το μοτίβο στο quotes.

Όσον αφορά την επιλογή τμημάτων από strings, η Python επιτρέπει τόσο slicing με βάση τη θέση όσο και φιλτράρισμα με βάση μοτίβα. Το slicing μπορεί να χρησιμοποιηθεί για να εξαγάγουμε συγκεκριμένα τμήματα ενός string με βάση τις θέσεις των χαρακτήρων. Για παράδειγμα, ο παρακάτω κώδικας παίρνει τους 6 πρώτους χαρακτήρες κάθε string της list με το [:6], που σημαίνει «ξεκίνα από την αρχή και σταμάτα πριν από τη θέση 6»:

# Εξαγωγή των 6 πρώτων χαρακτήρων
[q[:6] for q in quotes]
['Become', 'The be', 'Text m']

Αν θέλουμε να ελέγξουμε αν υπάρχει ένα μοτίβο με πιο ρητό τρόπο, η Python παρέχει επίσης χρήσιμες μεθόδους για strings, όπως η find(), η οποία επιστρέφει τη θέση της πρώτης εμφάνισης ενός substring. Σημειώνεται ότι, αν το substring δεν βρεθεί, η μέθοδος επιστρέφει -1.

# Εύρεση της θέσης του "is" σε κάθε string
[q.find("is") for q in quotes]
[-1, 35, 12]

Τέλος, μπορούμε να χωρίσουμε τα strings σε τμήματα με τη μέθοδο split(). Αυτή χωρίζει ένα string με βάση ένα συγκεκριμένο διαχωριστικό και επιστρέφει μια list με τα τμήματα:

# Διαχωρισμός των αποφθεγμάτων
[q.split("is") for q in quotes]
[['Become a Master in Data Science.'], ['The best way to learn data science ', ' to do data science.'], ['Text mining ', ' an essential skill.']]

Υπάρχουν πολλές άλλες χρήσιμες μέθοδοι για strings στην Python, αλλά τα παραπάνω παραδείγματα καλύπτουν τις πιο συνηθισμένες. Αυτές περιλαμβάνουν πράξεις αναζήτησης, slicing, διαχωρισμού και φιλτραρίσματος δεδομένων κειμένου. Συνιστάται να επανερχόμαστε σε αυτές τις μεθόδους όταν δουλεύουμε με πραγματικά σύνολα δεδομένων, καθώς η επεξεργασία strings αποτελεί βασικό μέρος του καθαρισμού (data cleaning) και της προεπεξεργασίας (preprocessing) των δεδομένων. Ο παρακάτω πίνακας δίνει μια επισκόπηση αυτών που χρησιμοποιούνται συχνότερα. Καλό είναι να επιστρέφουμε σε αυτόν τον πίνακα όταν θέλουμε να λύσουμε μια εργασία που αφορά strings.

Μέθοδος ή συνάρτηση

Περιγραφή

in

Υπάρχει το μοτίβο μέσα στο string;

str.find()

Επιστρέφει τη θέση της πρώτης εμφάνισης ενός substring

str.replace()

Αντικαθιστά ένα substring με ένα άλλο string

str.upper()

Μετατρέπει όλους τους χαρακτήρες σε κεφαλαία

str.lower()

Μετατρέπει όλους τους χαρακτήρες σε πεζά

len()

Επιστρέφει τον αριθμό των χαρακτήρων ενός string

str.strip()

Αφαιρεί τα κενά από την αρχή και το τέλος ενός string

sorted()

Επιστρέφει τα strings ταξινομημένα (αλφαβητικά)

str.join()

Συνδυάζει πολλά strings με ένα διαχωριστικό

str.split()

Χωρίζει ένα string σε τμήματα με βάση ένα διαχωριστικό

Regular expressions

Στην Python, τα regular expressions (κανονικές εκφράσεις) είναι εργαλεία εντοπισμού μοτίβων (pattern matching) που επιτρέπουν τη συνοπτική και ευέλικτη επεξεργασία δεδομένων κειμένου, παρέχοντας μια σύνταξη για τον ορισμό μοτίβων αναζήτησης και διευκολύνοντας την αντιστοίχιση και την επεξεργασία των strings. Με απλά λόγια, χρησιμοποιούμε τα regular expressions για να περιγράψουμε μοτίβα σε strings (Friedl, 2006). Για να κατανοήσουμε τι σημαίνει αυτό και πώς μπορούμε να χρησιμοποιήσουμε τα regular expressions, θα χρησιμοποιήσουμε το string "Data!" και τη συνάρτηση search() από το ενσωματωμένο module re της Python:

import re

# Έλεγχος regular expression για το "Data!"
re.search("^....!", "Data!") is not None
True

Τι ακριβώς είναι αυτό το μοτίβο; Όπως βλέπουμε, μόλις αντιστοιχίσαμε το μοτίβο του "Data!" χρησιμοποιώντας μια ακολουθία ειδικών χαρακτήρων. Ο ειδικός χαρακτήρας caret (^) δηλώνει την αρχή ενός string, χωρίς να λαμβάνει υπόψη (ή να αναπαριστά) το πρώτο γράμμα. Στη συνέχεια, χρησιμοποιήσαμε τον ειδικό χαρακτήρα τελεία (.) 4 φορές, επειδή μια τελεία αναπαριστά οποιονδήποτε μεμονωμένο χαρακτήρα. Επειδή η λέξη "Data" έχει 4 γράμματα, χρησιμοποιήσαμε την τελεία (.) 4 φορές για να αποδώσουμε το μοτίβο. Τέλος, προσθέσαμε το θαυμαστικό (!), το οποίο απλώς αντιστοιχεί στον εαυτό του, επειδή εμφανίζεται στο string μας. Ως αποτέλεσμα, περιγράψαμε πλήρως το μοτίβο του string "Data!", και γι’ αυτό πήραμε True ως έξοδο. Είναι σημαντικό να καταλάβουμε ότι ακριβώς το ίδιο regular expression θα περιέγραφε και παρόμοια strings, όπως το "Math!" ή το "Stat!", καθώς το μοτίβο είναι ακριβώς το ίδιο (4 χαρακτήρες ακολουθούμενοι από θαυμαστικό (!)):

# Έλεγχος regular expression για το "Math!"
re.search("^....!", "Math!") is not None
True
# Έλεγχος regular expression για το "Stat!"
re.search("^....!", "Stat!") is not None
True

Αν είχαμε χρησιμοποιήσει την τιμή "Data!" ως πρώτο όρισμα (pattern, το οποίο περιγράφει το μοτίβο), θα παίρναμε True στο πρώτο παράδειγμα, αλλά False στα άλλα δύο:

# Έλεγχος regular expression για το "Data!" με το μοτίβο "Data!"
re.search("Data!", "Data!") is not None
True
# Έλεγχος regular expression για το "Math!" με το μοτίβο "Data!"
re.search("Data!", "Math!") is not None
False
# Έλεγχος regular expression για το "Stat!" με το μοτίβο "Data!"
re.search("Data!", "Stat!") is not None
False

Το κύριο ζητούμενο, φυσικά, είναι να καταλάβουμε γιατί τα regular expressions είναι χρήσιμα. Τα regular expressions είναι πολύ χρήσιμα στην επεξεργασία δεδομένων κειμένου. Για παράδειγμα, ας υποθέσουμε ότι έχουμε μια list που περιγράφει το σωματικό βάρος πέντε ατόμων:

# Δημιουργία list
body_weight = ["75 KG", "82 KG", "85 KG", "68 KG", "79 KG"]

# Εμφάνιση του body_weight
body_weight
['75 KG', '82 KG', '85 KG', '68 KG', '79 KG']

Σε αυτή την περίπτωση, οι τιμές είναι αποθηκευμένες ως strings, επειδή περιλαμβάνουν τη μονάδα "KG". Ωστόσο, για την ανάλυση, συνήθως μας ενδιαφέρει μόνο το αριθμητικό μέρος. Για να καθαρίσουμε τα δεδομένα, χρησιμοποιούμε ένα regular expression μέσα στη συνάρτηση re.sub(), η οποία αντικαθιστά ένα μοτίβο που εντοπίστηκε με ένα κενό string:

# Αφαίρεση του " KG" από κάθε στοιχείο
body_weight_clean = [re.sub(r"\sKG$", "", x) for x in body_weight]

body_weight_clean
['75', '82', '85', '68', '79']

Ο κώδικας διατρέχει κάθε στοιχείο της list body_weight και εφαρμόζει την αντικατάσταση ένα προς ένα. Για κάθε string x, χρησιμοποιείται το μοτίβο r"\sKG$". Το r πριν από το string δηλώνει ένα raw string (ακατέργαστο string), το οποίο εξασφαλίζει ότι τα backslashes (όπως στο \s) ερμηνεύονται σωστά ως μέρος του regular expression και όχι ως χαρακτήρες διαφυγής της Python. Αυτό το μοτίβο αναζητά έναν κενό χαρακτήρα (whitespace), όπως ένα κενό διάστημα (\s), που ακολουθείται από τα γράμματα "KG" στο τέλος του string ($). Όταν βρεθεί αυτό το μοτίβο, αντικαθίσταται με "" (ένα κενό string) και ουσιαστικά αφαιρείται. Ως αποτέλεσμα, κάθε στοιχείο, όπως το "75 KG", γίνεται "75", το "82 KG" γίνεται "82" κ.ο.κ. Η έξοδος είναι μια νέα list με όνομα body_weight_clean, η οποία περιέχει τις καθαρισμένες τιμές χωρίς τη μονάδα. Σημειώνεται ότι οι τιμές εξακολουθούν να είναι strings· για να τις χρησιμοποιήσουμε ως αριθμούς, πρέπει να τις μετατρέψουμε, π.χ. [int(x) for x in body_weight_clean].

Αυτό το απλό παράδειγμα δείχνει καθαρά την αξία των regular expressions. Ωστόσο, τα regular expressions μπορεί να είναι πολύ μπερδεμένα, ειδικά όταν δουλεύουμε με πιο σύνθετα strings. Είναι φυσικό τα regular expressions να φαίνονται μπερδεμένα και δύσκολα στην απομνημόνευση στην αρχή. Γι’ αυτόν τον λόγο, συνιστάται ιδιαίτερα να εξασκούμαστε σε αυτά πρώτα με απλά παραδείγματα ενός string, αντί να τα εφαρμόζουμε αμέσως σε μεγάλα σύνολα δεδομένων. Δοκιμάζοντας τα μοτίβα σε μεμονωμένες περιπτώσεις, μπορούμε να καταλάβουμε καλύτερα πώς συμπεριφέρεται κάθε σύμβολο και να βεβαιωθούμε ότι το μοτίβο αποδίδει σωστά αυτό που θέλουμε, πριν το εφαρμόσουμε σε πιο σύνθετα δεδομένα.

Ο παρακάτω πίνακας συνοψίζει μερικούς από τους πιο συνηθισμένους ειδικούς χαρακτήρες που χρησιμοποιούνται στα regular expressions:

Σύμβολο

Περιγραφή

^

Αρχή ενός string

$

Τέλος ενός string

.

Οποιοσδήποτε μεμονωμένος χαρακτήρας

\d

Ψηφίο

\s

Κενός χαρακτήρας (π.χ. κενό διάστημα)

*

Καμία ή περισσότερες εμφανίσεις

+

Μία ή περισσότερες εμφανίσεις