ubuntuusers.de

Python Regex Umlaute

Status: Gelöst | Ubuntu-Version: Nicht spezifiziert
Antworten |

farbfilm

Anmeldungsdatum:
25. Juni 2009

Beiträge: Zähle...

Hallo,

ich habe ein kleines Problem mit regex und Umlauten in Python.

Ich versuche Wörter aus eine Textdokument zu extrahieren und in eine Dictionary einzufügen. Dazu verwende ich folgendes Pattern.

[a-zA-ZäüöÄÜÖß]*

Wie ich selbst schon gemerkt habe bin ich damit aber auf dem Holzweg. Wie bekomme ich Python dazu Umlaute in die Suche mit einzubeziehen.

Vielen Dank im Voraus.

Beste Grüße,

farbfilm

Lunar

Anmeldungsdatum:
17. März 2006

Beiträge: 5792

Folgendes Muster findet ein Wort im Text:

1
r'(?u)(\w+)'

Damit das richtig funktioniert, muss es auf unicode-Objekte angewendet werden. Mit re.finditer kann man dann alle Wörter extrahieren.

Marc_BlackJack_Rintsch Team-Icon

Ehemalige
Avatar von Marc_BlackJack_Rintsch

Anmeldungsdatum:
16. Juni 2006

Beiträge: 4686

Wohnort: Berlin

@farbfilm: Du möchtest Dich auf jeden Fall mal mit Unicode auseinandersetzen. ☺

Denn wenn das mit dem von Dir gezeigten Muster nicht klappt, dann musst Du Dich so oder so mit Zeichensätzen und Kodierungen vs. Bytewerte beschäftigen.

farbfilm

(Themenstarter)

Anmeldungsdatum:
25. Juni 2009

Beiträge: Zähle...

Hi,

erstmal vielen dank für die Antworten. Ich werde die Vorschläge gleich morgen testen. Der Text ist zum Glück bereits mit codecs.open geladen.

Ich muss zugeben, dass ich das Thema etwas vernachlässigt habe. Ist aber auch schwere Kost.

Beste Grüße,

farbfilm

Lysander

Avatar von Lysander

Anmeldungsdatum:
30. Juli 2008

Beiträge: 2669

Wohnort: Hamburg

Zu diesem Thema mal meine Standard Hilfe Links:

Mir haben diese beiden Dokumente sehr geholfen, den ganzen Komplex (besser) zu verstehen.

farbfilm

(Themenstarter)

Anmeldungsdatum:
25. Juni 2009

Beiträge: 51

@Lunar: Perfekt das Pattern hat super funktioniert.

Am Anfang hatte ich ein ähnliches Pattern. Also auch "\w". Was mir allerdings gänzlich neu ist ist "(?u)". Kannst du mir das Kürzel kurz erläutern?

@Lysander: Danke für die Literatur. Ist wirklich recht verständlich aufgearbeitet.

Lunar

Anmeldungsdatum:
17. März 2006

Beiträge: 5792

@farbfilm: Das Kürzel ist dokumentiert.

Antworten |