Wenn man Daten aus unterschiedlichen Quellen konsolidiert (oder sie frei eintippen l\u00e4sst, anstatt eine kontrollierte Liste vorzugeben), staunt man immer wieder, wie viele M\u00f6glichkeiten es gibt, etwas zu schreiben \u2013 bei L\u00e4ndern steht zum Beispiel statt \u201eDeutschland\u201c gerne mal \u201eDE\u201c, \u201eGermany\u201c oder \u201eAllemagne\u201c, dazu kommen Kombinationen (\u201eDeutschland \/ Germany\u201c), Abk\u00fcrzungen (\u201eDeutschl.\u201c) und Tippfehler. Weil solcher Wildwuchs in der eigenen Datenbank Recherchen und Reports unn\u00f6tig verkomplizieren w\u00fcrde, muss man irgendwie daf\u00fcr sorgen, dass am Ende eine einheitliche Schreibweise vorliegt.<\/p>\n\n\n\n\n
M\u00f6chte man einen \u201eBatch\u201c an Daten interaktiv bereinigen, ist die Open Source-Software OpenRefine<\/a> ein tolles Werkzeug; ihre \u201eReconcile\u201c-Funktion schl\u00e4gt mithilfe von Wikidata<\/a> passende Ersetzungen vor. Solche \u201eReconciliation Services\u201c kann man auch aus der eigenen Anwendung per API aufrufen. Weil in meinem Fall aber laufend neue potentiell \u201eunsaubere\u201c Daten eintreffen, die vollautomatisch und performant (ohne API-Aufruf) bereinigt werden sollen, w\u00e4hle ich hier einen anderen Ansatz und setze auf \u201eSuchen und Ersetzen\u201c auf Basis einer statischen Liste.<\/p>\n\n\n\n\n \u201eSuchen und Ersetzen\u201c an sich ist technisch trivial. Spannend ist die Frage, wie ich an die Liste der zu ersetzenden Schreibweisen komme. Was bisher alles so eingegeben wurde, sehe ich zwar in den mir vorliegenden Daten. Aber die Zuordnung \u2013 dass \u201eSverige\u201c durch \u201eSchweden\u201c ersetzt werden sollte und \u201e\u0423\u043a\u0440\u0430\u0457\u043d\u0430\u201c durch \u201eUkraine\u201c \u2013 m\u00f6chte ich nicht von Hand f\u00fcr Hunderte von L\u00e4ndern definieren.<\/p>\n\n\n\n\n Als L\u00f6sung bietet sich \u201eLinked Open Data\u201c an: \u00f6ffentliche maschinenlesbare Datensammlungen wie Wikidata<\/a>, GeoNames<\/a> oder die Gemeinsame Normdatei<\/a> (GND) der Deutschen Nationalbibliothek. Die drei genannten enthalten jeweils Datens\u00e4tze zu L\u00e4ndern, siehe z. B. \u201eSweden\u201c bei Wikidata<\/a>, \u201eSchweden\u201c in der GND<\/a> und \u201eKingdom of Sweden\u201c bei GeoNames<\/a>. (Eine Auflistung vieler weiterer Ressourcen findet sich in Using Public Taxonomies<\/a> von Kurt Cagle.)<\/p>\n\n\n\n\n Ich m\u00f6chte die \u201eamtliche\u201c deutsche Schreibweise verwenden und entscheide mich deshalb f\u00fcr die L\u00e4ndercodes der GND<\/a>: \u201eSchweden\u201c hat dort z. B. die ID (URI) Leider enth\u00e4lt die GND au\u00dfer dem deutschen und englischen Namen keine alternativen Schreibweisen f\u00fcr ein Land. Die sind daf\u00fcr reichlich in Wikidata vorhanden: der Name in der Landessprache, ISO-L\u00e4ndercodes, Kfz-L\u00e4nderkennzeichen usw. Weil Wikidata auch die GND-ID kennt, lassen sich beide Datenquellen kombinieren.<\/p>\n\n\n\n\n (Feinheiten ignoriere ich hier, sie sind aber auch interessant: Je nach Anwendungsfall meint \u201eL\u00e4nder\u201c vielleicht ausschlie\u00dflich \u201esouver\u00e4ne Staaten\u201c, was z. B. Puerto Rico ausschlie\u00dfen w\u00fcrde, oder sogar nicht mehr existierende wie die DDR.)<\/p>\n\n\n\n\n Bei \u201eLinked Open Data\u201c ist RDF<\/a> das Standard-Datenmodell. Sowohl GND als auch Wikidata ver\u00f6ffentlichen die Datens\u00e4tze als RDF, u. a. im Turtle-Format<\/a>. Allerdings nutzen sie nicht dasselbe Vokabular (Klassen- und Feldnamen). Um die von mir gew\u00fcnschte Liste mit L\u00e4nderschreibweisen zu erstellen, muss ich die \u00f6ffentlichen Daten filtern, umwandeln und kombinieren.<\/p>\n\n\n\n\n Daf\u00fcr ist keine Programmierung notwendig; am einfachsten geht das in einer RDF-Datenbank (\u201eTriplestore\u201c) mit der Abfragesprache SPARQL<\/a>. Diese Datenbank brauche ich nur vor\u00fcbergehend: Sobald die statische Liste fertig ist, kann ich sie wieder abschalten. Ich verwende daf\u00fcr die kostenlose GraphDB von Ontotext<\/a>.<\/p>\n\n\n\n\n Und ich muss mich f\u00fcr ein Vokabular entscheiden. Die von Wikidata und GND scheinen mir nicht so passend, besser lesbar finde ich Schema.org<\/a>, dort gibt es bereits einen Typ Bei GND und Wikidata funktioniert der Import unterschiedlich: <\/p>\n\n\n\n\nLinked Open Data<\/h3>\n\n\n\n
https:\/\/d-nb.info\/gnd\/4077258-5<\/code>. Die ID bleibt stabil, auch falls die Schweden sich mal entscheiden sollten, ihr Land umzubenennen\u2026<\/p>\n\n\n\n\nLokaler RDF Triplestore<\/h3>\n\n\n\n
Country<\/code><\/a> mit den Properties name<\/code> und alternateName<\/code>.<\/p>\n\n\n\n\nDaten importieren und umwandeln<\/h3>\n\n\n\n