Schlagwort-Archive: Digitalisierung

OCR zur Vorbereitung Digitaler Editionen

Beitrag von Elisa Herrmann (HAB)

Ein beträchtlicher Teil des im deutschen Sprachraum erschienenen schriftlichen kulturellen Erbes ist in mehreren, durch die DFG geförderten Kampagnen digitalisiert und in VD16, VD 17 und VD 18 nachgewiesen worden. Auch wenn damit viel erreicht und die Forschungsbedingungen erheblich verbessert wurden, ist dies doch nur erst eine unabdingbare Voraussetzung für den zweiten Schritt: die vollständige Umwandlung der Images in eine maschinenlesbare Form. Das gesamte schriftliche Kulturerbe als Volltext für Recherche und weitere Bearbeitung, etwa für digitale Editionen zur Verfügung zu stellen ist nicht nur eine verwegene Vision, sondern angesichts der jüngsten technischen Entwicklungen im Bereich OCR  ein realistisches Szenario.

Vom Bild zum Text – Der OCR-Prozess

Der OCR-Prozess beginnt bereits einige Schritte vor der eigentlichen Texterkennung. Zunächst wird das Bilddigitalisat im Preprocessing vorbereitet. Prozessschritte können dabei das Zuschneiden (Cropping), das Begradigen (Deskewing) und Entzerren (Dewarping) der Seiten sowie das automatische Bereinigen (Despeckling) sein. Das Preprocessing wird meist durch die Binarisierung abgeschlossen. Zu beachten ist, dass je nach Material und verwendeter Texterkennungsmethode auf einzelne Schritte des Preprocessings verzichtet werden kann.

So vorbereitet kann eine erste Layout-Erkennung durchgeführt werden. Die Seite wird dabei in Text- und Nicht-Textzonen und weiter bis auf einzelne Zeilen unterteilt. Dabei können die einzelnen Schritte des Preprocessing nochmals auf Absatz- und/oder Zeilenebene wiederholt werden. Größere Herausforderungen sind hier komplexe Layouts, etwa durch mehrspaltige Texte und Marginalien, aber auch Schmuckinitialen werden oftmals als Grafik und damit als Nicht-Text-Zone klassifiziert.

Dem folgt die eigentliche Texterkennung mittels OCR-Software. Sind derzeit vor allem noch klassische Verfahren der Optical Character Recognition bei vielen Digitalisierungsvorhaben verbreitet, drängen neuere Ansätze mittels Neuronalen Netzen stärker in den Fokus, deren Praxistauglichkeit für Massenprozessierungen es noch zu prüfen gilt. Eine Schwierigkeit der Texterkennung stellt vor allem der Schriftypen- und Sprachmix, teilweise auf Wortebene, dar.

Vergleich der Software Tesseract mit den klassischen Verfahren und OCRopus, die bereits modernere Ansätze verfolgt.

Nun kann als weiterer Schritt der Layout-Erkennung die Region Classification erfolgen. Dabei werden die layout-semantischen Funktion der einzelnen Textregionen, etwa Überschrift, Seitenzahl oder Marginalie, bestimmt. Dies ermöglicht auch die automatische Document Analysis mit deren Hilfe die Dokumentenstruktur aus den zuvor erkannten Strukturelementen erfasst wird um bspw. automatisch Inhaltsverzeichnisse zu generieren.

Da jedoch auch moderne Methoden bei historischen Vorlagen kaum eine gewünschte Qualität von >99% Textgenauigkeit erreichen, muss eine Nachkorrektur der OCR-Ergebnisse folgen. Die entsprechende Nachkorrektur kann manuell, etwa auch in Form von Crowdsourcing-Projekten, oder halbautomatisch mittels entsprechender Software durchgeführt werden. Solche Tools bieten die Möglichkeit potentiell falsch erkannte Wörter hervorzuheben und bieten ggf. mit Wörterbucheinträgen Vorschläge zur Korrektur an. Der Einsatz vollautomatischer Nachkorrekturverfahren wird auf Grund der uneinheitlichen Orthografie und zum Teil starker dialektaler Einflüsse in den historischen Materialien derzeit nicht in der Praxis angewandt.

Der korrigierte Text wird im finalen Schritt in die Langzeitarchivierung übergeben.

Das Projekt OCR-D

Der hier beschriebene OCR-Prozess wird bereits in dieser oder ähnlicher Form in vielen Digitalisierungsvorhaben für die Erstellung von Volltexten eingesetzt. In den letzten Jahren haben sich zudem diverse Herausforderungen der OCR für historische Drucke durch aktuelle Forschungsentwicklungen und innovative Ansätze gelöst. Fraglich ist jedoch ob diese Methoden bereits reif für den Praxiseinsatz und die Massenprozessierung sind.

Die „Koordinierte Förderinitiative zur Weiterentwicklung von OCR-Verfahren“, kurz OCR-D, versucht hier einen Lückenschluss zwischen Forschung und Praxiseinsatz indem für die Entwicklungsbedarfe Lösungen erarbeitet und der aktuelle Forschungsstand zur OCR mit den Anforderungen aus der Praxis zusammen gebracht werden.

Das Projekt versteht sich dabei als Koordinierungsgremium und Netzwerk zugleich, bringt Entwickler, Forscher und Anwender zusammen um aktuelle Erkenntnisse aus der Forschung mit den Anforderungen aus der Praxis in einer praktikablen Lösung zu vereinen.

Das DFG-geförderte Projekt wird von der Herzog August Bibliothek Wolfenbüttel, der Berlin-Brandenburgischen Akademie der Wissenschaften in Berlin sowie der Staatsbibliothek zu Berlin – Preußischer Kulturbesitz und dem Karlsruher Institut für Technologie betreut. In der ersten Projektphase wurden (Entwicklungs-)Bedarfe analysiert, die in der zweiten Projektphase durch Modulprojekte umgesetzt werden.

Für zukünftige Digitalisierungsprojekte haben die Ergebnisse aus OCR-D weitreichende Veränderungen. Zum einen soll die Transformation der Titel aus den VD-Projekten in maschinenlesbare Form vorbereitet werden, zum anderen werden auch Vorschläge für die Aktualisierung der DFG-Praxisregeln „Digitalisierung“ auf Grundlage der neuen Erkenntnisse erarbeitet, nicht zuletzt um im Geiste europäischer und nationaler Agenden die Medienkonversion des gesamten im deutschen Sprachraum erschienenen schriftlichen kulturellen Erbes mittel- bis langfristig zu vollenden.

Für weitere Einstiege in das Thema führt OCR-D eine Zotero-Liste für den Technology Watch: https://www.zotero.org/groups/ocr-d

 

Zitierempfehlung: Elisa Herrmann: OCR zur Vorbereitung Digitaler Editionen. In: Ex officina Seleni: aus der Werkstatt der Herzog August Bibliothek Wolfenbüttel. Blog der Arbeitsgemeinschaft Digitale Editionen. 29. Juni 2017. https://eos.hypotheses.org/229.