Hybrid Pipelines

  • Übersicht
  • Beschreibung
  • Deliverables
  • Kontakt

Das Teilprojekt “Hybrid Pipelines” hatte ursprünglich die Weiterentwicklung der Applikation SpacyApp als flexible hybride Annotationspipeline zum Ziel. Eingehende Recherche hat allerdings ergeben, dass ähnliche Funktionalitäten von bereits bestehenden Lösungen (z.B.: INCEpTION, CATMA, Arborator) angeboten werden.

In Folge richtete sich der Fokus des Teilprojektes verstärkt auf die Wiederverwendbarkeit (Reusability) und bessere Nachvollziehbarkeit von Workflows und flexiblen Pipelines – zentrale Themen, welche auch in den Infrastruktur-Projekten CLS INFRA, ATRIUM und OSCARS weiterentwickelt und vorangetrieben werden.

In Zusammenarbeit mit dem Projekt CLS INFRA wurde ein neues Konzept für die Erstellung und Definition von Pipelines mit dem Fokus auf Wiederverwendbarkeit entwickelt: VELD – Versioned Executable Logic and Data – ist ein Ansatz, der es mit Hilfe von vorhandenen weit verbreiteten Technologien (docker und git) ermöglicht, flexible Pipelines zu definieren, sie unverändert, oder angepasst in unterschiedlichen technischen Umgebungen auszuführen und alle Aspekte nachvollziehbar zu protokollieren. Diese Pipelines werden aus einfachen Komponenten zusammengesetzt, die entweder Daten oder Funktionalität bereitstellen. Das Konzept wurde durch eine prototypische Referenzimplementierung auf Umsetzbarkeit hin geprüft. In dieser wurden zahlreiche NLP-Pipelines mit verschiedenen historischen Texten als Beispieldaten definiert.

oeaw

Projekte

Erkunden Sie die Teilprojekte.

Projektnetzwerk

Loading...