Data Preparation / ETL

Data Preparation – also die Sammlung, Bereinigung, Aufbereitung und Bereitstellung von unterschiedlichen, aber konsistenten Daten in ein definiertes Format – ist der erste Schritt beim Aufbau von Big Data Systemen. Und zwar unabhängig davon, ob es sich um ein cloudbasiertes System oder eine On-Premise-Lösung handelt.

Erforderlich ist die Data Preparation ebenfalls bei Datenmigrationen und -konsolidierungen im Zuge von Modernisierungsmaßnahmen oder Unternehmensübergängen.

Der „klassische“ Ansatz für die Data Preparation ist das sog. ETL (Extract – Transfer – Load), der heute durch ETL-Suiten verschiedener Hersteller unterstützt wird. Die hier integrierten Zusatzkomponenten decken fast alle Aspekte und Situationen ab.

Allerdings ist der für Data Preparation / ETL notwendige Aufwand in den meisten Projekten als sehr hoch anzusehen, da hier weniger die Umsetzung als vielmehr die Definition von Datenbeschreibungen und notwendigen Datentransformationen Aufwandstreiber sind. Notwendig sind zahlreiche Abstimmungen zwischen IT und Fachbereich. Daher zählt im Umfeld von ETL nicht nur Umsetzungskompetenz, sondern vor allem Kompetenz in den Themen der Data Governance.

Wir unterstützen unsere Kunden bei Data Preparation / ETL durch die langjährige Kompetenz der gesamten infologistix-Mannschaft in den wichtigsten ETL-Suiten von IBM, Informatica und Pentaho.

Unsere Toolkits stellen dabei eine wichtige Säule dar, um in neuen Projekten schnell Klarheit zu schaffen – auch durch die Verwendung unserer „Health Checks“.

Typische Aufgabengebiete für die Unterstützung sind zudem Konzeptionierung, Realisierung, Betriebseinführung, Betrieb, Design und Architektur von komplexen Data Preparation / ETL-Prozessen.