Datenmanagement & Engineering-Data-Management

„Datenmanagement“ oder „Datenverwaltung“ umfasst die Erfassung, Speicherung, Organisation, Pflege und effiziente und sichere Nutzung von Daten durch eine Organisation. Dazu gehören verschiedene Prozesse, Richtlinien und Technologien, die die Genauigkeit, Verfügbarkeit und Zugänglichkeit von Daten gewährleisten und gleichzeitig die Integrität und Sicherheit der Daten schützen. Ein effektives Datenmanagement ermöglicht es Unternehmen, wertvolle Erkenntnisse aus ihren Daten zu gewinnen, fundierte Entscheidungen zu treffen, die Einhaltung gesetzlicher Vorschriften zu gewährleisten und die allgemeine betriebliche Effizienz zu steigern. In der heutigen datengesteuerten Welt ist Datenmanagement unerlässlich, um das Potenzial von Daten als strategische Ressource zu maximieren.

Doch warum ist Datenmanagement heute so wichtig? Antwort: Digitalisierung. Moderne Produktions- und Logistikumgebungen beispielsweise werden immer komplexer und erzeugen enorme Datenmengen. Teil dieser digitalen Revolution ist der zunehmende Einsatz von IoT-Technologien und -Geräten im Rahmen von Industrie 4.0. Im Kontext des Industrial Internet of Things (IIoT) und Industrie 4.0 ist ein effizientes IoT-Datenmanagement wichtig, um das volle Potenzial vernetzter Geräte und intelligenter Systeme auszuschöpfen. Vor Ort installierte Datenmanagementsysteme werden durch Cloud-Plattformen ersetzt, die das IoT-Data-Processing in Echtzeit übernehmen.

Der Erfolg eines Datenmanagementsystems in einem Unternehmen hängt von der Datenarchitektur ab. Eine Datenarchitektur bezieht sich auf den umfassenden Rahmen, der definiert, wie Daten in einem Unternehmen erfasst, gespeichert, integriert und verwaltet werden. Sie definiert auch die grundlegende Datenumgebung für erweiterte Analysen und Business Intelligence (BI).

Zu den Hauptkomponenten einer Datenarchitektur gehören Datenmodelle (konzeptionell, logisch und physisch), Datenspeicherlösungen, Datenintegrationsprozesse, Metadatenmanagement, Data Governance, Datensicherheit und Datenqualitätsmanagement. Im folgenden Abschnitt werden die Hauptkomponenten einer Datenarchitektur und der Datenmanagementprozess erläutert.

Die erste Phase des Datenmanagement-Lebenszyklus umfasst die Datenerfassung, die Datensammlung und die Datenverarbeitung. Rohdaten werden aus Datenquellen erfasst und gesammelt. Beispiele für Datenquellen sind IoT-Geräte, Web-Application-Programming-Interfaces (APIs), mobile Anwendungen, Umfragen und Formulare. Im nächsten Schritt werden die Daten automatisiert verarbeitet. Dazu werden häufig Datenintegrationstechniken wie Extract, Transform, Load (ETL) und Extract, Load, Transform (ELT) eingesetzt.

ETL ist die Standardmethode für die Integration und Organisation von Daten aus verschiedenen Datensätzen. Andererseits wird ELT aufgrund der zunehmenden Nutzung von Cloud-Datenplattformen, die Echtzeitdaten erfordern, immer beliebter. Bei der Datenverarbeitung werden die Daten je nach Anwendung und Zweck entweder gefiltert, zusammengeführt oder aggregiert. Die aufbereiteten Daten werden dann beispielsweise in Business Intelligence-Plattformen oder in Algorithmen des maschinellen Lernens für prädiktive Analysen eingespeist.

Je nach Art und Zweck der Daten kann die Datenspeicherung vor oder nach der Datenverarbeitung erfolgen. Für die Datenspeicherung werden Datenhaltungssysteme wie Data Warehouses und Data Lakes verwendet.

Ein Data Lake ist ein zentraler Speicher für große Mengen unstrukturierter (z. B. Audiodateien oder Bilder), semistrukturierter (z. B. Webseiten oder XML-Dateien) und strukturierter Daten (z. B. Excel- oder Datenbanktabellen) aus verschiedenen Quellen. Sie sind hoch skalierbar und ermöglichen es, Daten in ihrem ursprünglichen Format zu speichern, bis sie für die Analyse benötigt werden. Data Lakes werden daher zur Speicherung von Daten vor der Datenverarbeitung für die Analyse (ELT) verwendet. Beispiele für Data Lakes sind Amazon S3, Microsoft Azure Data Lake Storage, Google Cloud Storage und Apache Hadoop.

Ein Data Warehouse ist ein zentraler Speicher, in dem strukturierte Daten mit vordefinierten Schemata aus verschiedenen Quellen gespeichert werden. Das Data Warehouse ist für Abfragen und Analysen optimiert und somit ein integraler Bestandteil von Business Intelligence- und Berichterstattungsprozessen. Data Warehousing wird nach der Datenverarbeitung (ETL) eingesetzt.

Data Governance ist ein komplexes Rahmenwerk, das die Festlegung von Richtlinien, Verfahren und Standards für die Sammlung, Speicherung, den Zugriff und die gemeinsame Nutzung von Daten umfasst. Data-Governance-Teams weisen bestimmte Rollen zu, z. B. Datenverwalter, um die Qualität und Integrität der Daten zu gewährleisten. Auf diese Weise wird der Zugriff auf die Daten auf die berechtigten Personen beschränkt, was für die Wahrung des Datenschutzes von entscheidender Bedeutung ist. Das Data-Governance-Framework erleichtert die Datenintegration, verbessert die Genauigkeit und gewährleistet die Einhaltung der Vorschriften. Gleichzeitig werden robuste Sicherheitsmaßnahmen zum Schutz vor unberechtigtem Zugriff und Verstößen implementiert.

Fazit: Data Governance maximiert den Wert von Datenbeständen, indem sie der Datenqualität, der Datensicherheit und dem Datenschutz Priorität einräumt.

Datensicherheit bezieht sich auf die Maßnahmen und Technologien, die eingesetzt werden, um Daten vor unbefugtem Zugriff, Verstößen, Beschädigung oder Diebstahl zu schützen. Sie umfasst eine Reihe von Maßnahmen und Authentifizierungslösungen wie Verschlüsselung, Zugangskontrollen, Authentifizierungsprotokolle und regelmäßige Sicherheitsprüfungen, um sicherzustellen, dass sensible Informationen vertraulich und unversehrt bleiben und nur autorisierten Benutzern zugänglich sind.

Datensicherheitsstrategien werden eingesetzt, um Sicherheitsvorfälle zu erkennen und darauf zu reagieren. Diese Strategien gewährleisten auch die Einhaltung rechtlicher und behördlicher Datenschutzanforderungen.

Engineering Data Management (EDM) ist eine Form des Datenmanagements. Es bezieht sich auf den systematischen Ansatz zur Verwaltung von Daten, die während des gesamten Lebenszyklus eines Produkts oder Projekts erzeugt und verwendet werden.
Dies umfasst die Erfassung, Speicherung, Organisation, Integration, Analyse und Pflege von technischen Daten im Zusammenhang mit Konstruktions-, Entwicklungs-, Produktions- und Instandhaltungsaktivitäten. Diese Prozesse gewährleisten die Qualität, Zugänglichkeit, Sicherheit und Verwendbarkeit der Daten.

Technische Daten beziehen sich auf alle Informationen, die während des Lebenszyklus von technischen Projekten und Produkten erzeugt, verwendet und gepflegt werden. Dazu gehören beispielsweise Konstruktionsdaten wie CAD-Modelle (Computer Aided Drawing) und technische Spezifikationen, Simulations- und Analysedaten wie Finite-Elemente-Analysen (FEA) und CFD-Modelle (Computational Fluid Dynamics), Wartungs- und Betriebsdaten, IoT-Daten, Dokumentationen zur Einhaltung gesetzlicher Vorschriften und Produktionsdaten.

EDM ist wichtig für Unternehmen in Branchen, in denen komplexe technische Daten effizient verwaltet werden müssen. Dazu gehören beispielsweise die Luft- und Raumfahrt und die Verteidigungsindustrie, aber auch die Digitalisierung in der Automobilindustrie, die Digitalisierung in Industrie und Fertigung sowie die Digitalisierung in der Bauindustrie. Ziel ist es, die Datenintegrität und -genauigkeit zu gewährleisten, die Zusammenarbeit zwischen den Beteiligten zu verbessern, die Einhaltung von Vorschriften zu erleichtern und Ingenieure, Konstrukteure und andere Beteiligte bei der Entscheidungsfindung zu unterstützen. EDM ist für den Erfolg komplexer technischer Projekte unerlässlich.

Das IIoT erfordert die Integration verschiedener Systeme und Geräte. Um Interoperabilität und Datenkonsistenz über verschiedene Plattformen und Technologien hinweg zu gewährleisten, ist ein umfassender Ansatz für das Datenmanagement erforderlich. Die Open Platform Communications Unified Architecture (OPC UA) spielt dabei eine wichtige Rolle. Wofür ist OPC UA gut?

OPC UA ist ein wesentlicher Bestandteil des modernen Datenmanagements in industriellen Umgebungen, da es standardisierte, sichere und skalierbare Kommunikationsprotokolle bereitstellt. OPC UA bietet eine gemeinsame Sprache für den Datenaustausch und ermöglicht, Daten aus unterschiedlichen Quellen in ein einheitliches Datenmanagementsystem zu integrieren. Dadurch wird sichergestellt, dass Daten aus unterschiedlichen Geräten und Systemen einheitlich aggregiert, verarbeitet und analysiert werden können.

Echtzeitdaten sind entscheidend für die Überwachung des Betriebs, Predictive Maintenance und die sofortige Entscheidungsfindung. OPC UA ermöglicht die Erfassung und Übertragung von Echtzeitdaten und stellt sicher, dass Datenmanagementsysteme Zugriff auf die aktuellsten Informationen für Analysen und Maßnahmen haben.

Ein weiterer wichtiger Aspekt des Datenmanagements ist die Sicherheit. OPC UA besteht aus zwei Schichten: Der Kommunikationsschicht und der Anwendungsschicht. Beide Schichten verfügen über integrierte Sicherheitsmechanismen und -funktionen. Die Kommunikationsschicht verwendet Verschlüsselung, digitale Zertifikate und Signaturen, um einen sicheren Kanal zwischen Server und Client aufzubauen. In der Anwendungsschicht werden die Benutzer authentifiziert und verifiziert. Die Sicherheitsfunktionen von OPC UA helfen, die Datenverteilung zu sichern und die Integrität und Vertraulichkeit der Daten zu gewährleisten. Dies ist für den Schutz sensibler Industriedaten und die Einhaltung gesetzlicher Vorschriften unerlässlich.

Skalierbarkeit ist für Datenmanagementsysteme wichtig, um wachsende Datenmengen und erweiterte industrielle Netzwerke zu bewältigen. OPC UA ist sowohl flexibel als auch skalierbar. Dadurch wird sichergestellt, dass Datenmanagementsysteme mit der zunehmenden Komplexität und Größe industrieller Prozesse mitwachsen können.

Ein umfassendes Datenmanagementsystem umfasst verschiedene Hardware- und Softwareprodukte für die effiziente Erfassung, Speicherung, Verarbeitung, Integration und Analyse von Daten.

Hardware

Datenerfassungs- und -sammlungsgeräte wie IoT-Sensoren werden zur Erfassung von Rohdaten benötigt. Leistungsstarke Server sind wichtig für Datenmanagementsysteme. Diese Server übernehmen die Verwaltung von Datenbanken, Verarbeitungsaufgaben und Speicheroperationen und gewährleisten eine zuverlässige Leistung und Betriebszeit für kritische Anwendungen.

Storage Area Networks (SAN) und Network Attached Storage (NAS) Systeme bieten skalierbare Datenspeicherlösungen. SAN bietet Hochgeschwindigkeitsnetzwerkspeicher für große Umgebungen, während NAS Dateispeicherlösungen bereitstellt, die sich ideal für die gemeinsame Nutzung kleinerer Datenmengen und für Backup-Anforderungen eignen.

Solid State Drives (SSDs) und Hard Disk Drives (HDDs) bieten verschiedene Speicheroptionen. SSDs bieten einen schnelleren Datenzugriff und eine längere Lebensdauer. HDDs bieten größere Speicherkapazitäten zu geringeren Kosten und eignen sich für unterschiedliche Anforderungen an die Datenspeicherung.

Router, Switches und drahtlose Zugangspunkte sind erforderlich, um die Netzwerkinfrastruktur zu schaffen, die die Datenübertragung und Konnektivität unterstützt. Diese Geräte gewährleisten eine effiziente und sichere Kommunikation zwischen den Komponenten der Datenverwaltung.

Software

Software für das Datenmanagement kann als eigenständiges Werkzeug arbeiten oder in eine einheitliche Plattform integriert sein. Die wichtigsten Arten von Datenmanagement-Software und -Werkzeugen sind nachstehend aufgeführt.

Datenbankmanagementsysteme (DBMS) bieten robuste Plattformen für die Speicherung und Verwaltung strukturierter und unstrukturierter Daten und gewährleisten die Integrität und Zugänglichkeit der Daten. Datenaustauschsoftware wird eingesetzt, um große Informationsmengen sicher und effizient zwischen verschiedenen Systemen und Nutzern zu übertragen.

Master-Data-Management-Tools (MDM) sind Softwareanwendungen, die für die Pflege einer Stammdatenquelle in einem Unternehmen konzipiert sind.

ETL- und ELT-Tools werden für die Datenverarbeitung benötigt. Sie extrahieren, transformieren und laden Daten aus verschiedenen Quellen in Data Warehouses und Data Lakes. Datenanalyse- und Business Intelligence (BI)-Werkzeuge ermöglichen die Visualisierung, das Reporting und die Analyse von Daten. Plattformen für Datenwissenschaft und maschinelles Lernen bieten Werkzeuge und Umgebungen für die Entwicklung und Anwendung von Modellen für Datenwissenschaft und maschinelles Lernen. Diese Lösungen werden für fortgeschrittene Analysen und prädiktive Modellierung eingesetzt.

Data Warehouses und Data Lakes sind Plattformen für die Datenspeicherung. Cloud-Speicher- und Computing-Plattformen bieten ebenfalls skalierbare und flexible Lösungen für die Speicherung, Verarbeitung und Verwaltung von Daten. Diese Plattformen bieten verschiedene Dienste und Werkzeuge für die Verarbeitung großer Datenmengen in der Cloud.

Tools für das Data Governance- und Metadatenmanagement werden benötigt, um einen Rahmen für die Festlegung von Richtlinien, Rollen und Verantwortlichkeiten im Zusammenhang mit der Datenverwaltung zu schaffen. Datenqualitätswerkzeuge erstellen Profile, bereinigen und reichern Daten an. Diese Tools tragen zur Aufrechterhaltung einer hohen Datenqualität bei und stellen sicher, dass die Daten korrekt, vollständig und zuverlässig sind.

Datensicherheitssoftware schützt Daten vor unberechtigtem Zugriff, Verstößen und anderen Sicherheitsbedrohungen. Diese Lösungen helfen, den Datenschutz und die Einhaltung gesetzlicher Vorschriften zu gewährleisten. Tools zur Datensicherung und -wiederherstellung stellen sicher, dass Daten regelmäßig gesichert und im Falle von Datenverlust oder -beschädigung schnell wiederhergestellt werden können.

Datenmanagement ist ein Thema, das immer mehr an Bedeutung gewinnt. Laut einem Bericht der Marktforschungsplattform „Gitnux“ geben 95 Prozent der befragten CEOs an, dass Datenmanagement und -analyse entscheidend für das Unternehmenswachstum sind. 73 Prozent der befragten Unternehmen investieren in Big Data, um wettbewerbsfähig zu bleiben. Mehr als 80 Prozent der befragten CEOs geben an, dass die Verwaltung des Datenmanagements in den nächsten fünf Jahren sehr wichtig sein wird.

Es wird erwartet, dass der Markt für Data Governance-Tools zwischen 2020 und 2028 um 22 Prozent wachsen wird. Bis 2025 werden 67 Prozent aller Datenmanagementaufgaben durch maschinelles Lernen und KI in Unternehmen automatisiert sein.

Mit der zunehmenden Verbreitung von IoT-Geräten in allen Branchen hat die Datenerzeugung durch Sensoren und eingebettete Systeme exponentiell zugenommen. Diese Geräte erzeugen kontinuierlich eine große Menge an Daten, darunter Leistungsindikatoren, Umgebungsbedingungen und Betriebszustände. Geeignete Datenmanagementsysteme bieten die notwendige Infrastruktur, um diesen massiven Datenstrom effizient zu erfassen, zu speichern und zu organisieren. Die Rolle von OPC UA wird immer wichtiger, um einen nahtlosen Datenaustausch und Interoperabilität zu gewährleisten.

Die folgenden Praxisbeispiele zeigen, wie OPC UA zum Datenmanagement in verschiedenen Branchen beigetragen hat, z. B. in der Luft- und Raumfahrt, in der Produktion und bei der Digitalisierung der Energiewirtschaft.

Die Zukunft des Datenmanagements entwickelt sich rasant, angetrieben durch technologische Fortschritte, wachsende Datenmengen und die zunehmende Notwendigkeit für Unternehmen, Daten für strategische Zwecke zu nutzen.

Unternehmen suchen nach flexibleren, skalierbareren und kostengünstigeren Lösungen für die Verarbeitung und Verwaltung von Daten. In diesem Zusammenhang wird das Cloud-basierte Datenmanagement immer beliebter. Es ermöglicht die Anpassung der Datenspeicherung und -verarbeitung in Echtzeit. Vor Ort installierte Datenverwaltungssysteme und -zentren werden durch Cloud-Plattformen ersetzt.

Neue Technologien wie Data Fabrics sind auf dem Vormarsch. Data Fabrics sind vereinheitlichte Architekturen, die intelligente automatisierte Systeme nutzen, um die End-to-End-Integration von Cloud-Umgebungen und Datenpipelines zu vereinfachen. Das Aufkommen und die Entwicklung dieser Technologien werden es den Unternehmen ermöglichen, einen umfassenderen Überblick über die Unternehmensleistung zu erhalten. Dies wird beispielsweise ein besseres Verständnis des Verbraucherverhaltens ermöglichen.

Auch künstliche Intelligenz (KI) und maschinelles Lernen (ML) gewinnen im Datenmanagement an Bedeutung. Unternehmen nutzen diese Technologien, um Datensätze zu analysieren und Muster zu erkennen. Angesichts wachsender Datenmengen und eines Mangels an Data-Science-Spezialisten gewinnt zudem die Entwicklung automatisierter Datenaufbereitung an Bedeutung. Softwareanbieter nutzen KI und maschinelles Lernen, um die Datenbereinigung und -aufbereitung zu automatisieren.

Es gibt fünf zentrale Herausforderungen, denen sich Unternehmen stellen müssen, um ein effektives Datenmanagementsystem zu implementieren.

Unternehmen müssen in der Lage sein, sensible Daten vor Cyberangriffen und Datenschutzverletzungen zu schützen. Datenschutzbestimmungen wie CCPA, GDPR und der Data Protection & Privacy Act müssen eingehalten werden.

Es ist auch sehr wichtig, eine hohe Datenqualität zu gewährleisten. Inkonsistente, unvollständige oder ungenaue Daten können zu fehlerhaften Analysen führen. Dies begünstigt eine schlechte Entscheidungsfindung.

Die Integration von Daten aus verschiedenen Quellen und Systemen kann durch Datensilos behindert werden, bei denen Informationen in isolierten Repositories ohne einfachen Zugang oder Interoperabilität gespeichert sind. Unterschiedliche Datenformate, -strukturen und -standards in verschiedenen Systemen erschweren die Integration und können umfangreiche Datentransformationen und -abgleiche erforderlich machen.

Die effiziente Verwaltung und Speicherung großer Datenmengen erfordert skalierbare Speicherlösungen, eine robuste Infrastruktur und optimierte Datenverarbeitungsalgorithmen. Die Gewährleistung einer optimalen Performance bei der Datenverarbeitung, -analyse und -abfrage wird mit zunehmender Datenmenge immer schwieriger. Dies erfordert effiziente Techniken für Indizierung, Caching und Abfrageoptimierung. Die Skalierung der Infrastruktur zur Bewältigung wachsender Datenmengen bei gleichzeitiger Berücksichtigung von Kostenaspekten erfordert eine sorgfältige Planung und Optimierung, um eine Über- oder Unterauslastung der Ressourcen zu vermeiden.

Die Einhaltung der sich ständig weiterentwickelnden Daten- und Datenschutzgesetze stellt eine Herausforderung dar: Die gesetzlichen Anforderungen müssen verstanden und interpretiert werden und die internen Richtlinien und Verfahren müssen entsprechend angepasst werden. Die Klärung von Dateneigentum und -verantwortung innerhalb von Organisationen kann eine Herausforderung darstellen, insbesondere in dezentralisierten Umgebungen oder beim Umgang mit Datenquellen Dritter.

Der Mangel an Datenspezialisten und -experten, die steigende Nachfrage nach Datensicherheit und Compliance sowie der Bedarf an optimierter Datenintegration haben zu neuen Trends im Datenmanagement geführt. Das Datenmanagement der Zukunft umfasst hybride Cloud-Plattformen, Metadatenmanagement und Low-Code/No-Code-Plattformen.

Hybride Cloud-Plattformen werden in Branchen immer beliebter, in denen mit sensiblen Daten gearbeitet wird und in denen strenge Vorschriften gelten, z. B. im Gesundheitswesen und in der Pharmaindustrie, im Energiesektor und im öffentlichen Sektor. Hybride Cloud-Plattformen integrieren die Funktionen öffentlicher Clouds mit der Sicherheit und Kontrolle privater Clouds. Sie werden zu idealen Lösungen, die maßgeschneiderte Strategien für die Datenspeicherung und -verwaltung erfordern.

Metadaten sind Daten, die Informationen über andere Daten liefern, z. B. über deren Inhalt, Herkunft, Struktur oder Verwendung. Da die Datenökosysteme immer komplexer werden, wird die richtige Verwaltung von Metadaten immer wichtiger. Ein effizientes Metadaten-Framework hilft Datenwissenschaftlern und -analysten, relevante Datensätze zu verstehen. Im Bereich des maschinellen Lernens und der KI spielen Metadaten eine entscheidende Rolle für die Nachvollziehbarkeit und Transparenz von KI-Entscheidungen.

Low-Code/No-Code-Plattformen entwickeln sich zu einem Trend in der Softwareentwicklung im Zusammenhang mit Datenintegration, Analytik und Zugänglichkeit. Diese Plattformen ermöglichen es Personen mit geringen oder keinen technischen Kenntnissen, Datenintegrations-Workflows zu entwerfen und zu implementieren.

Diese Werkzeuge spielen eine entscheidende Rolle bei der Verknüpfung verschiedener Datenquellen. Sie wandeln Datenformate um und werden für die Entwicklung datengetriebener Anwendungen eingesetzt. Dieser Trend hat sich als Reaktion auf den aktuellen Mangel an Datenwissenschaftlern und Datenexperten entwickelt.