Das Ziel der Arbeit ist es, einen Überblick über die Bereiche Datenbanken, Data Warehouse, APIs, Datentransformation sowie Ausreißererkennung zu schaffen und deren Konzepte zu erläutern. Anschließend soll das erworbene Wissen auf einen Open Source Datensatz angewandt und mit Hilfe der Programmiersprache Python eine Ausreißererkennung durchgeführt werden.
In der Arbeit wird der Weg der Rohdaten aus einer Datenbank über die Datentransformation bis zur Ausreißererkennung erläutert, untersucht und an einem Datensatz angewandt. Als Erstes wird der Begriff der (Roh-)Daten nahegebracht und der Datensatz vorgestellt. Im darauf folgenden Kapitel wird das Konzept der Datenbanken, insbesondere des RDBMS, erläutert.
Anschließend wird der vorgestellte Datensatz in eine Datenbank eingespeist. Im Anschluss wird die Anbindung der Datenbank an ein Data Warehouse erläutert. Dieses Konzept wird vorgestellt und in der Praxis angewandt. In dem folgendem Kapitel wird auf das Data Warehouse zugegriffen. Nach dem Zugriff wird schließlich Ausreißererkennung mit Python durchgeführt.
Inhaltsverzeichnis
- Motivation und Zielsetzung.
- Motivation zur Bearbeitung der Projektarbeit.
- Schwerpunkte und Zielsetzung.......
- Untersuchung des Datensatzes..
- Begriff der Rohdaten .......
- Art der Datenverfügbarkeit...........
- Anwendungsbeispiel: Vorstellung der Rohdaten
- Transformation und Datenbanken
- Datenbanksysteme.
- Datenbanktypen.
- SQL Datenbanken
- Das Globale ER - Modell...
- Aufbau einer relationalen Datenbank.
- RDBMS und SQL.……...........
- Normalisierung.
- 1. Normalform.
- 2. Normalform
- 3. Normalform.
- Boyce Codd - Normalform.......
- Anwendungsbeispiel: Transformation der Rohdaten und Einspeisung in eine Datenbank ....
- Data Warehouse..
- Definition Data Warehouse
- DWH Architektur.
- ETL Prozesse.
- Erste Ebene Datenanbindung..
- Zweite Ebene - Datenverwaltung und -distribution
- Dritte Ebene Datenauswertung und -nutzung ...
- Datenschemata
- OLAP...
- Sternschema.....
- Schneeflockenschema...
- Anwendungsbeispiel: APIs und Einspeisen aus der Datenbank in das Data Warehouse.....
- APIS
- Laden der Daten in ein DWH
- Fazit
- Anwendungsbeispiel: Ausreißererkennung.
Zielsetzung und Themenschwerpunkte
Die vorliegende Arbeit befasst sich mit der Speicherung und Transformation von Rohdaten, beginnend mit ihrer Extraktion aus der Datenbank und endend mit der Anwendung von Ausreißererkennungstechniken. Ziel ist es, einen umfassenden Überblick über den gesamten Prozess der Datenverarbeitung zu geben und die dabei auftretenden Herausforderungen und Lösungsansätze zu beleuchten.
- Untersuchung von Rohdaten und deren Eigenschaften
- Datenbankkonzepte und deren Anwendung in der Praxis
- Data Warehouses als Plattform für die Datenanalyse
- Anwendungen von ETL-Prozessen zur Datenbereinigung und -transformation
- Ausreißererkennung als Werkzeug für die Datenqualitätssicherung
Zusammenfassung der Kapitel
- Das erste Kapitel der Arbeit beleuchtet die Motivation und Zielsetzung des Projekts. Es werden die relevanten Themengebiete eingeführt und die Forschungsziele definiert.
- Kapitel zwei widmet sich der Untersuchung des Datensatzes. Hier werden die Art und Verfügbarkeit der Rohdaten sowie ein Anwendungsbeispiel vorgestellt.
- Kapitel drei behandelt die Transformation von Rohdaten und deren Einspeisung in Datenbanken. Es werden verschiedene Datenbanktypen und -konzepte erläutert, darunter auch die Normalisierung von Daten.
- Kapitel vier fokussiert auf Data Warehouses als Plattform für die Datenanalyse. Es werden die Architektur, die ETL-Prozesse und verschiedene Datenschemata vorgestellt.
Schlüsselwörter
Rohdaten, Datenspeicherung, Datenbanksysteme, SQL, Normalisierung, Data Warehouse, ETL-Prozesse, Datenschemata, Ausreißererkennung
Häufig gestellte Fragen
Was ist der Weg der Rohdaten in der modernen Datenverarbeitung?
Daten wandern typischerweise von einer relationalen Datenbank (RDBMS) über ETL-Prozesse in ein Data Warehouse, wo sie für Analysen bereitgestellt werden.
Warum ist die Normalisierung von Datenbanken wichtig?
Die Normalisierung (z.B. 1. bis 3. Normalform) verhindert Datenredundanzen und Anomalien, was die Datenintegrität in SQL-Datenbanken sicherstellt.
Was sind ETL-Prozesse?
ETL steht für Extraktion, Transformation und Laden. Es beschreibt den Vorgang, Daten aus Quellen zu ziehen, sie zu bereinigen und in ein Zielsystem (DWH) zu speisen.
Was ist der Unterschied zwischen Sternschema und Schneeflockenschema?
Beide sind Datenschemata im Data Warehouse; das Sternschema ist einfacher strukturiert, während das Schneeflockenschema durch normalisierte Dimensionstabellen komplexer ist.
Wie funktioniert Ausreißererkennung mit Python?
Mit Bibliotheken wie Pandas oder Scikit-Learn können statistische Abweichungen in Datensätzen identifiziert werden, um die Datenqualität für Analysen zu sichern.
Welche Rolle spielen APIs beim Datentransfer?
APIs (Schnittstellen) ermöglichen den automatisierten Zugriff auf Datenbestände und den Austausch zwischen verschiedenen Systemen wie Datenbanken und Data Warehouses.
- Quote paper
- Georgy Khromov (Author), 2022, Datenspeicherung und -transformation. Der Weg der Rohdaten von der Datenbank bis zur Ausreißererkennung, Munich, GRIN Verlag, https://www.grin.com/document/1234529
