Diese Arbeit handelt von der Entwicklung von Big-Data-Anwendungen.
Trotz zahlreicher Definitionsversuche ist der Begriff Big Data noch nicht klar umschrieben und galt lange als Modeerscheinung. Möglicherweise ist das Thema Big Data gerade deshalb so populär wie nie zuvor. Zunehmend wird jedoch vergessen, dass Daten ohne einen konkreten Bezug zu einem Kontext wertlos sind. Erst die zielgerichtete Nutzung macht
aus Daten eine Information, die einen Nutzen oder Mehrwert generieren kann. Jeder hat Berührungspunkte mit Big Data, ob bewusst oder unbewusst. Das macht die Auseinandersetzung mit Big Data unausweichlich, sowohl für den öffentlichen
Sektor, Unternehmen oder Privatpersonen.
Ohne Daten von einzelnen Individuen ist aber eine Umsetzung solcher Berechnungen nicht möglich. Es müssen Daten aus sehr persönlichen Lebensbereichen jedes Einzelnen zur Verfügung stehen. Hier muss zugleich ein Schutz der Daten berücksichtigt werden und Regelungen für den Umgang, sowie die Verarbeitung der Daten vorliegen. Wenn diese rechtlichen Aspekte nicht berücksichtigt werden, kann es schnell zu Misstrauen oder Befürchtungen, sowie im schlimmsten Fall zu Datenmissbrauch kommen. Die Datenspeicherung alleine reicht nicht aus, um komplexe Probleme zu lösen und einen Mehrwert zu generieren.
Die notwendigen Werkzeuge/Anwendungen müssen vorhanden sein, um aus großen Datenmengen die jeweils gewünschte Information auszulesen. Die Entwicklung und der Einsatz von Big-Data-Anwendungen nimmt somit eine zentrale Rolle beim Thema Big Data ein und wird neben den notwendigen Daten zum Hauptantrieb der Entwicklung. Es ist absehbar, dass Big Data in Zukunft immer wichtiger für die Gesellschaft und Unternehmen sein wird. Dementsprechend wird deutlich, dass Big-Data-Anwendungen gebraucht werden, um gesellschaftliche wie auch wissenschaftliche Fortschritte voranzutreiben. Angesichts der Notwendigkeit von Big-Data-Anwendungen ist es entscheidend welche Eigenschaften eine gute Big-Data-Anwendung ausmacht und was bei der Entwicklung beachtet werden soll.
Inhaltsverzeichnis
- 1 Die Bedeutung von Big Data
- 1.1 Motivation und Ziel der Arbeit
- 1.2 Methodischer Aufbau der Arbeit
- 2 Aspekte der Datenerzeugung und Datenhaltung
- 2.1 Daten und Informationen
- 2.1.1 Strukturierte Daten
- 2.1.2 Unstrukturierte Daten
- 2.1.3 Datenklassen
- 2.2 Speichermedien und Datenhaltungssysteme
- 2.2.1 Speicherkapazität
- 2.2.2 Computer Cluster
- 2.2.3 Datenbanksysteme
- 2.1 Daten und Informationen
- 3 Anforderungen an Big-Data-Anwendungen
- 3.1 Die 5 V's
- 3.1.1 Volume
- 3.1.2 Veracity
- 3.1.3 Variety
- 3.1.4 Velocity
- 3.1.5 Value
- 3.2 Notwendige Eigenschaften jeder Anwendung
- 3.2.1 Allgemeingültigkeit
- 3.2.2 Belastbarkeit
- 3.2.3 Skalierbarkeit und Erweiterbarkeit
- 3.2.4 Fehlertoleranz
- 3.2.5 Lesen und Aktualisieren mit geringen Latenzzeiten
- 3.2.6 Ad-hoc-Abfragen und Echtzeitauswertungen
- 3.1 Die 5 V's
- 4 Umsetzung von Big-Data-Anwendungen
- 4.1 Lambda-Architektur
- 4.1.1 Batch-Layer
- 4.1.2 Serving-Layer
- 4.1.3 Speed-Layer
- 4.2 Datenspeicherung
- 4.2.1 Datenverteilung
- 4.2.2 Rohdaten werden zu Stammdaten
- 4.2.3 Stammdaten speichern
- 4.3 Big-Data-Analysen
- 4.3.1 MapReduce Algorithmus
- 4.3.2 Korrelation und Kausalität
- 4.3.3 Marktforschung
- 4.3.4 Verkehrssteuerung
- 4.3.5 Big Data in der Medizin
- 4.4 Rechtliche Grundlagen
- 4.4.1 Privatsphäre
- 4.4.2 Zweckbindung der Daten
- 4.4.3 Datensparsamkeit
- 4.4.4 Social Media Analysen
- 4.1 Lambda-Architektur
- 5 Kernbausteine von Big-Data-Anwendungen
- 5.1 Technische Notwendigkeiten
- 5.1.1 Skalierbare Datenverarbeitung
- 5.1.2 Redundante Datenhaltung
- 5.1.3 Daten sind unveränderlich
- 5.1.4 Parallelisierung der Operation
- 5.1.5 Optimierung der Datenstrukturen
- 5.2 Konzeptionelle Notwendigkeiten
- 5.2.1 Datenqualität
- 5.2.2 Zusammenhänge richtig deuten
- 5.2.3 Privacy by Design
- 5.1 Technische Notwendigkeiten
Zielsetzung und Themenschwerpunkte
Diese Masterarbeit befasst sich mit der Entwicklung von Big-Data-Anwendungen. Ziel ist es, die Herausforderungen und Möglichkeiten der Entwicklung solcher Anwendungen zu untersuchen und konkrete Umsetzungsschritte aufzuzeigen. Die Arbeit analysiert die technischen und konzeptionellen Notwendigkeiten für den erfolgreichen Einsatz von Big Data.
- Die Bedeutung von Big Data und dessen Herausforderungen
- Anforderungen an Big-Data-Anwendungen (die 5 V's und weitere Eigenschaften)
- Umsetzung von Big-Data-Anwendungen (Architekturen, Datenspeicherung, Analysen)
- Rechtliche Grundlagen im Umgang mit Big Data
- Kernbausteine erfolgreicher Big-Data-Anwendungen
Zusammenfassung der Kapitel
1 Die Bedeutung von Big Data: Dieses Kapitel legt die Grundlage der Arbeit und erläutert die Motivation und das Ziel der Arbeit. Es beschreibt den methodischen Aufbau und die Vorgehensweise, die für die Untersuchung der Entwicklung von Big-Data-Anwendungen verwendet werden. Die Bedeutung von Big Data wird im Kontext aktueller technologischer Entwicklungen und Herausforderungen positioniert, um einen Rahmen für die folgenden Kapitel zu schaffen. Der methodische Aufbau beschreibt den roten Faden der Arbeit und die angewandte Methodik, um die Glaubwürdigkeit und die Nachvollziehbarkeit der Ergebnisse zu gewährleisten.
2 Aspekte der Datenerzeugung und Datenhaltung: Hier werden die verschiedenen Arten von Daten (strukturiert, unstrukturiert) und die damit verbundenen Herausforderungen bei der Speicherung und Verwaltung betrachtet. Es wird auf die verschiedenen Speichermedien und Datenhaltungssysteme eingegangen, inklusive ihrer jeweiligen Vor- und Nachteile bezüglich Kapazität, Skalierbarkeit und Performance. Der Fokus liegt auf der Beschreibung der komplexen Interaktion zwischen Datenarten und den dafür geeigneten Systemen, um ein umfassendes Verständnis der Infrastruktur für Big-Data-Anwendungen zu ermöglichen. Die Unterscheidung zwischen strukturierten und unstrukturierten Daten bildet einen wichtigen Ausgangspunkt für die nachfolgenden Kapitel, die sich mit der Verarbeitung und Analyse dieser Daten befassen.
3 Anforderungen an Big-Data-Anwendungen: In diesem Kapitel werden die zentralen Anforderungen an Big-Data-Anwendungen detailliert beschrieben. Die fünf V's (Volume, Velocity, Variety, Veracity, Value) werden als grundlegende Charakteristika von Big Data eingeführt und eingehend erläutert. Zusätzlich werden weitere wichtige Eigenschaften wie Skalierbarkeit, Fehlertoleranz und die Notwendigkeit geringer Latenzzeiten bei Abfragen diskutiert. Die Kapitel verbindet die theoretischen Grundlagen der Big-Data-Konzepte mit den praktischen Anforderungen, die bei der Entwicklung solcher Anwendungen berücksichtigt werden müssen. Es bildet die Basis für die Bewertung der in den nachfolgenden Kapiteln beschriebenen Lösungsansätze.
4 Umsetzung von Big-Data-Anwendungen: Dieses Kapitel konzentriert sich auf die praktische Umsetzung von Big-Data-Anwendungen. Es werden verschiedene Architekturen, wie die Lambda-Architektur, vorgestellt und deren Bestandteile (Batch-Layer, Serving-Layer, Speed-Layer) detailliert erklärt. Die Datenspeicherung, die Datenanalysemethoden (z.B. MapReduce), sowie die Anwendung von Big-Data-Analysen in verschiedenen Bereichen (Marktforschung, Verkehrssteuerung, Medizin) werden besprochen. Schließlich wird der rechtliche Rahmen, insbesondere im Hinblick auf Datenschutz und Datensicherheit, beleuchtet. Das Kapitel verbindet die theoretischen Anforderungen aus Kapitel 3 mit konkreten technischen Lösungen und Anwendungsbeispielen, um ein ganzheitliches Bild der Umsetzung von Big-Data-Projekten zu liefern.
5 Kernbausteine von Big-Data-Anwendungen: Dieses Kapitel identifiziert die wichtigsten technischen und konzeptionellen Bausteine, die für den Erfolg von Big-Data-Anwendungen unerlässlich sind. Auf der technischen Seite werden Aspekte wie skalierbare Datenverarbeitung, redundante Datenhaltung, Parallelisierung und die Optimierung von Datenstrukturen behandelt. Konzeptionell werden Themen wie Datenqualität, die korrekte Interpretation von Zusammenhängen und das Prinzip "Privacy by Design" erörtert. Das Kapitel fasst die zentralen Erkenntnisse der vorherigen Kapitel zusammen und betont die Bedeutung einer ganzheitlichen Betrachtung sowohl der technischen als auch der konzeptionellen Aspekte für den erfolgreichen Einsatz von Big Data.
Schlüsselwörter
Big Data, Big-Data-Anwendungen, Datenhaltung, Datenanalyse, Lambda-Architektur, MapReduce, Skalierbarkeit, Fehlertoleranz, Datenschutz, Datensicherheit, Datenqualität, Privacy by Design.
Häufig gestellte Fragen (FAQ) zur Masterarbeit: Entwicklung von Big-Data-Anwendungen
Was ist der Inhalt dieser Masterarbeit?
Diese Masterarbeit befasst sich umfassend mit der Entwicklung von Big-Data-Anwendungen. Sie untersucht die Herausforderungen und Möglichkeiten, zeigt konkrete Umsetzungsschritte auf und analysiert die technischen und konzeptionellen Notwendigkeiten für den erfolgreichen Einsatz von Big Data. Der Inhalt umfasst die Bedeutung von Big Data, Aspekte der Datenerzeugung und -haltung, Anforderungen an Big-Data-Anwendungen, deren Umsetzung (inkl. Architekturen und Analysemethoden), sowie die Kernbausteine erfolgreicher Anwendungen und die relevanten rechtlichen Grundlagen.
Welche Themen werden in der Arbeit behandelt?
Die Arbeit deckt ein breites Spektrum an Themen ab, darunter: die Bedeutung von Big Data und seine Herausforderungen; Anforderungen an Big-Data-Anwendungen (die 5 V's und weitere Eigenschaften); Umsetzung von Big-Data-Anwendungen (Architekturen wie die Lambda-Architektur, Datenspeicherung, Analysemethoden wie MapReduce und Anwendungsbeispiele in verschiedenen Bereichen); Rechtliche Grundlagen im Umgang mit Big Data (Datenschutz, Datensicherheit); und die Kernbausteine erfolgreicher Big-Data-Anwendungen (technische und konzeptionelle Notwendigkeiten).
Welche Arten von Daten werden betrachtet?
Die Arbeit unterscheidet zwischen strukturierten und unstrukturierten Daten und diskutiert die Herausforderungen bei der Speicherung und Verwaltung beider Arten. Es werden verschiedene Speichermedien und Datenhaltungssysteme beleuchtet, um ein umfassendes Verständnis der Infrastruktur für Big-Data-Anwendungen zu ermöglichen.
Welche Anforderungen an Big-Data-Anwendungen werden beschrieben?
Die Arbeit beschreibt detailliert die fünf V's von Big Data (Volume, Velocity, Variety, Veracity, Value) und weitere wichtige Eigenschaften wie Skalierbarkeit, Fehlertoleranz und die Notwendigkeit geringer Latenzzeiten bei Abfragen. Diese Anforderungen bilden die Grundlage für die Bewertung der in der Arbeit beschriebenen Lösungsansätze.
Welche Architekturen und Methoden werden zur Umsetzung von Big-Data-Anwendungen vorgestellt?
Die Arbeit stellt verschiedene Architekturen vor, wie beispielsweise die Lambda-Architektur mit ihren Bestandteilen (Batch-Layer, Serving-Layer, Speed-Layer). Weiterhin werden Datenanalysemethoden wie der MapReduce-Algorithmus und Anwendungsbeispiele in Bereichen wie Marktforschung, Verkehrssteuerung und Medizin diskutiert.
Welche rechtlichen Aspekte werden behandelt?
Die Arbeit beleuchtet den rechtlichen Rahmen für den Umgang mit Big Data, insbesondere im Hinblick auf Datenschutz und Datensicherheit, einschließlich Themen wie Privatsphäre, Zweckbindung der Daten und Datensparsamkeit.
Welche Kernbausteine für erfolgreiche Big-Data-Anwendungen werden identifiziert?
Die Arbeit identifiziert sowohl technische (skalierbare Datenverarbeitung, redundante Datenhaltung, Parallelisierung, Optimierung von Datenstrukturen) als auch konzeptionelle Kernbausteine (Datenqualität, korrekte Interpretation von Zusammenhängen, Privacy by Design) für den Erfolg von Big-Data-Anwendungen.
Welche Schlüsselwörter charakterisieren den Inhalt der Arbeit?
Schlüsselwörter sind: Big Data, Big-Data-Anwendungen, Datenhaltung, Datenanalyse, Lambda-Architektur, MapReduce, Skalierbarkeit, Fehlertoleranz, Datenschutz, Datensicherheit, Datenqualität, Privacy by Design.
Wie ist die Arbeit strukturiert?
Die Arbeit ist in fünf Kapitel gegliedert, die logisch aufeinander aufbauen: Kapitel 1 beschreibt die Bedeutung und den methodischen Aufbau. Kapitel 2 behandelt Aspekte der Datenerzeugung und -haltung. Kapitel 3 beschreibt die Anforderungen an Big-Data-Anwendungen. Kapitel 4 konzentriert sich auf die Umsetzung und Kapitel 5 identifiziert die Kernbausteine erfolgreicher Anwendungen.
Wo finde ich eine detaillierte Zusammenfassung der einzelnen Kapitel?
Die Arbeit enthält eine detaillierte Zusammenfassung jedes Kapitels, die die zentralen Inhalte und Ergebnisse prägnant beschreibt und den Zusammenhang zwischen den Kapiteln verdeutlicht.
- Quote paper
- Andrea Wist (Author), 2021, Entwicklung von Big-Data-Anwendungen. Aspekte der Datenerzeugung und Datenhaltung, Munich, GRIN Verlag, https://www.grin.com/document/1172134
