Erstellen und Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie. Im Beispiel der Studienarbeit ist mit Apache Spark und Selenium gearbeitet worden. Innerhalb der Arbeit wird der Grundsatz und die Anwendung von Big Data behandelt. Es sollen zwei Fragestellungen beantwortet werden: Ist die Richtigkeit / Qualität der Datensätze auf zwei spezifisch ausgewählten Tesla-Webseiten gegeben oder sollte bei der Auswahl der Webseiten der Fokus explizit nur auf einer dieser Webseiten liegen? Welche Distanz wird der Tesla zum 01.01.2025 zurückgelegt haben?
Um an die Informationen zur Beantwortung dieser Fragestellungen zu gelangen, müssen über einen gewissen Zeitraum die benötigten Daten erfasst und gespeichert werden. Die Erfassung kann über viele Wege erfolgen, sofern eine Programmierschnittstelle vorhanden ist (API), sollte diese genutzt werden, eine andere Möglichkeit wäre das Crawlen von Webseiten, also das Auslesen von HTML Elementen einer Webseite. Um sich einen genauen Überblick über die Anzahl der Datensätze zu verschaffen, wird eine Hochrechnung beschrieben.
Inhaltsverzeichnis
- Vorstellung der Analysefragestellung
- Aufbau und Vorgehensweise
- Auswahl der genutzten Frameworks
- Architekturbild
- Datenflussbild und Beschreibung des Vorgehens
- Datenerhebung und -speicherung in der MongoDB (Daten Crawlen)
- Der Datenanalyseworkflow (Laden aller Daten)
- Datenauswertung und -visualisierung
- Durchführung
- Datenspeicherung der Datensätze
- Zugriff auf gespeicherte Datensätze und Analyse der Daten
- Zugriff und laden aller Datensätze aus der Datenbank
- Analyse der gesamten Datensätze
- Ergebnisbetrachtung der Analyse unter Berücksichtigung der Datenanalysefragestellungen
- Ergebnisbetrachtung
- Kritische Würdigung des Ergebnisses
- Zusammenfassung und Ausblick
Zielsetzung und Themenschwerpunkte
Die Projektarbeit zielt auf die Entwicklung und Durchführung einer Big Data Analyse zur Untersuchung eines spezifischen Datenanalyseproblems ab. Dabei werden moderne Frameworks zur Datenerhebung, -speicherung und -auswertung eingesetzt.
- Big Data Management und -analyse
- Einsatz moderner Frameworks (MongoDB, Apache Spark)
- Datenflussbild und Beschreibung des Vorgehens
- Datenauswertung und -visualisierung
- Kritische Würdigung der Ergebnisse
Zusammenfassung der Kapitel
- Vorstellung der Analysefragestellung: Dieses Kapitel führt in die Thematik von Big Data und den Herausforderungen bei der Speicherung und Verarbeitung großer Datenmengen ein. Es wird auf die Bedeutung von Big Data in der heutigen vernetzten Welt eingegangen und die 5 V's von Big Data vorgestellt.
- Aufbau und Vorgehensweise: Dieses Kapitel beschreibt die Architektur der Big Data Anwendung und die verwendeten Frameworks (MongoDB, Apache Spark). Es geht detailliert auf die Datenflussbild und die Schritte der Datenerhebung, -speicherung, -verarbeitung und -visualisierung ein.
- Durchführung: Dieses Kapitel beschreibt die konkrete Durchführung der Analyse. Es wird auf die Datenspeicherung in MongoDB, den Zugriff auf die Daten und die Analyse mithilfe von Apache Spark eingegangen.
- Ergebnisbetrachtung der Analyse: Dieses Kapitel präsentiert die Ergebnisse der Analyse und untersucht diese in Bezug auf die gestellte Fragestellung. Es wird auf die kritische Würdigung der Ergebnisse eingegangen.
Schlüsselwörter
Big Data, Datenanalyse, Datenerhebung, Datenspeicherung, Datenverarbeitung, Data Mining, Apache Spark, MongoDB, Data Crawling, Visualisierung, Ergebnisbetrachtung, Kritische Würdigung
Häufig gestellte Fragen
Welche Frameworks wurden für die Big-Data-Analyse verwendet?
In der Studienarbeit wurden primär Apache Spark für die Datenverarbeitung, MongoDB für die Speicherung und Selenium für das Web-Crawling eingesetzt.
Was sind die „5 V's“ von Big Data?
Die Arbeit stellt Big Data anhand der Merkmale Volume (Volumen), Velocity (Geschwindigkeit), Variety (Vielfalt), Veracity (Richtigkeit/Qualität) und Value (Wert) vor.
Wie wurden die Daten für die Tesla-Analyse erhoben?
Die Daten wurden über einen längeren Zeitraum durch das Crawlen von zwei spezifischen Tesla-Webseiten gewonnen, wobei HTML-Elemente ausgelesen und in einer Datenbank gespeichert wurden.
Welche Fragestellungen sollten beantwortet werden?
Einerseits wurde die Datenqualität der Quellen untersucht, andererseits wurde eine Prognose erstellt, welche Distanz Tesla-Fahrzeuge bis zum 01.01.2025 zurückgelegt haben werden.
Was ist ein Datenanalyseworkflow?
Er beschreibt den Prozess vom Laden der Rohdaten aus der MongoDB über die Analyse mit Apache Spark bis hin zur Visualisierung der Ergebnisse.
- Quote paper
- Dennis Kraus (Author), 2021, Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks, Munich, GRIN Verlag, https://www.grin.com/document/1314747
