Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks

Term Paper , 2021 , 31 Pages , Grade: 1,0

Computer Science - Software

Erstellen und Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie. Im Beispiel der Studienarbeit ist mit Apache Spark und Selenium gearbeitet worden. Innerhalb der Arbeit wird der Grundsatz und die Anwendung von Big Data behandelt. Es sollen zwei Fragestellungen beantwortet werden: Ist die Richtigkeit / Qualität der Datensätze auf zwei spezifisch ausgewählten Tesla-Webseiten gegeben oder sollte bei der Auswahl der Webseiten der Fokus explizit nur auf einer dieser Webseiten liegen? Welche Distanz wird der Tesla zum 01.01.2025 zurückgelegt haben?

Um an die Informationen zur Beantwortung dieser Fragestellungen zu gelangen, müssen über einen gewissen Zeitraum die benötigten Daten erfasst und gespeichert werden. Die Erfassung kann über viele Wege erfolgen, sofern eine Programmierschnittstelle vorhanden ist (API), sollte diese genutzt werden, eine andere Möglichkeit wäre das Crawlen von Webseiten, also das Auslesen von HTML Elementen einer Webseite. Um sich einen genauen Überblick über die Anzahl der Datensätze zu verschaffen, wird eine Hochrechnung beschrieben.

Inhaltsverzeichnis

Inhaltsverzeichnis

Abbildungsverzeichnis

Abkürzungsverzeichnis

1 Vorstellung der Analysefragestellung

2 Aufbau und Vorgehensweise
2.1 Auswahl der genutzten Frameworks
2.2 Architekturbild
2.3 Datenflussbild und Beschreibung des Vorgehens
2.3.1 Datenerhebung und -speicherung in der MongoDB (Daten Crawlen)
2.3.2 Der Datenanalyseworkflow (Laden aller Daten)
2.3.3 Datenauswertung und -Visualisierung

3 Durchführung
3.1 Datenspeicherung der Datensätze
3.2 Zugriff auf gespeicherte Datensätze und Analyse der Daten
3.2.1 Zugriff und laden aller Datensätze aus der Datenbank
3.2.2 Analyse der gesamten Datensätze

4 Ergebnisbetrachtung der Analyse unter Berücksichtigung der Datenanalysefragestellungen
4.1 Ergebnisbetrachtung
4.2 Kritische Würdigung des Ergebnisses

5 Zusammenfassung und Ausblick

Anhang: Weitere Abbildungen

Literaturverzeichnis

• College: Leipzig University of Applied Sciences (Digitale Transformation)
• Course: Big Data Management
• Grade: 1,0
• Author: Dennis Kraus (Author)
• Publication Year: 2021
• Pages: 31
• Catalog Number: V1314747
• ISBN (PDF): 9783346791733
• ISBN (Book): 9783346791740
• Language: German
• Tags: Programmierung, Big Data, Datenanalyse, Apache Spark, Datencrawlen, Auswertung