18. März 2019

Alles über das Phänomen Big Data: Entstehung, Bedeutung und Entwicklung

Mit allen den neuen technischen Geräten, Erfindungen und Weiterentwicklungen wächst der Bedarf an Informationen und Datenverarbeitung stetig. Um diese Flut an Informationen und Daten speichern und auswerten zu können sind Systeme und Datenverarbeitungsprogramme notwendig. Erfahren Sie hier alles über das Phänomen Big Data: Wie es entstand, was es bedeutet und wie seine Entwicklung aussieht.

Big Data bezeichnet große Mengen an Daten, die aus Bereichen wie Internet und Mobilfunk, Finanzindustrie, Energiewirtschaft, Gesundheitswesen und Verkehr und aus Quellen wie intelligenten Agenten, sozialen Medien, Kredit- und Kundenkarten, Überwachungskameras sowie Flug- und Fahrzeugen stammen und die mit speziellen Lösungen gespeichert, verarbeitet und ausgewertet werden.

Wie alles begann

Mit dem von Google herausgegebenen MapReduce-Paper begann die Ära von Big Data. Doch was ist das MapReduce-Paper? Es handelt sich hierbei um ein einfaches Modell, das parallele Berechnungen über eine große Anzahl paralleler Maschinen ermöglicht. Zwar waren parallele Berechnungen schon vor dem MapReduce-Paper durch mehrere Computer und Supercomputer möglich, allerdings nur bei einem kleinere Publikum. Kurz darauf kam Apache Hadoop. Hadoop schaffte es ein noch breiteres Publikum zu erreichen und setzte sich dann schließlich auch bei mehreren Unternehmen durch. Mit diesem Erfolg und der Unterstützung führte es dann schließlich ein neues Paradigma in der Datenverarbeitung ein: Die Abfrage von Daten.

Die Entwicklung

Von der Stapel-Verarbeitung über die Stream-Verarbeitung bis hin zum Anfrage-Antwort-Ansatz. Das Phänomen Big Data entwickelt sich stetig weiter. Der nächste Schritt war die Einführung der Batch-/ bzw. Stapel-Verarbeitung. Hierunter versteht sich das Einfügen von Daten in ein Speichersystem, auf dem dann Berechnungen geplant werden. Einziges Problem: Diese Berechnungen laufen nicht kontinuierlich, sondern haben einen Anfang und ein Ende. Daher müssen sie fortlaufend neu ausgeführt werden, um aktuelle Ergebnisse zu erhalten. Und so kam es zur Stream-Verarbeitung. Nun war das Schreiben von Programmen, die kontinuierlich (24/7) laufen, möglich. Ergebnisse in Echtzeit. Zu guter Letzt  wurde der Anfrage-Antwort-Ansatz entwickelt, bei dem Daten gespeichert werden, bevor Fragen zu einem Ereignis gestellt werden können. So kann man nun in Echtzeit Informationen erhalten, während die Daten laufend generiert werden.

Warum ist Big Data wichtig?

Die Wirtschaft verspricht sich neue Einblicke in das Risikopotenzial und Kaufverhalten von Kunden und erstellt personenbezogene Profile. Sie verfolgt stets das Ziel die Produktion zu optimieren und zu flexibilisieren und Innovationen durch Vorausberechnungen besser in die Märkte zu bringen. Sie kann mithilfe von Superrechnern sowohl Atombombenabwürfe als auch Meteoriteinschläge, den Klimawandel und das Entstehen von Erdbeben sowie andere Phänomene simulieren. All das zeigt, wie wichtig Big Data ist.

Was verspricht die Zukunft?

Für Big Data dürfte für die Zukunft weiterhin eine breite Akzeptanz in Unternehmen und ein Markt, der exponentiell wächst, zu erwarten sein. Nichtsdestotrotz ist Big Data eine Herausforderung für den Datenschutz und das Persönlichkeitsrecht. Mithilfe von Datenschutzgesetzen können Auswüchse verhindert und Verbraucherschutz sichergestellt werden.

Quelle Titelbild: iStock/ cybrain