Big Data

Als Big Data (engl. für große Daten) werden schnell wachsende und teils unsortierte Datensammlungen bezeichnet, die in verschiedenen Systemen und Formaten oder auf unterschiedlichen Netzwerk-Volumen vorliegen und die die Möglichkeiten herkömmlicher Datenbanken oder Sicherungssysteme überschreiten. Besonders die Erfassung und Suche sowie die Sicherung und Analyse von Big Data gestaltet sich schwierig. Wegen ihrer schieren Größe werden in der Regel Big-Data-Volumes in Terabyte oder Exabytes angegeben. Big Data kommt vor allem durch automatisierte und maschinelle Erzeugung von Daten wie Logdateien oder Protokollen von Kommunikations-Verbindungen zustande, aber auch durch die Erfassung von Sensoren wie Mikrofonen und Kameras.

Obwohl die Auswertung von Big Data weit über traditionelle Software-Lösungen hinaus geht, bietet sie Wettbewerbsvorteile besonders für Unternehmen, die schnell auf Marktveränderungen reagieren müssen. So werden anhand der Analyse der riesigen Datenmengen Sparpotenziale erkannt oder es wird die Fokussierung auf neue Geschäftsfelder gerechtfertigt. Beispielsweise sind Statistiken zeitnah auswertbar, Marktforschungs-Ergebnisse werden umgehend einbezogen und Werbemaßnahmen bei Bedarf angepasst. Dabei kommen für die Analyse von Big Data keine traditionellen Datenbanksysteme oder Statistik-Programme zum Einsatz, sondern angepasste Software. Diese rechnet über Tausende CPUs oder Webserver verteilt und verarbeiten so eine Vielzahl von Datensätzen parallel. Dank Realtime-Processing sind importierte Daten umgehend verfügbar und selbst komplexe Abfragen werden in kürzester Zeit beantwortet. Zu den bekanntesten Software-Lösungen für den Umgang mit Big Data zählen Apache Hadoop, Aster Data und Googles MapReduce.

Big Data findet sich heute in allen Bereichen der Datenverarbeitung, besonders sind jedoch Felder betroffen, in denen ständig Daten erhoben, aktualisiert und gespeichert werden. Hierzu zählen vor allem Gesundheitssektor (Anamnese und Verschreibungen), Wissenschaft (Messwerte, Protokolle und Analysen) und Finanzsystem (Börsendaten und Transaktionen). Zu den größten Big-Data-Sammlern gehören aber Internet- und Telekommunikations-Provider sowie Nachrichtendienste, die sowohl Systeme für die Erhebung von Daten wie auch deren Verarbeitung, Analyse und Speicherung entwickeln müssen.