Big Data ist heute ein riesiger Wachstumsbereich der Informationstechnik, denn die Unternehmen haben mit weiter wachsenden Mengen strukturierter und unstrukturierter Daten zu kämpfen.

 

Aber Big Data ist kein neues Phänomen. Wissenschaft und Technik erfassen und verarbeiten schon seit Jahrzehnten große, schnell fließende und verschiedenartige Datasets und setzen dafür High-End-Systeme und -Tools ein.bigdata_tube.PNG


Die Unternehmen können deshalb viel von High-Performance-Computing (HPC) und High-Performance-Technical-Computing (HPTC) lernen – den Wegbereitern der modernen Big-Data-Techniken.


Beim HPC und HPTC kommt hochleistungsfähige Computertechnik zur Lösung wissenschaftlicher und technischer Probleme zum Einsatz, nicht jedoch für geschäftliche Belange. Anwendungsbereiche sind beispielsweise numerische Strömungsmechanik und seismische Tomografie zur Veranschaulichung der seismischen Wellenausbreitung im Erdinneren.


Was können Großunternehmen also von HPC-Anwendern lernen?


Die erste Lektion ist, für Standardcomputeranwendungen mehr Leistungskapazität bereitzustellen. Dazu kann einerseits die Software optimiert und andererseits die Rechenzentrumsinfrastruktur entsprechend aufgewertet werden.


Sie können die Verarbeitungsleistung Ihrer Systeme, die Multithreading-Kapazität und die Fließkommaleistung erhöhen. Weiterhin kann durch die Vereinheitlichung der Netzwerk- und Datenspeicherverflechtung die Netzwerkkomplexität reduziert und die Datenspeicherflexibilität gesteigert werden.


Die zweite Lektion besteht darin, eine bessere mathematische Datenmodellierung zu integrieren, die eine der besonderen HPC/HPTC-Stärken ist.


Hand in Hand mit der Modellierung geht als dritte Lektion die Simulation. Durch Simulationen lassen sich schnell und kosteneffektiv sehr viele Szenarien mit komplexen Daten untersuchen.


Als viertes kommt eine leistungsstarke Analyse ins Spiel. Apache Hadoop erweist sich als hervorragende Plattform für die Big-Data-Verarbeitung, insbesondere in Verbindung mit Lösungen wie dem Intel Data-Platform- und Analyse-Toolkit.


Und schließlich wurden in der HPC-Welt auch Fortschritte beim maschinellen Lernen erzielt, bei dem Algorithmen Verwendung finden, in deren Kern Elemente der linearen Algebra genutzt werden. Dies wird erst in der Zukunft eine Rolle spielen, sollte jedoch nicht unerwähnt bleiben.


Bei der Anwendung auf Big-Data- Szenarien in der Wirtschaftswelt werden lernende Netzwerke, die umfangreiche, parallele Jobs abarbeiten und während des Ablaufs ihre eigene Leistung optimieren können, zu einem äußerst nützlichen Instrument für die Unternehmen.


Es ist an der Zeit, die Lektionen der Erfahrenen zu lernen und aus unseren „Big Data“ das Beste zu machen.


- Arif