Wie können große Mengen an Daten auditiv und visuell darstellt werden?
Diese Frage stellten sich bereits eine Vielzahl an Forschern aus den unterschiedlichsten Fachgebieten.

Daten und ihre unterschiedlichen Erscheinungsbilder

Daten können, ähnlich wie auf unseren Festplatten, und je nachdem, wie sie interpretiert werden, eine unterschiedliche Aussage sowie ein unterschiedliches Erscheinungsbild annehmen. Der daraufhin erhaltende Output ist von der ursprünglichen Form weit entfernt. Durch viele Abstraktionsschritten wird versucht, aus einer Vielzahl an Datenformaten die verschiedensten Sachverhalte abzulesen. Durch dieses Verfahren kann es passieren, dass einzelne Daten während des Verarbeitungsprozesses kaum noch greifbar sind. Hinzu kommen unterschiedliche Methoden, wie jeweilige Daten zustande gekommen sind. Seien es Messungen, Beobachtungen oder Zufallsgeneratoren. So ist die Frage der Darstellung oder gar sinnhaften Darstellung niemals eindeutig beantwortbar. Doch festhalten lässt sich, dass Datenverarbeitungsprozesse für den Output ebenso verantwortlich sind wie Messmethoden oder andere heuristische Verfahren.

Liquid Dance – Vulkanausbrüche, Daten und ihre Erlebbarkeit

Liquid Dance ist das Projekt, an dem ich im Rahmen meines Master Praktikums im Studio Fluffy gearbeitet habe und nun als Werkstudent fortsetzen werde. In diesem Rahmen beschäftige ich mich, wie schon so viele Forscher vor mir, mit der Frage, wie große Daten sinnvoll dargestellt werden können.

Bei Liquid Dance geht es um die Daten des Vulkans Raikoke zur Zeit seines Ausbruchs im Juni 2019. Dafür wurden Datensätze verwendet, die aus einer Simulation der Forschungsgruppe Dr. Bernhardt Vogel stammen. In Liquid Dance soll die Komplexität der Daten intuitiv sowie interaktiv zugänglich und erfahrbar werden. Diese Daten sind als multidimensionale Datensätze abgespeichert, die mithilfe von Python basierter Softwaretools ausgelesen und weiterverarbeitet werden können.

(Abb 1): Überblick über den gesamten Datensatz. Die Variablen unter Data variables entsprechen den Messwerten. Diese sind jeweils über den Dimensionen height (Höhe), lat (Nord-Süd Ausdehnung), lon (Ost-West Ausdehnung) und time (Zeitpunkt) verteilt.

In Abbildung 1 befindet sich der gesamte Datensatz in multidimensionalen Listen zusammengefasst. Schon allein durch die Anzahl der Werte und die daraus resultierenden Verarbeitungsmethoden ergeben sich viele Möglichkeiten der Verwendung. Aufgrund dessen bietet es sich an, zu Beginn einen kleineren Teil der Daten genauer zu inspizieren. Im folgenden Beispiel wird sich auf die die Schwefeldioxid-Werte (SO2) fokussiert.

SO2-Werte und ihre Dimensionen

Damit diese Werte überhaupt dargestellt werden können, muss zunächst die Dimensionalität der Daten auf unser Ausgabeformat angepasst werden. Dies kann zum Beispiel geschehen, in dem eine Dimension auf ihren Durchschnittswert reduziert wird. In diesem Fall werden die mehrdimensionalen Schwefeldioxiddaten auf drei Dimensionen zu mehreren Zeitpunkten reduziert. Dies geschieht, indem die Nord-Süd-Ausdehnung der Messdaten wegreduziert wird:

(Abb 2): Schwefeldioxid Werte zu Beginn des Ausbruchs um 12:00 – 19:00 Uhr am 22.06.2019.
X-Achse: Ost-West Ausbreitung, lon im Datensatz (vgl. Abb 1)
Y-Achse: Höhe, height im Datensatz (vgl. Abb 1)

In Abbildung 2 sind die SO2 Werte relativ zu Beginn des Ausbruchs zu sehen. Die dritte Dimension, also der Farbwert, entspricht hier der Schwefeldioxid-Konzentration. Die beiden Achsen stellen Ost-West-Ausbreitung (X-Achse) und Höhe( Y-Achse) dar. Hier noch einmal zum Vergleich dieselben Achsen, jedoch zu späteren Zeitpunkten:

(Abb 3): Schwefeldioxid Werte zm Ende des Ausbruchs um 20:00 – 03:00 Uhr am 24.06 – 25.06.2019
X-Achse: Ost-West Ausbreitung, lon im Datensatz (vgl. Abb 1)
Y-Achse: Höhe, height im Datensatz (vgl. Abb 1)

Diese Werte sind im Fall eines Vulkanausbruchs besonders interessant, da anhand der Schwefeldioxidkonzentration die Ausdehnung Aschewolke nachvollzogen werden kann. Durch diese Daten wir eine Vorstellung von dem realen Ereignis, dem Vulkanausbruch selbst, generiert.

Daten in der Laufzeit ihrer Verarbeitung

Allerdings rückt der zu Beginn erwähnte Aspekt der Datenverarbeitung in den Hintergrund. Auch die Anzahl an Daten, mit denen die Plots erstellt wurden, ist nicht wirklich relevant. Aufgrund dessen werden die Daten in der Laufzeit ihrer Verarbeitung dargestellt.
Zu sehen ist hier ein Entwurf mit dem 2D Programm Processing:

(Video 1): Daten werden über OSC zum Zeitpunkt ihrer Verarbeitung nach Processing geschickt. In Processing wird daraufhin für jeden eintreffenden Wert ein Rechteck gezeichnet.
Der Alpha Wert des Rechteckes bestimmt wie kräftig es gezeichnet wird und entspricht dem Schwefeldioxid Wert.

Hierbei handelt es sich lediglich um einen sehr kleinen Teil der Daten, nämlich die SO2 Werte am 22.06.2019 um 06:00:00. Dies ist nur einer aus 96 Messzeitpunkten. Die Helligkeitswerte entsprechen jeweils der tatsächlichen SO2 Konzentration, wobei ihre tatsächliche Ausdehnung außer acht gelassen wird. So wird sich hier auf die Menge an Daten und deren Verarbeitung konzentriert, als dass ein aussagekräftiges Bild über die Vulkanwolke entsteht. Jedoch ist dieser Prozess für unser Endergebnis nicht weniger relevant.

Räumliche Visualisierung für das Erlebnis in VR

Durch die hohe Dimensionalität der Daten liegt es nahe, diese räumlich zu visualisieren. Dadurch soll Liquid Dance audiovisuell in VR erlebbar werden. Ein Vorteil ist dabei, dass nicht nur beobachtet, sondern auch innerhalb einer dreidimensionalen Szene interagiert werden kann.

(Video 2): Erster Entwurf einer Unity VR Szene zur Darstellung Teilchenbasierter Prozesse.
Jeder Würfel steht für ein Teilchen und die Strahlen für ihre Verbindung. Sind die Würfel in Bewegung geben sie Sinustöne in unterschiedlichen Frequenzen ab. Die Verbindungen werden hingegen durch kurze Impulse hörbach gemacht.

Dieser Entwurf ist der erste Schritt, um eine weitere Seite des Vulkanausbruchs und dessen Daten durch Audiovisualisierung abzubilden. Diesmal handelt es sich um chemische und physikalische Prozesse während des Ausbruchs. Verschiedene Stoffe reagieren zu unterschiedlichen Tageszeiten (im Video dargestellt durch den Sonnenstand) und die Konzentration der verschiedenen Moleküle verändert sich. Die Luftzusammensetzung wird als Verbindung verschiedener Teilchen dargestellt. Diese können durch Interaktion mit einem der beiden VR-Controller bewegt und zur Reaktion angeregt werden. Zusätzliche Daten aus der Simulation sollen daraufhin bestimmen, wie die bewegten Teilchen auf ihr jeweiliges Umfeld reagieren.
Beispielsweise wie bei Video 2, indem sie neue Verbindungen eingehen. Jedes dieser Teilchen sowie ihre Verbindung werden zudem auch hörbar gemacht. Dadurch können einzelnen Vorgänge zusätzlich auch auditiv wahrgenommen werden und ein audiovisueller Gesamteindruck der Daten entsteht.

Annäherungen und die Faszination an großen Mengen Daten

Diese Entwürfe sind nur eine Auswahl von vielen Herangehensweisen. Die große Menge an Daten, ihre Dimensionalität und deren Verarbeitung ist ein komplexer Ablauf. Deshalb können wir uns mit derartigen Beispielen dem eigentlichen Prozess nur annähern. Allerdings macht gerade die Annäherung aus verschiedenen Standpunkten das Projekt so spannend. Da in Liquid Dance die Rechenintensive Datenverarbeitung auf einem Cluster ausgelagert ist, wird die 3D-Szene im weiteren Verlauf des Projektes mit dieser Verarbeitung in Echtzeit Verbunden sein. Dies ermöglicht dass sowohl komplexere Vorgänge, als auch die Datenverarbeitung an sich erlebbar werden können.

Wie geht es weiter ?

Sowohl die Analyse der Daten, als auch der 3D Entwurf münden nun in ein konkretes Projekt.
Um gleichermaßen der Datenmenge und dem geologischem Ereginis an sich gerecht zu werden, wurde sich für eine Darstellung mit einem Partikelsystem entschieden. Dessen Verhalten soll mithilfe der Daten aus dem Cluster in direkter Weise beschrieben werden:
Einerseits können tänzerisch anmutende Figuren ausgeführt werden. Diese richten sich nach der chemischen Zusammensetzung der Aschewolke zum Zeitpunkt der Ausführung.
Der Sonnenstand in der Szene bestimmt dabei den passenden Messzeitpunkt an dem wir die Daten berechnen wollen. So können in Echtzeit zu verschiedenen Zeitpunkten Daten angeforderten werden. Der Cluster berechnet daraufhin die jeweiligen Werte – zur Zeit sind das Schwefeldioxid (So2) und Sulfate (So4).
Je nach angeforderten Wert und dessen konzentration zum aktuellen Zeitpunkt, führt das Partikelsystem daraufhin die entsprechende Figur aus.

Das Partikelsystem in Aktion. Zu sehen sind kombinationen aus Figur 1 (So2) und Figur 2 (So4). Die stärke des Bewegungsimpulses und das Farbverhältnis werden durch die aktuelle Konzentration des jeweiligen Stoffes bestimmt.


Außerdem sollen Windkräfte aus der Simulation auf einzelne Partikel geupdatet werden. Dadurch wird die tatsächliche Bewegung der der Wolke innerhalb der Unity Szene nachverfolgt.
Darauf aufbauend bewegen sich die Partikel immer in einem Spannungsfeld zwischen den Naturkräften der Simulation und den daraus resultierenden Bewegungen in Form der Figuren.