Das AI System besteht aus einem LiDAR-Laser Bewegungstracking, einem maschinellem Lernsystem, das das Bewegungsverhalten vorhersagt und einem Bewertungssystem, das automatisierte Entscheidungen trifft und über Projektionen, Movingheads und synthetischer Stimme mit dem Publikum interagiert.
Die Nerds entwickeln das machinelle Lernsystem, die Steuersoftware für Licht und Projektionen und die geometrischen Berechnungen, um Bewegungen zu bewerten. Das maschinelle Lernen basiert auf dem Trajectory Forecasting Framework (TrajNet++). Der Algorithmus versucht das Bewegungsverhalten von Menschen in Gruppen vorraussagen. Die Softwareentwicklung kann auf GitHub verfolgt werden.
Mit den LiDAR-Lasern lässt sich die exakte Position jeder Person im Raum ausmessen. So weiß die KI jederzeit, wo sich die Menschen befinden, wie sie sich bewegen, wie schnell oder langsam sie gehen und wie nah sie sich kommen. Wir nutzen sechs Laser, die um die Szenenfläche verteilt sind, sodass alle Menschen immer im Blick der AI sind und eindeutige IDs zugewisen bekommen. Vor den "Laseraugen" kann man sich nicht verstecken.
Das Laser Tracking System und die Bodenprojektion werden aufeinander kalibriert. Bei den ersten Tests werden die X und Y Position und die ID projiziert.
Das maschinelle Lernsystem zur Bewegungsvorhersage wird trainiert.
Die Echtzeit Trackingdaten werden vom ML System verarbeitet und die künftige Bewegung vorhergesagt.
Die Licht Beams werden zu den Armen der AI, mit deren Hilfe sie in das Geschehen eingreifen kann. Wer gegen eine Regel verstößt, beispielsweise den Anderen zu Nahe zu kommen, wird geblendet.
Durch eine Spiegelinstallation wird ein Lichtnetz erzeugt. Unzählbare Strahlen kreuzen sich im Raum - eine Metapher für das künstliche neuronales Netz. Im Test werden zwei Spiegelobjekten gedruckt, geklebt und gehangen, um die Winkel zu testen.