Wie Maestro VR jedem ein Privatorchester ins heimische Wohnzimmer bringt

Interview mit Andrés Soto, Erfinder von Maestro VR  18. März 2023

Foto © Andrés Soto, privat

Welcher Klassik-Fan hat noch nicht davon geträumt, einmal ein eigenes Orchester dirigieren zu können? Vielleicht die eigenen großen Lieblinge selbstständig zu interpretieren und einer Hundertschaft Musikern anzugeben, wie sie zu spielen haben? Die großen Klassiker einmal im neuen Licht erstrahlen zu lassen oder sogar Eigenkompositionen aufzuführen? Nun scheint es, als würde sich dieser Traum erfüllen. Mit Maestro VR steht zum allerersten Mal in der Geschichte der Menschheit ein Projekt in den Startlöchern, das mithilfe modernster Technologie, Virtueller Realität und sensibler Sensorik das Erlebnis des Dirigierens direkt in jedes Haus zaubert. Klassik-begeistert durfte dieses Projekt exklusiv kennenlernen und dessen Erfinder Andrés Soto aus Spanien eine Reihe von Fragen stellen. Freuen Sie sich in diesem zweiteiligen Interview auf das mit Sicherheit spannendste Klassik-Technologie-Projekt seit Jahrzehnten, das die Öffnung der Orchestermusik gegenüber einem neuen, potenziell riesigen Publikum verspricht.

Interview mit Andrés Soto von Daniel Janz (ins Deutsche übersetzt)

klassik-begeistert: Lieber Herr Soto. Sie sind der Erfinder von Maestro VR, dem ersten Projekt, das Virtuelle Realität (VR) professionell mit dem Handwerk des Dirigierens verbindet. Ein Ansatz, der aktuell weltweit einzigartig ist und völlig neue Einblicke in den Konzertbetrieb erlaubt. Wenn Ihr Projekt erfolgreich ist, wäre bald jeder Mensch weltweit in der Lage, Orchesterstücke zu dirigieren. Angefangen bei Streichquartetten über weltbekannte Klassiker bis hin zu Eigenkompositionen. Die erste Frage, die sich da natürlich aufdrängt ist: Wie sind Sie auf diese Idee gekommen? Können Sie für unsere Leser ausführen, was Sie zur Entwicklung von Maestro VR motiviert hat?

Andrés Soto: Die Idee kam mir im Frühjahr 2020. Im Februar fand das letzte Konzert statt, das ich als Dirigent leiten konnte, da alle darauffolgenden Konzerte wegen dem Ausbruch der Covid-19-Pandemie abgesagt werden mussten. Ich erinnere mich selbst noch, dass in dieser Zeit viele Konzerte pandemiebedingt online stattfanden, was natürlich nie denselben Stellenwert hatte, wie in einer Konzerthalle. In diesem Zusammenhang stieß ich im Internet auf einige 360°-Konzertaufzeichnungen und dachte mir: Wäre es nicht toll, in dieser Virtuellen Welt selbst ein Orchester leiten zu können? Doch schnell stellte ich ernüchtert fest, dass es dafür keine Anwendungen gab, die mir das Dirigieren in einem realistischen und ernsthaften Kontext ermöglicht hätten.

Da ich notgedrungen viel Freizeit hatte, machte ich mich selbst auf die Suche nach Entwicklern. Gleichzeitig setzte ich mich damit auseinander, wie man eine App entwickeln könnte, die mir das Dirigieren in einer VR ermöglichen würde. Ursprünglich war der Gedanke, im Kontext der Pandemie virtuelle Konzerte abhalten zu können. Mit der Zeit wurde das Projekt aber immer umfangreicher.

klassik-begeistert: Und es mündete in einem Konzept, das man wohl als revolutionär bezeichnen darf. Dennoch muss man feststellen, dass VR als Technologie noch in den Kinderschuhen steckt – entsprechende Probleme mitinbegriffen. Es benötigt einen leistungsstarken Computer, ein VR-Headset und gegebenenfalls sogar Zusatzausrüstung. Können Sie vor dem Hintergrund erklären, was Ihr Spiel bereits kann und wo es noch Limitierungen gibt, die es in Zukunft zu beseitigen gilt?

Andrés Soto: Der aktuelle Stand der Technik erlaubt es nicht, die tatsächliche Arbeit von Orchesterdirigenten nachzustellen. Das Spiel befindet sich noch in der Entwicklung und uns fehlen Funktionen, wie z.B. Handtracking, das beim Eintauchen in die VR hilft, und der Online-Modus, von dem wir glauben, dass er viel Potenzial bei der Erstellung von Online-Konzerten hat. Diese wollen wir bald hinzufügen. In Zukunft und mithilfe von Künstlicher Intelligenz lassen sich vielleicht auch Reaktionen auf Dirigieranweisungen und -bewegungen besser simulieren.

klassik-begeistertAber ein Dirigent bewegt ja nicht nur die Hände. Inwiefern ist das Erlebnis in diesem Spiel also authentisch?

Andrés Soto: Hinter einem Konzert steht so viel mehr, was man nur schwer in einem Computerspiel simulieren kann. Die meiste Arbeit eines Profidirigenten besteht aus Proben und stundenlangem Partiturstudium. Das Spiel kann nur einen Teil dieser Arbeit nachbilden. Sagen wir einfach, wir vermitteln das Gefühl, das Orchester in einem Konzert zu dirigieren und dabei die passenden Bewegungen auszuführen. In diesem Kontext ist die Erfahrung sehr realistisch, vorausgesetzt Sie machen es richtig und haben mehrmals geübt. Für dieses Erlebnis mussten wir uns auf die Pattern – also Bewegungsmuster – beschränken, die eine spielende Person zum Dirigieren in der Virtuellen Umgebung erlernen muss.

Dieses Fortschrittssystem simuliert die Entwicklung vom Anfänger hin zum gestandenen Profi ziemlich gut

klassik-begeistert: Es bildet also den Lernprozess ab?

Andrés Soto: Der Fokus liegt auf den Bewegungsmustern. Sowohl darauf, wie sie zum Dirigieren des Orchesters verwendet werden, als auch wie sie in der Praxis umzusetzen sind. Maestro VR ist als Rhythmussimulationsspiel definiert. In einem rhythmusbasierten Computerspiel müssen Spielende durch Bewegungen wiederkehrende Muster – sogenannte Pattern – korrekt befolgen, um einen Song mit der höchstmöglichen Punktezahl zu absolvieren. Dieses Konzept liegt auch Maestro VR zugrunde, nur das die Pattern hier den in der Realität angewendeten Bewegungen beim Dirigieren entsprechen.

(c) Andrés Soto privat

klassik-begeistert: Was heißt das im Detail? Es muss dann ja Regeln dafür geben, wie zu dirigieren ist. Man wird sicher nicht willkürlich mit den Händen rumfuchteln?

Andrés Soto: Als Student brachten mir meine Dozenten Dirigiermuster als Sphären bei, die den jeweiligen Schlag im Takt symbolisieren. Auf, ab, links, rechts. Diese Methode wollte ich auf das Spiel übertragen, da sie hilft, die Bewegung der Hände zum Rhythmus der Musik zu verstehen. Anfangs mögen diese geometrischen Muster auf dem Bildschirm noch lästig erscheinen. Sobald diese aber optisch entfernt sind, hat man die Bewegungsmuster bereits bewusst im Kopf und kann sich frei in seinen Bewegungen fühlen. Dadurch ist man beim Spielen gezwungen, immer diese Muster zu befolgen. Genauso, wie es beim Beginn eines Dirigierstudiums vermittelt werden würde.

klassik-begeistertAlso basieren die Bewegungen auf der realen Ausbildung zum Dirigenten?

Andrés Soto: Die Bewegungen basieren immer auf der Partitur, sie gleichen also den Pattern, die ein Dirigent im Konzert durchführt. Hier gibt es nichts Zufälliges, die Bewegungsmuster und die Dynamik basieren einzig auf dem zu dirigierenden Stück. Mit dem Taktstock sind Tempo und Bewegungsmuster zu befolgen, während mit der freien linken Hand den Musikern Einsätze und Dynamik vorgegeben werden. Einsätze anzuzeigen funktioniert ein bisschen anders im Vergleich zur Realität, da dies beim Spielerlebnis deutlich geschehen muss. Dadurch müssen Sie im Spiel manchmal auch Einsätze anzeigen, die in der Realität nicht notwendig wären.

klassik-begeistert: Und was, wenn man dies einfach weglässt oder vergisst?

Andrés Soto: Bei falschen Angaben reagiert das Orchester und hört auf zu spielen, was zu einer falschen Wiedergabe des Musikstückes führt. Bei korrekter Ausführung erhalten die Spieler stattdessen Erfahrungspunkte, mit denen neue Fähigkeiten oder Taktstöcke freigeschaltet werden können, die mehr Freiheit beim Dirigieren erlauben. Je mehr gespielt wird, desto mehr Freiheit erhält man – genauso, wie es bei einem erfahrenen Dirigenten der Fall ist. Dieses Fortschrittssystem simuliert die Entwicklung vom Anfänger hin zum gestandenen Profi ziemlich gut und lehrt Spielende, dass es beim Dirigieren eben nicht nur um willkürliche Bewegungen der Hände geht.

klassik-begeistert: Das sind aber hohe Anforderungen…

Andrés Soto: Das stimmt. Maestro VR ist ein schwieriges Spiel und erfordert stundenlange Übung. Aus diesem Grund haben wir zusätzlich zwei Spielmodi hinzugefügt: den Kreativmodus, in dem Sie benutzerdefinierte Midi-Dateien spielen und das Tempo freier manipulieren können. Und den Casual-Modus, der darauf ausgerichtet ist, einfach und schnell zu spielen, ohne die Grundlagen lernen und stundenlang üben zu müssen.

Das Ergebnis kommt dem Klang eines echten Orchesters ziemlich nahe.

klassik-begeistert: Sie hatten vorhin das Eintauchen in eine Virtuelle Welt, besser bekannt als Immersion erwähnt. Im Hinblick auf ein Computerspiel bedeutet das ja nicht nur, dass Sie eine hohe Grafikqualität vorweisen müssen, sondern auch mit Problemen, wie Bewegungskrankheit, Schwindelgefühlen und Orientierungsproblemen bis hin zur Übelkeit rechnen müssen. Wie gehen Sie damit um?

Andrés Soto: Grafisch haben wir versucht, es so realistisch wie möglich zu gestalten. Aber VR hat immer noch Einschränkungen, insbesondere für die zukünftige Version von Meta Quest [Meta, ehemals Facebook, vermarktet unter dem Label Meta Quest seine eigenen VR-Headsets – Anmerkung der Redaktion], da es bei hoher Grafik zu FPS-Einbrüchen [Frames per Second – Anmerkung der Redaktion] und daher zu Schwindelgefühlen führen kann. Deshalb optimieren wir das Spiel ständig, um es optisch ansprechend und gleichzeitig flüssig zu machen, was auch Gesundheitsproblemen vorgebeugt.

klassik-begeistert: Optimierung heißt auch einen optimalen Sound zur Verfügung zu stellen. In Ihren Werbevideos habe ich Ihr Orchester im Spiel überraschenderweise aber eher als emulierten Computerklang und nicht als Aufnahme mit realen Instrumenten wahrgenommen. Sollte es im Sinne einer angenehmen Spielerfahrung nicht Kriterium sein, neben guter Grafik auch eine herausragend gute Klangqualität vorzuweisen? Wie stellen Sie dies sicher?

Andrés Soto: Ursprünglich wollten wir echte Aufnahmen verwenden. Aber wir stellten bald fest, dass wir nicht jedes Instrument kontrollieren konnten, um eine Reaktion mit dem Computerspieler zu erzeugen. Wenn Sie beispielsweise in Maestro VR nicht auf korrekte Eingaben für die Klarinetten achten, hören sie auf zu spielen, aber die anderen Instrumente nicht. Für die Aufnahme eines Orchesters müssten wir also für jedes einzelne Instrument separate Spuren haben. Das lag völlig außerhalb unseres Budgets. Aus diesem Grund verwenden wir hochwertig gesampelte Bibliotheken, um jeden einzelnen Instrumentaltrack zu erstellen, der individuell und im 3D-Raum des Spiels positioniert ist. Dadurch können wir die Tracks manipulieren und erreichen durch die Spezialisierung auf 3D gleichzeitig ein hervorragendes Immersionsgefühl.

klassik-begeistert: Aber wie authentisch ist so ein emulierter Klang?

Andrés SotoDas Ergebnis kommt dem Klang eines echten Orchesters ziemlich nahe. Aber wenn wir eines Tages ein größeres Budget haben, werden wir für das Orchester sicher echte Aufnahmen verwenden. Für den Kreativmodus ist das bereits anders, da hier Midi-Files verwendet werden. Der Vorteil ist, dass Sie benutzerdefinierte Midi-Dateien laden und das Tempo manipulieren können. Allerdings wird der Sound immer aus Soundfront-Bibliotheken stammen, die den anderen im Spiel verwendeten Bibliotheken deutlich unterlegen sind. Soundfronts in besserer Qualität zu nutzen ist theoretisch machbar, unterliegt aber technischen Einschränkungen.

Maestro VR bietet derzeit die umfassendste Erfahrung in der Simulation der Arbeit eines Orchesterdirigenten.

klassik-begeistert: Wenn die Technik also noch ein Stück weit von der Realität entfernt ist, worin liegt dann der Mehrwert von Maestro VR? Was sind die Unterschiede, vielleicht auch Vorteile Ihres Spiels im Vergleich zu einer echten Orchesteraufführung?

Andrés Soto: Maestro VR befindet sich derzeit im Early Access. Ein Kauf hilft uns nicht nur, es weiterzuentwickeln, sondern durch Feedback können wir das Spiel auch laufend verbessern. Dazu bietet Maestro VR derzeit die umfassendste Erfahrung in der Simulation der Arbeit eines Orchesterdirigenten. Als wesentlichen Vorteil haben wir außerdem festgestellt, dass wir Menschen erreichen, die nichts von Musik verstehen. Nach stundenlangem Spielen verstehen sie, was ein Dirigent tut; sie lernen, Konzerte mit ganz anderen Augen zu sehen. Sie könnten sogar ein richtiges Orchester dirigieren und die Musiker würden alle Bewegungen verstehen. Für mich ist das Wertvollste, was Maestro VR bietet, dass es als Spiel jedem Spielenden Wissen vermittelt und sie die Grundlagen des Dirigierens lehrt.

Wenn dieses Interview Ihr Interesse geweckt hat, können Sie sich auf den zweiten für Teil Anfang April freuen, in dem es vor allem um die Werkauswahl und Kooperationsmöglichkeiten gehen wird.

Daniel Janz, 17. März 2023, für
klassik-begeistert.de und klassik-begeistert.at

Interview mit Nolwenn Bargin klassik-begeistert.de 5. Februar 2023

Interview: Kirill Timofeev vom Rastrelli Cello Quartett klassik-begeistert.de, 17. November 2022

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert