360° Videos – Technik, Storytelling und Outlook

360° Videos oder auch Virtual Reality werden prinzipiell oft vermischt. 360° Videos bilden die Grundlage für das Erlebnis von AR (Augmented Reality – Angereicherte Realbilder) und im Grunde auch die Basis für VR (Virtual Reality, also komplett im Computer generierte Bilder). Neu ist diese Technik nicht, schon seit über 30 Jahren wird versucht den Menschen komplett in eine virtuelle Realität eintauchen zu lassen. Besonders im Gaming Bereich war die Technik früh beliebt aber nie so richtig erfolgreich, bestes Beispiel ist der Virtual Boy von Nintendo.

Durchgesetzt hat sich diese Technologie aber erst so richtig vor gut einem Jahr, auch durch die Implementierung des 360° Players auf Youtube. Mittlerweile kommen jeden Tag hunderte, wenn nicht tausende 360° Videos auf Youtube hinzu. Das ist eine (immer wieder aktualisierte) Zusammenfassung von dem wie wir im ORF derzeit mit 360° Technik umgehen.

Make the pictures

Grundlegende Frage: Wie macht man ein 360° Bild? Man braucht entweder eine Linse die komplette 360° abdeckt oder man braucht mehrere Linsen die man nachträglich zu einem 360° Bild zusammensetzt. Die Linsen die komplette 360° abdecken realisieren dies derzeit mit Spiegeln bzw. nur mit extrem starker Verzerrung – daher war für uns die Lösung mit mehreren Linsen die Bessere. Auf der mehrere Linsenfront gibt es dann auch wieder mehrere Zugänge es gibt Kameras die sofort ein fertiges Bild zusammensetzen und damit ein „fertiges“ 360° Bild auf die Speicherkarte schreiben. Dazu gibt es am Markt im wesentlichen zwei Lösungen, eine von Ricoh mit dem Namen Theta. Das Produkt ist eher auf Consumer ausgelegt und liefert nicht wahnsinnig berauschende Qualität wie man hier sieht.

Zweite Möglichkeit ist die Ozo von Nokia – eine professionelle Kamera die per SDI live und in 4k fertig „gestitchte“ Bilder ausgeben kann, bzw. können soll. Das Problem ist: Bis jetzt hat noch niemand die Kamera gesehen, auch Testmaterial ist sehr sehr rar gesät. Und zusätzlich dürfte die Kamera nicht ganz billig werden: 60.000$ sind derzeit angepeilt.

Also: Die Nokiakamera wäre für unsere Zwecke (professionelle Produktion, integriert in größere Produktionsumgebung) perfekt geeignet. Problem: sie ist (noch) nicht verfügbar und für Tests ist der Preis auch schlicht und ergreifend zu hoch – daher haben wir uns für die zweite Lösung entschieden – nämlich seperat aufzeichnende Kameras, deren Bilder im Nachhinein zusammengesetzt (gestitcht) werden müssen.

Grundlage dieser Technik sind meist kleine mit 3D-Druckern gedruckte Würfel in die zu meist GoPros eingesetzt werden. Das macht diese Lösung recht günstig. Ein Rig aus so einem Würfel und 6 GoPros ist für ca. 3500 Euro zu haben. Eine Alternative dazu sind 2-Kamera Rigs, bestehend aus 2 GoPros mit einer Backbone-Umrüstung und 250° Weitwinkellinsen. Preislich liegt dieses System ebenfalls bei rund 3000 Euro. Wir haben beide System angesehen und eingehend getestet.

Freedom 360 Explorer Rig mit 6 Gopro Hero 4.
Freedom 360 Explorer Rig mit 6 Gopro Hero 4.

Das erste Gerät mit dem wir gearbeitet haben war das Freedom 360 Explorer Rig vom amerikanischen Hersteller Freedom360 – das Rig ist im wesentlichen ein 3D gedruckter Würfel mit eingesetzten Gewinden an allen Ecken sowie einem Gewinde in der Mitte damit das Gerät auch mit 5 GoPros anstatt mit 6 betrieben werden kann. Um die Kameras im Rig zu halten werden die Unterwassergehäuse der GoPros eingesetzt, das ermöglicht ein relativ einfaches tauschen der Akkus, macht aber einen Betrieb mit externen Stromquellen defacto unmöglich und zusätzlich überhitzen Akkus und GoPro in ihren kleinen Plastikgehäusen so auch noch sehr leicht. Eine Aufzeichnung von über 40 Minuten ist so nur schwer möglich. Da wir auch in Erwägung gezogen haben längere Events mit den Kameras zu featuren haben wir zusätzlich noch das „klassische“ Freedom 360 Rig getestet.

Freedom 360 mit 6 GoPros.
Freedom 360 mit 6 GoPros.

Durch das Wegfallen der Plastikgehäuse können die GoPros so mit externer Stromversorgung und ohne Akkus betrieben werden – Überhitzung stellt so kein Problem mehr da – jedoch sind die Kameras so auch nicht mehr vor leichtem Regen geschützt und daher nur bedingt für Außenanwendungen tauglich. Generell ist die Technologie für permanente Aufzeichnungen nicht wahnsinnig gut geeignet – mehr dazu später bei der Nachbearbeitung.

Die externe Stromversorgung für die Kameras erfolgt über Powerbanks mit 30.000 mAh, hier liefern zwei knapp 8 Stunden Strom für die 6 Kameras also mehr als ausreichend um die Speicherkarten (max 64 GB zu füllen. Bei den Settings gibt es in Wirklichkeit nur eine optimale Einstellung, diese ist 2.7k 4:3 mit 30fps. Dies hängt vor allem mit dem hochauflösenden 4:3 Bildern zusammen die maximal viel Bildinformation bieten um der Software in der Postproduktion möglichst viel Spielraum zu geben.

Stichwort Postproduktion: Dafür braucht es spezielle Stitchingsoftware, die die 6 getrennten Bilder zusammensetzt. Es gibt zwar auch Möglichkeiten dies über After Effects zu lösen so richtig gut funktioniert das aber unserer Erfahrung nach nicht. Für Stitching Software gibt es zwei konkurrierende große Unternehmen zum einen „Video-Stitch“ mit dem „Video-Stitch Studio“ und zum anderen von „Autopano“ das Programm „Autopano Video Pro“ – getestet haben wir beide und im Prinzip funktionieren beide auch auf die gleiche Art und Weise, man syncht mit Hilfe von Ton oder Bewegung die 6 Einzelclips, stitcht sie, behebt leichte Fehler und rendert das Ganze. Wir haben uns nach Tests aus persönlichen Befindlichkeiten und leichten Geschwindigkeitsvorteilen für Autopano Video entschieden und unseren Workflow darauf ausgerichtet.

Stichwort Workflow: Man sammelt echt viele Daten – damit muss man sich zu Recht finden. Für unser Test-Setup für den ORF-Sport haben wir ein komplettes Länderspiel mitgeschnitten mit insgesamt 3 360° Kameras, in Summe also 18 GoPros. Resultierende Dateimenge: 700 GB. Das ist für eine 2 Stunden Aufzeichnung schon recht viel. Besonders wenn man bedenkt dass am Ende nur ein 3 Minuten Clip überbleiben wird. Zusätzliches Problem: GoPros erzeugen alle 4GB ein neues Files das heißt ich kann ein Spiel nicht direkt aus 6 Files zusammensetzen die ich ansonsten pro Kamera erzeugen würde, sondern muss mir erst die 6 Ausgangsfiles erzeugen. Unsere Lösung: Wir setzen die Files zuvor mit Premiere Pro zusammen und erzeugen so pro 360° Kamera 6 einzelne Files. Dabei reduzieren sich die Files von über 100 auf 18 – schon eine großere Erleichterung. Zeitverlust dabei: ca. 4 Stunden. Nächster Schritt: Synchronisierung der Files und Stitching der Files – alles dank Software kein Problem. Abschließender Schritt: das Rendern – und das dauert. Ein 2 Stundenfile braucht auf unserem Setup (Mac Mini mit Echonet Express Gehäuse mit einer GTX960) rund 13 Stunden Renderzeit. Rendern auf dem Prozessor kann man in diesem Zusammenhang vergessen und wer nur auf eine integrierte Grafik zurückgreifen kann ist arm dran. Zum Vergleich die integrierte Iris Pro 5400 des Mac Minis aus 2015 schafft 1 Frame in der Sekunde und die GTX960 schafft 14 Frames. Investition in Grafik spart also Zeit und kostet nicht die Welt.

Die Nachbearbeitung und das Insertieren erledigen wir ganz klassisch mit After Effects und Premiere Pro. Wichtig ist es sich für die Inserts zuvor Verkrümmungstemplates anzulegen um zu wissen wie man die einzelnen Grafiken verzerren muss damit sie dann entzerrt dargestellt werden. Das ist zwar ein Trial and Error Job aber leicht erledigt. Abschließend muss man, sofern man die Files auf Youtube bzw. Facebook veröffentlichen will den Files noch einige Metadaten hinzufügen. Das geht mit einem kleinen Tool das Youtube selbst anbietet. Wichtig ist dabei nicht die 3D Option anzuhaken.

Und so sehen die Videos dann in Youtube bzw. in Facebook eingebettet aus. Was haben wir aus unseren Testdrehs gelernt?

  1. Kameras auf bewegten Gegenständen vor großen Farbflächen sorgen schnell für Stitchingfehler
  2. Bewegung im Bild is a Must
  3. GoPros fallen oft und gerne einfach aus

 

Make the pictures tell something

Was erzählen wir nun mit dieser Technologie? Der grundlegende Zugang ist es den Zusehern zu ermöglichen Räume, Orte und Events zu erleben die ansonsten oft nur von außen gesehen werden können. Dazu haben wir für orf.at/beingpresident den Zugang gewählt Orte zu zeigen die ansonsten nur bzw. auch der Präsident sehen kann und haben dazu die 360° Assets in längere text- oder videobasierte Geschichten verpackt. So haben wir dazu im General Aviation Terminal des Flughafen Wiens, in den Räumlichkeiten des Bundespräsidenten, in einem Militärhubschrauber, bei einer Sub Auspiciis Auszeichnung sowie in der Ehrenloge des Happelstadions gedreht. Hier dient 360° also als zusätzlicher Teil einer größeren Geschichte. Die andere Möglichkeit ist 360° als Stilmittel einzusetzen, das haben wir für den Radiosender FM4 getan und so eine Aufnahmesession in einem ihrer Studios abgebildet.

Ähnliche Aufgabenstellung für die ORF Sendung „Dancingstars“ – hierfür haben wir an einem Deckenstativ eine 360° Kamera montiert und die TänzerInnen bei den Generalproben gefilmt und so etwas Einblick in den Ablauf so einer Sendung geben können. Zu sehen gibt es das daraus entstandene Video hier. Worauf man beim Storytelling mit 360° achten muss ist die Technik nicht zum Selbstzweck verkommen zu lassen und sie so abzunützen. Genaue Planung der Geschichten und des Einsatzes ist also Grundvoraussetzung.

Make the pictures run

Der geschäftliche Erfolg blieb aus, auch wegen der noch mangelhaften Technik, zu niedrige Bildwiederholfrequenzen (von ca. 15Hz) und die mangelhafte Bildqualität. Erst in den letzten Jahren wurden hochauflösende, reaktive Headsets entwickelt die es optisch ermöglichen wirklich in die virtuelle Realität einzutauchen. Der derzeitige Stand der Technik ermöglicht es Bilder in 4k und 360° darzustellen. Ermöglicht wird dies durch WebGL. Grundsätzlich funktioniert das ganze so: Ein „flaches“ in sich verkrümmtes Video wird zu einer Kugel verkrümmt und man bewegt sich in dieser Kugel mit einer virtuellen Kamera und sieht so in alle Richtungen entzerrte Bilder. Klar dass diese Technologie Browsern einiges abverlangt daher funktioniert dies auch nur auf aktuelleren Browsern. Für das Playout der Files bieten sich im Kern zwei Möglichkeiten entweder man nutzt dafür Facebook bzw. Youtube oder man hostet die Videos selbst. Für uns (den ORF) ist Option 2 der Weg den wir gehen wollten deshalb haben wir uns auf die Suche nach fertigen Softwarelösungen gemacht die 360° Videos auf der eigenen Plattform ermöglichen. Klingt leicht ist es aber nicht, zum einen ist der Markt hier noch sehr sehr klein und zum anderen haben so gut wie alle Player damit zu kämpfen dass sie nicht auf allen Endgeräten funktionieren, mal wird WebGL nicht unterstützt (wie im Fall von vielen mobilen Browsern auf iOS) ein anderes Mal ist der Lag in der Bewegung zu groß oder es funktioniert einfach die Kommunikation mit dem Lagesensors des Handys nicht. Letzten Endes hat sich unsere Suche auf zwei Produkte eingeengt:

  1. KRPano
  2. VRview

Während KRPano ein Tool eines österreichischen Entwicklers ist, das seit 8 Jahren gewachsen ist, ist VRview das Tool von Google selbst für die Einbettung von 360° Videos auf der eigenen Site. Man sollte annehmen das Google Produkt würde das des österreichischen Entwicklers locker schlagen. Falsch gedacht – wirklich plattformunabhängig ist nur KRPano. Zwar auch mit einigen Einschränkungen aber voll funktionell. Also unsere Lösung ist: KRPano. Wie das ganze eingebunden aussieht kann man sich hier ansehen: http://orf.at/wahl/beingpresident/stories/2331047/

Live?

Live funktioniert prinzipiell in der selben Art und Weise wie der normale Vorgang – Softwarelösung für Live-Stitching ist allerdings nur eine einzige brauchbare auf dem Markt und zwar Vahana Live und diese ist nicht ganz billig – rund 2000€ muss man dafür auf den Tisch legen. Der technische Vorgang ist praktisch der gleiche wie oben in der Postproduktion beschrieben allerdings viel leistungshungriger da die Hardware alles in Echtzeit schaffen muss. Um die Bilder von den GoPros zu bekommen nutzen wir den HDMI Ausgang und schleifen die 6 Livefeeds über HDMI – USB Wandler in das System setzen es dort Live zusammen und geben den 4k Stream über unsere eigene Streamingumgebung (Stichwort: TVthek) wieder aus.

Fazit

Zusammengefasst kann man sagen dass 360° Videos eine neue Möglichkeit sind Nutzern und Sehern Zugang zu Räumen und Geschehnissen zu bieten die bisher nicht möglich waren und sehr selbstbestimmt sind. Für uns als Mediengestalter ist es wichtig dass wir die neue Technologie nicht aus eigener Begeisterung mit inhaltsleerem Content zu schnell abnutzen.

Zukunft

Der Markt für Hard- und Software für 360° entwickelt sich gerade erst und im Laufe des Frühjahrs/Sommers kommen einige neue Produkte die den Workflow stark vereinfachen werden und damit das Augenmerk wieder stärker auf Storytelling legen werden, besonders spannend scheint hier die bereits erwähnte Ozo von Nokia, von der man mittlerweile im Rahmen der NAB auch einen ersten Eindruck gewinnen konnte der Alles in Allem sehr gut war. Aber auch die Orah 4i oder das neue 360° Rig von GoPro sehen sehr vielversprechend aus.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.