iOS 13 bringt neue AR-Funktionen

Apple ARKit 3 - Augmented Reality wird erwachsen

24.06.2019
Von   
Mark Zimmermann leitet hauptberuflich das Center of Excellence (CoE mobile) zur mobilen Lösungsentwicklung bei der EnBW Energie Baden-Württemberg AG in Karlsruhe. Er weist mehrere Jahre Erfahrung in den Bereichen Mobile Sicherheit, Mobile Lösungserstellung, Digitalisierung und Wearables auf. Der Autor versteht es, seine Themen aus unterschiedlichsten Blickwinkeln für unternehmensspezifische Herausforderungen darzustellen. Neben seiner hauptberuflichen Tätigkeiten ist er Autor zahlreicher Artikel in Fachmagazinen.
War das Augmented-Reality-Toolkit ARKit bisher schon sehr mächtig, will Apple die Möglichkeiten mit ARKit 3 weiter verbessern. Es soll performanter und realistischer, allerdings auch vom Umfang her üppiger sein.

Dass Apple ein besonderes Faible für Augmented Reality (AR) hat, ist für iOS-Anwender längst kein Geheimnis mehr. Umso weniger überrascht es, dass das Unternehmen aus Cupertino bei seinen Arbeiten an iOS 13 auch hier kräftig Hand anlegte. Tatsächlich wird AR mit der neuen Betriebssystemversion noch plastischer, denn mit dem ARKit 3 Framework können App-Entwickler nun etwa auf menschliche Körper (People Occlusion) und deren Bewegungen (Motion Capturing) reagieren. Hier die neuen Features im Detail:

Die People Occlusion soll das AR-Erlebnis "immersiv" machen. Das bedeutet, die Szenerie wirkt realistischer, da nun virtuelle Objekte von Menschen "verdeckt" werden können, sofern sich das virtuelle Objekt in der räumlichen Tiefe tatsächlich "hinter" dem Menschen befindet. Das Wort "immersiv" leitet sich vom englischen Begriff "immersion" ab, was auf Deutsch so viel wie "Eintauchen" oder "Vertiefung in eine Sache" bedeutet.

Mit ARKit 3 können Anwender noch intensiver in die erweiterte Realität eintauchen.
Mit ARKit 3 können Anwender noch intensiver in die erweiterte Realität eintauchen.
Foto: Apple

Die als Motion Capturing bezeichnete Funktionalität soll es nun erstmals erlauben, menschliche Bewegungen auf virtuelle Objekte zu übertragen. Virtuelle Figuren lassen sich somit ziemlich realistisch steuern.

Bisher konnte ARKit nur ein Gesicht auf der Frontkamera erkennen. Diese Funktion wurde nun mit Multiple Face Tracking auf drei Gesichter erweitert. Jedes Gesicht bekommt dabei eine eigene ID. Diese ID bleibt auch dann konsistent, wenn ein Gesicht den Bereich verlässt und später wieder betritt. Voraussetzung ist nur, dass die App zwischenzeitlich nicht geschlossen oder die AR-Session beendet wurde.

Aber auch bei der Erkennung von Gegenständen und Flächen hat sich ARKit 3 verbessert. Dank Machine Learning sollen Flächen nun auch da erkannt werden, wo noch keine so genannten Feature-Punkte gesehen wurden. Normalerweise erkennt ARKit diese eindeutigen Merkmale in der Realität und bildet daraus horizontale und vertikale Flächen. Unter Zuhilfenahme von Machine Learning kann ARKit nun in normalen Zimmersituationen auch dort Wände "erkennen", wo diese sein "müssten" - auch wenn die Kamera diese noch nicht komplett erfasst hat. Erkannte Flächen werden nun außerdem mehr Kategorien zugeordnet. Konnte ARKit aktuell Wände, Böden, Decken, Tische und Stühle erkennen, kommen mit ARKit 3 noch Fenster und Türen hinzu.

Dank RealityKit können Entwickler Objekte noch besser in den Raum einpassen.
Dank RealityKit können Entwickler Objekte noch besser in den Raum einpassen.
Foto: Apple

Mit RealityKit bietet Apple zudem ein neues Framework, das die Simulation und Wiedergabe von 3D-Inhalten zur Verwendung in Augmented-Reality-Apps noch realistischer ermöglichen soll. So erhalten die virtuellen Objekte beispielsweise eine Bewegungsunschärfe, wenn sich die Kamera bewegt. Auch die "Nähe" des Objektes zu seiner Stellfläche wird besser, da RealityKit stetig optimieren soll. Hinzu kommt, dass damit auch die Beleuchtungssituation besser zur Wirkung kommt. Ein überbelichtetes Kamerabild lässt so ein virtuelles Objekt ebenso realistischer darstellen. Auch in schlechten Lichtsituationen mit Rauschen vor dem Kamerasensor wird dieses Rauschen auf virtuelle Objekte angewendet.

Fazit

Lange bevor ARKit 1.0 auf dem Markt veröffentlicht wurde, hat sich Apple über die Akquisition von Firmen (zum Beispiel Metaio) dem Thema angenähert. Gemäß der Erfahrung, dass auf der WWDC Frameworks präsentiert werden, bevor die dazu gehörige Hardware folgt, dürfen wir auf die nächsten Monate gespannt sein. Denn damit die Erlebnisse noch immersiver werden, muss sich Apple dem menschlichen Auge weiter nähern. Daher wächst (erneut) die Hoffnung, dass die Company bald auch eine eigene AR-Brille präsentieren wird. (mb)