Auszug Einleitung:
Der Aufbau der folgenden Arbeit gliedert sich in einen theoretischen und einen praktischen Abschnitt. In einem theoretischen Teil werden historische Meilensteine der AR-Entwicklung aufgezeigt und es wird untersucht welche mobilen Geräte und Betriebssysteme für die Vision-basierte Augmented Reality Entwicklung in Frage kommen. Anhand von Beispielen aus der Praxis werden mögliche Anwendungsgebiete aufgezeigt.
Danach werden verschiedene Entwicklungsmöglichkeiten erläutert. Zum einen werden die verschiedenen AR-Browser und verschiedene Toolkits, die Natural Feature Tracking (NFT) beherrschen, miteinander verglichen und zum anderen werden die Vor- und Nachteile der beiden Entwicklungswege gegeneinander abgewogen.
Inhaltsverzeichnis
Abkürzungsverzeichnis
Glossar
Abbildungsverzeichnis
Tabellenverzeichnis
Listingverzeichnis
1 Einleitung
2 Grundlagen
2.1 Vision-basierte Augmented Reality
2.1.1 Definition
2.1.2 Geschichte
2.1.3 Handheld Augmented Reality
2.1.4 Anwendungsgebiete für Handheld-Geräte
2.1.5 Visuelles Tracking
2.2 Augmented Reality Toolkits und Browser
2.2.1 Überblick
2.2.2 Augmented Reality Toolkits
2.2.3 Augmented Reality Browser
2.2.4 AR Browser versus NFT-Toolkits
2.3 Unity
2.4 Personalisiertes Dialogmarketing
3 Konzept und Technische Realisierung des Prototyps
3.1 Konzept der AR-Anwendung
3.1.1 Anforderungen
3.1.2 Evaluierung von Vuforia
3.1.2.1 Möglichkeiten der Entwicklung
3.1.3 Grundlagen der Vuforia-Unity Entwicklung
3.1.3.1 Lizenzbestimmungen
3.1.3.2 Markertypen
3.1.3.3 Target Design Richtlinien
3.1.3.4 Virtual Buttons
3.1.3.5 Target Management System
3.1.3.6 Cloud Recognition
3.2 Implementierung
3.2.1 Entwicklungsumgebung
3.2.2 Vuforia Architektur
3.2.3 Grundbestandteile der Vuforia-Unity-Extension
3.2.4 Vorbereitung der Unity-Umgebung
3.2.5 User Interface NGUI
3.2.5.1 Erstellung eines UI mit NGUI
3.2.6 Aufbau des Prototyps
3.2.6.1 Touch-Events
3.2.6.2 View-Handling
3.2.6.3 Splash Screen
3.2.6.4 Hauptmenü (MainMenu)
3.2.6.5 Kamera-Ansicht (ARCamera)
3.2.7 QR-Code-Scanner
3.2.7.1 Antares QR Code
3.2.7.2 ZXing
3.2.8 Video-Texture Lösungen
3.2.8.1 Vuforia-Videoplayback
3.2.8.2 Mobile Movie Texture
3.2.8.3 Entwicklung mit Mobile Movie Texture
3.2.9 4-gewinnt Spiel
3.3 Finale Erstellung
3.4 Ergebnis der Implementierung
4 Zusammenfassung
5 Ausblick
Literaturverzeichnis
Anlagenverzeichnis
Selbständigkeitserklärung
Abkürzungsverzeichnis
Abbildung in dieser Leseprobe nicht enthalten
Glossar
Alpha-Beta-Suche:
Die Alpha-Beta-Suche ist eine optimierte Variante des Minimax-Algorithmus.
Android Package (APK):
Das Android Package ist ein Paket, das für die Verteilung und Installation von Android-Anwendungen genutzt wird.
Android-Activity: Eine Activity unter Android repräsentiert genau ein Benutzerinterface. Eine Android-Anwendung kann mehrere Activitys besitzen, zwischen denen hin und her gewechselt werden kann.
AOT-Compiler:
Ein AOT-Compiler übersetzt Programmcode vor der Ausführung einer Anwendung in native Maschinensprache.
Augmented Virtuality:
Als Augmented Virtuality bezeichnet man die Integration realer Objekte in eine virtuelle Welt
Binarizer:
Ein Binarizer ist ein Instrument zum Umwandeln unterschiedlicher Daten in binäre Daten.
Branding:
Branding ist die Bezeichnung dafür, das ein Produkt mit eine Marke versehen ist.
Coroutines:
Coroutines sind Programmkomponenten die ihren Ablauf unterbrechen und später wieder aufnehmen können.
DepthMask:
Die DepthMask ist ein Shader, der ermöglicht, dass Objekte die von ihm verdeckt werden, nicht gezeichnet werden.
Diminished Reality:
Bei Diminished Reality werden reale Objekte in Echtzeit entfernt und die realen Objekte können durch virtuelle Objekte ersetzt werden.
Face-Tracking:
Unter Face-Tracking versteht man eine Computertechnologie, die Gesichtserkennung mithilfe bestimmter Merkmale möglich macht.
Game-Engine:
Eine Game-Engine ist eine Entwicklungsumgebung für Software-Spiele.
Head-Mounted-Display:
Ein Head-Mounted-Display ist ein auf dem Kopf montiertes Ausgabegerät, welches computergenerierte Bilder auf einem augennahen Bildschirm darstellen kann oder sie direkt auf die Netzhaut projiziert.
Immersion:
Die Immersion ist eine Angabe dafür, wie gut sich ein Nutzer in eine virtuelle Welt hineinversetzen kann, also diese im besten Fall als real wahrnimmt.
JIT-Kompilierung:.
JIT-Kompilierung ist ein Verfahren, das genutzt wird, um Programmcode zur Laufzeit in Maschinencode zu übersetzen. Es kommt bei Virtuellen Maschinen zum Einsatz, bei denen plattformunabhängiger Bytecode ausgeführt werden soll.
Keystore:
Ein Keystore ist ein Archiv von Sicherheitszertifikaten.
Landscape-Modus:
Als Landscape-Modus wird die waagerechte Ausrichtung eines Handheld-Gerätes bezeichnet.
Mailing:
Mailing bezeichnet im Dialogmarketing die Werbeform der Massenbriefsendung.
Marker:
Ein Marker ist ein 2D- oder 3D-Objekt, was durch eine Kamera erfasst werden kann.
Mesh-Rendering:
Mesh-Rendering ist ein Verfahren, welches das Netz eines 3D-Objekts rendert.
Minimax-Algorithmus:
Der Minimax-Algorithmus ist ein Algorithmus der zur Ermittlung der optimalen Spielstrategie für endliche Zwei-Personen-Spiele geeignet ist. Die gesamte Historie der Partie beider Spieler ist dabei bekannt.
Multitouch-Bedienoberfläche:
Eine Multitouch-Bedienoberfläche ist ein Display mit dem mehrere Berührungen erkannt werden und somit Gesten mit mehr als einem Finger möglich sind.
Natural-Feature-Tracking:
Natural-Feature-Tracking ist eine Unterkategorie von Vision-basiertem Tracking und nutzt natürliche Merkmale zum Verfolgen eines Objektes.
OpenGL:
OpenGL ist eine Programmierschnittstelle für die Entwicklung von 2D- und 3D-Computergrafiken.
Optical-See-Through:
Optical-See-Through beschreibt die Einblendung virtueller Objekte durch ein halbtransparentes Display, während die reale Welt sichtbar bleibt.
Out-of-Home Werbung:
Unter Out-of-Home Werbung versteht man Außenwerbung, wie z.B. Filmplakate.
PDA:
Ein PDA ist ein technisches Gerät, das durch einen Touchscreen gesteuert wird, meistens eine abgespeckte Version eines PC-Betriebssystems besitzt und oft im Office-Bereich genutzt wird.
Prefabs:
Als Prefabs werden in Unity wiederverwendbare GameObjects bezeichnet.
Shader:
Als Shader werden in Unity die Module bezeichnet, die Bildsynthese-Effekte implementieren können.
Splash Screen:
Splash Screen wird der Startbildschirm beziehungsweise Ladebildschirm bei Apps genannt.
Tablet-Computer:
Der Tablet-Computer ist ein Computer, der ein Touchscreen besitzt, meistens eine Größe zwischen 7 und 11 Zoll hat und sich ähnlich handhaben lässt wie ein Smartphone.
Texture Atlas:
Ein Texture Atlas ist ein großes Bild, das aus einer Sammlung von mehreren Teilbildern besteht. Jedes dieser Teilbilder kann eine Texture für ein visuelles Objekt sein.
Toolkit:
Ein Toolkit ist eine Sammlung von Bibliotheken, Klassen und Schnittstellen, die als Hilfestellung zur Software-Programmierung dienen.
Tracking:
Unter Tracking versteht man die Verfolgung von Objekten der realen Welt.
Unity Asset Store:
Der Unity Asset Store ist ein Marktplatz für freie und kommerzielle Assets, wie z.B. Texturen, 3D-Modelle, Animationen und Skripte von Unity Technologies oder Drittanbietern.
Unity Packages:
Unity Packages sind Container mit denen z.B. Skripte, GameObjects oder ganze Projekte verteilt werden können.
Video-See-Through:
Video-See-Through beschreibt die Überlagerung von virtuellen Daten und realen Daten durch einen Videostream in Echtzeit.
Video-Texture:
Eine Video-Texture ist eine animierte Texture, die aus einer Videodatei erstellt und meistens auf einer Plane (Ebene) dargestellt wird.
View-Handling:
View-Handling beschreibt die Navigation durch die einzelnen Bildschirmanzeigen.
Virtual Reality:
Der Begriff Virtual Reality beschreibt computer-simulierte Umgebungen, die der realen Welt möglichst nahe kommen sollen.
Visuelle Programmierung:
Die visuelle Programmierung ist eine Programmierung die mit graphischen Elementen arbeitet. Sie stellt einen Gegensatz zur textuellen Programmierung dar. Meistens erfolgt die Darstellung in Form eines Blockdiagramms.
Visuelle-Tracking-Systeme:
Visuelle-Tracking-Systeme werden zur Positions- und Orientierungserfassung von Objekten der realen Welt verwendet. Dafür werden visuelle Merkmale genutzt.
White-Label:
White-Label bezeichnet den Zustand indem kein Markenname eines Herstellers sichtbar ist.
WWDC:
Die WWDC ist eine Entwicklerkonferenz, die jährlich von Apple in Kalifornien veranstaltet wird. Hier werden hauptsächlich neue Technologien und Software von Apple vorgestellt.
Xcode:
Xcode ist eine Entwicklungsumgebung von Apple.
Abbildungsverzeichnis
Abbildung 2-1: Reality-Virtuality Continuum
Abbildung 2-2: Erstes Head-Mounted-Display von Ivan Sutherland
Abbildung 2-3: Mobile Geräteklassen für AR
Abbildung 2-4: Display-Größen-Entwicklung bei Smartphones mit Android
Abbildung 2-5: Die meistverkauften Android-Geräte nach AppBrain
Abbildung 2-6: Smartphone-OS-Anteil im 1. Quartal 2012 in Deutschland
Abbildung 2-7: Video-Textur als Einsatzmöglichkeit für AR
Abbildung 2-8: ARDefender von Int13
Abbildung 2-9: Ablauf bei merkmalbasierten Tracking.
Abbildung 2-10: Unity Editor
Abbildung 2-11: Unterstützte 3D-Formate unter Unity
Abbildung 2-12: Medien des Dialogmarketings
Abbildung 3-1: Ablaufplan der Vuforia-Gamekit-Integration
Abbildung 3-2: Okklusion-Effekt mit Multi Targets
Abbildung 3-3: Frame Marker Anwendungsfall
Abbildung 3-4: Eckenerkennung im Vuforia SDK
Abbildung 3-5: Fünf-Sterne Bildmarker
Abbildung 3-6: Ein-Stern Bildmarker
Abbildung 3-7: QR-Code als Null-Sterne Bildmarker
Abbildung 3-8: Virtual Buttons auf einem Image Target
Abbildung 3-9: Verbindung zwischen TMS und der Anwendung
Abbildung 3-10: Marker-Erstellung im Target Management System
Abbildung 3-11: Tracking-Qualität und erkannte Merkmale
Abbildung 3-12: Download-Option für die Target Ressourcen
Abbildung 3-13: Koordinatensystem der Marker
Abbildung 3-14: Datenflussdiagramm des Vuforia SDK
Abbildung 3-15: Ohne DepthMask (links) und mit DepthMask (rechts)
Abbildung 3-16: „Hole in the Wall“-Effekt
Abbildung 3-17: Projektstruktur von Vuforia in Unity
Abbildung 3-18: Unity-Import-Fenster mit dem im TMS erstellten Dataset
Abbildung 3-19: QCARBehaviour
Abbildung 3-20: DataSetLoadBehaviour
Abbildung 3-21: ImageTargetBehaviour
Abbildung 3-22: NGUI Objekt-Hierarchie
Abbildung 3-23: Verteilung der Android-Versionen im August 2012.
Abbildung 3-24: Videokonvertierung mit SUPER
Abbildung 3-25: Darstellung von personalisierten Daten in der Prototyp-Anwendung
Abbildung 3-26: Darstellung eines 4-gewinnt Spiels in der Prototyp-Anwendung.
Tabellenverzeichnis
Tabelle 2-1: Entwicklung vom iPhone
Tabelle 2-2: Daten zu den meistverkauften Android-Geräten nach AppBrain
Tabelle 2-3: Entwicklung vom iPad
Tabelle 2-4: Augmented Reality Toolkits für Android und iOS
Tabelle 2-5: Augmented Reality Browser für Android und iOS
Tabelle 2-6: Mindestanforderung für die Unity-Entwicklung für Android und iOS.
Tabelle 3-1: Dos and Don’ts bei Bildmarkern
Tabelle 3-2: Inhalt der Unity-Extension vom Vuforia SDK
Tabelle 3-3: Video-Texture Lösungen
Listingverzeichnis
Listing 3-1: Aufruf einer Android-Methode von Unity aus..
Listing 3-2: Aufruf einer Unity-Methode von Eclipse oder Xcode aus
Listing 3-3: XML-Konfigurationsdatei mit Größe und Name der Targets
Listing 3-4: OnTrackableStateChanged
Listing 3-5: OnTrackingFound und OnTrackingLost
Listing 3-6: HandleTouches und HandleMouse
Listing 3-7: Auszug aus OnBackButtonClick Skript.
Listing 3-8: Splash Screen Script für iOS
Listing 3-9: NewGameTest Skript.
Listing 3-10: OnFocusClick Skript.
Listing 3-11: Erster Lösungsansatz mit Antares QR Code.
Listing 3-12: Wechseln des Eltern-Objekts zur Laufzeit
Listing 3-13: HitTest Skript
1 Einleitung
Laut Gartner ist Augmented Reality (AR) eine der Top 10 strategischen IT-Technologien unserer Zeit (metaio GmbH, 2012a). Die „Erweiterung der Realitätswahrnehmung“ spezialisiert sich unter anderem auf die Benutzung mobiler Endgeräte. Dank dem Zuwachs an Smartphone-Besitzern und den steigenden Hardware-Leistungen der Handhelden, wird es daher möglich die breite Maße für AR-Anwendungen zu mobilisieren und zu faszinieren. Aufgrund des wachsenden Interesses in der Öffentlichkeit und von großen Unternehmen empfiehlt es sich, AR als neuen Absatzmarkt für Softwareentwicklungsfirmen zu nutzen.
Ziel der Arbeit ist die Entwicklung eines Vision-basierten Augmented Reality Prototyps, welcher für mehrere Projekte und für möglichst viele mobile Geräte genutzt werden kann. Mithilfe dieser Prototyp-Anwendung soll ein neuer Absatzmarkt, für die Dresdner Mobile-Software-Engineering-Firma maniac labs Gbr, geschaffen werden, indem die Realisierung von effizienteren Dialogmarketing-Kampagnen, durch die Nutzung neuester IT-Technologien, ermöglicht wird. Um das Beste aus den neuesten Technologien zu vereinen, soll bei der Entwicklung des Prototyps ein QR-Code-Scanner, zum Auslesen von Daten, und Augmented Reality, zum Darstellen virtueller Inhalte, verbunden werden.
Diese Arbeit bezieht sich exemplarisch auf eine Kampagne, die im Folgenden „Dein Zukunfts-Check“ genannt wird. Als Kunde der Dresdner Entwicklerfirma hat ein Unternehmen sein Interesse an einer AR-Anwendung geäußert und dafür bestimmte Inhalte zur Verfügung gestellt. Mithilfe der AR-Anwendungen sollen bestehende Kunden persönlich angesprochen und zum Mitmachen angeregt werden. Dadurch soll die Kundenbindung der Unternehmenskunden gefestigt werden. Der Prototyp der Anwendung soll jedoch auch für andere Dialogmarketing-Kampagnen und Kunden schnell anpassbar sein.
Der Aufbau der folgenden Arbeit gliedert sich in einen theoretischen und einen praktischen Abschnitt. In einem theoretischen Teil werden historische Meilensteine der AR-Entwicklung aufgezeigt und es wird untersucht welche mobilen Geräte und Betriebssysteme für die Vision-basierte Augmented Reality Entwicklung in Frage kommen. Anhand von Beispielen aus der Praxis werden mögliche Anwendungsgebiete aufgezeigt. Danach werden verschiedene Entwicklungsmöglichkeiten erläutert. Zum einen werden die verschiedenen AR-Browser und verschiedene Toolkits, die Natural Feature
Tracking (NFT) beherrschen, miteinander verglichen und zum anderen werden die Vor- und Nachteile der beiden Entwicklungswege gegeneinander abgewogen. Den Abschluss des Theorieteils bildet ein Einblick in das personalisierte Dialogmarketing.
Der praktische Abschnitt der Arbeit widmet sich dem Konzept und der Implementierung des Prototyps. Zunächst werden die Anforderungen an den Prototypen dargelegt und anschließend wird näher auf die Entwicklung mit dem Vuforia SDK als NFT-Toolkit eingegangen. Daraufhin erfolgt die Beschreibung der Realisierung des Prototyps. Eine Zusammenfassung resümiert die Arbeit. In einem abschließenden Ausblick wird auf Verbesserungsvorschläge für den Prototyp und die Zukunftsaussichten von Vision-basiertem Augmented Reality eingegangen.
2 Grundlagen
2.1 Vision-basierte Augmented Reality
2.1.1 Definition
Allgemein versteht man unter Vision-basierter Augmented Reality die computergestützte Erweiterung der Realität durch Visuelle-Tracking-Systeme (Tracker). Das Tracking-System soll die reale Umgebung, den Blickwinkel des Betrachters und die Lage eines Markers im Raum möglichst genau in Echtzeit erfassen (Mehler-Bicher, Reiß, & Steiger, 2011). Das Reality-Virtuality Continuum (Abb. 2-1) von Paul Milgram und Fumio Kishino zeigt den Übergang von der realen Umgebung zur virtuellen Umgebung. Wobei Augmented Reality näher an der realen Umgebung und Augmented Virtuality näher an der virtuellen Umgebung liegt. Die virtuelle Umgebung besteht nur aus computergenerierten Objekten, die nicht auf die Außenwelt reagieren, so wie bei einem Computerspiel (Milgram & Kishino, A Taxonomy of Mixed Reality Visual Displays, 1994).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2-1: Reality-Virtuality Continuum
(Milgram, Takemura, Utsumi, & Kishino, 1994, S. 283)
Eine allgemein anerkannte Definition für Augmented Reality wurde im Jahr 1997 von Ronald Azuma veröffentlicht. AR ist darin durch die folgenden drei Punkte definiert (Azuma, 1997):
- Kombination von virtueller Realität und realer Umwelt (teilweise überlagert)
- Interaktiv in Echtzeit
- Im 3D-Raum registriert
Ein Nachteil dieser Definition ist, dass sie sich hauptsächlich auf die technischen Merkmale bezieht und die Anwendungsseite vernachlässigt. Andere Arbeiten definieren AR als eine Erweiterung der Sinneswahrnehmung des Menschen durch Hinzunahme von weiteren Informationsquellen wie z.B. einem Radar (Adam, 2009).
Aber auch bei dieser Definition bleibt ein wesentliches Merkmal unbeachtet, denn es ist nicht nur möglich die Realität mit virtuellen Objekten zu erweitern, sondern auch ein Objekt der realen Umgebung in Echtzeit verschwinden zu lassen, was als Diminished Reality bezeichnet wird. (Schilling, 2005). Im folgendem wird Augmented Reality als Kombination der drei vorangegangen Definitionen verstanden, das heißt: Augmented Reality kombiniert virtuelle Realität und reale Umwelt in Echtzeit, registriert die virtuellen Informationen in einem 3D-Raum und dient somit als Erweiterung der Sinneswahrnehmung des Menschen durch Hinzunahme oder Reduktion von Informationen.
Damit es überhaupt möglich ist die eigenen Sinneswahrnehmungen durch AR zu erweitern oder durch Diminished Reality zu manipulieren, müssen verschieden technische Voraussetzungen erfüllt sein. Eine Kamera für die Aufnahme der Umgebung, ein Prozessor zur Berechnung der Eingabe und Ausgabe, Software für Logik und Inhalt und eine Möglichkeit zur Darstellung von virtuellen Inhalten gehören zu den Grundvoraussetzungen (Ambrus & Lonau, 2010).
2.1.2 Geschichte
Die Geschichte von Augmented Reality reicht bis ins Jahr 1968 zurück. In diesem Jahr entwickelte Ivan Sutherland das erste Head-Mounted-Display (HMD) namens „The Sword of Damocles“. Aufgrund des hohen Gewichtes von dem HMD war eine Befestigung an der Decke notwendig (Bliem, 2007). Da die Rechenleistung der Computer in den sechziger Jahren stark begrenzt war, konnten nur sehr einfache Strichzeichnungen in Echtzeit angezeigt werden. Wie in Abbildung 2-2 zu sehen ist, konnte der Nutzer sich mithilfe des HMD um ein Drahtgittermodel eines Würfels herumbewegen (Wagner, History of Mobile Augmented Reality, 2009).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2-2: Erstes Head-Mounted-Display von Ivan Sutherland
(Sutherland, 1970, S. 2)
Der Begriff Augmented Reality als Überlagerung von virtuellen Informationen mit der realen Welt wurde erstmals 1992 von Tom Caudell und David Mizell genannt. Sie erkannten den Vorteil von Augmented Reality gegenüber Virtual Reality (VR) im Zusammenhang mit der Rechenleistung, da weniger Pixel gerendert werden mussten. Gleichzeitig wiesen sie auf die Schwierigkeiten des Trackings der realen Welt hin. Im Juni 1996 präsentierte Jun Rekimoto den ersten 2D-Marker, der Kamera-Tracking mit sechs Freiheitsgraden ermöglichte und 1999 stellten Hirokazu Kato und Mark Billinghurst das noch heute bei der AR-Community sehr beliebte ARToolKit vor. ARToolKit ist eine Open Source und Vision-basierte Tracking-Bibliothek für die Entwicklung von AR-Anwendungen (Wagner, History of Mobile Augmented Reality, 2009). Mathias Möhring zeigte 2004 die erste Augmented Reality Anwendung auf einem Mobiltelefon mithilfe von Markern und einer OpenGL Rendering Pipeline (Möhring, Lessig, & Bimber, 2004). Im selben Jahr wurde „The Invisible Train”, die erste Multi-User-AR Anwendung für Handheld Geräte, vorgestellt. Diese Anwendung basiert auf dem Studierstube ES Framework von der TU Graz, was später ein Teil von Qualcomm’s Vuforia Framework wurde (Wagner, Pintaric, & Schmalstieg, The Invisible Train, 2004).
Im Jahr 2007 wurde die weltweit erste Mobiltelefon-basierende AR Werbeanzeige von der Werbeagentur Saatchi & Saatchi und den Entwicklern von HITLabNZ für den Wellington Zoo (Neuseeland) veröffentlicht. Die Anzeige, die in einer großen Zeitung platziert wurde, erreichte 750.000 Menschen, was zu einem Besucherwachstum von
32 % führte (Macleod, 2007).
Mit der Veröffentlichung des ersten iPhones (2007) und des ersten iPads (2010) von Apple hat sich der mobile Markt stark gewandelt. Die revolutionäre Multitouch-Bedienoberfläche und Benutzerfreundlichkeit hat mobile Geräte wie Smartphones und Tablet-Computer zu einer großen Verbreitung verholfen. Mit dem stark wachsenden mobilen Markt, steigt auch die Leistungsfähigkeit mobiler Geräte. Durch die Veröffentlichung des iPhone 3GS (2009), wurde AR mit Natural-Feature-Tracking (NFT) für den Mobilen-Massenmarkt interessant (Ambrus & Lonau, 2010).
An der TU Graz wurde 2008 die erste Natural-Feature-Tracking Lösung für Mobiltelefone mit einer Echtzeit-Bildrate von 20Hz entwickelt (Wagner, Reitmayr, Mulloni, Drummond, & Schmalstieg, 2008).
2.1.3 Handheld Augmented Reality
Unter Handheld Augmented Reality versteht man die Nutzung von AR mithilfe von mobilen Geräten die aktiv in der Hand gehalten werden können. Die Abbildung 2-3 zeigt exemplarisch drei Handheld-Geräteklassen für AR. Darunter vertreten sind Tablet-Computer (b), PDAs (c) und Mobiltelefone (d). Ein wichtiger Unterschied bei den Head-Mounted-Displays (a) im Gegensatz zu den anderen Geräteklassen ist, dass sie zwar mobil sind aber keine Handheld-Geräte, denn der Nutzer hat beide Hände frei. Wegen den hohen Kosten und den Problemen mit der Ergonomie sind HMDs nicht für den Massenmarkt geeignet. Vorteil des HMDs ist jedoch, dass man das AR-Erlebnis immer im Blick hat. Ein Handheld dient dagegen mithilfe der Kamera eher als Spiegel zur AR-Welt. Die Geräteklassen (c) und (d) sind heute nicht mehr voneinander abgrenzbar, außerdem werden sie von den Smartphones mehr und mehr vom Markt verdrängt. Die Geräteklasse der Tablet-Computer (b) verfügt über große Displays, die mehr Platz für das User-Interface und der Darstellung von AR bietet (Tantius, 2008). Zu Handheld-Geräten gehören auch mobile Spielekonsolen wie z.B. die Playstation Vita oder der Nintendo 3DS. Auch im Bereich der Digitalkamera, als Handheld-Gerät, gibt es erste Prototypen für AR (vgl. TVtech, 2012).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2-3: Mobile Geräteklassen für AR
(Wagner, Handheld Augmented Reality, 2007, S. 4)
Die Vorteile von Handheld-AR-Geräten sind, dass sie im Vergleich zu einem HMD kostengünstiger und verbreiteter sind. Vor allem sind die Nutzer mit dieser Art von Geräten vertraut. Im Gegensatz zu HMDs besteht bei Handheld Displays die Möglichkeit, dass mehrere Nutzer das AR-Erlebnis haben können. Durch den technischen Fortschritt vor allem im Smartphone und Tablet-Computer Bereich gibt es weniger Einschränkungen was die Ressourcen der Hardware anbetrifft, wie es noch im Jahr 2007 der Fall war (vgl. Körber, 2007, S. 1). Eine positive Entwicklung für AR ist, dass die Displays bei Smartphones größer geworden sind. Eine Statistik von Strategy Analytics besagt, dass 90 % der Smartphone Besitzer in den USA und Großbritannien eine Display-Größe von 4 - 4,5 Zoll bevorzugen, da dadurch das mobile Web-Browsing- und Gaming-Erlebnis gesteigert wird (Business Wire, 2012). Das verbessert auch das AR-Erlebnis, durch die Abbildung von mehr Informationen und besserer Immersion. Diese Entwicklung wird auch anhand von Abbildung 2-4 deutlich. Diese zeigt dass bis 2011 ein Trend zu eher kleineren Smartphone[1] -Displays herrschte und seit Anfang des Jahres keine Displays unter 3,5 Zoll gebaut wurden. Die meisten Smartphones besitzen seit 2011 eine Displaygröße von um die 4 Zoll. Insgesamt werden mehr Smartphones mit größeren Displays gebaut als im Jahr 2009. Die Tabelle 2-1 zeigt dass auch Apple den Trend folgt und im Jahr 2012 erstmals auf ein größeres Display mit 4 Zoll statt 3,5 Zoll setzt.
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2-4: Display-Größen-Entwicklung bei Smartphones mit Android
(Lang, 2012)
Auch die Rechenleistung der heutigen Smartphones und Tablet-Computer ist immer mehr für die Echtzeit Berechnung von AR geeignet. Das AR-Framework von Qualcomm (Vuforia) besitzt eine Mindestanforderung von einem 600 MHz ARMv6 Prozessor mit mathematischen Koprozessor (FPU) (Qualcomm, 2012a). Das Framework von Metaio (Metaio Mobile SDK) besitzt hingegen eine Mindestanforderung von einem 800 MHz ARMv7 Prozessor[2], 32 MB RAM und einer 3 Megapixel Kamera (metaio GmbH, 2012b). Mit der Veröffentlichung des iPhone 3GS im Jahr 2009 werden diese Mindestanforderungen erfüllt. Empfohlen wird von Metaio aber mindestens ein ARMv7 Prozessor mit 1GHz, was der Leistung des im Jahr 2010 erschienenen iPhone 4 entspricht. Wie man in Tabelle 2-1 sehen kann hat sich die Leitung des iPhones seit der 3GS-Version jährlich verbessert. Ab dem iPhone 4 werden alle Voraussetzungen für eine AR-Anwendung erfüllt. Der 1 GHz Prozessor und der 512 MB Arbeitsspeicher sind für das Natural-Feature-Tracking ausreichend und selbst Face-Tracking ist durch die Front-Kamera möglich. Durch den Autofokus werden AR-Anwendungen benutzerfreundlich, da der Fokus nicht manuell eingestellt werden muss. Zusätzlich kann der LED-Blitz bei schlechten Lichtverhältnissen das Erkennen und Verfolgen des Markers erleichtern.
Tabelle 2-1: Entwicklung vom iPhone
(GSMArena, 2012) (Unity Technologies, 2011a)
Abbildung in dieser Leseprobe nicht enthalten
Eine Statistik von AppBrain, zeigt auf welchen Android Smartphones und Tablet-Computer ihr alternativer App-Markt am meisten genutzt wird. Mit einer Downloadzahl dieser Anwendung zwischen 5.000.000 und 10.000.000, ist dies eine repräsentative Statistik für die meistverkauftesten Android-Geräte (Abb. 2-5).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2-5: Die meistverkauften Android-Geräte nach AppBrain
(AppBrain, 2012)
Alle Geräte in den Top 10 von App Brain sind Augmented Reality fähig[3]. Acht der zehn Geräte in der Tabelle 2-2 der meistverkauften Android-Geräte besitzen sogar die empfohlene Leistung für das Metaio Mobile SDK von mindestens einem ARMv7 Prozessor mit 1GHz Leistung. Lediglich das Samsung Galaxy Ace und Samsung Galaxy Y liegen mit 800 MHz beziehungsweise 830 MHz unter der empfohlenen Prozessorleistung, entsprechen aber dennoch der Mindestanforderung für das SDK. Diese beiden Smartphones besitzen auch die kleinsten Displays in der Top10-Auflistung. Das Samsung Galaxy Y ist als einziges Gerät ohne Autofokus ausgestattet. Auch diese technische Einschränkung kann sich nachteilig auf die Usability auswirken (AppBrain, 2012).
Tabelle 2-2: Daten zu den meistverkauften Android-Geräten nach AppBrain
(GSMArena, 2012)
Abbildung in dieser Leseprobe nicht enthalten
Auch einige Tablet-Computer sind nicht für Augmented Reality geeignet, da sie keine Kamera besitzen oder nur mit einer Frontkamera ausgestattet sind. Den Tablet-Computer Markt beherrscht derzeitig Apples iPad mit iOS mit einem weltweiten Marktanteil von 68 %[4]. In der Tabelle 2-3 sieht man, dass das iPad der 1. Generation welches derzeit noch 1/5 der Marktanteile von allen iPad-Generationen ausmacht, noch nicht mit einer Kamera ausgestattet[5] ist. Es wird allerdings auch nicht mehr über den Apple Store verkauft. Außerdem wird kein Update auf iOS 6 angeboten, das am 11. Juni 2012 auf der WWDC vorgestellt wurde (Apple Inc., 2012). Mit der Veröffentlichung des iPad 2 sind alle Voraussetzungen für eine AR-Anwendung, wie auch bei dem iPhone 4, gegeben. Dennoch ist die Bildauflösung der Rückkamera mit 0,7 MB noch nicht optimal. Erst mit dem iPad der 3. Generation wurde die Leistung der Kamera verbessert und die Usability für das Tracking durch den LED-Blitz und den Autofokus erhöht.
Tabelle 2-3: Entwicklung vom iPad
(GSMArena, 2012) (Unity Technologies, 2011a)
Abbildung in dieser Leseprobe nicht enthalten
Ein weiteres Gerät ohne Kamera ist das Kindle Fire von Amazon, welches mit einem modifiziertem Android-Betriebssystem läuft. Dieser Tablet-Computer hat jedoch derzeit nur ein Marktanteil von 4 % weltweit[6] (IDC, 2012) (Ruby, 2012). Das Asus Nexus 7 von Asus und Google, welches am 27. Juni 2012 vorgestellt wurde, besitzt auch keine Rückkamera. Diesem Tablet-Computer wird ein großer Erfolg im Markt vorhergesagt, da es wie das Kindle Fire mit einem Einführungspreis von 199 US-Dollar sehr günstig ist (Weigert, 2012).
Neben den genannten Hardwareanforderungen ist auch das Betriebssystem der Smartphones und Tablet-Computer relevant für die AR-Entwicklung. Laut Gartner laufen 56,1 % der weltweit verkauften Smartphones mit Android und 22,9 % mit iOS (Gartner, 2012). In Deutschland sind 40 % der aktivierten Smartphones mit Android, 24 % mit Symbian und 22 % mit iOS ausgerüstet (Abb. 2-6). In Deutschland nutzen 41 % aller Handynutzer ab 15 Jahren ein Smartphone[7] (BITKOM, 2012)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2-6: Smartphone-OS-Anteil im 1. Quartal 2012 in Deutschland
(BITKOM, 2012)
Die heutigen AR-Frameworks sind größtenteils für die Betriebssysteme iOS und Android konzipiert. Einerseits liegt das an den Verkaufszahlen der Smartphones mit den beiden Betriebssystemen, die zusammen 79 %[8] des gesamten Marktes ausmachen und andererseits an den technischen Einschränkungen der anderen mobilen Betriebssysteme (metaio GmbH, 2012b). Andere Betriebssysteme die die Anforderungen an die AR-Entwicklung nur ungenügend erfüllen sind z.B. Windows Phone 7 (WP7) und Symbian. WP7 ist ein relativ geschlossenes mobiles Betriebssystem auf dem kein nativer Code ausgeführt werden kann (Crossley, 2011) Die Kamera API wurde erst im September 2011, also ca. 1 Jahr nach der Veröffentlichung von WP7 für Entwickler mit dem Update auf Windows Phone 7.5 (Mango) freigegeben (MSDN Microsoft, 2012). Erst mit Erscheinung[9] von Windows Phone 8 (WP8) kommt die native Code Unterstützung, also eine volle C und C++ Unterstützung. Damit wird eine Entwicklung für WP8 mit plattformunabhängigen AR-Tools möglich sein. Jetzige WP7-Geräte werden jedoch kein Update auf WP8 bekommen (Belfiore, 2012).
Das mobile Betriebssystem Symbian von Nokia hingegen setzt mehr auf Low-End Geräte, die nicht genug Leistung für Natural-Feature-Tracking bieten. Im Februar 2011 gab Nokia bekannt auch Smartphones für WP7 zu entwickeln. Ab 2013 sollen laut
Nokia nur noch Windows Phone Geräte gebaut werden (Fairhead, 2011).
Bei der Entwicklung von AR-Anwendungen müssen demnach einige Faktoren beachtet werden. Nicht nur die Anzahl verschiedener Betriebssysteme stellt ein Problem dar, sondern auch die Vielzahl an Geräten die derzeit auf dem Markt zu erwerben sind. Die derzeitig rasante Entwicklung hat jedoch den Vorteil, dass vor allem seit 2010 immer mehr Geräte mit genug Rechenleistung gebaut werden und auch Low-End-Produkte den Anforderungen von AR immer besser gerecht werden. Ein weiterer Nachteil des Handhelds ist, dass dieser nicht direkt am Körper befestigt wird, weswegen die Aufmerksamkeit des Nutzers zwischen dem Hintergrund und dem Gerät wechselt. Das bringt einen Verlust der Immersion mit sich. Da die reale Umgebung durch die Kamera des Handhelds gefilmt (Video-See-Through) und dann auf das Display wiedergegeben wird, kann es abhängig von der Hardware des Handhelds zu einer geringeren Auflösung und Verzerrung des Realbildes führen. Dieses Problem tritt bei einigen HMDs mit einem transparenten Display (Optical-See-Through) nicht auf, da die reale Umgebung sichtbar bleibt. Hier werden nur die virtuellen Daten ins Sichtfeld eingeblendet (Schultheiß, 2011). Die Kameraqualität von Handheld-Geräten nimmt in den meisten Fällen mit schlechten Lichtverhältnissen ab und dann ist das Tracking nur noch schwer möglich. Hier ist ein Blitz für die Kamera vorteilhaft, der als Lichtquelle eingesetzt werden kann. Wichtig für das Tracking ist auch der Fokus zum Marker, hier ist es hilfreich wenn die Kamera einen Autofokus besitzt beziehungsweise der Nutzer die Möglichkeit hat den Fokus manuell einzustellen (Mulloni, 2010).
Die folgende Arbeit beschäftigt sich mit den Betriebssystemen iOS und Android, da sie die größten Marktanteile besitzen, den technischen Anforderungen gerecht werden und in Folge dessen Frameworks dafür vorhanden sind.
2.1.4 Anwendungsgebiete für Handheld-Geräte
Ein großes Anwendungsgebiet für Handheld-AR ist die Werbung. Ein Unternehmen kann sich mit AR innovativ präsentieren. Durch die gleichzeitige Anregung von mehreren Rezeptoren, wir das Produkt intensiver an den Kunden vermittelt und er kann sich besser daran erinnern. Interaktionserlebnisse zwischen dem Kunden und dem Produkt können darüber hinaus Bindungen hervorrufen, die mit herkömmlicher Werbung nicht erreicht werden. Da AR sich am Besten auf ebenen Oberflächen realisieren lässt, ist es vor allem für die Verpackungsindustrie, Außenwerbung und den Printbereich interessant. Die Agentur Hidden Creative sagt, dass sich die Bereitschaft, ein Produkt zu kaufen, durch AR-Werbung um 64 Prozent erhöht. Seit dem Internet ist es vor allem bei den Printmedien wichtig, traditionelle und digitale Inhalte zu kombinieren (auch Crossmedia genannt). Mit dem abdrucken von URL-Links oder QR-Codes ist das jedoch noch nicht optimal gelungen, da die Nutzungsrate noch zu klein ist. Der Kunde hat durch QR-Codes einen zu kleinen Mehrwert, wenn sich dadurch nur Online-Inhalte öffnen lassen. AR als Brückentechnologie zwischen analoger und digitaler Welt, könnte das Printmedium noch langfristig attraktiv halten. (Campillo-Lundbeck, 2012)
Als Beispiel für den optimalen Einsatz von crossmedialen Vermarktungsstrategien dient die Werbekampagne von OBI. Augmented Reality wird hier in Verbindung mit einem Gewinnspiel genutzt. Der Nutzer muss durch das Werbeprospekt blättern um Produktabbildungen zu finden, hinter denen ein Bildmarker versteckt ist. Wenn der Nutzer ein Bildmarker gefunden hat und es mit dem Smartphone oder Tablet-Computer einscannt, wird das jeweilige Produkt in einer 3D-Animation dargestellt. Somit wird der Benutzer an das Werbeprospekt gebunden (OBI, 2012).
Ein weiteres Beispiel zeigt die Out-of-Home Werbekampagne von 20th Century Fox für den Film „X-Men Erste Entscheidung“. Hier kann der Nutzer den Trailer des Films sehen, indem er das Filmplakat mit seinem Smartphone eingescannt (Marks, 2011). Ein weiterer Vorteil einer solchen Kampagne für das jeweilige Unternehmen ist, dass Daten über die Betrachter gesammelt werden können. Es lassen sich z.B. Konsumentenströme und Betrachtungsdauer sehr zielgenau messen (Mehler-Bicher, Reiß, & Steiger, 2011). Dieses Beispiel zeigt, dass auch Videos mit der realen Welt kombiniert werden können. Augmented Reality kommt aber erst zum Einsatz wenn das Video direkt im 3D Raum dargestellt wird z.B. indem es als Video-Textur auf dem Plakat projiziert wird (Abb. 2-7 ). Einige AR Anwendungen öffnen aber das Video in Vollbild, da dort nicht so viel Prozessorleistung nötig ist und es sich leichter implementieren lässt. Hier wird der Bildmarker nur für die Erkennung genutzt (ähnlich der Erkennung eines QR-Codes). Diese Darstellung lässt sich nach der Definition von Azuma nicht als AR bezeichnen.
[...]
[1] Smartphones mit Android Betriebssystem
[2] Das gilt für Android-Geräte, bei iOS läuft das SDK ab dem iPhone 3GS.
[3] Stand: 28. Juli 2012
[4] Darunter zählen alle iPad-Generationen.
[5] Stand: 22. Mai 2012 für USA
[6] Stand: 1. Quartal 2012
[7] Stand: 1. Quartal 2012
[8] Stand: 1. Quartal 2012
[9] Voraussichtlich Ende 2012
- Arbeit zitieren
- Oliver Ebert (Autor:in), 2012, Personalisiertes Dialogmarketing per Augmented-Reality-App. Entwicklung eines Prototyps für Smartphones und Tablets mit Natural-Feature-Tracking-Toolkits, München, GRIN Verlag, https://www.grin.com/document/212032
-
-
-
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen.