Augmented and Mixed Reality

Magisterarbeit von Lucas Licht

Einleitung:

In den letzten 20 Jahren haben der Computer und das Internet das Fernsehen als Leitmedium der Gesellschaft abgelöst und bemerkenswerte Veränderungen der medienbenutzenden Kultur bewirkt. Der Computer als „avancierte Kommunikationstechnologie“ prägt heute die „leib- und kontextgebundenen Modi des Alltagswissens, die Menschen dazu befähigen, sich eine Welt des Handelns zu erschließen“, auf bislang noch nicht dagewesene Weise. Seine „ausgiebige Nutzung ist Teil des gewöhnlichen Lebens mit all seinen unbefragten Selbstverständlichkeiten und Routinehandlungen geworden“.

So bedingte die Entwicklung und globale Vernetzung der Computersysteme, dass durch das Internet und die Virtual Reality „räumliche Nähe als Bedingung für personelle Kommunikation aufgehoben“ und „weltweite Kommunikationen die ebenso interaktiv sind wie Gespräche“, ermöglicht wurden. „Das Internet vereinigt Einkaufszentrum, Radio, Film, Fernsehen, Fax und andere Medien“.

Es gibt kaum noch Informationen und Medieninhalte, die man nicht auch im verzweigten Netzwerk des Internet finden könnte. Die Gemeinschaft der Internetnutzer erstreckt sich über die ganze Welt und hat ihr Medien-Konsumverhalten an die Strukturen des Netzes angeglichen. Durch Hyperlinks geleitet, die jegliche Seiten und Inhalte im Netz mit thematisch ähnlichen Inhalten verbinden können, navigiert der User durch den Cyberspace und gestaltet sein eigenes Programm, seinen Vorlieben folgend.

Seit einigen Jahren deutet sich durch die Vermehrung mobiler, internetfähiger Computersysteme eine Weiterentwicklung dieser Leitmedien an. Die Mobilisierung der Computer ermöglicht neue Medienkanäle, Phänomene und Anwendungen, sowie die, in der Medienwahrnehmung bislang recht unbeachteten Augmented und Mixed Reality.

Durch dieses Phänomen können, wie durch die Leitmedien Computer und Internet, nahezu alle älteren Medienformen vereinigt werden, dies jedoch in neuer Umgebung.

Durch die Augmented Reality werden die Funktionsweisen des Desktops der Computer und der Hyperlinks des Internets, aus dem herkömmlichen Rezeptionskontext der stationären Benutzung in den eigenen vier Wänden in die Außen- bzw. Umwelt verlagert. Die Entwicklung des mobilen Computings und die dadurch ermöglichte Augmented Reality könnten möglicherweise den Computer und das Internet als Leitmedien ablösen.

Diese Arbeit soll das Phänomen der Augmented Reality in die Medienwissenschaft einführen und einen Überblick über die durch ihr Auftreten zu erwartenden Veränderungen in der Mediennutzung geben.

Hierfür soll im ersten Teil dieser Arbeit der Begriff der Augmented Reality definiert und die technischen Vorausetzungen und Bedingungen für Augmented-Reality-Systeme dargestellt werden. Anhand einiger Anwendungsbeispiele sollen dann die Funktionsweisen solcher Systeme noch einmal verdeutlicht werden, die die uns umgebende Welt, so wie es der Untertitel dieser Arbeit postuliert, zu einem „verlinkten“ Raum umgestalten.

Im Anschluss soll das Phänomen der Augmented Reality in den Kontext von Jay D. Bolters Theorie der Remediation eingegliedert werden. Die Remediations-Theorie stellt eine Medientheorie dar, die die Wechselwirkung zwischen Medienformen thematisiert. Da das Phänomen der Augmented Reality sich, wie schon angedeutet, durch die Vermengung älterer Medien in einer neuen Konstellation auszeichnet, scheint dies eine vielversprechende Herangehensweise zu sein.

Die angesprochene neue Konstellation, in der ältere Medien vermengt werden, und damit die genuine Besonderheit der Augmented Reality, stellt die Anreicherung der Umwelt durch digitale, virtuelle Repräsentationen dar. Die Benutzung der physischen Welt als Projektionsfläche bzw. –raum durch Augmented Reality-Systeme scheint eine Analyse der Bedeutung des Raumes der Augmented Reality zu fordern.

Diese Analyse soll im dritten Teil dieser Arbeit vorgenommen werden.

Im letzten Teil der Arbeit sollen dann die gewonnenen Erkenntnisse über die Räumlichkeit augmentierter Realitäten, auf die These angewandt werden, dass der physische Raum durch Anreicherung und Verlinkung mit virtuellen Inhalten zum performativen Raum gewandelt wird.

Mit Erika Fischer-Lichtes Ästhetik des Performativen sollen dann die Bedingungen für Performativität erläutert und die Frage nach der Performativität der Augmented Reality beantwortet werden.

Inhaltsverzeichnis:

1.	Einleitung	4
2.	Augmented und Mixed Reality – eine Bestandsaufnahme	7
2.1	Mixed Reality	9
2.1.1	Augmented Virtuality	9
2.1.2	Augmented Reality	10
2.2	Exkurs: Spekulation über den Realitätsgrad und die Möglichkeit der Täuschung durch Mixed Realities	13
2.3	Basis - Komponenten und -Verfahren der Augmented Reality	14
2.3.1	Darstellungstechniken und Display-Technologien	15
2.3.2	Optische Augmentierung	17
2.3.3	Videobasierte Augmentierung	18
2.3.4	Spatial Augmented Reality oder projektionsbasierte Augmentierungen	19
2.3.5	Handheld Displays und die „Point and Click“ – Metapher	20
2.4	Technische Voraussetzungen für AR-Systeme	22
2.4.1	Tracking	22
2.4.1.1	Marker und die Verlinkung der Welt	23
2.4.1.2	Markerless Tracking und die Verlinkung der Welt	25
2.4.2	Real-Time-Rendering	25
2.4.3	Weitere technische Forschungsfelder	27
2.4.3.1	Interaction Devices and Techniques	28
2.4.3.2	Authoring	29
2.4.3.3	Presentation und Applications	29
2.5	Anwendungsfelder der AR	30
3.	Remediation	36
3.1	Immediacy	37
3.2	Hypermediacy	39
3.3	Remediation und Mediation/Mediatisierung	42
3.3.1	Remediation as the mediation ofmediation	43
3.3.2	Remediation as the Inseperability of reality and mediation	43
3.3.3	Remediation as Reform	44
3.4	AR und Remediation	47
4.	Raumkonzepte früherer Medien	51
4.1	Raum der AR	55
4.2	Der performative Raum	56
5.	Performativität der AR	58
5.1	Grundlagen der Performativität	59
5.2	Live-Performances, medialisierte Performances und Performativität der AR	61
6.	Fazit und Ausblick	65
6.1	Fazit	65
6.2	Ausblick	68
7.	Literaturverzeichnis	71
8.	Abbildungen	75

Textprobe:

Kapitel 4, Raumkonzepte früherer Medien:

In seinem Beitrag über die Medienphilosophie des Raumes erarbeitet Götz Großklaus eine Genealogie der Raumkonzepte früherer Medien.

Er beschreibt, dass die mythische Weltsicht durch den Körper, als „erstes Bezugssystem (.), über das erste „Elemente“ einer räumlichen Orientierung ablesbar werden“, bestimmt war. Die Wahrnehmung der objektiven Welt war im mythischen Denken bedingt durch die Setzung von Analogien zum Leib, wie zum Beispiel: „innen und außen“.

„Der mythische Raum-Entwurf übersetzt und überträgt diese „Körper-Daten“ in die symbolische Ordnung des „Ortes“. So wird zum Beispiel durch die Differenzierung zwischen Innenraum des Dorfes und Außen- bzw. Fremdraum der Wildnis, eine Grenz- und Schwellenlinie gezogen, die der Körpergrenze „innen/bekannt“ gegen „außen/fremd“ entspricht.

Durch die Bezeichung des Raumes wird dieser zum Primärmedium und Inventar eines symbolischen Codes der bezeichnenden Gesellschaft. Das „Oben“ einer mythischen Gemeinschaft bezeichnet beispielsweise nicht nur die geometrische Richtung über den Köpfen, sondern auch den, durchaus als real begriffenen, Raum der Götter. Diese Raumkonzeption ermöglicht die „Verknüpfung von materiellen, (körper)räumlichen Daten und immateriellen, symbolischen „Inhalten“.

Durch die Entwicklung der Schrift wird die Umcodierung aller körperräumlichen, sensorischen Reize und Daten in die abstrakte Form des graphischen Zeichens überführt. Medial-vermittelte Räumlichkeit zeichnet sich in den Epochen der Schrift und des Buchdrucks durch Linearität aus und das „einheitliche Nebeneinander von Orten im globalen Raum wird transferiert in die Übersichtlichkeit des gesonderten Nacheinanders von Orten in der Zeit“.

Die schriftliche Darstellung des Raumes kreiert so eine Wegkarte, die den globalen Raum in der Repräsentation beherrschbar macht, indem sie ihn in Abschnitte und Intervalle zerlegt.

Auf ähnliche Weise eröffnet das perspektivische Bild ein neues Verhältnis von Nähe und Ferne, durch „die Entdeckung der Raum-Tiefe und der Fluchtlinie, die Nahzonen (vorne) und Fernzonen (hinten) verknüpft“.

Die mythische Grenz- und Schwellenthematisierung wird durch die Ausdehnung der Schwelle von der typographischen und perspektivischen Intervallthematisierung abgelöst. Der dadurch entstehende Schwellenraum der Mediatisierung verbindet abgetrennte Orte weghaft und überbrückt Distanzen.

Durch die Mechanisierung der Perspektive mittels der Photographie wird den „Zeichen-Indices“ (innen/außen, Mitte/Rand) noch ein referenzielles Element hinzugefügt, nämlich die reale Raumbeziehung eines realen, abgebildeten Ortes.

Das technische Bild thematisiert diesen Raum als Spurenfeld des Gewesenen und als Gedächtnisort und stellt die zeitliche Bewegung des Raumes still.

Im Luhmann´schen Sinne wird durch den Text der Raum verzeitlicht und durch das Bild die Zeit verräumlicht.

Die bisher beschriebenen medialen Raumkarten haben gemein, dass sie „die jeweilige Vermessung und Relationierung von lokalen und globalen Raumdaten – mit dem Ergebnis einer identitätssichernden Verortung des bewohnten/belebten Lokalraums, sei es mythisch im Kosmos, in der Ökumene, sei es in der Christlichen Heilswelt oder im nach-kopernikanischen Weltall“.

sanktionieren. So bleiben die Verortungen der Gesellschaft weiter an die direkten Einschreibungen am konkreten Raumkörper gebunden.

Die Weiterentwicklung des technischen Bildes orientiert sich zwar nach wie vor an der alten Raumkarte, weicht deren Gesetzmäßigkeiten aber nach und nach bis hin zur Auflösung des Schwellenraumes im elektronischen Netzraum auf.

So zerstört das bewegte Bild die homogene Einheit von Raum und Ort durch die Fragmentarisierung der durch die Bilder gezeigten Raumstellen in Einstellungen, Bildkader und Schnitte, die erst durch die filmische Syntax ein Raumkonstrukt erzeugen. Live-Formate heben die Intervalle durch Raffung von Raum- und Zeitpunkten im Gegenwartsfenster auf. Dadurch wird die Substanz von Zeit und Raum eine szenische Konstellation.

Auch diese medialen Raum-Konzepte übernehmen aber nach wie vor eine Grundkomponente der Raumkarte, nämlich die Referenz zu einer konkreten Ausgangsrealität, durch die die Vorstellung des Globalen aus der Erfahrung des Lokalen gewonnen wird.

Diese Referenz auf reale Örtlichkeiten wird durch die Entwicklung der virtuellen Realität des Cyberspace und dessen tendezielle Ortlosigkeit aufgelöst.

Es gibt hierbei keinen medialen Schwellenraum mehr, der die Distanz zu einer realen Örtlichkeit überbrückt. Vielmehr ist der Computer als Interface für einen direkten Zugang zu einem Datenraum zu verstehen, der jenseits aller gewohnten dimensionalen, räumlichen Ordnungen von „innen/außen“ und „oben/unten“ etc. also außerhalb von jeglichen antropomorphen Modellen liegt.

„Der Navigator in diesem „autonomen Raum“ kann seinen Standort nach diesen Auszeichnungen und Grenzziehungen der „alten“ Karte nicht bestimmen(.) – weder in einem referenziellen noch symbolischen Sinn“.

Der rhizomatische Aufbau des Cyberspaces, der durch seine Konnexivität, seine Heterogenität und das Prinzip der Vielheit bestimmt ist, hat zwar Territorien, welche nach dem Prinzip des asignifikanten Bruchs stetig deterritorialisiert und reterritorialisiert werden und unbegrenzt mit allen anderen Territorien verbunden oder verbindbar sind (vgl. Hyperlinks), aber keine festen Örtlichkeiten.

Der Cyberspace stellt eine Heterotopie im Sinne Foucaults dar, also einen Ort außerhalb aller Orte bzw. in diesem Fall einen „Raum außerhalb aller vorhandenen Räume“. Denn er besitzt im Gegensatz zum imaginären Nicht-Ort (der Utopie) „die „Wirklichkeit“ eines konkreten, transkulturellen elektronischen Kommunikations-Feldes“. Anders ausgedrückt, öffnet er einen Raum ohne Örtlichkeit an dem Identität gestiftet werden kann, ohne der Referenz auf die „identitätssichernde Verortung des bewohnten/belebten Lokalraums“, also auf körper-räumliche Daten, zu bedürfen. Ungeachtet dessen bleibt der Akt der Identitätsarbeit im Internet trotzdem immer durch Körpersemantiken oder Symboliken determiniert.

So entbunden also der Cyberspace auch seiner Referenz zu einem Ausgangsort sein kann, bleibt als Hintergrundnorm, um überhaupt als Heterotopie bezeichnet werden zu können, „ein wie immer historisch-kulturell wohldefinierter Ausgangsort (Topos) kenntlich und der kulturellen Erinnerung zugänglich“.

In Götz Großklaus Aufsatz stellt der Cyberspace die letzte Station in einem Prozess der Auflösung einer auf die Existenz des Körpers im Real-Raum ausgerichteten mythischen Raumkarte durch Medienentwicklungen dar.