Simulation adaptiver Agenten mittels lernender Klassifizierersysteme

MA-Thesis / Master von Thorsten Luedtke

Einleitung:

Klassifizierersysteme sind lernende Systeme, die eine Menge von internen Strukturen hinsichtlich der Anforderungen des Umsystems zielgerichtet manipulieren. Traditionell wurden Klassifizierersysteme, die maschinelle Lernalgorithmen verwenden, als ‘lernende Klassifizierersysteme’ (Learning Classifier Systems) bezeichnet, um sie von solchen zu unterscheiden, die – ähnlich einem Expertensystem – nur durch manuelle Programmierung sinnvolle Ausgaben liefern können. Dieser Konvention wird in der zugrundeliegenden Arbeit nicht gefolgt. Statt dessen wird der Terminus ‘Klassifizierersystem’ vereinfachend für die Originalbezeichnung ‘Learning Classifier System’ gebraucht.

Die theoretische Grundlage der Klassifizierersysteme bildet die Theorie kognitiver Landkarten (cognitive maps) aus der Psychologie. Nach MICHAEL G. WESSELLS besteht das Organisationsprinzip, nach dem der Mensch seine Begriffswelt ordnet, in der Kategorisierung des eintreffenden Informationsstromes. Dem Prozeß der Kategorienbildung liegen Generalisierungs- und Differenzierungsvorgänge zugrunde. Dabei werden unterschiedliche Objekte als Elemente einer Kategorie erkannt, wenn sie gemeinsame Merkmale aufweisen. Von irrelevanten Unterschieden zwischen den Objekten wird durch Generalisierung abgesehen. In Klassifizierersystemen werden diese Kategorien durch Klassifizierer modelliert. Klassifizierer sind Regeln mit einem Gültigkeitsbereich, der sich mit denen anderer Klassifizierer überlappen kann, so daß im konkreten Fall zwischen allgemeinen und situations-spezifischen Regeln entschieden werden muß.

Das Prinzip der Wissensaquisition in Klassifizierersystemen wird als ‘verstärkendes Lernen’ (reinforcement learning) bezeichnet. Das System benötigt zum Lernen keine Vorgaben im Sinne von korrekten Aktionen als Reaktion auf eine vorliegende Situation. Statt dessen ist lediglich ein Feedback in der Form eines einzelnen Parameters notwendig. Die Klassifizierer werden durch Induktionsmechanismen erlernt und können laufend verändert werden, ohne die Systemleistung zu beeinträchtigen. Jeder Klassifizierer stellt eine situationsabhängige Erwartung hinsichtlich zukünftiger Ereignisse dar. Somit bildet sich im System ein Modell der Umwelt, welches den Änderungen der Umwelt laufend angepaßt wird. Diese Eigenschaften und die Problemunabhängigkeit des Lernmechanismus haben Wirtschaftswissenschaftler dazu veranlaßt, den homo oeconomicus neoklassischer Modelle durch adaptive Agenten, basierend auf den Klassifizierersystemen, zu ersetzen. Unter ‘Agenten’ werden hier Systeme verstanden, die auf Umwelteinwirkungen nicht im bedingungslosen Reflex antworten, sondern deren Verhalten in bewußter oder unbewußter Weise an den Interessen der eigenen Identität orientiert ist, das heißt insbesondere ihrer Erhaltung und Entfaltung. Durch deren Integration in wirtschaftswissenschaftliche Modelle ergeben sich zwei Vorteile:

Die begrenzte Rationalität (bounded rationality) und Erwartungsbildung realer Agenten kann modelliert werden, ohne auf ad hoc-Annahmen hinsichtlich der Beschränkungen der Informationsverarbeitungskapazität sowie des Wissensstandes angewiesen zu sein. Somit sind Simulationsergebnisse weitgehend unabhängig vom Kenntnisstand des Simulationsentwicklers.

Es können Phänomene beobachtet werden, die sich aus den parallelen Interaktionen einer Vielzahl von Agenten ergeben. Somit kann zur Modellierung wirtschaftswissenschaftlicher Systeme auf ceteris paribus-Annahmen weitgehend verzichtet werden.

Herkömmliche Modelle der Erwartungsbildung gehen von einem extrapolativen bzw. rationalen Verhalten der Wirtschaftssubjekte aus oder betrachten nur den individuellen Aspekt. Es zeigt sich jedoch, daß durch die soziale Interaktion der Wirtschaftssubjekte die Wirtschaft zu chaotischem Verhalten neigt. Typisch für chaotische Systeme ist die Ausbildung von Strukturen in einem Selbstorganisationsprozeß, die es den Individuen ermöglichen, sich aufgrund von Erfahrungen zu orientieren.

Aus der Beschäftigung mit der Komplexität unterschiedlicher Disziplinen sind Begriffe, Ansätze und Theorien entstanden, die Bausteine einer sich abzeichnenden Theorie komplexer Systeme sind. Das sogenannte Invarianztheorem der Kybernetik besagt, daß alle komplexen Systeme isomorphe Lenkungsstrukturen aufweisen. Somit lassen sich systemtheoretische Erkenntnisse auf eine Vielzahl konkreter Systeme übertragen. Insbesondere zur Analyse sozio-technischer Systeme bieten systemtheoretische Erkenntnisse Erklärungsmuster für bisher wenig verstandene Phänomene wie Organisation, Ordnung, Komplexität, Prozeß und Entwicklung. Durch ein Verständnis der Emergenz von Selbstorganisation ließe sich diese natürliche Kraft im betriebswirtschaftlichen Kontext geschickt einsetzen, so daß auf die Anwendung von ‘brute force’ verzichtet werden könnte. Denkbar ist ein Bezugsrahmen für Führungsmodelle und Organisationsformen.

Ziel dieser Arbeit ist es u.a., eine Theorie der Orientierung lernfähiger Systeme in turbulenten und komplexen Umweltsystemen bereitzustellen. Die dabei zu untersuchenden Probleme betreffen beispielsweise die Anpassungsfähigkeit, die Flexibilität, die Lernfähigkeit und Evolution sowie die Selbstorganisation dieser Systeme. Die Theorie wird durch ein Klassifizierersystem gestützt, welches Überlebensstrategien entwickelt und diese explizit in Form einer Regelbasis darstellen kann. Dadurch soll eine Anhebung der Modellierung wirtschaftlicher Systeme von der mechanistischen auf eine realitätsnähere Ebene ermöglicht werden, die geeignet ist zur Untersuchung relativ komplexer, dynamischer Systeme und zum Verstehen komplizierter Wirkungsgefüge sowie der Ergebnisse menschlichen Verhaltens bzw. der Entwicklung sozialer Systeme. Beispielsweise konnten am SANTA FE INSTITUTE (SFI) mittels adaptiver Agenten die Emergenz von Handelssystemen sowie Börsenkräche simuliert werden.

Mit dem in dieser Arbeit entwickelten CLASIA-System können künstliche adaptive Agenten geschaffen und in einer Reihe künstlicher Umwelten getestet werden, die sich über längere Perioden hinweg entwickeln. Das resultierende komplexe System kann experimentell und analytisch untersucht werden und neue Wege zur Formulierung einer Theorie adaptiver Wirtschaftssubjekte liefern. So existiert bisher beispielsweise keine vollständige Theorie des organisatorischen Lernens.

In der Realität ist der zu beobachtende Adaptionsprozeß der Agenten regelmäßig zielorientiert bzw. einem Willen untergeordnet. Angesichts der Beschränkungen der Informationsverarbeitungskapazität der Agenten und des Mangels an entscheidungsrelevanten Informationen ist dabei ein strategisches Vorgehen notwendig. Durch die Simulation kann der Strategieformungsprozeß direkt beobachtet werden. Dadurch ist es möglich, Lösungen für Konfliktsituationen zu erhalten, die Auswirkungen von Erfolgsfaktoren abzuschätzen oder die Koevolution von Strategien unterschiedlicher Agenten zu beobachten. Anhand der Simulation können beispielsweise im Bereich der Strategieplanung die Folgen einer Entscheidung abgeschätzt werden. Hier ist es durch Klassifizierersysteme möglich, innerhalb der Simulation Agenten einzusetzen, deren Verhalten nicht von vornherein festgelegt ist und die dennoch versuchen, durch die Entwicklung ganzheitlicher Strategien eine bestimmte Zielfunktion zu optimieren.

Mit dem CLASIA-System wird eine Methode zur Modellierung komplexer Systeme bereitgestellt. Hieraus erwächst die Möglichkeit der Erstellung von nichtlinearen Modellen auf der Basis von Meßdaten in den Fällen, in denen das explizite Erfahrungswissen nicht vorhanden ist. Ein Beispiel ist die simultane Optimierung von Absatz-, Preis-, Produktions- und Produktpolitik unter gegebenen Restriktionen, die in einem Simulationsmodell erfaßt werden. Das Klassifizierersystem könnte dann als (einfaches) lernendes Expertensystem zur Unterstützung des Managements eingesetzt werden.

Inhaltsverzeichnis:

Textprobe:

Kapitel 2.4.2.4, Die Simulation begrenzter Rationalität:

„Willkommen zu dem Stern der Stunde! Doch haltet Wort und Atem fest im Munde! Ein herrlich Werk ist gleich zustand gebracht. Was gibt es denn? Es wird ein Mensch gemacht.“ Goethe, Faust II.

Eine wichtige Motivation zur Formulierung der Klassifizierersysteme war ein Lernprinzip, demnach induktive Systeme zur Wissenserweiterung notwendigerweise interne, mentale Modelle ihrer Umwelt erstellen müssen. Interne Modelle erlauben es einem System (unsichere) Vorhersagen zu erzeugen, auch wenn das Wissen über die Umwelt unvollständig oder inkorrekt ist. Je nach der Qualität der Vorhersage kann dann das interne Modell verfeinert werden und weiterhin als Verhaltensorientierung dienen. Im Gegensatz zu entscheidungsorientierten ökonomischen Modellen kann durch eine lernbasierte Theorie, die auf diesem Induktionsprinzip beruht, die Transformation von Informationen in Aktionen direkt modelliert werden. Das rationale Entscheidungsverhalten muß dann nicht postuliert werden, sondern entsteht als eine emergente Eigenschaft.

Die perfekte Rationalität, welche in der Ökonomie häufig unterstellt wird, dient der Lösung theoretischer Probleme. Hier spielen die Erwartungen der Wirtschaftssubjekte eine bedeutende Rolle, da die ökonomische Theorie davon ausgeht, daß das reale Geschehen auf Plänen der Wirtschaftssubjekte beruht. Schnabl unterscheidet zwei Arten von vorherrschenden Erwartungsmodellen: Die extrapolativen und die rationalen Erwartungen. Extrapolative Erwartungsmodelle gehen davon aus, daß die Wirtschaftssubjekte ihre Erwartungen aufgrund von Vergangenheitsdaten sowie gewissen aktuellen Kennziffern bilden. Die rationalen Erwartungsmodelle gehen von einer totalen Informiertheit auf zwei Ebenen aus:

Die Wirtschaftssubjekte sind im Besitz aller Informationen über gegenwärtige und vergangene Wirtschaftsdaten.

Die Wirtschaftssubjekte besitzen ein korrektes Modell der Wirtschaft und können somit Ausgangsdaten in Zukunftsdaten transformieren.

Fehlerhafte Erwartungen sind in diesem Konzept nur auf individueller Ebene in Form von Störungen zulässig, so daß die subjektiven und objektiven Wahrscheinlichkeitsverteilungen der Erwartungsgrößen hier identisch sind und eine einfache Modellierung ermöglichen. In beiden Erwartungsmodellen wird davon ausgegangen, daß die Anpassungsreaktionen auf veränderte Informationen ohne einen Zeitbedarf erfolgen. Zudem sind die Erwartungsanpassungen bezüglich sämtlicher Wirtschaftssubjekte homogen und synchron.

Sicherlich ist die Modellierung menschlichen Verhaltens bis zu einem Grade, an dem die Simulation den Turing-Test bestehen könnte, aus der Sicht einer möglichst realistischen Modellierung wünschenswert. Abgesehen davon, daß eine solches allgemeines Modell nicht existiert, kommt bei der Auswahl akzeptabler Prämissen erschwerend hinzu, daß diese in ein Konzept der betriebswirtschaftlichen Fundierung passen müssen. Hierbei müssen Prämissen, die auf Begleitumstände der Informationsverarbeitung abstellen, ausgeschlossen werden, da sie den Geruch von ad hoc-Annahmen haben. Zudem stellt sich hier das praktische Problem der Festsetzung dieser Grenzen. Zu nennen sind beispielsweise Fehler bei der Datengewinnung, Verzerrungen des Ergebnisses durch emotionale Aspekte wie Angst oder Unsicherheit, sowie die Etablierung einer willkürlichen Grenze der Informationsverarbeitungskapazität bzw. -basis. Schnabl kategorisiert die zur Erwartungsbildung verwendete Informationsbasis in drei Klassen:

- Gegenwartsinformationen, das heißt die Wahrnehmung der Situation.

- Vergangenheitsinformationen, das heißt die Einbeziehung der Gedächtnisinhalte.

- Die Informationsverarbeitung nach dem aktuellen mentalen Modell.

In der Realität zeigt sich, daß die menschliche Informationsaufnahme zahlreichen Beschränkungen unterliegt. Beispielsweise kann die Wahrnehmung verzerrt bzw. gefiltert sein, so daß die Erwartungsbildung auf keinem objektiven Bild der Realität basiert. Dieses Zerrbild wird gespeichert und durch Gedächtnisdefizite weiter gefiltert. Das entstehende mentale Modell besteht zudem aus einem durch Erfahrungen gewonnenen Hypothesensystem. Diese individuellen Ausprägungen führen zu heterogenen Modellen der Umwelt, die wiederum zu heterogenen Erwartungen führen. Die Formung der Wahrnehmung und Erwartungsbildung selbst ist zudem ein adaptiver Lernprozeß.

Mit der Einbeziehung der Erwartungsheterogenität wird ein Defizit sichtbar, welches durch die Annahme homogener Erwartungen neoklassischer Modelle ausgeschlossen wurde: Die Bildung von Erwartungen im sozialen Umfeld. Die Erwartungsbildung unter Verwendung induktiver Schlußfolgerungen bewirkt zwar eine Reduktion der subjektiv vom Wirtschaftssubjekt verspürten Ungewißheit, jedoch reicht diese dem Individuum aufgrund der Unvollkommenheit der Informationsbasis zumeist nicht aus. Diese subjektive Ungewißheit kann weiter verringert werden, indem die eigene Erwartung in das Erwartungsmuster der sozialen Umgebung eingepaßt wird. Durch die soziale Interaktion wird die individuelle Erwartungsbildung beeinflußt und führt durch die gegenseitige Beeinflussung der Individuen zu Rückkopplungen. Insbesondere laufen in Gruppen gruppenspezifische Prozesse auf einem höheren Emergenzniveau ab, als bei einer isolierten Betrachtung der Gruppenmitglieder sichtbar wäre. Beispielsweise führt eine höhere Kontaktdichte der Gruppenmitglieder zu einer höheren Gruppenkohärenz sowie zu relativ stabilen Gruppenrollen. In einer von Schnabl erstellten Simulation zeigt sich das für dynamische Systeme typische chaotische Verhalten der Erwartungsbildung mit ähnlichen Ausprägungen, wie sie bereits am Modell der logistischen Gleichung demonstriert wurden. Schnabl schließt aufgrund seiner Untersuchung auf einen bedeutenden Einfluß der heterogenen Erwartungsbildung im Umfeld sozialer Interaktionen auf konjunktursensible Größen wie die Konsum- und Investitionsneigung. Da angenommen werden kann, daß an die Erwartungsbildung Markttransaktionen gekoppelt sind, handele es sich hier um ein Prozeßmuster, welches die genannten Makrogrößen in einem Selbstorganisationsprozeß beeinflußt. In diesem Zusammenhang ist insbesondere das Aggregationsverhalten („lock-in“) zu nennen, welches beispielsweise dazu führt, daß sich (durch einen anfangs geringfügig größeren Marktanteil) technologisch minderwertige Güter gegenüber ‘besseren’ durchsetzen können. Durch ein geeignetes Simulationsmodell, beispielsweise unter Verwendung des in dieser Arbeit entwickelten CLASIA-Systems, sollten sich solche Phänomene reproduzieren lassen.

Hinsichtlich der Art rationaler Schlußfolgerungen lassen sich deduktive und induktive unterscheiden. Wird für ein abzuleitendes Argument eine geringe Anzahl von Regeln benötigt, so schlußfolgern Menschen deduktiv. Wird jedoch eine Vielzahl von Regeln benötigt, so steigt die Fehlerwahrscheinlichkeit bei steigender Informationsverarbeitungszeit an. Beispielsweise kann für das Spiel Tic-Tac-Toe eine perfekte Lösung mit einer geringen Anzahl von Regeln gefunden werden, so daß in kurzer Zeit korrekte Schlußfolgerungen möglich sind. Bei Spielen mit einer Komplexität wie Schach oder Go würde die deduktive Methode jedoch eine inakzeptable Zeitspanne in Anspruch nehmen. In diesen Fällen müssen strategische Entscheidungen getroffen werden, die auf Heuristiken beruhen. Sie haben den Zweck, den Schlußfolgerungsprozeß abzukürzen. Die Anwendung von (häufig bewährten) Heuristiken, das heißt die Anwendung von Regeln, die durch Verallgemeinerung gewonnen wurden, wird als induktives Schlußfolgern bezeichnet. Typischerweise sind induktive und deduktive Schlußfolgerungen miteinander verwoben. Selbst wenn ein einzelner Agent über erweiterte Informationsverarbeitungskapazitäten verfügte, so könnte er sich dennoch in interaktiven und komplexen Situationen nicht auf das Verhalten anderer Agenten verlassen, da diese nur mit einer begrenzten Rationalität operieren. Bei strategischen Entscheidungen ist der Agent daher gezwungen, das Verhalten der übrigen zu erraten. Dieses führt sie in einen Bereich subjektiver Annahmen und subjektiver Annahmen über subjektive Annahmen etc. Objektive, wohldefinierte und gemeinsame Annahmen nehmen mit der Komplexität der Aufgabenstellung ab.

Menschen sind Maschinen weit überlegen, wenn es um das Erkennen von Mustern oder allgemein von evolutionär vorteilhaften Eigenschaften geht. Bei ‘schwierigen’ Problemen wird daher nach Mustern Ausschau gehalten. Das Problem wird vereinfacht, indem diese Muster zur Konstruktion mentaler Modelle bzw. Hypothesen oder Schemata verwendet werden. Menschen führen daher lokale Deduktionen basierend auf den aktuellen Hypothesen aus und agieren mit ihnen. Feedback aus der Umwelt verstärkt oder schwächt unsere Hypothesen. Schwache Hypothesen werden durch neue ersetzt. Im Falle unvollständiger Information nutzen wir einfache Modelle bzw. sehr allgemeine Regeln, um diese Wissenslücken auszufüllen. Diese Art der Gewinnung von Hypothesen aus der Erfahrung heraus wird als Induktion bezeichnet. Für den Schlußfolgerungsprozeß ergibt sich daraus eine Sequenz von Mustererkennung, Hypothesenbildung, Deduktion aufgrund dieser Hypothesen und einer eventuellen Ersetzung von Hypothesen.