Mustererkennung mit Neokognitron und Anwendungen

Diplomarbeit von Raoul Privenau

Einleitung:

Das menschliche Gehirn empfängt eine Fülle unterschiedlicher Reize über verschiedene Sinnesorgane. Ein bedeutendes Gebiet in diesem Zusammenhang ist die visuelle Wahrnehmung, die als ‘... Aufnahme und die zentrale Verarbeitung von visuellen Reizen ...’ definiert ist. Der Mensch ist in der Lage aus einer großen Menge visueller Reize bestimmte Signale innerhalb kürzester Zeit herauszufiltern und richtig zu interpretieren. Probleme ergeben sich allerdings bei der Portierung dieser Fähigkeit der natürlichen Mustererkennung auf Computersysteme durch die erheblichen Unterschiede hinsichtlich der Leistungsfähigkeit und der Architektur. Nach dem derzeitigen technischen Stand können Computer Daten um ein vielfaches schneller verarbeiten, als unser Gehirn, sind aber dennoch mit Aufgaben überfordert, die durch unser Gehirn in kürzester Zeit erfolgreich durchgeführt werden. Charakteristisch für das menschliche Gehirn, als komplexes biologisches Netzwerk, ist seine hochgradige parallele Signalverarbeitung. Dank seiner ca. 1012 Nervenzellen, die über ca. 1015 Verbindungen miteinander verknüpft sind, verarbeitet es Millionen von Reizen innerhalb weniger Millisekunden. Die serielle Datenverarbeitung auf einer Von-Neumann-Architektur ist damit nicht vergleichbar. Es existieren allerdings stark vereinfachte Modelle zur Nachahmung dieses komplexen biologischen natürlichen Nervensystems, die als künstliche neuronale Netze (KNN) bezeichnet werden. Auch im Bereich der Mustererkennung hat sich der Einsatz von KNN bewährt, wobei besonders das Neokognitron eine gute Nachahmung der natürlichen Mustererkennung im visuellen Bereich verspricht.

Der Fokus der vorliegenden Arbeit liegt auf der strukturellen und funktionalen Darstellung des Neokognitrons bei der Mustererkennung. Darüber hinaus werden Anwendungen vorgestellt, für die das Neokognitron implementiert wurde. Neben dem Neokognitron wird auch das Hopfield-Netz (HN) als klassisches KNN zur Mustererkennung erläutert. Entsprechend dieser Ausführungen wurde zusätzlich zur vorliegenden Arbeit ein E-Learning Modul (EM) für binäre HN prototypisch implementiert und wird in dieser Arbeit vorgestellt.

Die vorliegende Arbeit ist wie folgt aufgebaut:

Kapitel 2 gibt eine Einführung in die Mustererkennung, wobei zunächst eine Eingrenzung dieses Themengebietes für die vorliegende Arbeit erfolgt. Anschließend werden die Teilschritte eines allgemeinen Mustererkennungsprozesses erläutert. In diesen Prozess lassen sich verschiedene Mustererkennungsaufgaben integrieren, von denen die wesentlichen Aufgaben vorgestellt werden. Den Abschluss bildet eine Motivation des Einsatzes von KNN zur Mustererkennung.

Kapitel 3 vermittelt die notwendigen Grundlagen von KNN, die zum Verständnis der folgenden Kapitel von Bedeutung sind. Darüber hinaus wird die Eignung von KNN für den Mustererkennungsprozess aus Kapitel 2 begründet.

Kapitel 4 führt in die Theorie eines HN zur Mustererkennung ein und schließt mit einer kritischen Bewertung des Einsatzes zur Mustererkennung.

Kapitel 5 thematisiert anschließend das Neokognitron zur Mustererkennung. Im Vordergrund stehen dabei die Netzstruktur, die sich daraus ergebende Funktionsweise bei der Mustererkennung sowie potentielle Lernverfahren. Abschließend erfolgt eine Bewertung u.a. bzgl. des Einsatzes im Mustererkennungsprozess aus Kapitel 2 und der Leistungsfähigkeit bei der Mustererkennung.

In Kapitel 6 werden verschiedene Erweiterungen des Neokognitrons vorgestellt, die sich auf spezielle Problembereiche beziehen. Aufgrund deren hoher Komplexität werden ausschließlich die wesentlichen Eigenschaften im Überblick dargestellt.

Kapitel 7 fokussiert Anwendungen aus verschiedenen Bereichen, in denen das Neokognitron zur Mustererkennung implementiert wurde. Die entsprechenden Implementierungen sollen die praktische Leistungsfähigkeit und das Anwendungsspektrum des Neokognitrons verdeutlichen.

Kapitel 8 stellt das entwickelte EM für binäre HN vor, das die Möglichkeit zur computergestützten Simulation von binären HN im Lehrbetrieb schafft, wodurch deren Leistungsfähigkeit praktisch evaluiert werden kann. Das Kapitel zeigt dazu ausgewählte Aspekte der Implementierung.

Kapitel 9 beinhaltet schließlich eine zusammenfassende Betrachtung der zentralen Punkte der vorliegenden Arbeit und gibt einen Ausblick zum Neokognitron bzgl. der Mustererkennung.

Inhaltsverzeichnis:

Textprobe:

Kapitel 5.5, Lernverfahren:

In diesem Abschnitt steht der Lernprozess des Neokognitrons im Vordergrund, in dessen Rahmen die variablen Verbindungsgewichte aller S-Zellen angepasst werden. Dieser basiert auf einer Reihe ausgewählter Trainingsmuster, durch die das Neokognitron grundlegend vorkonfiguriert wird, wobei u.a. die Wahl der Netzgröße von Bedeutung ist und in 5.5.1 zunächst thematisiert wird.

Das Neokognitron lässt sich anschließend nicht-überwacht (learning without a teacher bzw. self-organized) oder überwacht (learning with a teacher) trainieren, wobei im Verlauf beider Lernverfahren sukzessive Trainingsmuster an die Eingabeschicht angelegt und deren Signale vorwärts gerichtet durch das Netz propagiert werden. Auf Basis dieser Signale erfolgt die (positive) Verstärkung der variablen Verbindungsgewichte. Dabei existiert keine explizite obere Schranke für die Verbindungsgewichte. Dennoch wachsen diese nicht unendlich, da der Lernprozess nur solange stattfindet, bis die Trainingsmuster zufriedenstellend wiedererkannt werden. Zusätzlich rufen die Aktivierungsfunktion in Formel 5.4 und die gleichzeitige Verstärkung der hemmenden Verbindung einer S-Zelle eine Dämpfung der Ausgabe einer S-Zelle hervor.

Im Lernprozess werden bestimmte Merkmale der Trainingsmuster extrahiert, deren Signale gelernt und die Trainingsmuster darauf aufbauend nach Ähnlichkeit bestimmten Musterklassen zugeordnet. Der Lernprozess sollte dabei solange durchgeführt werden, bis für jedes angelegte Trainingsmuster die zugehörige C-Zelle der letzten Stufe aktiviert wird.

5.5.1, Wahl der Netzgröße:

Die optimale Netzgröße bezieht sich auf die Anzahl der Stufen, der Ebenen pro Schicht sowie die Größe der rezeptiven Felder und ist abhängig von der Anzahl der zu lernenden Musterklassen sowie der Trainingsmuster bzgl. deren Merkmals- Komplexität, -Dichte und -Störungen.

Ein Anstieg der zu lernenden Musterklassen erfordert maßgeblich die Erhöhung der Anzahl von Ebenen, da die Merkmale der neuen Musterklassen gelernt werden sollen. Die Größe der rezeptiven Felder von Zellen der Zwischenschichten wird zunächst durch die Merkmalskomplexität der Trainingsmuster bestimmt, wobei diese bei steigender Komplexität kleiner zu wählen sind und umgekehrt. Dadurch werden Unterschiede zwischen den Musterklassen detaillierter gelernt. Weiterhin ist die Größe der rezeptiven Felder von der Dichte der Merkmale in den Trainingsmustern abhängig, wobei auch in diesem Fall die rezeptiven Felder umso kleiner gewählt werden sollten, je größer die Merkmalsdichte ist. Schließlich beeinflussen die erwarteten Störungen von Merkmalen die Größe der rezeptiven Felder. Werden starke Merkmalsstörungen erwartet, so sind die rezeptiven Felder klein zu wählen und umgekehrt. Diese Verkleinerung (Vergrößerung) von rezeptiven Feldern zieht insgesamt eine Erhöhung (Verringerung) der Stufenanzahl nach sich, damit bei der Mustererkennung eine geeignete Aggregation von primitiven zu komplexeren Merkmalen durchgeführt wird.

5.5.2, Nicht-überwachtes Lernen:

Bei diesem Lernverfahren werden ausschließlich die zur Verfügung stehenden Trainingsmuster benötigt und gleichverteilt wiederholt an das Netz angelegt, bis sich eine gewünschte Erkennungsgenauigkeit eingestellt hat. Weitere Informationen werden nicht vorgegeben, so dass die variablen Verbindungsgewichte und die Zuordnung der Trainingsmuster zu einer Musterklasse selbstorganisierend gelernt werden.

Im ersten Schritt erfolgen die Initialisierung aller erregenden Verbindungen mit kleinen positiven Werten nahe Null und die aller hemmenden Verbindungen durch Bewertung mit Null. Fukushima hat keine bestimmte Funktion zur Initialisierung der erregenden Verbindungen vorgegeben, sondern lediglich die einzubeziehenden Parameter, auf deren Basis die Bewertung zu erfolgen hat. Dadurch werden die Verbindungen aller S-Zellen einer S-Ebene gleich, aber zwischen den S-Ebenen verschieden bewertet. Insgesamt sind S-Zellen zu Beginn des Lernverfahrens auf kein bestimmtes Merkmal konditioniert.

Im Anschluss daran erfolgt die Ausbildung der Selektivität der S-Zellen auf ein bestimmtes Merkmal des Trainingsmusters. Dazu wird ein Wettbewerbslernen (competitive learning) simultan für alle S-Schichten durchgeführt, wobei die Strategie ‘der Gewinner erhält alles’ (winner takes all) implementiert wird. In diesem Wettbewerb werden bestimmte S-Zellen als Repräsentanten ihrer jeweiligen S-Ebene ausgewählt und deren Verbindungsgewichte anschließend verstärkt. Dieses Vorgehen lässt sich in drei Teilschritte gliedern, die im Folgenden für eine beliebige S-Schicht beschrieben werden.