Models for correspondence finding and probabilistic representative learning

Die Arbeit beschäftigt sich mit der Modellierung und Untersuchung von neuronalen Netzwerken. Aufgaben, die wir Menschen täglich spielend bewältigen, sind aus Sicht der Informationsverarbeitung sehr komplexe Aufgaben, die zum heutigen Stand von Algorithmen nur mit sehr viel Aufwand und meist in engen Rahmenbedingungen gelöst werden können. Menschen lernen als Kinder die visuellen Eindrücke Ihrer Umwelt zu interpretieren und sich in dieser Umwelt zu bewegen. Um sich in seiner Umwelt zurechtzufinden, muss ein Mensch Objekte erkennen, und bevor er das kann, muss er lernen, welche Objekte es gibt und wie sie aussehen. Die Objekterkennung und insbesondere das Lernen von Objektrepräsentationen ist Schwerpunkt dieser Arbeit.

Im ersten Teil der Arbeit wird ein künstliches neuronales Netzwerk, das ein Modell kortikaler Kolumnen als Entscheidungseinheiten nutzt, für die translationsinvariante Erkennung eines Objektes untersucht.

Der zweite Teil der Arbeit beschäftigt sich mit dem Vergleich des Lernens zwischen einem neuronalen Netzwerk, bestehend aus einzelnen Neuronen, und einem probabilistischen Modell. Während das neuronale Netzwerk seine Gewichte nach jedem Datenpunkt anpasst und somit 'online' von iterativ präsentierten Daten lernt, werden für das Lernen der Parameter des probabilistischen Modells Update-Gleichungen für einen EM-Algorithmus hergeleitet und implementiert. Der EM-Algorithmus arbeitet im sogenannten 'Batch'-Modus, er arbeitet auf allen Datenpunkten gleichzeitig.
Beide Algorithmen lernen unüberwacht, zunächst aus künstlichen Daten und anschließend aus natürlicheren Daten (handgeschriebene Ziffern der MNIST Datenbank). Es wird analytisch und in numerischen Experimenten gezeigt, dass beide Modelle zu den gleichen Fixpunkten konvergieren. Für die numerischen Experimente werden hierzu qualitativ die gelernten Gewichte des neuronalen Netzwerks mit den Parametern, zu denen der EM-Algorithmus konvergiert ist, verglichen. Außerdem werden die Ergebnisse quantitativ mit Hilfe der Log-Likelihood verglichen.
Um einen weiteren Aspekt des Vergleichens zu ermöglichen, werden die gelernten Parameter mit Hilfe eines zusätzlichen überwachten Lernens für die Klassifizierung von neuen Datenpunkten genutzt. Für die Klassifizierung müssen die gelernten Felder den möglichen Klassen zugeordnet werden, dies wird mit Hilfe eines probabilistischen Ansatzes durchgeführt.