KNN: Was sind künstliche neuronale Netze?

Ein künstliches neuronales Netzwerk (KNN) besteht aus vielen miteinander verbundenen künstlichen Neuronen. Die einzelnen Neuronen haben unterschiedliche Aufgaben und sind innerhalb von Schichten (layer) angeordnet. Sogenannte Netzwerk Topologien geben vor, wie viele Neuronen sich auf einer Schicht befinden und welche Neuronen miteinander vernetzt sind. Neuronale Netze werden im Bereich der künstlichen Intelligenz eingesetzt und sind ein Ansatz im Machine Learning, haben hier jedoch besondere Vor- und Nachteile.

Es gibt drei Schicht- und vier grundlegende Neuronen-Arten. Bei den Schichten wird unterschieden zwischen Eingabe-, Ausgabe- und verborgener Schicht (Visible, Output & Hidden Layer). Alle eingehenden Daten werden an den Eingabe-Neuronen (Visible Unit) in der Eingabeschicht angelegt. Diese wiederum geben die Daten weiter an die verbundenen Ausgabe- oder verborgenen Neuronen (Output, Hidden Unit). Zusätzlich kann in jeder Schicht noch ein Bias Neuron (Bias Unit) zum Einsatz kommen.

Ein Netzwerk zum Lösen von verschiedenen Logikgattern (AND, XOR, NOT) könnte dabei wie folgt aufgebaut sein:

Die Eingabeneuronen sind mit Vx, die verborgenen Neuronen mit Hx und das eine Ausgabeneuron mit Ox gekennzeichnet. Alle Bias-Neuronen sind dunkel blau und das hier verwendete Netzwerk wird als mehrschichtiges Feedforward-Netz (Deep Feedforward Network) bezeichnet.

Beispiel

Die Abbildung unten zeigt eine Form der Visualisierung von Netzwerken. Das verwendete Netzwerk heißt AlexNet und stammt aus dem ILSVRC2010 Wettbewerb, es lernt die Gleichartigkeit von eigentlich unterschiedlichen Bildern. Trainiert wurde es mit mehreren Millionen Beispieldaten, die jeweils 150.528 Dimensionen (Variablen) aufweisen. Das Training selbst fand auf zwei Grafikkarten statt. Insgesamt gibt es acht Schichten, wobei hier nur die Aktivierungsstärke der Neuronen aus den letzten vier gezeigt werden. Es ist erkennbar dass ähnliche Aktivierungsmuster für ähnlich aussehende Eingangsbilder berechnet werden.

About Author

Nico Hezel

Nico Hezel ist wissenschaftlicher Mitarbeiter und Dozent an der Hochschule für Technik und Wirtschaft in Berlin. Er unterrichtet unter anderem Machine Learning und Computer Vision. Die Forschungsprojekte an die er beteiligt ist, befassen sich mit Informationsrückgewinnung, kollaborativen Bildsuchsystemen und maschinellem Lernen.

See author's posts