Einstieg ins Machine Learning: Grundlagen, Prinzipien, erste Schritte

Von Shahin Amiriparian, Andreas Bühlmeier, Christoph Henkelmann und 3 weiteren

Künstliche Intelligenz und maschinelles Lernen, neuronale Netzwerke und Deep Learning – nichts davon ist wirklich neu. Und doch ist die Zahl der Vorträge und Veröffentlichungen, der Onlinekurse und Workshops rund um alles, was mit Machine Learning zu tun hat, in der letzten Zeit ins schier Unermessliche gestiegen. Leistungsstarke Hardware und der Zugriff auf immer mehr Cloud-Dienste für immer mehr Anwender sind sicherlich ein Grund dafür. Wie auch Sie einen Einstieg ins Machine Learning finden, zeigt Ihnen dieser shortcut.
Zunächst zeigt Ihnen Dr. Andreas Bühlmeier die mathematischen Grundlagen, die Machine Learning überhaupt erst möglich machen, und stellt einige der wichtigsten und meistgebrauchten Algorithmen vor. Christoph Henkelmann erläutert, wie Texte richtig vorbehandelt werden, damit sie überhaupt von Machine- und Deep-Learning-Algorithmen verarbeitet werden können. Was man dann damit machen kann, und wie man von der Text- und Spracherkennung zur Emotionserkennung kommt, erläutern Shahin Amiriparian, Maximilian Schmitt und Björn Schuller anhand eines ausführlichen Beispiels. Und dass es für erste eigene Versuche mit Machine Learning nicht unbedingt spezialisierte Hardware und neue Programmiersprachen braucht, beweist Oliver Zeigermann, indem er mit TensorFlow.js einfache Anwendungen nur mit JavaScript im Browser erstellt.

• Sprache: Deutsch
• Herausgeber: entwickler.press
• Erscheinungsdatum: 9. Mai 2019
• ISBN: 9783868028478

Buchvorschau

GmbH

1 Mathematische Grundlagen für maschinelles Lernen

Machine Learning ist vor allem durch die Erfolge im Deep Learnig und durch das Potenzial populär geworden, große, unstrukturierte Datenmengen verarbeiten zu können. Die Technologie ist an sich aber nicht neu und hat dabei sehr viele Facetten, was das Thema manchmal unübersichtlich erscheinen lässt. Fundierte mathematische Grundlagen der wichtigsten Ansätze geben den Einstieg, um den Überblick zu behalten.

Machine Learning fasziniert, weil damit Lösungen gefunden werden können, die man vorher so nicht beschreiben konnte. So scheint es fast magisch zu funktionieren, was natürlich nicht der Fall ist, da man ja die Algorithmen programmieren muss. Wenn man neu in das Thema einsteigt, ist es schwierig, den Überblick zu behalten und zu verstehen, wann und warum einzelne Verfahren für bestimmte Aufgaben funktionieren und wann nicht. Darum veranschaulichen wir hier die wichtigsten Ansätze. Anstatt verschiedene Methoden völlig getrennt zu behandeln, gehen wir entlang der Gemeinsamkeiten vor, um dann die verschiedenen Ausprägungen darzustellen, ohne dabei bis ins letzte Detail zu gehen. Es wird überwachtes Lernen, unüberwachtes Lernen sowie Reinforcement-Lernen dargestellt werden.

Die Blackbox-Sicht

Der Einsatz von Machine Learning erfolgt meist nach dem folgenden Muster: Wir haben Eingangsdaten, das können Kameradaten, Börsendaten, Text oder Sonstiges sein. Das System soll diese Daten verarbeiten und dabei lernen, möglichst gut zu funktionieren (dazu später mehr). Die Ausgangsdaten können dann z. B. Klassifizierungen der Eingangsdaten sein, also beispielsweise angeben, ob ein Auto erkannt wurde, ein Fußgänger, oder man eine bestimmte Aktie kaufen sollte. Es wird meist Feedback gegeben, das lauten kann, dass der Ausgang falsch oder richtig gewählt wurde oder welcher Ausgang richtig gewesen wäre (Abb. 1.1). Wenn das Feedback t das gewünschte Ergebnis darstellt und die Differenz von tatsächlichem und gewünschtem Ergebnis zur Optimierung von M herangezogen wird, spricht man vom sogenannten überwachten Lernen (Supervised Learning), womit wir uns als Erstes beschäftigen wollen.

Abbildung 1.1: Ein Machine-Learning-System besitzt immer einen Input, einen Ausgang und bekommt optional Feedback zur Bewertung seiner Ausgaben

Mathematik

Was immer wir als mathematischen Algorithmus aufschreiben können, kann programmiert werden. Im Fall der obigen Zeichnung ist die Abbildung des Eingangs x (Kameradaten) auf den Ausgang y („Auto oder „Fußgänger) am einfachsten wie folgt zu formulieren: y=f(x).

Das heißt, die Aufgabe des Machine-Learning-Systems f ist, sich selbst so zu verbessern (also zu lernen), dass die gewünschte Größe y erzielt wird. Die Ausgangsgröße y kann oftmals als binär angenommen werden. Wir können diese Aufgabe des Verbesserns auch als Optimierungsaufgabe auffassen, womit genau das wesentliche innere Prinzip des Machine Learnings beschrieben ist. Neben diesem inneren Prinzip sind allerdings viele weitere Dinge zu betrachten. Die Optimierung ist nämlich in komplexe Strukturen einzubauen, damit die gewünschten Resultate erreicht werden können, wie wir im Laufe dieses Kapitels sehen werden.

Die Optimierungen werden meist iterativ umgesetzt. In kleinen Schritten und mit einer Vielzahl von Beispieldaten lernen z. B. neuronale Netze, die ihnen gestellten Aufgaben zu lösen, indem sie sich im Mittel über die Zeit verbessern.

Etwas Mathematik zum Auffrischen:

Vektor

ЄRn, hat die Form

Matrix

Eine m-x-n-Matrix W hat die Form

Skalarprodukt von Matrix und Vektor

Das Skalarprodukt aus einer m-x-n-Matrix W und einem n-dimensionalen Vektor x ist wieder ein Vektor und zwar m-dimensional. Für jedes Element dieses Ergebnisvektors y gilt:

Ableitung einer Funktion

Die Ableitung einer Funktion f(x) wird durch die Steigung der Tangente an diesem Punkt beschrieben. Für die Ableitung f‘(x) der Funktion f(x) kann man einen Satz von Regeln anwenden, z. B. für einfache Fälle die Potenzregel:

Für f(x)=xn gilt f'(x)=nxn-1

d. h. für f(x)=x2 gilt f'(x)=2x

Die Kettenregel:

Für die verkettete Funktion für f(x)=g(h(x)) gilt die Ableitung f'(x)=g'(h(x))h'(x), also das Produkt aus äußerer Ableitung g'(h(x)) und innerer Ableitung h'(x).

Partielle Ableitung

Die partielle Ableitung ist die Ableitung einer Funktion mit mehreren Argumenten nach einem der Argumente. Gekennzeichnet werden partielle Ableitungen mit ∂, also z. B. ∂C(W)/∂wij, was bedeutet, dass C von der Matrix W abhängt, aber wir jetzt nur die einzelne Komponente wij betrachten.

Gradient

Als Gradienten bezeichnet man einen Vektor, wobei die ersten partiellen Ableitungen der Funktion die Einträge des Vektors bilden.

Neuronale Netze

Wie kann unser System f konkreter aussehen? Und wie kann es optimiert werden?

Ein besonders wichtiger Ansatz zur Optimierung des Systems ist von der Biologie inspiriert, d. h. von unserem Wissen darüber, wie Lebewesen lernen. Wir wissen, dass neuronale Verbindungen und ihre Anpassungen dabei eine zentrale Rolle spielen. So entstand ein gerade in jüngster Zeit erfolgreicher Ansatz bereits in den späten 1940er Jahren: die neuronalen Netze. Wir beschäftigen uns hier zunächst mit den einfachsten neuronalen Netzen, um das Grundprinzip zu verstehen, und machen dann weiter mit komplexeren Netzwerken. Das einfachste neuronale Netz ist das sogenannte Perzeptron [1]. Es besteht im einfachsten Fall aus einem Neuron mit mehreren Eingängen, wie in Abbildung 1.2 dargestellt.

Abbildung 1.2: Ein einfaches Modell