EN
DE
Im Allgemeinen ist dies aus der Mathematik oder Physik wie folgt bekannt: Um etwas abzubilden, wird zunächst ein Koordinatensystem erstellt (meist ein zwei- oder dreidimensionales kartesisches Koordinatensystem). In diesem Raum finden nun Geometrie und Differentialrechnung statt. Der Raum ist eigentlich immer der dreidimensionale euklidische Raum, in dem wir seit Tausenden von Jahren leben und für den wir daher ein gutes intuitives Gefühl haben.
Neben dem euklidischen Raum gibt es noch abstraktere Vektorräume, die aber nicht Gegenstand des heutigen Blogartikels sind. Vielmehr verzichten wir komplett auf die Voraussetzungen von Vektoren und algebraischen Strukturen und schauen uns stattdessen an, was wir ohne sie berechnen können. Anders als in der Mathematik oder Physik gewinnen wir diese neue (Achsen-)Freiheit durch Voraussetzungen, die in den Datenwissenschaften üblich und sogar allgegenwärtig sind. Gut definierte Vektorräume sind in der freien Natur fast nie zu finden.
Durch das Fehlen algebraischer Strukturen, oder besser gesagt, durch das Weglassen der Voraussetzungen für algebraische Strukturen, fehlen vorerst die meisten bekannten Operationen der Mathematik. Dazu gehören unter anderem die Summation oder Multiplikation von Elementen, aber auch Integrale und Differentiale, weil wir keine wohldefinierten Objekte mehr haben. Es stellt sich also zunächst ein Gefühl der Heimatlosigkeit oder Hilflosigkeit ein; oder um es positiv auszudrücken: Es fühlt sich an wie eine Rucksacktour in ein unbekanntes Land. In unserem Rucksack sind aber zumindest die Zahlen (oder allgemeiner gesagt: Elemente) als solche noch enthalten. Mit den Prinzipien der Mengenlehre bauen wir uns ein neues Zuhause, indem wir lokal und spontan Zelte aufschlagen. Unser metrischer Raum bietet uns Schutz.
Da ein metrischer Raum eine Menge ist, kann er in Anlehnung an die Mengenlehre durch einen Rahmen dargestellt werden (siehe Abb. 2).
Diese Menge enthält nun Elemente, nämlich Datenpunkte, Beobachtungen und Einträge (Abb. 3). Die Begriffe sind im vorliegenden Kontext alle synonym zueinander.
Die Anzahl der Elemente in diesem Raum ist endlich. Aufgrund der Nichtexistenz von Vektoren gibt es keine Null und keine Richtung, also keine absolute Position im Raum. Alles ist "relativ".
Die Elemente werden in einer Art Tabelle erfasst (Tab. 1).
Jede Zeile in dieser Tabelle entspricht einer zusammenhängenden Gruppe von Beobachtungen. Jede Spalte entspricht einer nicht zusammenhängenden Beobachtung; diese Konvention dient jedoch nur der Übersichtlichkeit komplexer und verschachtelter Datentypen, ist aber keine Grundvoraussetzung. Das "x" kann ein beliebiger komplexer Datentyp oder eine digitale Darstellung einer Beobachtung sein, angefangen bei einer einzelnen Zahl, einer Kurve, einem Bild bis hin zu einer Sammlung von Bildern im Sinne einer Stichprobensammlung. Alles, was in einer einzigen Zeile dieser Tabelle steht, ist ein (1!) Datenpunkt. Neben Zahlen sind auch Zeichenketten oder Sätze als Informationen zulässig.
Um diese Elemente in einen metrischen Raum zu überführen, wird für jede Spalte eine Abstandsfunktion definiert. Mit dieser Funktion kann der Abstand zwischen zwei Elementen innerhalb der Spalte berechnet werden, so dass wir ganze Zeilen über ihren Abstand zueinander vergleichen können.
Diese Funktion, die üblicherweise als metrisch bezeichnet wird, unterliegt einigen Anforderungen, auf die wir in einem anderen Blog näher eingehen werden. Da nur der Abstand zwischen zwei Elementen berechnet werden muss, ist kein absolutes Koordinatensystem erforderlich, das ein Gitter hinter den Datenpunkten aufspannen soll. Im Prinzip beschreibt jede Metrik die minimalen Kosten einer informationstechnischen Umkodierung unter Einschränkungen. Einfache Metriken wie die euklidische Metrik können als explizite Formel angegeben werden. Im Allgemeinen wird jedoch jeweils ein Optimierungsproblem gelöst, um zwei Datenpunkte zu vergleichen. Der Abstand ist der minimal erforderliche Aufwand einer Umkodierung. Im euklidischen Raum entspricht er den Fluglinien (Abb. 4).
Allein das Vorhandensein dieser Funktion und einer Sammlung von Datenpunkten reicht aus, um unsere Tabelle in einen metrischen Raum zu verwandeln. Wir erhalten eine explizite Darstellung des metrischen Raums, indem wir alle paarweisen Abstände mit der Metrik berechnen und in eine Matrix, die sogenannte Abstandsmatrix, eintragen.
Die Diagonaleinträge dieser Matrix sind Null. Sie ist symmetrisch und positiv definit oder hat eine Determinante größer oder gleich 0. Diese Eigenschaften werden durch die Metrik garantiert.
Im Prinzip lässt sich ein metrischer Raum durch einen Graphen darstellen, dessen ungerichteten Kanten wir den Wert des jeweiligen Abstandes des Elementpaares zuordnen.
Alles in allem ist der Graph das geeignete Mittel zur Visualisierung. Eine vollständige Distanzmatrix lässt sich jedoch nicht intuitiv interpretieren und ist aufgrund ihrer quadratischen Komplexität sehr rechen- und speicheraufwändig. Für eine explizite Darstellung müssen nicht alle paarweisen Abstände verwendet werden. Dieser Graph kann in verschiedenen Schritten bis hin zu einem Baum ausgedünnt werden. Dadurch entstehen Strukturen oder können Strukturen sichtbar gemacht werden.
Wir haben jetzt also einen Raum, in dem wir die Abstände zwischen den Elementen berechnen können. Da es kein zugrunde liegendes Gitter oder Vektoren gibt, können die einzelnen Elemente wie Zeichenketten oder Bilder noch nicht addiert, subtrahiert, multipliziert usw. werden.
Zunächst können bestimmte Eigenschaften des metrischen Raums berechnet werden, z. B. die Entropie, die ein Maß für die innere Dimensionalität und die Informationsvielfalt ist. Darüber hinaus kann die Verzerrung bestimmt werden, mit der geprüft wird, wie sehr sich der metrische Raum von einer typischen Vektordarstellung unterscheidet, und metrische Räume können in klassische Vektorräume und wieder zurück abgebildet werden - die eingangs erwähnten Spontanzelte. In dieser kodierten Form eines Vektorraums können dann die üblichen Operationen wie Interpolationen, Mittelwertbildung, Statistik usw. in gewohnter Umgebung durchgeführt werden.metrische Räume können aber auch direkt miteinander in Beziehung gesetzt werden. So kann beispielsweise die Korrelation zweier metrischer Räume, die Entropie von Mischungen oder ein Abstand zwischen zwei metrischen Räumen berechnet werden, die somit ein Element in sich selbst darstellen. Schauen wir uns Letzteres in einem Beispiel an.
Jede Zeile unserer Tabelle enthält einen Vektor mit etwa 5000 Datenpunkten von Schwarz-Weiß-Bildern, die handgeschriebene Zahlen (0-9) darstellen - eine ungeordnete Mustersammlung.
Wir haben also 10 Zeilen und 1 Spalte. Der komplexe Datentyp in jeder Zeile ist ein Vektor, der statt einzelner Zahlen eine beliebige Anzahl von 2D-Arrays (die Bilder) enthält. Wir werden nun zunächst die Bilder (28x28 Pixel = 784 Freiheitsgrade) mit Hilfe eines linearen Merkmalskodierers in einen dimensionsreduzierten Vektorraum mit 20 Dimensionen transformieren. Mit Hilfe einer euklidischen Metrik bilden wir nun jedes einzelne 28x28 Zeichen in einen neuen, niedrigdimensionalen, aber informationstechnisch äquivalenten metrischen Raum ab. Wir definieren nun eine übergeordnete Metrik auf diesen 10 dimensionell reduzierten Räumen und berechnen die paarweisen Abstände zwischen den 10 Zeilen der Tabelle. Wir erhalten eine Matrix, aus der wir ablesen können, wie sich die Zeichen unterscheiden, wobei die Variation jedes einzelnen Zeichens berücksichtigt wird: Die Abstandsmatrix.
Die Abstandsmatrix zeigt, dass die "1" den größten Abstand zu allen anderen Zeichen hat. Damit ist sie den anderen Ziffern am unähnlichsten und daher das am besten unterscheidbare Zeichen.
In diesem Beispiel haben wir also mehrfach geschachtelt und gezeigt, wie man systematisch mit dem Konzept der metrischen Räume arbeiten kann, um komplexe Informationen zu verarbeiten und in Beziehung zu setzen. Das macht es einfach, in unserem neuen Zuhause zu leben - auch mit einer einzigen Spalte.
In einem späteren Blog werden wir dieses Konzept weiter untersuchen, indem wir uns die einmal ausgewählten Metriken ansehen. Wir werden auch zeigen, dass es möglich ist, Methoden aus dem klassischen maschinellen Lernen zu übertragen, wie z. B. einen metrischen Entscheidungsbaum, der mit beliebig komplexen und kombinierten Datenstrukturen anstelle von einzelnen numerischen Zahlen arbeitet.
