Why small data is the new big data

Chris Longworth und Silvia Stanescu von GAM Systematic erörtern die zahlreichen Probleme kleiner Datenmengen im Finanzbereich, wie diese erkannt werden können und welche Ansätze es gibt, sie zu lösen.

07. Dezember 2022

Klicken Sie hier, um das vollständige Whitepaper von GAM Systematic zu lesen (in EN)

Click here to view the video on the same topic, presented by Chris Longworth and Silvia Stanescu.

In den letzten zehn Jahren hat das maschinelle Lernen in einer Vielzahl von Bereichen erhebliche Fortschritte gemacht. In vielen Fällen ist dies auf die Anwendung sehr komplexer Modelle – häufig unter Anwendung von Zehntausenden von Parametern - auf extrem grosse Datensätze zurückzuführen, die in der Regel Millionen von Lösungen generieren. Diese Anwendungen werden oft als "Big Data"-Probleme bezeichnet.

Es gibt jedoch eine verwandte Kategorie von Problemen, bei denen die Menge der verfügbaren Daten zum Trainieren eines maschinellen Lernmodells grundlegend begrenzt ist, die wir als "Small Data”-Probleme bezeichnen. Small Data-Probleme treten im Finanzwesen sehr häufig auf und bedürfen einer sehr spezifischen Herangehensweise, da in den meisten Fällen Techniken, die zur Lösung von Big Data-Problemen entwickelt wurden, bei der Anwendung auf kleine Datensätze schlichtweg nicht anwendbar sind.

Ein derartiges Beispiel eines Problems mit kleinen Datenmengen ist die Untersuchung massiver Erdbeben. Präzise historische Aufzeichnungen von Erdbeben liegen erst ab etwa dem Jahr 1900 vor. Seitdem waren jedoch weltweit lediglich ca. 100 Erdbeben der Stärke 8,0 oder mehr zu verzeichnen, wie in Abbildung 1 dargestellt. Das Problem besteht nicht darin, dass wir nicht gründlich genug nach Daten gesucht hätten. Uns liegt ein vollständiger Datensatz vor, er ist jedoch von geringem Umfang.

Abbildung 1: Geografische Lage der stärksten Erdbeben seit dem Jahr 1900

Die verräterischen Anzeichen geringer Datenmengen

Es gibt eine Reihe von Anzeichen dafür, dass man möglicherweise mit geringen Datenmengen arbeitet:

• Zeitreihen: Beziehen sich Daten auf einen bestimmten Zeitpunkt zu einem bestimmten Datum, ist die Wahrscheinlichkeit für ein Small Data-Problem hoch. Die Wahrscheinlich ist insbesondere dann hoch, wenn es sich um Daten handelt, die ausschliesslich periodisch verfügbar sind, was bei Wirtschaftsdaten häufig der Fall ist..
• Seltenheit: Repräsentieren die Daten reale Ereignisse, und kommen diese Ereignisse in der Natur selten vor? Dies beschreibt die obige Erdbebensituation.
• Zusammenfassung: Handelt es sich bei den Daten um zusammengefasste Daten? Wenn die Daten ganze Länder repräsentieren oder bereits ein globales Aggregat darstellen, resultiert daraus vermutlich ein Small Data-Problem. Mit Ausnahme astronomischer Daten liegen normalerweise lediglich Daten einzelner Planeten vor, mit denen gearbeitet werden kann.
• Korrelation: Weisen Daten ein hohes Mass an interner Struktur oder Korrelation auf, ist es wahrscheinlich, dass es weniger unabhängige Datenproben gibt, insbesondere wenn Verunreinigungen des Datensatzes vorliegen.

Es hat sich herausgestellt, dass viele Probleme im Finanzbereich sämtliche dieser Kriterien erfüllen. Im Finanzwesen gibt es sowohl Big Data- als auch Small Data-Probleme, und die Herausforderung besteht darin, das eine vom anderen zu unterscheiden. In unserem neuesten Whitepaper gehen wir näher auf einige Beispiele für Small Data-Probleme im Finanzbereich ein und skizzieren einige der Ansätze, die zur Bewältigung dieser Herausforderungen beitragen können.