Die Machine Learning Befehle “Train”, “Predict” und “Cluster” am Praxisbeispiel erklärt

Workshop:

1. Daten downloaden: Öffnen Sie ACL und das Projekt „estimate_returns.acl“ (hier kostenfrei downloaden), dieses enthält zwei Tabellen:
   
   • „orders_and_returns“, dieser Datensatz ist der sogenannte Trainingsdatensatz und enthält die Daten aus Abbildung 1. 
   • „unseen_orders“, dieser Datensatz enthält die Bestellwerte, für welche wir die Retourenwerte schätzen möchten.
2. Modell berechnen: In diesem Schritt wird das Modelltraining durchgeführt. Mit „orders_and_returns“ werden im Folgenden mehrere Modelle trainiert, das heißt verschiedene statistische Verfahren versuchen jeweils den Zusammenhang zwischen den Bestellwerten und den Retourenwerten zu ermitteln. Das Verfahren, welches den Zusammenhang am besten erklärt („The Winning Model“), wird dann verwendet um für die gegebenen Bestellwerte 2000 €, 4200.50€ und 65000€ die Retourenwerte zu schätzen. ACL führt das genannte Vorgehen automatisch durch. Gehen Sie hierzu wie folgt vor: Klicken Sie auf „orders_and_returns“ in der Sidebar, Sie sehen nun die zugehörige Tabelle in der Grundansicht. Unter „Machine Learning“ -> „Train“ kommen Sie zu der Ansicht aus Abbildung 2

• Time to search for an optimal model (minutes)“ bestimmt, wie lange die Suche nach dem „Winning Model“ insgesamt dauert.
• „Maximum time per model evaluation (minutes)“ bestimmt, wie lange jedes einzelne Modell maximal an die Daten angepasst wird. ACL rät, dass die Gesamtzeit mindestens das zehnfache der Evaluationszeit pro Modell entspricht. Generell gilt, je länger die genannten Zeiten gewählt werden, desto besser sind die einzelnen Modelle und somit das „Winning Model“. Die in diesem Beispiel gewählten Zeiten sind im Allgemeinen für größere Datensätze deutlich zu klein. ACL rät zu 45 Minuten pro 100 MB an Daten für die Zeitangabe bei „Maximum time per model evaluation (minutes)“.
• In unserem Beispiel wollen wir eine Regression durchführen, weil ein numerischer Wert, der Retourenwert, geschätzt werden soll. Aus diesem Grund setzen wir die Checkbox „Regression“ aktiv.
• Wie bereits erwähnt, werden bei „Train“ verschiedene Modelle in Betracht gezogen, anschließend wird das Beste ausgewählt. Um dieses Modell wählen zu können, wird jeweils eine Performancezahl zugeordnet, je kleiner diese Zahl ist, umso besser ist das zugehörige Modell. Es gibt verschieden Berechnungsarten für eine Performancezahl, im Dropdownmenü „Model scorer“ können sie sich für eine entscheiden. Es empfiehlt sich, anhand der Ergebnisse, die am besten geeignete Variante zu wählen.
• Unter „Train on…“ wählen Sie die sogenannten „Key“- oder „Feature-Variablen“, also die Variablen, mit denen Sie den Retourenwert schätzen wollen. In unserem Fall gibt es nur eine „Feature-Variable“, aus diesem Grund ist auch nur der Bestellwert markiert. Unter „Target Field…“ bestimmen sie die Variable, welche geschätzt werden soll, in unserem Beispiel wählen wir den Retourenwert.
• Bei „Model Name…“ geben sie den Namen für das Modell ein, mit dieser Bezeichnung wird das Modell nach der Berechnung in der Sidebar gelistet sein.
• Bei „To…“ geben sie den Namen der Tabelle an, welche nach der Berechnung Informationen zum „Winning Model“ enthält. Diese Tabelle wird ebenfalls nach dem Ausführen von „Train“ in ihrer Sidebar gelistet sein.
• Bei „If…“ können Sie optional Einträge aus dem Trainingsdatensatz ausschließen. Unter dem Reiter „More“ können Sie einige Experteneinstellungen vornehmen, für unser Beispiel ist dies aber nicht notwendig.

Sobald ACL das „Winning Model“ bestimmt hat, sehen Sie dies in Ihrer Sidebar durch die erstellte Datei „model_returns“.

3. Retourenwerte prognostizieren: Die Ausgangsfrage lautete: „Wie hoch ist der Retourenwert bei einem Bestellwert von 2000€, 4200.50€ oder 65000€?“ In der Tabelle „unseen_orders“ in Ihrem ACL-Projekt, sind genau diese drei Bestellwerte hinterlegt. „Unseen“ bezieht sich hier darauf, dass das Modell nicht mit diesen Bestellwerten trainiert wurde. Öffnen Sie die genannte Tabelle in ihrer Grundansicht und wählen Sie „Machine Learning“ -> „Predict“. Geben Sie dann das berechnete Modell an, in unserem Beispiel „model_returns.model“, sowie einen Namen für die Tabelle, welche die geschätzten Retourenwerte enthalten soll. Bei „If…“ und „More…“ können Sie optional Einträge beim Prognostizieren ausschließen. (vgl. Abbildung 4)

Mit Hilfe von „Train“ und „Predict“ haben Sie nun für gegebene Bestellwerte eine Prognose für den Retourenwert berechnet. Um mehr Einblick in das automatische Vorgehen von ACL zu erlangen, wurden in Abbildung 6 die Retourenwerte für Bestellwerte gleich 1000€, 2000€, 3000€,…, 80.000€ berechnet. Für die Prognosen wurde erneut das „Winning Model“ von oben verwendet. Es ist deutlich zu erkennen, dass das „Winning Model“ ein lineares Modell ist, denn die Prognosen liegen auf einer Geraden (vgl. Abbildung 6). Falls der Trainingsdatensatz „orders_and_returns“ verändert wird, ändert sich im Allgemeinen das „Winning Model“ und die zugehörigen Modellparameter. Das „Winning Model“ kann auch ein nicht-lineares Modell sein. Da die Trainingsdaten ausschließlich Bestellungen enthalten, welche retourniert wurden, schätzt das gefundene Modell aus ACL stets den zu erwartenden Retourenwert, falls eine Bestellung retourniert wird. Das Modell schätzt nicht, ob eine Bestellung retourniert wird!