Wie wir beauftragt wurden, einen Igel mit einer Schlange zu vergleichen

Hallo Habr! In diesem Artikel werden wir, Berater der Analysepraxis der Vertriebsunterstützungsabteilung, die Bedeutung einer korrekten Bewertung der Modellierungsqualität bei der Lösung von Analyseproblemen berücksichtigen. Im Rahmen unserer Arbeit müssen wir häufig das Problem lösen, Vorhersagemodelle auf der Grundlage von Kundendaten zu erstellen. Gleichzeitig kann nicht nur eine Beschreibung des Analyseproblems von Kunden stammen, sondern auch ein Verfahren zur Bewertung der Qualität der entwickelten Modelle. Und manchmal bietet der Kunde an, den Igel mit der Schlange zu vergleichen. Am häufigsten tritt dies auf, wenn die Daten in Trainings- und Testmuster unterteilt sind, da die Datenerfassung für beide Muster geringfügig variieren kann.

Dies ist genau die Situation, die wir in einem der Fälle hatten, in denen der Kunde die „Stärke“ gezielter Kommunikation testen wollte.

Erklärung des Problems

Die Bank führte eine einmalige Kampagne durch, in der sie einen Teil ihrer Kunden (~ 10.000 Kunden) anrief und anbot, ein bestimmtes Kreditprodukt zu kaufen. Am Ende der Kampagne wurden Daten zur Reaktion auf Mitteilungen gesammelt. Die Bank hat uns nicht nur die Aufgabe selbst beschrieben, die gelöst werden muss, sondern auch angegeben, wie und auf welchen Daten das Modell aufgebaut werden soll und wie die Qualität zu überprüfen ist.

Was von uns verlangt wurde:

• Erstellen Sie ein Modell zur Vorhersage der Kommunikationsreaktion.
• Verwenden Sie zum Erstellen des Modells Daten zu Kunden, die nicht an der Kampagne teilgenommen haben. Zu diesem Zweck gab uns die Bank anonymisierte Daten für alle Kunden, ausgenommen diejenigen Kunden, die an einer einmaligen Kampagne teilgenommen haben.
• Verwenden Sie als Zielereignis beim Erstellen des Modells die Tatsache, dass Sie ein Darlehensprodukt beantragen, das im Rahmen der Kampagne vorgeschlagen wurde.

Die Qualität des konstruierten Modells sollte bei den Kunden überprüft werden, die an der Kampagne teilgenommen haben. Das heißt, Wenn das Modell vorhersagt, dass der Kunde dazu neigt, ein Darlehensprodukt zu kaufen, und dass der Kunde aufgrund der Kommunikationsergebnisse eine positive Antwort erhalten hat, wird davon ausgegangen, dass das Modell die Antwort korrekt vorhergesagt hat.

Erste Bedenken

Bereits in der Phase der Diskussion über die Qualitätsbewertungsmethode wurde Bedenken hinsichtlich der Unrichtigkeit dieser Bewertungsmethode geäußert. Es gibt zwei Gründe für die Unrichtigkeit.

Erstens verschiedene Zielvariablen in der Phase der Modellbildung und in der Phase der Bewertung ihrer Qualität. Es wird ein Modell zur Vorhersage der Tatsache erstellt, dass ein Darlehensprodukt ohne Kommunikation beantragt wird, und die Qualität wird anhand der Ergebnisse der Anwendung des Modells auf die Aufgabe der Vorhersage der Reaktion auf die Kommunikation überprüft.

Zweitens können sich die Kunden, die an der Kampagne teilgenommen haben, stark von allen Kunden unterscheiden (da davon auszugehen ist, dass Kunden nach bestimmten Kriterien für die Teilnahme an der Kampagne ausgewählt wurden).

Trotz aller Bedenken haben wir uns darauf geeinigt, ein Modell mit der aktuellen Problemstellung zu erstellen. Wir haben jedoch einen Teil der Daten mit den Ergebnissen des Kundenaufrufs zur Verwendung als unabhängige (Test-) Stichprobe angefordert.

Modellierung

Während wir mit den Ergebnissen des Anrufs auf einen Teil der Daten warteten, bauten wir das Modell auf Kunden auf, die nicht an der Kampagne teilnahmen (~ 200.000 Kunden, etwa 5% kauften ein Kreditprodukt). Es wurden gute Ergebnisse erzielt (Gini ~ 0,75 in den Trainings-, Validierungs- und Testproben).

Später wurden Daten von Kunden hochgeladen, die an der Kampagne teilgenommen haben. Das zuvor konstruierte Modell wurde auf diese Daten angewendet. Bei der Anwendung des Modells auf diesen Teil der Stichprobe ließen die Ergebnisse zu wünschen übrig (Gini = 0,16).

Verteilungen

Sie begannen, die Stichprobe der Kunden zu sortieren, die an der Kampagne teilnahmen, und stellten fest, dass die Verteilung der Daten in vielen Variablen nicht mit der Verteilung der Daten der Kunden übereinstimmte, die nicht an der Kampagne teilnahmen.


Daher die Erklärung der schlechten Ergebnisse. Sie haben versucht, ein Modell für den Teil der Kunden zu erstellen, die an der Kampagne teilgenommen haben (ca. 5.000 - Antwort = 8%). Das Ergebnis ist schlecht (nicht genügend Daten - Indikatoren für schlechte Qualität - Gini ~ 0,3).

Die Probleme

Infolgedessen wurden mehrere Annahmen über das magere Simulationsergebnis getroffen:

1. Verschiedene Zielvariablen (denken Sie daran, dass wir lernen, die Neigung zum Kauf eines Kreditprodukts zu bestimmen, und wir sagen die Reaktion auf die Kommunikation voraus).
2. Die Stichprobe der Kunden, die an der Kampagne teilgenommen haben, wurde nicht zufällig generiert, weshalb die Verteilung der darin enthaltenen Prädiktoren von der Verteilung in der allgemeinen Bevölkerung aller Bankkunden abweichen kann.
   • In der Stichprobe der Kunden, die nicht an der Kampagne teilgenommen haben, gibt es Kunden, die keinen Kredit beantragen können
   • Kunden, die an der Kampagne teilnehmen, haben praktisch keine Kreditprodukte: Nur 2% haben Einträge in der Geschichte der Kreditzahlungen, verglichen mit 19% der Kunden, die nicht an der Kampagne teilgenommen haben.
3. Es gibt nicht genügend Daten zu den Ergebnissen der Kampagne, um sie zum Erstellen des Modells zu verwenden.

Problemlösung

1. Es ist immer ganz am Anfang notwendig, die richtigen Kriterien für die Bewertung des Ergebnisses zu bestimmen.
   • Zielvariablen müssen gleich sein.
   • Die Daten, zu denen sie eine Studie vorschlagen und zu denen sie das Ergebnis testen möchten, sollten von einer allgemeinen Bevölkerung stammen.
2. Es ist notwendig, den Umfang des Projekts im Voraus zu besprechen (und dass sie für Schulungs- und Testmuster gelten).
3. Der Mangel an Daten ist entweder eine Änderung der Aufgabe (um ausreichend zu sein) oder die Erwartung neuer Kommunikation.

Zusammenfassung

Die oben genannten Argumente wurden Kollegen von der Bank vorgelegt, und es wurde beschlossen, die Aufgabe zu wiederholen.

In der neuen Erklärung des Problems mussten wir die Reaktion auf die reguläre Kampagne vorhersagen. Diesmal hatten wir jedoch früher Kommunikationsdaten für dieselbe Kampagne. Das Ergebnis war ein erfolgreiches Projekt (es war möglich, die Resonanz um mehr als das Zweifache zu erhöhen).

Schlussfolgerungen

Als Ergebnis kehren wir zu den Grundlagen der Modellierung zurück:

• Es ist immer notwendig zu verstehen, ob das, was wir modellieren, mit dem übereinstimmt, was der Kunde von uns will. In diesem Fall waren Kommunikationsdaten erforderlich, um die Reaktion auf die Kommunikation vorherzusagen.
• Die Daten müssen aus derselben Population stammen. Wenn das Modell nach denselben Mustern und in der Testprobe trainiert wird, um auf andere Muster zu stoßen, besteht nur eine geringe Chance, dass die Testprobe einen guten Qualitätsfaktor erhält.