Überwachen der Kreditbewertung in Power BI

In Situationen, in denen die meisten Kreditanträge automatisch berücksichtigt werden, ist die Überwachung besonders wichtig. Funktioniert alles wie gewohnt, wie ändern sich Kennzahlen, welche Änderungen müssen vorgenommen werden, um das gewünschte Ergebnis zu erzielen?

In diesem Artikel werde ich Ihnen erläutern, wie wir die Kredit-Pipeline mithilfe von Power BI überwachen. Diese Berichte und Metriken werden verwendet, um die Qualität der Ausgabe zu bewerten.

Intraday-Schlüsselindikatoren

* Hier und in allen Diagrammen werden die erfundenen Zahlen unten angegeben

Das Dashboard wird alle 2 Stunden aktualisiert und vergleicht die heutigen Indikatoren zum Zeitpunkt der Aktualisierung mit Indikatoren im Durchschnitt der letzten 20 Tage zur selben Zeit.

Der untere Rand ist 10% Quantil in Bezug auf die letzten 20 Tage, der obere Rand ist 90% Quantil, die graue Linie ist der Median. Füllen mit Farbe ist das Ergebnis von heute.

Anzeigen im Dashboard:

• Anzahl der Bewerbungen
• Warteschlange (Anzahl der Anträge, für die zu diesem Zeitpunkt keine Entscheidung getroffen wurde)
• Genehmigungsstufe
• Durchschnittsbetrag
• Höhe der Auszahlungen (Verhältnis der Anzahl der Kredite zu genehmigten Anträgen)

Basierend auf diesem Dashboard werden Warnungen konfiguriert, die an verantwortliche Mitarbeiter in der E-Mail gesendet werden. Dies ist ein praktisches Tool für die tägliche Betriebsanalyse. Es ist besonders nützlich, es am Tag nach größeren Änderungen anzusehen.

Routing anfordern

Bei der Online-Kreditvergabe ist Schnelligkeit der wichtigste Entscheidungsfaktor. Der Kunde kann eine Anfrage an mehreren Standorten hinterlassen, und der Deal geht an denjenigen, der die Entscheidung schneller trifft. Durch die Automatisierung der Entscheidungsfindung können Sie Anwendungen schnell prüfen und haben keine Angst vor plötzlichen Verkehrssprüngen.

Sie können weiter gehen und das Routing genauer betrachten. Abhängig von den verfügbaren Informationen zum Kreditnehmer kann der Antrag beispielsweise an ein bestimmtes Modell gesendet werden. Dies ist praktisch, wenn es viele Modelle gibt, und ich möchte schnell verstehen, welches davon in welchem ​​Verkehrssegment funktioniert und wie viele Anforderungen es verarbeitet.

Ausgabequalität

Einer der beliebtesten Indikatoren zur Beurteilung der Ergebnisqualität ist die Wiederfindungsrate. Sie wird als Verhältnis des eingehenden Cashflows zum ausgehenden Cashflow für eine bestimmte Kohorte berechnet. Normalerweise wird die Wiederfindungsrate nach Generationen analysiert - Vintage-Analyse. Wir untersuchen, wie sich die Metrik für jeden Jahrgang im Laufe der Zeit ändert.

Diese Ansicht hat mehrere Vorteile:

• Nicht nur das heutige Ergebnis ist sichtbar, sondern auch die Dynamik
• Sie können die Linie mental oder mit Hilfe der Regression auf einen bestimmten Zeitraum verlängern und mit hoher Genauigkeit den erwarteten Wert des Indikators anzeigen
• Sie können die Streuung des Indikators visuell nachvollziehen und ausgewogenere Schlussfolgerungen ziehen.

Jahrgänge können nicht nur Monate sein, sondern auch Arten von Entscheidungsfindungs- oder Bewertungsmodellen. Es ist falsch, den Wiederfindungsratenindikator zu verwenden, um das Entscheidungsfindungssystem im Falle von Änderungen an Produkten zu bewerten, die die Rentabilität stark beeinträchtigen.

Vergleich von Bewertungsmodellen

In dem Fall, in dem die Entscheidung eine binäre Form hat: genehmigen / ablehnen, wird die Qualität der Emission durch zwei Indikatoren charakterisiert: den Grad der Genehmigung und die Verzögerung. Sie können sie in verschiedenen Abschnitten betrachten: nach Zeit, nach Art der Entscheidungsfindung oder nach Bewertungsmodellen. Der Grad der Genehmigung und Verzögerung in Bewertungsmodellen sieht beispielsweise folgendermaßen aus:

* Wir können daraus schließen, dass von diesen drei Modellen „Modell 2.1“ am besten aussieht. Es hat die geringsten Rückstände mit einer hohen Zustimmung. In der Praxis ist eine solche Auswahl schwieriger zu treffen, und die statistische Signifikanz der erzielten Ergebnisse muss berücksichtigt werden.

Anwendungsumsatz

Es wird schwieriger, wenn die Entscheidung nicht genehmigt / abgelehnt wird, aber x Rubel (risikobasiertes Limit) zum Zinssatz r (risikobasiertes Pricing) genehmigt werden. Unter solchen Umständen ist es leicht vorstellbar, dass die Verzögerung zunimmt, der Genehmigungsgrad in Teilen abnimmt und der Gewinn zunimmt.

Die Qualität der Emission wird bereits anhand von 4 Indikatoren bewertet: Genehmigungsgrad, Verzug, durchschnittlicher Auszahlungsbetrag und gewichteter Durchschnittssatz in%. Wenn wir einen A / B-Test für mehrere Bewertungsmodelle haben, wird es ziemlich schwierig, sie mit 4 Indikatoren zu vergleichen.

Ich musste eine neue Metrik einführen, die alle 4 Faktoren enthält und sie mit einer Zahl ausdrückt - das Einkommen aus der Anwendung, das wie folgt berechnet wird:

Einkünfte aus Antragstellung = (Höhe der Zahlungen - Höhe der Ausstellung) / Anzahl der Anträge


Schauen wir uns nun die obigen Modelle für die Einnahmen aus der Anwendung an:

Die Modelle 2.0 und 2.1 verwenden die gleichen Scores auf unterschiedliche Weise, um das Kreditlimit und die Auswahl der Kreditbedingungen zu bestimmen. Und laut umfassendem Indikator sieht „Modell 2.0“ bereits vorzuziehen aus.

Das Einkommen aus der Anwendung ist ein universelles und sehr bequemes Werkzeug. Es gibt jedoch einige Punkte zu beachten: Der Indikator kann bei Verkehrsveränderungen instabil sein, hat auch eine ziemlich lange Reifezeit, dh er ist für PDL-Kredite oder kurze Verbraucherkredite geeignet.

Modellüberwachung

Bei der Kreditvergabe gibt es immer eine zeitliche Verzögerung zwischen dem Zeitpunkt der Ausgabe und dem Feedback. Selbst wenn Sie den Indikator FPD 7+ nehmen, sind es 40 Tage. In einer Situation, in der sich alles schnell ändert (neue Produkte, neue Bewertungsmodelle, Informationsquellen, Änderungen in der Kreditpolitik), möchte ich das erste Feedback nicht innerhalb von 40 Tagen erhalten, sondern schneller, vorzugsweise den ganzen Tag.

Unsere Überwachung basiert auf der folgenden Idee: Ein komplexes und häufig wechselndes Produkt kann irgendwann „ausfallen“, systematische Fehler in großer Zahl verursachen, eine Person ist in dieser Hinsicht stabiler. Zum Testen der Modelle wird ein Teil des Datenverkehrs zufällig an den Underwriter gesendet.

Danach können Sie die vom Modell getroffenen Entscheidungen mit den Entscheidungen des Underwriters vergleichen. Eine große Anzahl von Abweichungen ist eine Gelegenheit, das Problem dringend zu verstehen und Maßnahmen zu ergreifen. Sie können jeden Klassifizierungsqualitätsfaktor verwenden, der für die Bedingungen geeignet ist, z. B. F1-Score.

Es ist zu erkennen, dass der F1-Score für ein Modell an einem bestimmten Punkt stark nachgab. Dies war auf Änderungen im Fragebogen zurückzuführen. Das Dashboard ermöglichte es, eine solche Änderung rechtzeitig zu erkennen und darauf zu reagieren.

Die Verteilung der Bewerbungen nach Modellwerten liefert viele Informationen zur Nachhaltigkeit. Sie sollte sich nicht wesentlich von der Verteilung im Validierungsnetzwerk unterscheiden oder sich im Laufe der Zeit ändern.

Um die Genehmigungsstufe und ihre Anpassung auszuwählen, ist es zweckmäßig, die Verzögerung durch Punktbewertung anzuzeigen. Sie können die Genehmigungsschwelle in Abhängigkeit von der Risikobereitschaft des Unternehmens ändern.

Abschließend

In dem Artikel habe ich nur einen Teil der Dashboards gezeigt, in der Praxis gibt es mehr davon. Jetzt können 80-90% der Fragen beantwortet werden, ohne Code zu schreiben. Unternehmen und Analysten können interessantere Hypothesen erstellen und einige ihrer Ideen selbst testen.

Die Auswirkungen auf Dashboards sind bei weitem nicht immer statistisch signifikant. Sie müssen dies berücksichtigen und wichtige Nachforschungen anstellen, wenn Sie wichtige Entscheidungen treffen.