Surveillance du score de crédit dans Power BI

Dans des conditions où la majorité des demandes de prêt sont prises en compte automatiquement, le suivi devient particulièrement important. Est-ce que tout fonctionne comme d'habitude, comment les indicateurs clés changent-ils, quels changements doivent être apportés pour atteindre le résultat souhaité?

Dans cet article, je vais vous expliquer comment nous surveillons le pipeline de crédit à l'aide de Power BI, les rapports et les mesures que nous utilisons pour évaluer la qualité de l'émission.

Indicateurs clés intrajournaliers

* ici et dans tous les graphiques, les chiffres inventés seront donnés ci-dessous

Le tableau de bord est mis à jour toutes les 2 heures, il compare les indicateurs d'aujourd'hui au moment de la mise à jour avec des indicateurs en moyenne au cours des 20 derniers jours au même moment.

La bordure inférieure est quantile de 10% par rapport aux 20 derniers jours, la bordure supérieure est quantile de 90%, la ligne grise est la médiane. Remplir de couleur est le résultat d'aujourd'hui.

Indicateurs sur le tableau de bord:

• Nombre de candidatures
• File d'attente (nombre de demandes pour lesquelles aucune décision n'a été prise à l'époque)
• Niveau d'approbation
• Montant moyen
• Niveau des décaissements (rapport entre le nombre de prêts accordés et les demandes approuvées)

Sur la base de ce tableau de bord, des alertes sont configurées pour être envoyées aux employés responsables par courrier. Il s'agit d'un outil pratique pour l'analyse opérationnelle quotidienne. Il est particulièrement utile de le regarder le lendemain de changements majeurs.

Acheminement des demandes

Dans les prêts en ligne, le principal facteur de décision est la vitesse. Le client peut laisser une demande sur plusieurs sites, et la transaction ira à celui qui prend la décision plus rapidement. L'automatisation de la prise de décision vous permet d'envisager rapidement les candidatures et de ne pas avoir peur des sauts brusques de trafic.

Vous pouvez aller plus loin et voir le routage plus en détail. Par exemple, en fonction des informations disponibles sur l'emprunteur, la demande peut être envoyée à un modèle spécifique. C'est pratique quand il y a beaucoup de modèles, et je veux comprendre rapidement lequel fonctionne sur quel segment de trafic, combien de requêtes il traite.

Qualité du problème

L'un des indicateurs les plus populaires pour évaluer la qualité des résultats est le taux de récupération. Il est calculé comme le rapport des flux de trésorerie entrants aux flux de trésorerie sortants pour une cohorte particulière. Habituellement, le taux de récupération est analysé par générations - analyse des millésimes. Nous examinons comment la métrique de chaque millésime change au fil du temps.

Cette vue présente plusieurs avantages:

• Non seulement le résultat d'aujourd'hui est visible, mais aussi la dynamique
• Vous pouvez mentalement ou à l'aide de la régression étendre la ligne à une certaine période et avec une grande précision voir la valeur attendue de l'indicateur
• Vous pouvez comprendre visuellement la dispersion de l'indicateur et tirer des conclusions plus équilibrées.

Les millésimes peuvent être non seulement des mois, mais aussi des types de modèles de prise de décision ou de notation. Il est incorrect d'utiliser l'indicateur de taux de récupération pour évaluer le système décisionnel en cas de changements de produits qui affectent fortement la rentabilité.

Comparaison des modèles de notation

Dans le cas où la décision a une forme binaire: approuver / refuser, la qualité de l'émission est caractérisée par deux indicateurs: le niveau d'approbation et le délai. Vous pouvez les regarder dans différentes sections: par temps, par type de prise de décision ou par modèles de notation. Par exemple, le niveau d'approbation et de retard dans les modèles de notation ressemble à ceci:

* nous pouvons conclure que de ces trois modèles, le «modèle 2.1» est le meilleur. Il a les arriérés les plus faibles avec un niveau d'approbation élevé. En pratique, il arrive qu'un tel choix soit plus difficile à faire, et la signification statistique des résultats obtenus doit être prise en compte.

Revenus des applications

Cela devient plus difficile lorsque la décision n'est pas d'approuver / de refuser, mais x (limite basée sur le risque) roubles est approuvé au taux d'intérêt r (tarification basée sur le risque). Dans de telles circonstances, il est facile d'imaginer une situation où le retard augmente, le niveau d'approbation par morceaux diminue, tandis que le profit augmente.

La qualité de l'émission est déjà évaluée par 4 indicateurs: niveau d'approbation, retard, montant moyen décaissé et taux moyen pondéré%. Si nous avons un test A / B de plusieurs modèles de notation, il devient assez difficile de les comparer par 4 indicateurs.

J'ai dû introduire une nouvelle métrique, qui comprend les 4 facteurs et les exprime avec un seul chiffre - le revenu de l'application, qui est calculé comme suit:

Revenus de la demande = (montant des paiements - montant de la délivrance) / nombre de demandes


Examinons maintenant les modèles ci-dessus pour les revenus de l'application:

Les modèles 2.0 et 2.1 utilisent les mêmes scores de différentes manières du point de vue de la détermination de la limite de crédit et du choix des conditions de crédit. Et selon l'indicateur complet, le «modèle 2.0» semble déjà préférable.

Le revenu de l'application est un outil universel et très pratique. Mais il y a quelques points à considérer: l'indicateur peut être instable avec les changements de trafic, il a également une période de maturation assez longue, c'est-à-dire qu'il convient aux prêts PDL ou aux prêts à la consommation à court terme.

Surveillance du modèle

Dans les prêts, il y a toujours un décalage entre le moment de l'émission et le retour d'information. Même si vous prenez l'indicateur FPD 7+ c'est 40 jours. Dans une situation où tout évolue rapidement (nouveaux produits, nouveaux modèles de notation, sources d'informations, changements de politique de crédit), je souhaite recevoir les premiers retours non pas dans 40 jours, mais plus vite, de préférence toute la journée.

Notre suivi est basé sur l'idée suivante: un produit complexe et souvent évolutif peut à un moment donné «tomber en panne», commencer à faire des erreurs systématiques en grand nombre, une personne est plus stable à cet égard. Pour tester les modèles, une partie du trafic est envoyée au hasard à l'assureur.

Après cela, vous pouvez comparer les décisions prises par le modèle avec les décisions du souscripteur. Un grand nombre de déviations est l'occasion de comprendre d'urgence le problème et d'agir. Vous pouvez utiliser n'importe quel score de qualité de classification adapté aux conditions, par exemple, le score F1.

On peut voir que le score F1 pour un modèle a fortement fléchi à un certain point. Cela était dû à des changements dans le questionnaire. Le tableau de bord a permis de voir un tel changement en temps opportun et d'y réagir.

La distribution des applications par les scores du modèle donne beaucoup d'informations sur la durabilité. Elle ne doit pas différer beaucoup de la distribution sur le réseau de validation ou évoluer dans le temps.

Pour sélectionner le niveau d'approbation et son réglage, il est pratique d'afficher le retard en marquant des points. Vous pouvez modifier le seuil d'approbation en fonction de la volonté de l'entreprise de prendre des risques.

En conclusion

Dans l'article, je n'ai montré qu'une partie des tableaux de bord, en pratique il y en a plus. Il est désormais possible de répondre à 80 à 90% des questions sans écrire de code. Les entreprises et les analystes peuvent générer des hypothèses plus intéressantes et tester certaines de leurs idées par leurs propres moyens.

Les effets visibles sur les tableaux de bord sont loin d'être toujours statistiquement significatifs. Vous devez garder cela à l'esprit et effectuer des recherches importantes lorsque vous prenez des décisions importantes.