Compter l'argent. Choisir une métrique dans la notation du crédit

Lorsque vous avez une sorte de système de prise de décision pour l'emprunteur et que vous devez l'améliorer, l'énoncé classique du problème dans ce cas ressemble généralement à ceci. "Réduisez les arriérés sans diminuer l'approbation." Ou: "Augmentez l'approbation sans augmenter le délai." C'est dans ce cadre que les vendeurs présentant leur score de notation présentent leurs décisions. Le même libellé peut être entendu lors des conférences de notation, où les développeurs internes présentent leurs réalisations. Malheureusement, personne ne révèle en détail ce que l'on entend exactement par les termes retard et niveau d'approbation.

Le résultat positif du travail est présenté comme suit:



Nous comprendrons en termes.

En souffrance - le nombre de créances douteuses divisé par le nombre de prêts émis.

Niveau d'approbation - le nombre de demandes de prêt approuvées divisé par le nombre de demandes reçues.

Est-il possible que lorsque le problème est résolu dans une telle formulation, le retard en termes monétaires augmente?


La qualité de la notation peut varier en grande et en petite quantité. Les demandes de gros montants seront pires qu'un modèle pour les demandes de petits montants. Un tel cas peut vraiment se rencontrer dans la vie. A été démonté en détail dans l' article



Dans une telle situation, le retard financier peut être pire.

Supposons que nous ne soyons pas complètement stupides et avons immédiatement établi un calendrier pour le retard à la fois en pièces et en argent. Et nous avons effectué une analyse de la qualité du modèle dans différentes tranches. Et ils ont conclu que le retard avait diminué à la fois en pièces et en argent. Et le modèle note également bien les demandes pour les grandes et les petites quantités. Nous avons également constaté une amélioration des graphiques de rentabilité.

Rentabilité - la somme de tous les paiements divisée par le montant du prêt émis, moins 100% . Dans les rapports financiers, cette valeur est construite sur la cohorte calendaire des clients. Cohorte de calendrier - un groupe de clients qui ont reçu un prêt en un mois. Voici à quoi ressemble le graphique des rendements en dynamique.



Axe X - le nombre de jours écoulés depuis l'émission du prêt. On voit qu'au 90ème jour après l'émission du prêt, la cohorte d'avril dépasse mars. Le retard a diminué, la rentabilité a augmenté. Le prix est déjà dans notre poche. Nous allons au bureau aux autorités. Nous disons: "Bonjour, je suis pour le prix!"

Se pourrait-il que le niveau d'approbation n'ait pas changé, que le retard ait diminué, que la rentabilité ait augmenté et que nous gagnions moins d'argent?


La vitesse elle-même et sa comparaison avec le seuil de coupure ne sont pas la décision finale d'octroyer un prêt. La décision finale comprend la détermination du montant du crédit qui peut être émis. Vous pouvez approuver un montant inférieur à celui demandé par le client. Ou un gros. Dans ce cas, le niveau d'approbation ne peut plus être interprété sans ambiguïté comme nous l'avons fait auparavant. Maintenant, le niveau d'approbation peut être présenté en termes monétaires. Et au niveau de l'approbation en morceaux, le concept de chèque moyen s'ajoute. Tirons le niveau d'approbation en termes monétaires. Il s'agit du rapport entre le montant du prêt approuvé et le montant demandé dans la demande.



En pratique, vous pouvez contrôler le niveau de retard non seulement à l'aide de la vitesse. Mais aussi en utilisant la méthode de détermination du montant du prêt. Il s'agit d'un outil très puissant. Nous avons effectué des recherches sur la façon dont la réduction du montant affecte le non-retour pour les clients ayant le même niveau de risque, la même vitesse. Vous trouverez ci-dessous un graphique du taux par défaut par rapport au taux pour le même modèle.



Gauche - le montant souhaité a été approuvé. À droite - le montant a été réduit en fonction de la vitesse. Encore une fois, nous notons - sur les graphiques à droite et à gauche le même modèle, la même vitesse. Mais la conversion du rapide à la solution finale - déterminer le montant du crédit qui peut être approuvé, a été effectuée de différentes manières. Cette astuce vous permet de venir dans une entreprise qui a du mal à réduire le niveau de retard, d'écrire un tableau de correspondance du taux et du montant approuvé en 5 minutes, et vous recevrez une réduction de retard le même jour.

Nous simulons une situation où le modèle note aussi bien les demandes pour les grandes et les petites quantités. Le niveau d'approbation par pièces a augmenté. Le niveau d'approbation en argent a augmenté. Le retard en morceaux n'a pas augmenté. Le niveau de retard de l'argent n'a pas augmenté. Pourrait-il y avoir maintenant une situation où nous gagnons encore moins?


Le niveau d'approbation n'est pas le même que le niveau de rendu. Lorsque nous approuvons un prêt à un client, ce n'est pas un fait qu'il l'utilisera. Lorsque nous réduisons considérablement le montant aux bons clients, ils refusent un prêt approuvé et se rendent dans un autre endroit où ils approuveront immédiatement le montant souhaité. Il y a une sortie du client. Et nous ajoutons deux autres indicateurs - le taux d'enlèvement et le niveau de livraison.

Le retrait est le pourcentage de prêts accordés parmi ceux approuvés. Niveau des décaissements - le nombre de prêts accordés divisé par le nombre de demandes reçues (de même, il peut être exprimé en termes monétaires).

Un niveau élevé d'approbation en tandem avec une politique stricte pour déterminer le montant du crédit peut donner l'effet d'une faible conversion des demandes en émission. Avec le même nombre de demandes reçues, moins d'argent sera émis. Cependant, le pourcentage de retard et le niveau d'approbation seront meilleurs que la version précédente du système.

Supposons que nous ayons amélioré tous ces indicateurs. Mais nous ne pouvons toujours pas comprendre combien nous gagnons. La rentabilité montre comment les prêts payés couvrent les prêts non remboursés. Cette valeur est reflétée en pourcentage. Mais le pourcentage d'un million et le pourcentage de 10 kopecks sont des pourcentages différents.

En conséquence, nous sommes arrivés à l'option où nous pouvons surveiller les performances de notre système de prise de décision de manière suffisamment détaillée. Nous avons de nombreux graphiques et indicateurs différents, mais nous ne pouvons pas dire combien nous gagnons, nous ne pouvons pas comparer les modèles dans le test AB, car nous ne pouvons pas exprimer leur qualité en un seul chiffre. Et au final, pour répondre à la question, sommes-nous meilleurs ou pires selon le critère de "faire plus d'argent".

Essayons d'exprimer l'efficacité du système de prise de décision avec un seul chiffre et comparons les deux systèmes. Nous avons 4 indicateurs qui décrivent de manière complète notre système. Permettez-moi de vous rappeler à quoi ressemble la diminution de la dimension des indicateurs:

étape 1

• rentabilité
  
• niveau d'approbation en morceaux
  
• chèque moyen
  
• grimpabilité
  

étape 2

• rentabilité
  
• niveau d'approbation en argent = (niveau d'approbation en morceaux * chèque moyen)
  
• grimpabilité
  

étape 3

• rentabilité
  
• niveau d'émission en argent = (niveau d'approbation en unités * facture moyenne * retrait)
  

Ainsi, il ne restait que 2 indicateurs. Mais nous avons besoin d'un indicateur intégré, ce qui nous permet de sélectionner facilement le modèle souhaité. Existe-t-il un tel indicateur?


Il s'agit de la somme de tous les paiements avec intérêts moins le montant émis, divisée par le nombre de demandes reçues. Un tel indicateur intégré comprend la facture moyenne, le niveau d'approbation en morceaux, le pourcentage de collecte et la conversion de l'approbation de la demande à émettre. Le problème est résolu. Nous regardons cet indicateur, nous voyons qu'il s'est amélioré, nous optons pour une prime.

Pourrait-il y avoir maintenant une situation où un modèle avec un gros revenu d'une application rapporte moins d'argent?


Nous considérons l'argent et la rentabilité dans le cadre de la première demande du client et de son premier prêt. Et nous sommes guidés par le principe de la marginalité momentanée. Cependant, si vous construisez une relation à long terme avec un client, vous pouvez gagner non seulement du premier prêt à ce client, mais aussi de ses demandes ultérieures. Il y a une chose telle que la conversion d'un nouveau client en rentrée et LTV (durée de vie). Et il peut s'avérer que le meilleur modèle selon le critère du revenu d'une application peut se révéler pire à long terme, car balayera de nombreux clients avec un LTV élevé. C'est-à-dire dans le cadre d'une application, vous pouvez obtenir une telle cohorte de clients (un client avec la même vitesse / niveau de risque) pour lesquels le retour sur l'application est généralement négatif. Négatif! Mais si vous observez ces clients pendant 6 mois, vous pouvez voir qu'ils remboursent déjà la rentabilité négative de leur cohorte au deuxième ou troisième numéro. Nous avons également rencontré cette situation dans la pratique.

Ainsi, le rendement peut se refléter non pas dans le cadre du premier prêt, mais pour tous les prêts de la cohorte client pendant 6 mois.



Il est évident que les subventions de cohorte peuvent porter leurs fruits après 6 mois, malgré le fait que le premier prêt n'est pas rentable avec un rendement de -30%. Une telle stratégie modifie radicalement l'approche du choix d'un seuil (seuil d'approbation).

Nous pouvons fonctionner avec une rentabilité négative de l'application et un retour sur investissement pendant un certain temps de 6 à 12 mois. En pratique, il est possible d'émettre des prêts avec des rendements négatifs sur la première émission. Avec cette stratégie, le choix d'un modèle avec une rentabilité plus élevée de l'application n'est pas optimal. Maintenant, le critère de sélection est l'indicateur - le rendement maximum de la cohorte pendant 6 mois. Le modèle devient optimal, donnant un LTV total plus important dans la cohorte pendant 6 mois. Le choix d'un modèle avec une rentabilité plus faible de l'application, mais un gros LTV est presque impossible en raison de la longue durée du test. Nous pouvons mettre une petite partie du trafic sur le pire modèle dans l'espoir de voir un LTV plus important dans six mois ou un an. Cependant, pour cela, elle doit avoir un niveau d'approbation plus élevé en morceaux. L'acheminement des clients participant au test AB vers ce modèle doit être fourni. De plus, si après six mois ou un an, il devient clair que le LTV est plus important pour nous et que nous voulons basculer tout le trafic vers le meilleur modèle LTV, il est nécessaire que la qualité du modèle soit stable dans le temps et que le modèle ne "dégrade" pas à ce stade. Cependant, au cours de l'année, vous pouvez avoir le temps de pomper le modèle par la rentabilité de l'application, sans vous soucier du LTV. Dans de telles conditions externes et internes dynamiques - développement interne, nouveaux produits, nouveaux modèles, modifications de la législation, LTV devient un simple rapport de référence. Nous ne pouvons pas l'utiliser comme indicateur pour sélectionner le meilleur modèle.

En toute honnêteté, il convient d'ajouter que ce régime ne prend pas en compte les dépenses. Qui comprennent le service de recouvrement de créances et le coût d'attraction du trafic. Ces paramètres peuvent dépendre du niveau de retard, du niveau d'approbation, de la conversion d'un nouveau client en client récurrent et du contrôle moyen.

Dmitry Gorelov
télégramme: datasanta