Nos clients utilisent souvent un téléphone mobile pour photographier un document et l'envoyer à une entreprise d'autopartage, un centre de visa, un opérateur de télécommunications, des sociétés financières et autres. Une photo du document suffit pour louer une voiture, activer une carte SIM, demander un prêt. Mais parfois, obtenir une image de bonne qualité à partir d'un smartphone peut être difficile. Néanmoins, nous avons réussi à résoudre ce problème.
Il existe désormais de nombreuses applications sur iOS et Android pour la "numérisation mobile" de documents. Mais combien d'applications mobiles avez-vous sur votre téléphone? Pourquoi perdre du temps et en installer de nouveaux si vous ne pouvez pas le faire?
Il est beaucoup plus facile de photographier un document directement dans un navigateur mobile, qui est déjà sur n'importe quel smartphone. C'est pourquoi nous avons créé
ABBYY Mobile Web Capture . Il s'agit de l'API JavaScript, c'est-à-dire du SDK que nous proposons à nos clients d'intégrer dans leurs pages Web et leurs applications Web. Il vous permet de capturer une bonne image directement dans un navigateur Web sur le système d'exploitation mobile le plus populaire et de l'envoyer pour traitement ultérieur à un serveur ou au cloud. Aujourd'hui, nous allons parler du fonctionnement de cette technologie.
ABBYY Mobile Web Capture propose de prendre une photo du document souhaité dans un flux vidéo à partir d'un navigateur mobile. Compte, permis de conduire, passeport, contrat, formulaire de demande, demande - tous les documents peuvent être traités.
Le nouveau produit utilise notre technologie mobile pour la capture automatique d'images Capture d'image, qui a été transférée à JavaScript. Le cœur de l'algorithme est écrit en C ++, nous avons donc utilisé la technologie
WebAssembly pour le transférer vers un navigateur Web. De plus, nous avons créé des composants d'interface utilisateur chargés de travailler avec la caméra. Ils ont été ajoutés à l'API JS afin que les développeurs puissent intégrer simplement et commodément la capture à partir du flux vidéo dans leur application ou site Web. Pour rendre l'intégration très simple, nous avons ajouté le code source de l'exemple de code de page Web au package de distribution du produit et montrons comment utiliser correctement notre API. En fait, le développeur a juste besoin de copier ce code sur son site Web et c'est tout - pas plus compliqué que, par exemple, d'insérer une métrique pour l'analyse du trafic.
Après cela, directement dans le navigateur, vous pouvez allumer le caméscope et le pointer vers le document. Et puis ABBYY Mobile Web Capture agit:
1. Lorsqu'un document pénètre dans le cadre, nous trouvons ses limites dans le flux vidéo.
2. Ensuite, vous capturerez automatiquement une image claire du document. Pour ce faire, vous devez vous assurer que la personne a arrêté de bouger la caméra et qu'elle a déjà "visé" le document souhaité. Nous ne comptons pas sur les capteurs du téléphone, car il y a toujours la possibilité qu'une personne tienne le téléphone immobile, mais d'autre part avec le document bouge. Pour éviter cela, nous évaluons si l'image bouge, c'est-à-dire considérez le décalage entre les objets d'une image à l'autre. Si elle est minimale, vous pouvez commencer à capturer. De plus, nous examinons la netteté. Ainsi, le SDK capture automatiquement le moment où vous devez prendre une photo du document pour obtenir une image de haute qualité. Vous n'avez à appuyer sur aucun bouton:
3. Après avoir capturé le cadre avec le document, coupez-le aux bordures et alignez:
ABBYY Mobile Web Capture fournit une bonne image, qui peut ensuite être envoyée pour reconnaissance, par exemple, dans
ABBYY FlexiCapture , et elle sera certainement traitée. Sur l'exemple de nos projets avec ABBYY FlexiCapture, nous constatons qu'il est souvent plus pratique pour les clients de saisir des documents via un smartphone plutôt qu'un scanner. Mais les images ainsi obtenues se révèlent souvent floues - alors elles ne peuvent tout simplement pas être traitées avec une qualité élevée. Ensuite, la personne qui a envoyé la photo depuis le téléphone est priée de "prendre une photo". Mais il n'est pas toujours commode pour le client de le faire.
Lorsque nous avons développé ABBYY Mobile Web Capture, nous avons réalisé que photographier un document dans un navigateur dans un flux vidéo n'est pas si simple. Tout d'abord, la recherche des limites du document, l'estimation du décalage et de la netteté de la trame nécessitent des ressources de calcul - j'ai dû optimiser pour que le flux vidéo dans le navigateur ne ralentisse pas. Deuxièmement, sur iOS, nous étions confrontés au fait que dans Safari, il était impossible d'obtenir une vidéo avec une résolution supérieure à HD. Les images que nous avons capturées sur iOS, même sur des iPhones XS sympas, n'étaient pas très bonnes. Ils ne pouvaient tout simplement pas être reconnus, car pour reconnaître un document A4 tapé en 10e police, vous avez besoin d'une image Full HD et au-dessus. Nous avons écrit des rapports de bogues à Apple et demandé de permettre de travailler avec la caméra en haute résolution depuis Safari. Et ils l'ont corrigé dans iOS 12.2! Sans cela, notre produit ne fonctionnerait pas tel qu'il est actuellement. Et maintenant - le SDK vous donne de bonnes images, et vous pouvez ensuite faire ce que vous voulez avec elles.
Bien sûr, lorsque nous avons créé le SDK, nous avons évalué les tâches que les utilisateurs finaux devaient résoudre. Parlez-en un peu.
Vous devez ouvrir un compte pour la première fois ou emprunter auprès d'une banque, souscrire une assurance, louer une voiture ou tout autre service
Imaginez que vous veniez à la banque. Bien que non, si vous venez, alors tout va déjà mal. Beaucoup de gens détestent aller à la banque. Vous pensez comme ça: "Eh, maintenant au moins une demi-heure maintenant." Par conséquent, si vous avez besoin d'obtenir un prêt en espèces le plus rapidement possible, vous devrez probablement prendre un téléphone et google quelles options sont disponibles. Supposons que vous trouviez des informations sur un prêt et que le site propose de remplir une demande en ligne. Il est pratique de l'organiser uniquement sur le site, et non dans l'application - vous devez installer l'application, mais vous ne savez toujours pas s'ils vous accorderont un prêt ou non. Pourquoi pré-obstruer le téléphone avec des applications inutiles? Donc, vous appuyez sur le bouton, puis vous devez remplir vos données personnelles.
Auparavant, c'était comme ça: la banque demande de prendre le document à la caméra ou de télécharger la photo finale de la galerie. Les gens le font, mais les images peuvent être floues ou sans aucun document - selon l'expérience de nos projets, les gens confondent et téléchargent souvent le mauvais fichier. Tout cela est envoyé à la banque, mais l'image ne rentre pas et tout va dans l'égout.
Certaines banques essaient de contourner le problème de cette façon: elles mettent la reconnaissance «instantanée» au dos. Mais voici une autre histoire: le client a photographié le document, l'a envoyé au back office pour reconnaissance. Cela prend environ une minute. Mais lorsque vous établissez un service à partir d'un téléphone mobile, une minute est très longue. Pendant ce temps, vous déciderez très probablement que tout est coincé, fermez la page et appelez le support technique ou supprimez tout et allez sur un autre site pour demander un prêt.
Avec ABBYY Mobile Web Capture, le client n'a pas besoin d'installer quoi que ce soit. Il filme un document dans un flux vidéo. La technologie traite la photo et améliore l'image, qui peut maintenant être facilement envoyée à la banque.
Vous devez traiter une photo de votre téléphone pour l'envoyer à une agence gouvernementale, un centre des visas, une banque
Avez-vous un passeport? Il arrive qu'il n'y ait pas de document à portée de main, mais vous l'avez photographié et l'image est stockée dans la galerie de votre smartphone. Il est toujours utile si vous devez vous inscrire quelque part ou acheter des billets sur le site Web de la compagnie aérienne. Parfois, on peut vous demander d'envoyer une photo d'un demi-tour de votre passeport. Et si la photo n'est pas très nette ou prise contre un tapis? Comprendront-ils cela au centre des visas? Probablement, mais il vaut mieux ne pas le risquer.
Vous pouvez télécharger cette photo sur votre site à l'aide d'ABBYY Mobile Web Capture, et la technologie trouvera les bordures du document dans l'image. S'il n'y a pas de limites, nous émettrons un avertissement et attirerons l'attention du client sur le fait qu'il a probablement téléchargé quelque chose de mal. De plus, nous essaierons d'évaluer la qualité du document afin de comprendre s'il peut être reconnu ultérieurement. («Nous essaierons» car cette fonctionnalité est désormais en mode de prévisualisation technologique, mais nous travaillons activement pour l'améliorer.)
Besoin de remplir une carte dans CRM sans tourments inutiles
Voici un exemple: nous avons un client potentiel - un concessionnaire automobile, et il a besoin de tout savoir sur les personnes à qui il vend des voitures. Pour ce faire, les employés saisissent les données client sur un portail Web, tel qu'un système CRM. Ils demandent au client les droits, les analysent, puis retapent les données dans l'ordinateur. Pourquoi les employés utilisent-ils le portail Web et non l'application mobile? Très simple: la tâche principale du concessionnaire est de vendre des voitures et de servir les clients, plutôt que d'écrire beaucoup de code pour une application interne. Par conséquent, il est important pour l'entreprise de créer rapidement une solution qui fonctionnera sur toutes les plateformes.
Avec ABBYY Mobile Web Capture, ce processus métier peut être simplifié: un employé a juste besoin de prendre une photo d'un document sur un smartphone, puis d'envoyer l'image pour reconnaissance et traitement à l'aide de notre autre produit - ABBYY FlexiCapture. Donc, au final, nous gagnerons du temps et augmenterons la qualité des données.
Pour être honnête, j'ai moi-même rencontré plusieurs situations où il serait très utile pour moi de numériser des documents directement dans le navigateur. Par exemple, lorsque j'ai demandé un visa il y a un an, j'ai passé environ une heure à photographier tous les documents nécessaires, à les transférer sur un ordinateur, à les enregistrer au format souhaité et à les télécharger sur le site. Et donc en 15 minutes tout pouvait être photographié.
J'espère vraiment qu'ABBYY Mobile Web Capture sera bientôt utilisé sur de nombreux sites et aidera à simplifier les tâches qui nécessitent de photographier des documents!
Olga Titova, Product Owner Mobile SDK