La morale du transport robotisé: le problème du chariot, risques et conséquences

Le côté moral du développement de véhicules robotiques est très complexe. Les développeurs croient fermement que les tests devraient être effectués sur les routes publiques, bien qu'ils sachent que cela mettra peu de risques pour les usagers de la route sans méfiance. Les voitures libérées après les tests entreront certainement dans des accidents (y compris des accidents mortels), et cet état de fait est une perspective effrayante et décourageante. Dans le même temps, le succès nous promet d'énormes améliorations en matière de sécurité routière et de sauver la vie d'un grand nombre de personnes qui mourraient s'il n'y avait pas la possibilité de remplacer la conduite humaine plus dangereuse par un drone.

Nous considérerons des aspects tels que:

1. Compréhension des différentes approches du raisonnement moral des personnes dans des situations différentes (ou identiques)
2. Comment le droit, la société et l'assurance sont liés à la conduite à risque, aux accidents et aux accidents.
3. Risques et pertes pendant la conduite (ou la formation à la conduite) que nous semblons prêts à accepter pour de petits avantages.
4. Comment notre vision selon laquelle «la fin justifie les moyens» change-t-elle en fonction des enjeux: atrocités intentionnelles ou petits risques délibérés.
5. Les grands avantages que nous obtiendrons quand une petite flotte de voitures autonomes apprendra à conduire de manière plus sûre, après quoi leur logiciel sera copié sur des millions d'autres voitures - une situation qui est impossible dans le cas des conducteurs humains.
6. Risques et principes des approches modernes pour tester et développer des voitures autonomes, et comment Uber les a violés.
7. Un grand avantage si nous pouvons trouver la bonne approche.

Le fait qu'un accident mortel impliquant un véhicule Uber ait été récemment découvert à Tempe, en Arizona, ne fait qu'accroître la nécessité de comprendre ce problème. De nombreux textes ont été écrits et de nombreuses opinions ont été exprimées sur la manière de discuter des risques et des principes de moralité dans les véhicules sans pilote. Dans cet article, j'espère présenter à la fois une vision claire de ce problème et un guide pour la discussion à ce sujet.



La plupart des plantages sont des machines uniques et peuvent être évités. Néanmoins, nous avons accepté ce terrible risque sans réfléchir.

Il s'avère qu'une combinaison des leçons que le problème du chariot nous donne (à savoir, du chariot, pas du véhicule sans pilote) et la mesure des actions qui conduisent à des risques au lieu de tragédies peuvent nous aider à former une meilleure compréhension et un régime juridique pour résoudre des questions complexes sur les robots qui peuvent et sauver des vies humaines et les menacer. Nous pouvons sauver des millions de vies si nous sommes prêts à accepter les mêmes risques que lorsque nous enseignons aux adolescents avant de commencer à conduire (au lieu d'adolescents, vous pouvez imaginer presser les livreurs de pizza). Presque tous ceux qui travaillent sur des robots veulent qu'ils sauvent des vies et qu'ils commencent à le faire dès que possible, mais pour cela, le public doit comprendre et même adopter des méthodes de travail dans ce domaine. Pour ce faire, nous devons comprendre à la fois nos instincts moraux et nos mathématiques internes, ainsi que la différence entre le risque et la tragédie.



J'ai réalisé la difficulté de comprendre ces problèmes il y a un an lorsque je parlais à la maison avec mon ami au dîner. Un ami était très préoccupé par les risques que contenaient les premiers prototypes. Je lui ai demandé - serait-il raisonnable de faire mourir 100 personnes pendant les tests, mais l'utilisation du produit final sauvera des millions de vies? Il lui semblait évident que c'était faux, et il n'était pas seul dans cette opinion.

La moralité humaine est complexe et rusée, et elle peut fonctionner de différentes manières selon la situation. Peu d'entre nous sont limpides dans nos principes, et ces principes que nous utilisons dans nos décisions subjectives peuvent différer de ceux utilisés dans les décisions collectives de la société ou des tribunaux. Pour comprendre ce problème et comment parvenir à une meilleure solution, nous devons comprendre comment les gens raisonnent sur une telle moralité et, éventuellement, changer cette façon de penser afin d'obtenir un résultat qui sera meilleur de l'avis de la majorité.

La réponse peut résider dans le fait que, bien que nous ne soyons pas d'accord pour dire que de grands objectifs peuvent justifier des moyens immoraux, il s'avère que nous sommes prêts à admettre que même des objectifs rentables modestes peuvent justifier des moyens présentant de faibles risques immoraux.

Types de moralité

En gros, les philosophes distinguent deux grandes classes de systèmes moraux. Le premier requiert un code de règles et principes et définit une erreur comme une violation de ces mêmes règles et principes, quel que soit le résultat. Le nom complexe de ces systèmes est «déontologique», mais nous les appellerons basés sur des règles. D'un autre côté, nous avons des systèmes basés sur des résultats qui mesurent le bien et le mal avec ce que nous obtenons. Ils sont également connus comme conséquentialistes. Un sous-ensemble spécifique de tels systèmes est utilitaire, suivant la règle pour réaliser le plus grand bien pour le plus grand nombre de personnes, ou pour faire le moins de mal au moins de personnes.

Parfois, nous aimons les systèmes moraux utilitaires, en particulier en tant que société dans son ensemble. Cependant, en tant qu'individus, nous avons tendance à nous méfier d'eux, car ils sont associés à l'idée dangereuse que «la fin justifie les moyens», et cette idée a provoqué beaucoup d'horreurs morales à travers l'histoire. La plupart d'entre nous n'appartiennent pas strictement à l'une des écoles. Comme indiqué précédemment, notre approche change selon que nous nous considérons comme une personne distincte ou la société dans son ensemble, et nous changeons notre approche du raisonnement en fonction de nos opinions personnelles plus que nous ne le souhaiterions.

Un pur adepte de l'approche utilitaire conviendra facilement que les voitures tueront 100 personnes pour sauver un million - dans le cas de la morale utilitaire, il n'y a même pas de question. En même temps, il ne sera pas facile pour beaucoup d'accepter. Je soupçonne que la réponse est de comprendre comment nous, en tant qu'individus, accordons une attention particulière aux incidents et aux tragédies, alors que dans le rôle de la société, nous prêtons attention à l'évaluation des risques et aux biens publics.

Ceux qui lisent mes textes savent que je déteste l'application standard du «problème des chariots» aux véhicules sans pilote . Dans cette application, les gens imaginent le logiciel dans la voiture, qui devrait décider lequel des deux groupes de personnes à tuer en cas d'accident. Nous sommes douloureusement embrassés par l'idée que maintenant les machines décident qui doit mourir, bien qu'avant c'était un domaine d'activité des dieux. En fait, il s'agit d'une situation extrêmement rare et sa résolution ne figure dans aucune liste de priorités. Les programmeurs et les entreprises ne veulent pas non plus écrire des algorithmes liés aux choix moraux, ils préféreraient que les politiciens répondent à ces questions et rédigent des lois qu'ils suivront avec plaisir.

Cependant, le problème du chariot d'origine avait une fonction réelle qui pourrait être utile dans cette situation. Il a été créé pour nous aider à comprendre notre propre pensée et à comprendre la différence entre les systèmes moraux basés sur des règles et ceux qui sont axés sur les résultats, c'est-à-dire qu'en fin de compte - avec l'aide du problème du chariot, nous devrions avoir une meilleure compréhension de la philosophie. Et elle peut nous aider à mieux comprendre cette situation.

Comme vous vous en souvenez peut-être, dans la tâche d'origine, le chariot se précipite le long des rails avec des freins cassés. Quelqu'un (vraiment immoral dans cette situation) a attaché 5 personnes à la route principale et une personne à sa branche. Vous pouvez tirer sur l'interrupteur pour tuer une personne, mais économisez cinq. Jusqu'à 90% des gens choisissent une approche utilitaire (basée sur les résultats) et préfèrent tirer le levier, mais certains refusent. (En fait, ces personnes sont plus susceptibles de se comporter de cette façon dans l'exercice en classe. Une expérience a été menée sur l'émission Mind Field sur YouTube dans laquelle les gens ont été amenés à penser qu'ils étaient vraiment dans une situation avec un chariot précipité et des personnes attachées. Attention, spoiler : la plupart des sujets ont simplement gelé avec horreur)



J'aime dire que la solution d'ingénierie à ce problème est plus simple - vous devez réparer les freins du chariot . Les ingénieurs de véhicules sans pilote veilleront principalement à ce que leurs voitures ne se retrouvent jamais dans de telles situations, même si cela se produit très rarement.

Les variantes du problème du chariot que les philosophes ont proposé sont beaucoup plus intéressantes que la formulation originale. Dans l'une des options, vous n'avez pas besoin de tirer sur l'interrupteur, mais de pousser le gros homme sur les rails pour arrêter le chariot - peu iront pour cela, car il s'agit d'un meurtre délibéré. Dans la version la plus extrême, vous n'avez pas de chariot, mais il y a 5 patients qui ont un besoin urgent d'une greffe d'organe. Vous pouvez attraper un homme qui marche dans la rue, le couper et sauver cinq personnes - presque personne n'est d'accord pour le faire, bien qu'il s'agisse du même problème du point de vue d'une approche utilitaire.

Presque personne ne le fera, car parmi nous il y en a peu qui appartiennent strictement à une école morale particulière. Il nous est plus difficile de changer notre façon de penser. Pour comprendre et résoudre les problèmes dans le domaine des tests et de la production de véhicules sans pilote, nous devons transcender l'instinct naturel et individuel, percevoir divers cas comme des «juste» tragédies distinctes qu'ils représentent et réfléchir aux risques acceptables et susceptibles d'être autorisé en tant que société.

De plus, nous sommes beaucoup plus rejetés par les tragédies qui se produisent avec les passants extérieurs, même si cela ne nous dérange pas autant que d'exposer ces personnes à des risques moindres. Enfin, nous avons plus peur que des machines indépendantes, plutôt que des personnes, ne nous nuisent.
Les gens sont drôles en ce que même si la plupart ont peur de mourir de robots, nous sommes plus susceptibles d'être tués par un criminel ivre.

Fondamentalement, les gens pensent que tuer pour sauver des vies est mauvais, c'est incontestable. La vraie question est de savoir ce qui teste et libère les véhicules sans pilote sur la route - tuer pour sauver des vies, ou prendre des risques dans le même but. En fait, dans la plupart des cas, nous acceptons de risquer pour sauver des vies, sous réserve d'un bon résultat.

Aspects moraux de la conduite

Alors, quelle est la relation entre la philosophie morale et les voitures? Pour le savoir, il faut penser à l'aspect moral des accidents de la route. Les individus et la société dans son ensemble ont une attitude différente face à ce problème. Les sociétés en général et le droit en particulier préfèrent ne rien décrire d'immoral ou de mauvais, à moins qu'il n'y ait eu une intention malveillante appelée mens rea dans la jurisprudence. Presque toutes les infractions pénales impliquent une intention malveillante, et si ce n'est pas le cas, la peine (dans la plupart des cas) est atténuée. Pour cette raison, les situations ne sont pas rares lorsque quelqu'un cogne une personne à mort dans une voiture et n'est pas pénalement responsable de cela. Le conducteur encourt des sanctions financières, mais il est couvert par une assurance. Le coupable ne sortira de cette situation qu'avec un sentiment de culpabilité pour ce qui s'est passé. Mais tout cela n'est vrai que si le meurtre d'une personne était complètement involontaire et en fait complètement contraire aux intentions du conducteur. Il ne peut y avoir de meurtre (même involontaire) sans intention claire ou négligence grave et délibérée au volant .

Dans le même temps, nous travaillons dur pour déterminer s'il y a intention malveillante ou négligence, car nous sommes très préoccupés par le fait que quelque chose d'aussi tragique que la mort puisse rester sans réponse. Mais si nous parlons de la situation dans laquelle l'accident s'est réellement produit (j'entends par là qu'il s'est produit dans le cadre des risques habituels d'une conduite prudente) - il n'y a pas de conséquences juridiques, la chose la plus grave qui puisse arriver est les conséquences financières, qui sont entièrement payées par l'assurance.

D'un autre côté, pensez à la vitesse. La vitesse excessive est illégale, même si elle est souvent commise, mais est rarement punie à certains endroits. Lorsque vous accélérez, vous savez (ou devriez savoir) si vous dépassez ou non. Ce faisant, vous exposez d'autres personnes à des risques supplémentaires, même si, heureusement, en règle générale, rien de terrible ne se produit. Malgré le fait que vous recevrez certainement une amende pour excès de vitesse, si cet excès entraîne un accident, la plupart des amendes sont infligées pour des excès qui n'ont fait de mal à personne. Presque nous tous dépassons périodiquement la vitesse, et nous le faisons pour la raison évidente - nous voulons aller quelque part un peu plus vite. Cela peut être contraire à l'intuition, mais la vitesse délibérée dans notre système est plus immorale et illégale que le meurtre aléatoire, bien que nous, en tant qu'individus, soyons beaucoup plus tolérants à la vitesse excessive.

Je crois que le vrai problème moral de la conduite est que nous mettons intentionnellement d'autres personnes en danger. Ou, pour plus de détails, un risque inacceptable. Toute conduite implique que d'autres personnes seront à risque. En fait, il est probable qu'en conduisant, nous exposons le plus souvent d'autres personnes au plus grand risque. Nous connaissons tous un nombre stupéfiant de décès, de blessures et de dommages matériels dus à la conduite - plus de personnes sont mortes dans des accidents que dans toutes les guerres et à la suite d'attentats terroristes dans l'histoire des États-Unis depuis la guerre d'indépendance. Tout cela est terriblement risqué, mais pour nous, il est si important que nous avons décidé d'accepter ce risque relativement élevé pour nous-mêmes et les gens qui nous entourent. Nous le faisons exprès, bien que nous l'oublions souvent, et nous ne nous souvenons certainement pas bien de l'essence mathématique de ces phénomènes. Nous considérons ce niveau de risque de base «acceptable» dans nos lois et nos vies.

La société a décidé que l'illicéité et l'illégalité ne sont pas des victimes spécifiques, mais une exposition délibérée et négligente d'autres personnes à des risques extrêmes.

Nous avons des lois écrites qui vous interdisent d'exposer d'autres personnes à des risques exceptionnels, et vous obtenez des amendes pour excès de vitesse, changements de voie incorrects et conduite imprudente. Nous considérons de tels actes immoraux, car ils sont commis intentionnellement ou par négligence, bien que nous ne considérions pas immoraux comme une mort qui n'était pas vraiment involontaire. Cela n'empêche pas ceux qui voient cela comme une grande tragédie, et c'est une réaction absolument naturelle. Mais en tant que société qui écrit et applique des lois, nous percevons tout différemment.

Nous trouvons un nombre surprenant de risques de conduite acceptables:

1. Conduite intensive
2. Conduite sous la pluie, la neige et la nuit
3. Conduire dans des endroits fréquentés par de nombreux piétons et cyclistes
4. Conduire une voiture avec de légers problèmes mécaniques
5. Conduite sans freinage d'urgence automatique et autres technologies avancées
6. Conduire dans un état de somnolence même lorsque nous nous endormons (deux États ont des lois interdisant la conduite somnolente)
7. Conduire des adolescents insouciants récemment autorisés
8. Étudiants adultes en conduite
9. Conduire des personnes âgées avec des perceptions réduites et des temps de réaction plus longs
10. Conduite avec un taux d'alcoolémie juste en dessous autorisé
11. Conduire dans un état malade (même si c'est illégal)
12. Utiliser des appareils et écrire des messages en conduisant (bien que ce soit illégal)
13. Aux États-Unis, la vitesse est très courante, souvent avec une large marge par rapport aux autres voitures

Regardons un prototype de véhicule sans pilote. Lorsqu'une équipe de développement met une telle voiture sur la route, elle met délibérément en danger d'autres participants à la circulation. Bien entendu, ils n'ont pas l'intention de provoquer un accident, en fait ils ont l'intention de l'éviter.

À l'heure actuelle, les drones de test, à quelques exceptions près, fonctionnent toujours sous le contrôle d'un conducteur humain prêt à se mettre au travail en cas de problème. Il y a presque toujours une deuxième personne qui surveille les systèmes et regarde parfois la route. Cela peut être comparé à la situation où un conducteur adolescent avec un permis d'étudiant est accompagné d'un instructeur. L'instructeur a sa propre pédale de frein et il peut intercepter le volant, comme le conducteur d'un drone. Les conducteurs adolescents, accompagnés d'instructeurs, ont en fait de très bons scores de sécurité, comme presque toutes les équipes de véhicules sans pilote - à l'exception d'Uber, dont je parlerai plus tard.

Ces conducteurs adolescents, ayant obtenu un permis après avoir réussi le test minimum, deviennent les conducteurs les plus dangereux sur la route. Nous les relâchons sur la route pour leur donner de la mobilité, aussi parce que c'est le seul moyen de les rendre plus prudents conducteurs adultes, ce qu'ils deviendront éventuellement. Nous prenons les risques associés à la conduite d'un conducteur adolescent, dans l'espoir d'obtenir un conducteur plus prudent à l'avenir. De tous les adolescents à risque sur la route, un adulte grandit, un adulte plus prudent (en fait un peu moins d'un, car tous les adolescents n'atteignent pas vraiment cet âge le plus sûr).



Comme indiqué précédemment, l'équipe de développement des drones met les gens en danger, mais les avantages que ce risque apporte sont énormes. Un court voyage d'étude améliorera la sécurité de toutes les voitures ultérieures qui seront créées plus tard, ce qui signifie finalement des millions de voitures améliorées. En acceptant les principaux risques liés aux tests et au développement, nous bénéficions d'une réduction significative des risques à l'avenir. La réduction des risques interviendra lorsque les voitures commenceront à conduire plus en sécurité que les gens, et les gens cesseront de mettre les autres en danger en choisissant de rouler sur une voiture sans pilote au lieu de conduire de manière indépendante. Cela est particulièrement vrai en ce qui concerne les personnes qui ont bu ou sont associées à l'un des éléments de la liste ci-dessus.

Certains soutiennent que nous devons considérer non seulement les risques extraordinaires, mais les risques nécessaires. Parce qu'il peut être faux de mettre les gens en danger si cela n'est pas nécessaire. En particulier, certains soutiennent que les équipes actuelles effectuent plus de tests que nécessaire, et que c'est faux. C'est peut-être la bonne approche (bien que, bien sûr, le nombre de tests requis reste un sujet de controverse). Néanmoins, si nous considérons les raisons pour lesquelles les gens prennent des décisions risquées sur la route - de la livraison de nourriture au retour à la maison une minute plus tôt, ils satisfont à peine le niveau de nécessité, malgré le fait que nous tolérons ces risques.

Ici, il faut raisonner, à partir des résultats. , , , . - , . -, . – , – . .

, . , 0.1 . – , 1 . – 0.013 . , , . – , , , 1/250 . , , . , . , . , , ( ) , . 1.5 , . ( 1.7 ), .

, « », ? – , , . , , .

, . , ( ), 100 000 . 1.5 . . 100 000 – , 10 2-3 .

, . , , , , , . . , , , «» , . , -, . , , .

?

? Waymo. 7 , Google. 10 . , , , – , , , . , Waymo, , – , , . , .

Tesla , Tesla . 4.3 2.7 . Tesla , , , , . , , ( ) , , . , , - , , , . , Tesla , , . , Uber.

Uber

2018 Uber , , , . , . , , , , 99.9% . Uber , , - , , . , , , , , Uber, , , , - , . , . , . , — , , — . Uber 18 , .

, , , , . , . , Uber , . , , . - , , , Uber - , . Uber .

, , . , . , , . , , , , , . 0,07% , , , .

. , . , Uber ( ), , , , . , . , – . , , . , , . 3 .

Conclusion

, – , . , , , , . , , , .

, , 100 , . , , , , .

, . , , , — , — . , , , , - , , . , , .

, , . . , , .

---

Lisez d'autres articles utiles:

• Appareils photo ou lasers
• Voitures autonomes sur open source
• McKinsey: repenser l'architecture logicielle et électronique de l'automobile
• Une autre guerre des OS est déjà sous le capot des voitures
• Code de programme dans la voiture
• Il y a plus de lignes de code dans une voiture moderne que ...