Pourquoi les alarmes incendie?
Il pourrait être décidé qu'une alarme incendie devrait vous fournir des preuves importantes d'un incendie, ce qui vous permet de modifier vos plans et de quitter le bâtiment.
Dans une expérience classique menée par Latane et Darley en 1968, huit groupes de trois étudiants chacun ont été invités à remplir un questionnaire, assis dans une pièce qui a commencé à se remplir de fumée peu de temps après le début de l'expérience. Cinq des huit groupes n'ont pas répondu et ne se sont pas plaints de la fumée, même si elle est devenue si dense qu'ils ont commencé à tousser. Les actions ultérieures ont montré qu'un seul élève se plaignait de fumée dans 75% des cas. Un étudiant en compagnie de deux autres personnes à qui l'on a demandé de ne rien faire n'a réagi à la fumée que dans 19% des cas. Cette expérience et d'autres ont montré que le mépris pluraliste est effectivement en train de se produire. Nous ne voulons pas ressembler à des alarmistes et avoir peur d'une urgence, alors nous essayons d'avoir l'air calme, du coin de l'œil en regardant comment les autres se comportent - mais ils, bien sûr, essaient aussi d'avoir l'air calme.
J'ai lu un grand nombre de rapports sur la reproduction de cette expérience et ses variations, et les résultats étaient flagrants. Il me semble que ce résultat n'est pas destiné à mourir dans la crise de la reproduction, et je n'ai pas entendu parler de problèmes avec sa reproduction.
Les alarmes incendie créent une connaissance bien connue d'un incendie; après cela, il sera socialement acceptable de réagir à ce qui se passe. Lorsque l'alarme se déclenche, vous savez que tout le monde sait également qu'il y a un incendie, et vous savez que vous ne serez pas déshonoré si vous suivez la sortie.
Les alarmes incendie ne nous disent pas qu'il y a définitivement un incendie. Je ne me souviens même pas d'un seul cas de ma vie quand j'ai quitté le bâtiment à cause d'une alarme incendie, et il y a vraiment eu un incendie. En effet, une alarme incendie ne parle plus d'un incendie, mais de la présence de fumée provenant de sous la porte.
Mais l'alarme incendie signale qu'il est désormais socialement acceptable de réagir à un incendie. Elle promet que personne ne nous fera honte du fait que nous nous sommes dirigés calmement vers la sortie du bâtiment.
Il me semble que c'est un de ces cas où les gens ne comprennent pas vraiment en quoi ils croient exactement, comme dans le cas où quelqu'un réclame haut et fort la victoire de l'équipe de sa ville à la compétition, mais s'apaise immédiatement, si vous l'invitez à mettre l'argent pour gagner. Ils ne partagent pas un sentiment excitant consciemment agréable de crier pour la victoire et un sentiment d'espoir réel de gagner une équipe.
Je pense que lorsque les gens regardent la fumée qui sort de sous la porte, ils croient que leur incertitude sur l'incendie vient du fait qu'ils n'attribuent pas une probabilité suffisamment élevée à cet événement, et qu'ils hésitent parce que qu'ils ont peur de consacrer du temps et des efforts. Mais dans ce cas, ils interprètent mal leurs sentiments. Dans ce cas, ils auraient subi les mêmes vibrations au son d'une alarme incendie, ou même hésité encore plus - car une alarme incendie n'est pas en corrélation avec le feu, mais avec la fumée sous la porte. En fait, les fluctuations sont dues aux inquiétudes que les autres pensent différemment, et non pas parce qu'il n'y a pas d'incendie. La réticence à agir découle de la réticence à sembler un imbécile, et non de la réticence à gaspiller la force. Par conséquent, un étudiant dans la salle dans 75% des cas prend des mesures, et les gens n'ont donc aucun problème à répondre aux preuves plus faibles fournies par l'alarme incendie.
* * *
De temps en temps, on nous propose de reporter la réaction aux problèmes liés à l'intelligence artificielle à usage général (ION), car, comme on le croit, nous sommes encore trop loin de son apparence, et maintenant il est tout simplement impossible de faire quoi que ce soit de productif avec cela.
Certaines personnes croient encore qu'aujourd'hui, nous pouvons déjà faire des choses spécifiques: Soares et Fallenstein (2014/2017); Amodei, Olah, Steinhardt, Christiano, Schulman et Mané (2016); ou Taylor, Yudkowsky, LaVictoire et Critch (2016).)
Même si ces travaux n'existaient pas, ou si vous, en tant que chercheur en IA, les aviez lus et décidiez que c'était absurde, et que vous aimeriez travailler sur ce problème, mais vous ne sauriez pas, en quelque sorte la prochaine étape sage de votre part a été de s'asseoir et de passer quelques heures, essayant sincèrement de trouver des solutions possibles. Il est conseillé sans auto-sabotage, de penser que vous ne pouvez toujours rien trouver - en principe, il est beaucoup plus pratique de décider que vous ne pouvez rien faire, car vous avez des choses qui vous intéressent plus. Oh bien.
Donc, si l'idée de IION semble trop éloignée et que vous pensez qu'elle vous donne le droit de croire que vous ne pouvez toujours rien faire de productif en commandant son travail, alors la stratégie alternative suivante en découle: asseyez-vous et attendez, quand à l'avenir certains inconnus jusqu'à ce que l'événement nous dise que l'ion approche, puis nous comprendrons que nous pouvons commencer à travailler sur l'organisation de l'ion.
Il me semble que c'est la mauvaise approche pour de nombreuses raisons. Et voici certains d'entre eux.
Le premier. Comme l'a dit Stuart Russell, si vous avez reçu des signaux radio de l'espace, remarqué un vaisseau spatial dans un télescope et que vous savez que des extraterrestres vont atterrir dans trente ans, vous commencerez toujours à y penser aujourd'hui.
Vous ne direz pas: «Allez, ce sera dans trente ans, et laissez-le.» Vous ne direz certainement pas: "Nous ne pouvons rien faire avant qu'ils ne s'envolent." Vous passerez sûrement quelques heures, ou au moins cinq minutes, à réfléchir à des idées, à vous demander si vous pouvez faire quelque chose maintenant.
Si vous dites que les extraterrestres n'arriveront qu'après trente ans, et donc aujourd'hui vous n'avez rien à faire ... En des temps plus efficaces, quelqu'un vous demanderait de fournir un programme d'actions - quand et quoi faire, et bien avant l'arrivée. Et si vous n'aviez pas un tel calendrier, le questionneur comprendrait que vous n'agissez pas selon la feuille de calcul des réponses opportunes, mais simplement tergiverser. De cela, il tirerait la bonne conclusion que vous ne pensiez probablement pas assez bien à ce que vous pouvez faire aujourd'hui.
Pour reprendre les mots de
Brian Kaplan [
économiste et blogueur américain / env. perev. ], tous ceux qui croient calmement que «maintenant rien ne peut être fait pour la préparation» sont mal configurés; ils devraient être beaucoup plus préoccupés par le fait qu'ils ne peuvent trouver aucun moyen de se préparer d'une manière ou d'une autre. Ou peut-être demander à quelqu'un d'autre s'il a des idées à ce sujet? Oh bien.
Le deuxième. L'histoire montre que les gens ordinaires, et même les scientifiques qui ne sont pas inclus dans le groupe clé de chercheurs avancés, et même les scientifiques qui y sont inclus, croient souvent que les découvertes technologiques clés ne se produiront pas plusieurs décennies plus tard, bien qu'en réalité, cinq ans restent avant eux.
En 1901, deux ans avant de participer à la création du premier avion plus lourd que l'air,
Wilbur Wright a dit à son frère que cinquante ans se passeraient avant les vols actifs.
En 1939, trois ans avant d'avoir personnellement observé la première réaction nucléaire en chaîne dans un tas de blocs d'uranium, Enrico Fermi a exprimé la confiance à 90% que l'uranium ne pouvait pas être utilisé pour maintenir une réaction de fission en chaîne. Il me semble que même un an après cela, c'est-à-dire deux ans avant le découplage, Fermi a également déclaré que si l'énergie de désintégration était possible, alors cinquante autres années devaient s'écouler avant.
Eh bien, si vous n'êtes pas les frères Wright et pas Enrico Fermi, vous serez encore plus surpris. La plupart du monde a appris que les armes atomiques existent déjà et fonctionnent, seulement après avoir lu les rubriques sur Hiroshima. Quatre ans après le vol du
flyer des frères Wright , il y avait encore des intellectuels respectés qui affirmaient qu'il était impossible de voler plus lourd que l'air, car la connaissance se propageait alors plus lentement [
le premier vol en avion est considéré comme le vol de Clement Ader , achevé en 1890, 13 ans avant les frères Wright - donc ces intellectuels avaient 17 ans de retard / env. perev. ].
Peut-on dire aujourd'hui, avec le recul, qu'il y a eu ensuite des événements qui ont marqué l'approche de vols plus lourds que l'air ou l'énergie nucléaire? Bien sûr, mais si vous remontez dans le temps, lisez les journaux de l'époque et découvrez ce que les gens en ont dit à ce moment-là, il devient clair qu'ils ne savaient pas que ces événements étaient en quelque sorte importants, ou qu'ils doutaient beaucoup de leur importance . Certains, je pense, ont joué le rôle de futuristes enthousiastes et ont proclamé le début imminent d'un grand changement, tandis que d'autres - le rôle de scientifiques sceptiques qui ont tenté d'éteindre l'enthousiasme des enfants. Et si, dans tout ce battage médiatique, il y avait un prédicteur qui disait «des décennies» quand cela prenait vraiment des décennies, et «5 ans» quand cela prenait vraiment cinq ans - enfin, des recherches réussies dans ce bruit. Très probablement, ces prédicteurs ont dit «peut-être demain, ou peut-être dans des dizaines d'années» dans les deux cas - quand de grands changements sont survenus demain, et quand ils sont arrivés dans des dizaines d'années.
L'une des principales raisons pour lesquelles nous sommes forts avec un esprit arriéré et croyons que le passé était plus prévisible que quiconque pourrait vraiment prédire à un moment donné est que, avec le recul, nous savons ce que nous devons remarquer, et nous nous concentrons uniquement sur une pensée liée à ce que signifie exactement chacune des preuves disponibles. Mais si vous regardez ce que les gens disaient à ce moment-là, vous verrez qu'ils ne savent même pas ce qui se passera dans trois mois, car ils ne savent pas quels événements particuliers étaient importants.
Vous pouvez dire que «il reste 50 ans avant IION», et cela peut s'avérer vrai. De la même manière, les gens ont dit qu'un vol actif se produirait au plus tôt quelques décennies, et cela s'est produit quelques décennies plus tard. Le problème est que toutes les preuves vous ressemblent si vous vivez vraiment dans cette histoire et que vous n'en lisez pas plus tard.
Cela ne signifie pas que chaque fois que quelqu'un dit «après cinquante ans», cet événement se produit après quelques années. Cela signifie qu'une prédiction sûre de l'occurrence à distance d'un événement correspond à une connaissance de la technologie qui ne change pas tant que vous n'êtes pas à la pointe du développement. Cela ressemble à «Je ne sais pas comment faire ça», et parfois vous dites que l'événement se produira dans cinquante ans, et parfois dans quelques années, et parfois vous le dites, tandis que le dépliant des frères Wright vole quelque part là-bas où vous ne pouvez pas le voir.
Le troisième. Les progrès sont dictés par des connaissances avancées et non par la moyenne.
Si Fermi et Wright n'auraient pas pu prévoir les événements en trois ans, imaginez à quel point il était difficile pour tout le monde de le faire.
Si vous n'êtes pas à la pointe des connaissances sur la mise en œuvre d'une réalisation et que vous êtes mis à jour sur ce qui est destiné à devenir un projet de premier plan, vous ne pourrez pas prédire une percée irréversible sur la base de vos connaissances. À moins que vous ne soyez capable de voir brillamment la perspective d'une manière dont les chasseurs et les cueilleurs n'avaient pas besoin, et que vous ne compreniez pas très bien que d'autres personnes peuvent avoir des technologies et des idées dont vous n'avez aucune idée. Si vous ne compensez pas consciemment vos idées, en tenant compte des leçons de l'histoire, alors vous avez clairement tendance à croire que des décennies doivent s'écouler avant cet événement. Trois mois avant la construction du premier
tas de bois de Chicago, Fermi ne croyait plus que l'obtention d'énergie nucléaire était impossible ou devait attendre des décennies - il était déjà au courant de tout et a vu comment le faire. Mais toute personne qui n'était pas au courant des événements croyait probablement qu'avant cet événement il restait encore cinquante ans, au moment où le tas de bois sifflait déjà au court de squash de l'Université de Chicago.
Les gens ne prennent pas automatiquement en compte le fait que le moment du début d'une percée majeure dépend de connaissances avancées dans ce domaine. Cette gamme comprend des personnes qui en savent plus que quiconque et qui ont les meilleures idées; de sorte que les connaissances de toutes les autres personnes restent moyennes et que les connaissances moyennes ne suffisent pas pour comprendre quand une percée peut se produire. Je pense qu’ils n’y pensent pas du tout et font simplement une évaluation basée sur leur propre sens de la complexité du projet. Et s'ils pensent d'une manière plus responsable, ils font un vrai travail pour corriger leurs idées préconçues - alors je n'ai jamais rencontré un tel raisonnement nulle part.
Afin de savoir qu'il reste encore des dizaines d'années avant IION, nous devons bien comprendre IION pour savoir quelles parties du puzzle manquent encore et combien il est difficile de les obtenir; nous n'aurons probablement pas de telles connaissances tant que le puzzle ne se développera pas. Cela signifie également que pour les personnes en dehors du cercle avant, le puzzle semblera moins complet qu'il n'y paraît dans le cercle.
Encore une fois, cela ne signifie pas que ce que les gens disent «cinquante ans» est un signe certain que quelque chose se passe en ce moment sur le court de squash. Ils ont parlé de «cinquante ans» et il y a soixante ans. Cela signifie que tous ceux qui croient que les événements technologiques peuvent être prédits à l'avance par des personnes qui ne sont pas dédiées aux rapports d'avancement des projets principaux et qui ne partagent pas les meilleures idées sur la façon d'atteindre l'objectif et les efforts requis n'apprendront pas. histoires. Les représentations erronées sont promues par des livres historiques qui tracent soigneusement le chemin du progrès et tous ces signes visibles d'accomplissement, dont nous ne comprenons l'importance que maintenant. Il est parfois possible de prédire les conséquences d'une percée majeure immédiatement après qu'elle s'est produite, mais il est très rarement possible de faire une prédiction précise du moment du début d'une telle percée pour des périodes supérieures à un ou deux ans. Et si vous êtes une de ces rares personnes qui peuvent prédire de tels événements, si de telles personnes existent, alors personne ne sait que vous devez vous écouter, pas des futuristes enthousiastes ou des scientifiques sceptiques.
Quatrièmement. D'autres outils apparaîtront à l'avenir avec lesquels il sera possible de faire facilement des choses difficiles à accomplir aujourd'hui, ou il sera difficile de faire des choses qui sont impossibles aujourd'hui.
Comment savons-nous que l'IION n'apparaîtra que dans quelques décennies? Les articles populaires rédigés par des directeurs de laboratoire de recherche fournissent généralement trois raisons principales:
A) L'auteur ne sait pas comment créer un IION en utilisant la technologie moderne. L'auteur ne sait pas par où commencer.
B) L'auteur pense que faire des choses impressionnantes accessibles à l'IA moderne est terriblement difficile, il a dû se pencher sur la ferme depuis le GPU pendant très longtemps, en ajustant tous les hyper paramètres. Il estime que les gens sous-estiment à quel point il est difficile d'atteindre de tels indicateurs aujourd'hui, et ils paniquent prématurément, car il pense que n'importe qui peut simplement démarrer Tensorflow et fabriquer une voiture robot.
C) L'auteur passe beaucoup de temps à interagir avec les systèmes d'IA, et est donc personnellement capable d'évaluer à quel point ils sont stupides et comment ils manquent de bon sens.
Nous avons déjà examiné certains aspects de l'argument A. Passons à l'argument B.
Supposons que je dis: "Maintenant, un étudiant qui a suivi un cours d'informatique est capable de faire tout en une semaine que N + ans auparavant, l'ensemble de la communauté de recherche pourrait faire avec l'aide de réseaux de neurones." Quelle est la taille du nombre N?
Plusieurs personnes aux réalisations inconnues m'ont donné la réponse à cette question sur Twitter, mais cinq étaient la réponse la plus populaire - et il me semble correct d'après ma propre connaissance de l'apprentissage automatique. Bien sûr, ce nombre ne peut pas être universel, car la réalité n'est jamais aussi simple. Si vous pouviez faire quelque chose en 2012, aujourd'hui vous pouvez le faire tout simplement à l'aide de GPU modernes, Tensorflow, initialisation Xavier, normalisation par lots, transformation linéaire tronquée, estimation de moment adaptative (Adam), RMSprop ou simplement descente de gradient stochastique avec l'inertie. La technologie moderne est donc devenue meilleure. Bien sûr, il y a des choses qui nous sont inaccessibles aujourd'hui en utilisant ces méthodes simples, elles nécessitent beaucoup de travail - mais ces choses étaient impossibles du tout en 2012.
En apprentissage automatique, tout est organisé de sorte que si vous pouvez faire quelque chose en principe, alors en quelques années, vous pouvez le faire très facilement à l'aide d'outils futurs améliorés. De ce point de vue, l'argument B «vous ne comprenez pas à quel point il est difficile de faire ce que nous faisons» est tout simplement illogique.
La déclaration B ressemble à la déclaration de Rutherford en 1933, quand il appelait la réception de l'énergie de la fission atomique «un rêve de pipe». Si vous étiez physicien nucléaire en 1933, vous deviez séparer les atomes manuellement en les bombardant avec d'autres particules, et c'était un travail fastidieux. Si quelqu'un parlait d'obtenir de l'énergie à partir des atomes, vous pourriez vous sentir sous-estimé, que les gens trouvent votre travail simple.
Mais, bien sûr, ce sentiment sera toujours présent parmi les ingénieurs IA sur des projets avancés sérieux. , ( , , ; Google FB). , . .
, , , ; . , , ; . , , , , , . , , ; , , , , . , , , . , - .
. , . , , ( , ) - . , ; , .
- , , , – -, .
: «, , . . , , ».
.
, , , . , « »
. , « , – 50-60% — , 80-90%, ».
. 80%, «»
, , , , . , , , 44 , 70%.
Mais ce n'est pas l'essentiel. , , , , . , , , , , , , . , , , , , , arXiv , , , arXiv, .
,
[
DeepMind, AlphaGo, – . . ], , - , , DeepMind .
, : , , , , , . , , , , .
: , . , , arXiv, , . , , , .
, . , , , - .
2017 352 , ICML [ ] NIPS 2015 [ ]. , « » ( , « , ») 50% 121 . : « , -», , 50% 44 .
, , , , .
* * *
, , , - .
, - ; , , ; , , , .
– - , . , , [
– . . ] ,
( ), , , .
: - 1974 , , - , , 1974 . , , , «» , . , , , . 1997 Deep Blue , - , - . , Deep Blue, , « », , « ».
AlphaGo - , , 10 ? , « ».
, AlphaGo, , , , - , . , , AlphaGo , – , Deep Blue. , «
GPU, », , , , .
, , , , , . . . , , , , – . , - , , , 10, 5 2 . , , , .
, , . , :
) , . , , , , .
) . , , , , , ,
- .
) , , ; , , , ; , , ; , , , .
. Le point.
, , , , , , .
* * *
, , AlphaGo , , , , , , .
, , , , , . , , , . , , - , . , , , . , , ; « », ; , .
- arXiv, , , . , , , , 15 , , . , , , , , 10 . , , , , , .
, 15 , , , . , , ( - ) , . , , , , , , , . , , , ( , 2017 , , - tf.unsupervised module Tensorflow 5.3.1.).
, , , , – , - , , -. , , , , , , .
, . , , , – . « arXiv», , . , . « , », . , .
, , , , . , , , , , , . , , , , . , , 10 , 5, 2 . - , , , , , - , .
, , , , . - , - . , , , , , () , () .
* * *
, - , , , .
, , , , , . , , , , , , , . , .
, , . - : «, , , , ». , , , , . , , , -.
, , , .
, , , , , , , . , , , , , , , .
, , «». . , , , , ) , , ) , « », ) , , « ». - , , , , - – , , .
, , , . , , «», . , , – , « , , ».
, , , (MIRI), , , , , , , " ", « ». , ; , , . , «», , . , , «» , , .
, - -. , , ( ) , (, - , ). , , , , .
, , , , , . , , , , . , - , , , . «» .
-
: « , , $5 . , . „“.
, - „“, , . , , , . , , , Facebook. , , - .
- , - , . ,
„“, ,
, , . , AlphaGo, . , , , AlphaGo - . ! , , .
, , . , 50% N , – , , , N 50%, 50% N , , P N 50%. , , , P, , , N , .
, , . , , , 50% N , , , P.
, P , – ; , .
, , .
, , . , - . , .
, , . , , – . , „“, - - .