Richard Hamming: Chapitre 22. Apprentissage par ordinateur (CAI)

"Ce que vous apprenez des autres, vous pouvez utiliser pour suivre;
Ce que vous apprenez par vous-même, vous pouvez l'utiliser pour diriger. »
- Richard Hamming

Il reste à publier 1 chapitre ...

Enseignement assisté par ordinateur (CAI) - apprentissage automatique. L'utilisation des ordinateurs dans le processus éducatif. L'ordinateur en mode interactif offre aux étudiants du matériel sous forme de textes et d'images graphiques, donne des devoirs et vérifie leur accomplissement, et permet d'effectuer des expériences pédagogiques.

Traduction de l'islam rasulov

Les ordinateurs étant installés dans de nombreuses universités, la question se posera tôt ou tard de l'utilisation des ordinateurs pour la formation. Avant de passer aux revendications modernes, il serait utile d'étudier les théories précédentes sur ce sujet.

Depuis la Grèce antique, il y a une histoire de mathématiques, racontant au souverain l'existence de routes royales pour se promener, de messagers royaux pour envoyer du courrier au souverain, mais il n'y avait aucun moyen de géométrie. Vous savez également que l'argent et la formation ne vous seront d'aucune utilité si vous voulez courir un mile en 4 minutes. Il n'y a pas de moyen facile de le faire. Et cela s'applique à absolument tout le monde.

L'histoire connaît un grand nombre de personnes qui cherchaient des moyens faciles d'apprendre quelque chose. Aldous Huxley dans son livre "Brave New World" discute de l'idée d'apprendre pendant le sommeil lorsque vous mettez un microphone sous votre oreiller et jouez quelque chose à travers. Il révèle également les graves limites d'un tel processus.

Au cours de mon travail dans le laboratoire Bell Telephone, la Dianétique est apparue dans le monde, qui a promis qu'elle pourrait «effacer» votre esprit de toutes ses erreurs, après quoi vous pourrez raisonner parfaitement. Il existe encore des instituts de Dianétique, mais leur principal problème est que les personnes créées par eux ne semblent avoir réussi dans aucun domaine de la vie humaine, sans parler de tous les domaines. Une autre organisation promet de révéler les secrets des anciens (qui était peut-être beaucoup plus intelligent que nous le sommes maintenant). Autour de nous, il y a une infinité d'annonces sur l'enseignement de la lecture rapide, des techniques d'apprentissage rapide, etc., chacune promettant, à un degré ou à un autre, d'améliorer considérablement notre esprit, sans faire les efforts difficiles que la plupart d'entre nous sont obligés de faire pour réussir. Le test de ces propositions a montré qu’aucune d’entre elles n’a encore conduit à l’émergence d’un nombre important de personnes exceptionnelles (ce que nous savons en fait pour le moment). Comme Fermi l'a dit à propos de l'intelligence supraterrestre et des extraterrestres OVNI: «Où sont-ils et pourquoi ne les avons-nous pas rencontrés?

Par conséquent, toute l'histoire, avec ses nombreuses allégations de facilité d'apprentissage, parle avec éloquence contre la vague actuelle de promesses, mais cela, bien sûr, ne signifie pas qu'une nouvelle astuce ne fonctionnera pas. Vous devez vous méfier de chacune de ces propositions, mais en même temps, l'apparition de nouvelles choses, jusqu'alors inconnues, et de nouveaux outils, tels que des ordinateurs bon marché, qui sont actuellement largement disponibles, mais récemment, ce n'était pas le cas. Et ces outils peuvent varier. Souvent, je lis ou entends que je dois croire que l'ordinateur changera radicalement notre vie malgré toutes les promesses passées qui ont manifestement échoué. Méfiez-vous de la tentation des vœux pieux - vous voudriez que ce soit vrai, alors vous supposez que c'est vrai!

Il y a un autre facteur important qui doit être expliqué - l'effet Hawthorne. Il y a très longtemps, dans plusieurs usines de Western Electric à Hawthorne, plusieurs psychologues ont tenté d'augmenter la productivité des travailleurs par divers changements environnementaux. Ils ont peint les murs d'une couleur attrayante et la productivité des travailleurs a augmenté. Ils ont rendu l'éclairage plus doux et amélioré la productivité des travailleurs. Chaque changement a contribué à accroître la productivité. L'un des hommes, un peu méfiant, a remis le changement à son état d'origine et la productivité s'est encore améliorée! Pourquoi? Il s'est avéré que lorsque vous prenez soin d'une personne, il répond de la même manière. Tous les travailleurs pensaient que les changements avaient été apportés pour le bien et ont réagi en conséquence.

En ce qui concerne le processus d'apprentissage, lorsque vous dites aux étudiants que vous utilisez une nouvelle méthode de formation, ils augmenteront leur efficacité en réponse, ce qui est d'ailleurs fait par le professeur. La nouvelle méthode peut être meilleure ou non, en fait, elle peut même être pire que les méthodes d'enseignement existantes, mais l'effet Hawthorne, qui n'est pas si insignifiant dans le domaine de l'éducation, indique probablement une nouvelle méthode d'enseignement importante et meilleure. Et peu importe ce que cette méthode est, si les étudiants comprennent que cette méthode est à leur avantage, elle conduira certainement à des améliorations.

Ainsi, l'effet Hawthorne déforme la plupart des expériences éducatives. Rappelons ma discussion précédente, discutée au chapitre 20, sur la nécessité d'expériences en médecine en «double aveugle», donc c'est le même sentiment lorsque les répondants ressentent une attitude et des soins particuliers. Ceux qui évaluent plus tard les conséquences ne devraient pas non plus savoir qui a ressenti ou non cette attitude particulière. De telles expériences sont un fait indéniable dans la vie, mais elles sont généralement ignorées. Ainsi, vous ne devriez jamais croire les résultats d'expériences menées avec négligence lorsqu'elles impliquent des personnes. La crédibilité de l'expérimentateur, la complexité de l'équipement, le degré de compression des données, et surtout votre foi, ne devraient pas vous secouer. Encore une fois, soyez très, très prudent lorsque vous effectuez de telles expériences.

L'effet Hawthorne nous montre que la bonne méthode d'enseignement sera toujours dans un état de changement expérimental, malgré ce qui a déjà été fait. Tout ce qui compte, c'est que le professeur et les étudiants croient au changement.

Permettez-moi de revenir sur l'histoire de l'utilisation des ordinateurs afin d'améliorer le processus d'apprentissage. En 1960, alors que j'étais en congé de création à Stanford, un programme de niveleuse y travaillait. Toute tâche de programmation pour les étudiants exigeait du professeur qu'il fournisse un programme informatique complet, les noms des paramètres d'entrée, la plage de la valeur des paramètres d'entrée, ainsi que des valeurs de sortie acceptables. Lorsque les étudiants ont estimé que leurs programmes étaient prêts à être livrés, ils ont appelé l'enseignant, confirmé leur identité, après quoi l'ordinateur a généré des paramètres d'entrée valides et a exécuté les deux programmes (professeurs et étudiants), puis a comparé les résultats. Chaque paramètre de sortie était étiqueté Vrai ou Faux. Ainsi, l'enseignant pouvait facilement évaluer le temps de compilation et le temps d'exécution du programme, car les paramètres étaient des nombres ordinaires, mais il n'avait pas besoin de juger du style de mise en œuvre du programme.

Cette méthode était flexible, facilement adaptable aux changements et, d'année en année, elle était appliquée pour résoudre certains problèmes. Le programme a enregistré le journal dans une base de données fermée, à la demande du professeur a fourni des données brutes, tout en laissant la définition des estimations réelles à la merci du professeur. Bien sûr, à partir de cette base de données, le professeur pouvait obtenir des notes moyennes, la différence de notes et la répartition des notes en groupes.

Lorsque j'ai visité Stanford quelques années plus tard, j'ai posé des questions sur le sort de ce programme. Et il s'est avéré qu'il n'est plus utilisé. Vous demandez pourquoi? Parce que, comme on m'a dit, le tout premier professeur qui a commencé à utiliser ce programme était parti, et les changements apportés au système de surveillance nécessiteraient quelques changements au programme! Une observation attentive et des sondages ont montré qu'une situation similaire s'est développée sur de nombreux campus. L'ordinateur est programmé pour aider, apparemment, le professeur, mais bientôt le programme a été oublié.

Permettez-moi maintenant de passer au projet PLATO, développé par mon ami de l'Université de l'Illinois. Je le rencontre souvent lors de diverses conférences, une fois que lui et moi avons pris l'avion pendant longtemps, et à chaque fois il me parle de son merveilleux projet PLATO. Par exemple, il m'a dit une fois que selon le système PLATO, un étudiant d'Écosse, du Canada et du Kentucky étudie simultanément. Je lui ai dit qu'une compagnie de téléphone ordinaire pouvait faire la même chose, mais ce qu'il m'a répondu n'avait rien à voir avec combien PLATO fonctionnait mieux que les gens. Il n'a jamais, à ma mémoire, fourni de preuves sérieuses que PLATO améliore considérablement le processus d'apprentissage - c'est ce que vous attendez de l'effet Hawthorne.

L'une des allégations était qu'un élève qui utilise le système est 10% plus élevé dans son niveau d'éducation que quelqu'un qui n'utilise pas le système. Quand j'ai demandé si la croissance de 10% est typique de l'ensemble du système éducatif ou n'est inhérente qu'à un sujet particulier, il n'a pas pu répondre à cette question pour moi! Qu'a-t-il fait avec l'effet Hawthorne? Rien! Ainsi, je ne sais pas si ces objectifs ont été atteints ou non pour lesquels des millions et des millions de dollars du budget fédéral ont été dépensés.

Une fois, lorsque j'étais rédacteur en chef d'ACM Publications, le livre «Programmable Book» est venu à ma publication. Ce livre posait régulièrement des questions à son lecteur, puis, selon la réponse, le lecteur était redirigé vers l'une des pages du livre. En principe, des erreurs dans les réponses ont été détectées et expliquées, après quoi les bonnes réponses ont été envoyées au lecteur en tant que nouveau matériel. Ça a l'air cool! Chaque étudiant a travaillé sur son propre programme. Mais regardez, avec cette approche, il n'y avait aucun moyen de suivre et de rechercher ce que l'étudiant avait déjà lu il y a plusieurs pages et pour le moment, on ne sait pas comment et où il a atteint sa position actuelle. Il n'y avait aucun moyen raisonnable de suivre cela dans le texte. Ce n'est pas vraiment un livre, même si ça ressemble à ça. Un autre fait terrible de l'observation attentive des élèves lors de la lecture du livre est que les élèves forts ont choisi les mauvaises réponses aux questions simplement à cause de l'ennui ou pour le divertissement. Ils voulaient donc savoir où le livre les enverrait. Sur cette base, le livre n'a pas toujours rempli la fonction qu'il était censé remplir; les élèves forts n'ont pas nécessairement montré de progrès significatifs dans l'apprentissage par rapport aux élèves faibles!

Je ne voulais pas refuser d'imprimer ce livre, ne comptant que sur ma propre opinion, alors je suis allé au département de psychologie du laboratoire Bell Telephone et j'y ai trouvé un expert local. Entre autres choses, il a dit qu'une grande conférence sur le «livre programmable» était prévue la semaine prochaine et a suggéré que j'y participe, ce que j'ai fait. Le jour de l'ouverture de la conférence, nous nous sommes assis côte à côte. Il m'a poussé et m'a dit: "Remarquez, aucun d'entre eux n'a fourni de preuves concrètes en faveur du livre, ils prétendent seulement que le texte programmé est meilleur." Et il avait raison - ils ont tous simplement exprimé leur opinion sans fournir la moindre preuve. J'ai refusé d'imprimer le livre et, avec le recul, je pense avoir fait ce qu'il fallait. Nous avons maintenant des disques informatiques conçus pour faire la même chose qu'un «livre programmable», mais je soupçonne que le format du disque présente des différences importantes, bien qu'ils puissent suivre le chemin que vous avez parcouru.

Nous avons examiné le côté négatif de l'IAO. Passons maintenant au positif. Je ne doute pas que l'enseignement de l'arithmétique ennuyeuse, par exemple, les tables d'addition et de multiplication, est mieux fait par un ordinateur qu'un enseignant, en particulier après avoir inclus un programme simple pour détecter les erreurs et générer plus d'exemples, tels que la multiplication par 7. Je pense que dans tu es d'accord avec moi. Malheureusement, à l'avenir, nous nous attendons à ce que les entreprises et autres grandes organisations refusent cette méthode de formation (les ordinateurs la géreront mieux et moins cher), et la décision d'adopter cette approche dépendra entièrement de vous.

Considérons maintenant le processus de formation d'un pilote d'avion sur des simulateurs modernes. Les simulateurs montrent de bons résultats par rapport à toute expérience de vie et, en règle générale, pendant la formation, les pilotes ont peu d'expérience dans la formation des interactions interactives. La fuite, dans une large mesure, et je le souligne, est un réflexe conditionné qui est intégré à une personne dans le processus d'apprentissage. Ils n'y pensent pas beaucoup, même si c'est parfois nécessaire, mais l'entraînement, mental et physique, contribue à une réaction rapide et correcte en cas d'urgence imprévue.

Il me semble qu'une telle formation, dans laquelle le réflexe conditionné est instillé chez une personne, est très bien réalisée par les ordinateurs. Il se trouve que, dans mon enfance, j'étais engagé dans l'escrime. Il n'y a pas de temps pour penser en duel, il faut agir vite de manière réfléchie. En fait, un duel est généralement soigneusement planifié, mais au moment crucial, il faut agir sans tarder dans la réflexion.

Lorsque je suis arrivé à la Naval Graduate School en 1976, le doyen du département y travaillait, soucieux de l'éducation. Dans certains sujets brûlants liés à l'éducation, nos points de vue étaient différents. Un jour, je suis venu dans son bureau et j'ai dit que j'enseignais l'haltérophilie aux étudiants (il savait que ce n'était pas vrai). J'ai dit aux étudiants qu'un seul qui pouvait pousser 250 livres réussirait l'examen du cours. Mes paroles ont découragé de nombreux étudiants et ils ont abandonné, certains sont allés s'entraîner et seulement quelques-uns ont réussi le cours. J'ai continué mon histoire. Hier soir, j'ai réfléchi longtemps et j'ai décidé de simplifier la tâche en divisant simplement le poids en deux - les étudiants seront considérés comme ayant terminé le cours s'ils peuvent soulever 125 livres, fixer le poids, puis soulever à nouveau les 125 livres restants, totalisant ainsi 250 livres.

J'ai attendu un peu de temps jusqu'à ce qu'il cesse de rire (comme vous l'avez fait), après quoi j'ai remarqué quand j'ai trouvé une preuve plus simple du théorème et utilisé des étudiants pour cela, ai-je réduit le poids de moitié ou non? Quelle sera votre réponse? N'y a-t-il pas de vérité dans le fait que plus nous facilitons le processus d'apprentissage pour les étudiants, plus nous réduisons le poids de moitié? Il ne s'ensuit pas de cela que les étudiants devraient se voir confier des tâches plus faciles afin de travailler plus dur. La preuve de la capacité des gens à apporter une contribution significative nous amène à la conclusion: le célèbre professeur était un conférencier terrible, et les étudiants doivent travailler plus dur pour étudier les sujets par eux-mêmes.

Je propose à nouveau de prêter attention à la règle:

Ce que vous avez appris des autres, vous pouvez l'utiliser pour le suivre.
Ce que vous avez appris vous-même, vous pouvez l'utiliser pour diriger.

Dans quelle mesure sera-t-il correct de comparer les muscles physiques avec les muscles «mentaux»? Bien sûr, ces deux types de muscles ne sont pas les mêmes, mais jusqu'à quand seront-ils considérés comme des analogues? Pensez à cette question vous-même.

Mon autre argument dans la confrontation avec le même doyen était sa conviction que les étudiants devraient être autorisés à suivre indépendamment des cours qui étaient dans sa zone de responsabilité. En réponse à cela, j'ai répliqué que la vitesse d'apprentissage joue un rôle important pour les organisations - ceteris paribus, les étudiants qui maîtrisent rapidement le matériel ont une valeur plus élevée que ceux qui l'apprennent lentement; L'une des tâches de notre travail était précisément d'augmenter la vitesse de formation et de mettre en valeur ces étudiants pour la société. Encore une fois, c'est une opinion, mais il est certain que vous ne voudrez pas traiter avec des étudiants très lents. Bien sûr, la vitesse dans l'apprentissage de nouvelles choses n'est pas tout, mais il me semble que c'est un élément important.

Le principal problème pour évaluer la valeur de l'IAO est que nous ne sommes pas prêts à dire ce qu'est une personne instruite et comment nous atteignons cet état (si nous le sommes!). Nous pouvons dire CE QUE nous faisons, mais ce n'est pas la même chose QUE nous devons faire. Par conséquent, je ne peux dire que quelques blagues supplémentaires.

Considérez cette affirmation: un bon matériel graphique fournit une aide importante dans l'étude des concepts de base. Cela semble génial, mais revenons à l'histoire que je vous ai racontée à propos de mon ami Kaiser. Lui, ayant étudié la théorie des filtres en termes de temps et de tension, ne pouvait pas faire face à une variable indépendante - l'énergie. Il convient de noter ici que Kaiser était une personne très intelligente, mais son éducation le limitait dans ce qu'il étudiait. Mieux nous mettons en œuvre l'idée avec des images dessinées par le professeur, plus nous empêchons l'étudiant de diffuser plus tard des idées à des domaines complètement nouveaux auxquels le professeur n'a pas pensé (et qui n'ont pas été définis par lui dans les images).

Permettez-moi de raconter une histoire sur la soi-disant théorie du «transfert de la formation» - l'application des idées d'un domaine de connaissances aux idées d'un autre domaine de connaissances. Au tout début de la Seconde Guerre mondiale, j'ai donné un cours d'informatique à la Louisville School of Engineering.Les étudiants ont eu des problèmes avec un cours de thermodynamique, qui a été enseigné par le doyen de la Faculté de génie, un ancien commandant de sous-marin, et aussi des étudiants effrayants. Avec la permission du doyen, j'ai décidé d'assister à une leçon pour comprendre les raisons des mauvais résultats des élèves. Et donc le doyen écrit la formule suivante au tableau:



et demande ce que cela signifie. Il y eut un silence dans le public, personne ne connaissait la réponse. Quelques heures plus tard, dans ma leçon, j'ai écrit au tableau



et les élèves connaissaient déjà la réponse: c'était le logarithme de x plus une constante. Quand j'ai écrit au tableau



les étudiants connaissaient à nouveau la réponse. "Pourquoi n'avez-vous pas répondu à cette question lors de la leçon du doyen?", Ai-je demandé aux élèves. Le fait est que ce qu'ils savaient dans une classe particulière à une heure particulière d'un professeur particulier n'a pas été transféré à la connaissance à une autre heure particulière dans une autre classe d'un autre professeur. Cela semble étrange, mais cela s'appelle également un «transfert d'apprentissage», c'est-à-dire la capacité d'utiliser les mêmes idées dans une nouvelle situation. Grâce à cette théorie, j'ai apporté une contribution importante au développement des Laboratoires Bell Téléphonie, je l'ai fait assez souvent, même si, bien sûr, je ne sais pas combien de chances j'ai raté.

Revenons maintenant à mon cours d'informatique, que j'ai souvent enseigné à la Naval Graduate School, bien que ces pensées se soient formées en moi bien avant cela. Les étudiants sont capables de mémoriser remarquablement leur chemin à travers un grand nombre de cours de mathématiques, et beaucoup le font. Mais quand je me tourne vers l'intégration analytique (je donne aux étudiants une fonction et je leur pose des questions sur son intégrale indéfinie), ils ne se souviennent pas de leur chemin depuis le cours dans lequel je leur enseigne. Ils doivent apprendre à reconnaître



dans toutes les situations sans fin. Pour la première fois de leur carrière, ils sont obligés d'apprendre à reconnaître des formes qui ne dépendent pas d'une idée spécifique, qui est à son tour la principale caractéristique des mathématiques et de l'intelligence générale. Supprimer l'intégration analytique d'un cours ou la transférer à des routines informatiques dans des sous-programmes signifie l'effondrement de l'idée du stade d'étude, à mon avis, quelque chose de significatif jusqu'à ce que quelque chose d'équivalent complexe soit inventé et mis en œuvre. Les étudiants doivent apprendre des techniques de reconnaissance d'images abstraites s'ils veulent progresser davantage et utiliser des modèles mathématiques tout au long de leur future carrière.

Une erreur très similaire a été commise il y a de nombreuses années lorsque j'étais étudiant à l'Université de Chicago. Le ministère de l'Éducation a inauguré une école primaire de recherche. Ils ont constaté que les élèves apprenaient à lire par syllabes plutôt que par lettres, et ils ont donc décidé de ne pas apprendre l'alphabet et de commencer à lire tout de suite. Ce qu'ils ont fait. Tout s'est plutôt bien passé jusqu'à la fin du lycée, quand ils ont constaté que les élèves ne connaissaient pas complètement l'alphabet et qu'ils ne pouvaient donc pas utiliser efficacement les dictionnaires, les annuaires téléphoniques, etc. À leur âge actuel, il était presque impossible de leur faire mémoriser l'alphabet afin qu'ils puissent facilement utiliser de telles sources d'information. Par conséquent, je me méfie des changements proposés tant quejusqu'à ce que les conséquences de ces changements soient étudiées de manière approfondie par le biais de prévisions à long terme de toutes les exigences nécessaires pour le matériel à sauter.

Pour résumer. Je crois que dans les situations de bas niveau, généralement associées à la formation, où un réflexe conditionné est requis, les ordinateurs apporteront une contribution significative à l'amélioration du processus d'apprentissage. Quant à la réflexion de haut niveau, c'est-à-dire Je suis sceptique ici, principalement parce que nous-mêmes n'avons aucune idée de ce que nous voulons faire ou de ce que nous faisons actuellement. Maintenant, nous ne savons tout simplement pas ce que nous voulons dire lorsque nous disons «personne éduquée», sans parler de la signification de cette expression d'ici 2020. Sans cette connaissance, comment puis-je juger du succès des solutions proposées? Les organisations et les universités devraient explorer le vaste champ de connaissances qui existe entre l'enseignement de bas niveau et l'enseignement de haut niveau. Les experts apportent rarement une contribution significative au développement de ce domaine,Des progrès importants viennent généralement de l'extérieur. Nous en discuterons avec vous au chapitre 26. Le rôle du CAI dans les organisations qui utilisent largement les programmes de formation augmentera, car les progrès conduisent à l'obsolescence constante des anciens et à la création de nouveaux outils, généralement plus difficiles à utiliser techniquement.

Pensez aux programmes informatiques conçus pour enseigner des disciplines telles que la gestion d'entreprise ou, plus sérieusement encore, les affaires militaires. Les ordinateurs peuvent assumer un grand nombre de petites tâches, en isoler le lecteur et, en même temps, fournir des solutions utiles et de haut niveau. Il est également nécessaire d'inclure certains éléments de la formation de bas niveau dans le processus, ainsi qu'une réflexion de niveau supérieur. Comme indiqué dans les trois chapitres consacrés à la simulation, nous devons également savoir si la simulation est adaptée à la résolution de problèmes futurs, auxquels, en fait, la formation est destinée. La présence et, éventuellement, la distribution de programmes de jeux entraîneront-elles une détérioration de la qualité de la formation? Cependant, vous pouvez être sûr que même si les personnes qui proposent de tels programmes ne peuvent pas répondre à ces questions,ils continueront de créer et de publier des programmes pertinents. Vous pourriez être victime d'un mauvais apprentissage!

Il y a quelques centaines d'années, l'enseignement supérieur standard consistait à enseigner la lecture, l'écriture et le latin parlé, ainsi que, dans une moindre mesure, l'enseignement du grec et la connaissance des classiques. Ce fut la formation de base avec laquelle les Britanniques, par exemple, ont créé un empire. Notre système éducatif actuel a très, très peu en commun avec le système classique. Je suis fermement convaincu que l'éducation future aura si peu de points communs avec le système éducatif actuel, dans la mesure où le système actuel diffère du système classique. Une tentative d'apporter des modifications mineures à notre système éducatif actuel n'aidera pas à résoudre le problème auquel nous sommes confrontés lors de la préparation des étudiants pour 2020, lorsque les ordinateurs de bureau deviennent également accessibles et ont d'énormes capacités de stockage et de traitement des informations.Sans une idée claire de ce que l'éducation sera pertinente d'ici là, comment devrions-nous évaluer les projets CAI proposés? Ce n'est pas parce que quelque chose peut être fait, en particulier en utilisant des ordinateurs, que cela doit être fait. Nous devons créer une vision de ce que sera une personne instruite à l'avenir, et ce n'est qu'alors que nous pourrons aborder avec confiance les problèmes qui se posent avec CAI.

A suivre ...

Qui veut aider à la traduction, la mise en page et la publication d'un livre - écrire dans un magisterludi2016@yandex.ru personnel ou par courrier

Par ailleurs, nous avons lancé une traduction d'un autre plus cool de livre - «The Dream Machine: L'histoire de la révolution informatique » )

cherche en particulier pour ceux qui aideront à traduire le chapitre bonus, qui n'est que sur la vidéo . ( traduire 10 minutes, les 20 premières ont déjà pris )