"Ensuite, nous l'avons remarqué pour la première fois, en utilisant Woody comme exemple."
«Larry Cutler est entré dans le catalogue et parlait juste d'installer un correctif pour Woody ou son chapeau. Il a regardé dans le répertoire, et il y avait environ 40 fichiers, puis il a regardé à nouveau, et il n'en restait que quatre. "
"Ensuite, nous avons vu que la séquence d'images a commencé à disparaître, et nous avons pensé:" Oh mon Dieu! ""
"J'ai attrapé le combiné ..." éteignez la voiture! ""
Oren Jacob, l'ancien directeur technique de Pixar, alors assistant du directeur technique de Toy Story 2, se souvient du moment où ils ont constaté que le film avait été supprimé des serveurs de l'entreprise après avoir exécuté une commande erronée, détruisant deux mois et des centaines d'heures de travail.
Cette histoire est devenue célèbre après la publication d'un clip d'une version étendue du film sur
Tested . Le clip a été exprimé par Jacob lui-même, ainsi que par le directeur technique en chef, Galin Susman.
Cette histoire m'a semblé intéressante, j'ai donc contacté Jacob, qui travaille maintenant en tant que
PDG de ToyTalk . Je voulais entendre l'histoire directement du participant, pour comprendre si la situation était vraiment si dramatique, pour savoir comment les employés s'en sortaient et s'il s'avérait finalement qui avait supprimé les fichiers. Jacob se souvient bien des détails de cette situation.
Une grande partie de Toy Story 2 a été vraiment supprimée et restaurée uniquement grâce à une heureuse coïncidence et au travail acharné des employés de Pixar.
Mais ce qui reste inconnu, c'est qu'en fait, le film entier est à nouveau complètement détruit, non seulement par les ordinateurs, mais par les créateurs eux-mêmes. Après quoi, il a été complètement refait en quelques mois, lorsque la date de sortie a déjà été annoncée.
L'histoire que Jacob m'a racontée contient des leçons intéressantes pour les personnes travaillant avec de grandes quantités de données techniques. Mais en plus de cela, elle nous en dit long sur la façon dont l'excellente qualité des films Pixar est associée à des personnes travaillant dans l'entreprise qui veulent tout faire parfaitement.
/ bin / rm -r -f *
L'histoire a probablement commencé en 1998, bien que Jacob admette qu'il ne se souvient pas de la date exacte. L'équipe de créateurs de Toy Story 2, environ 150 personnes des départements d'animation, d'éclairage et de modélisation de Pixar, a travaillé dur sur le film depuis un certain temps. Dans le même temps, 200 à 250 autres personnes ont terminé le travail sur "Les aventures de Flick" (Bug's Life), qui devait sortir à l'automne de la même année.
Un jour, Jacob (photo ci-dessous) était au bureau avec Larry Cutler et Larry Opperle, qui était également directeur technique adjoint et travaillait sous la direction de Susman. Par une heureuse coïncidence, ils ont regardé dans le catalogue, où les ressources du personnage de Woody étaient stockées. Après avoir mis à jour le catalogue, ils ont remarqué qu'il y avait de moins en moins de fichiers.
"L'ordinateur a donné une erreur, je ne me souviens pas laquelle exactement. Quelque chose comme "Le répertoire est déjà invalide" parce que Larry était dans un endroit qui avait déjà été supprimé. Ensuite, nous sommes montés dans la hiérarchie, sommes revenus et avons vu Hamm, M. Potato Head et Rex. Un peu plus tard, nous avons de nouveau examiné le catalogue, et seul Hamm y est resté, puis il a disparu. »
Très probablement, la commande
rm -r -f * été lancée, ce qui, en gros, indique au système de commencer à supprimer chaque fichier sous le répertoire actuel. Il est souvent utilisé pour supprimer un sous-ensemble de fichiers indésirables. Malheureusement, quelqu'un dans le système a lancé une commande au niveau racine du projet Toy Story 2, et le système a commencé à surveiller récursivement la structure des fichiers et à les supprimer, comme un ver rongeant son chemin hors du cœur d'une pomme.
C'est alors qu'un appel de panique a été effectué dans la salle des machines, où se trouvait le serveur principal, et l'ordre a été donné de couper l'alimentation et la connexion réseau du serveur. Ce n'est pas si facile à faire dans des environnements où des centaines de clients sont connectés à la machine, comme si vous devez tirer l'interrupteur principal pour tout éteindre.
«Le serveur principal s'est arrêté», explique Jacob. «Certains employés ont animé les images, ce qui pourrait prendre de une à cinq minutes. Mais ensuite, lorsque, pour une raison quelconque, ils devaient télécharger des fichiers à partir du serveur principal, leurs ordinateurs se bloquaient. »
«Au final, tous les animateurs et directeurs techniques, tous ceux qui ont travaillé sur le film ont dit:« Eh bien, tous les ordinateurs sont éteints. Allons dîner, ha ha. ""
Quelques heures plus tard, le serveur a été mis sous tension et l'évaluation des dommages a commencé. L'équipe chargée de déterminer la taille du catalogue Toy Story 2 a montré que seulement 10% de son volume d'origine était conservé.
Une équipe aléatoire a supprimé 90% du dessin animé.
"Le film a été détruit"
Lorsque cette histoire a été connue pour la première fois, la question principale était «comment cela s'est-il même produit?»
J'ai également posé cette question à Jacob. Il s'est avéré que la raison en était la façon dont les entreprises de niveau Pixar travaillent sur des projets.
«Il y avait 400 personnes dans notre réseau et elles avaient toutes un accès assez important aux ressources de l'ensemble du projet, il était donc difficile de limiter le degré de dommages», explique Jacob. "Cela pourrait être fait à partir de n'importe quel terminal."
«Pixar est un environnement Unix largement ouvert, c'est-à-dire qu'il permet beaucoup. Vous pouvez aller de catalogue en catalogue, surfer sur le net et, si vous le souhaitez, entrer dans les machines d'Ed Catell ou de Steve Jobs. Non pas que Steve ait travaillé directement sur le projet, mais c'était possible. "
La façon standard de se protéger contre de telles commandes est de restreindre l'accès des utilisateurs uniquement aux fichiers dont ils ont besoin. Mais en raison de la façon dont le projet de film Pixar a été réalisé, presque tout le monde avait besoin d'un accès en lecture et en écriture au serveur principal. C'était leur travail.
La fixation de tolérances par microgestion consommerait toutes les ressources administratives, en particulier pendant les craquements.
Plan de contingence
Donc, à ce stade, la plupart du film a été supprimé ou endommagé. Mais ce n'était pas un gros problème. Les fichiers ont été supprimés auparavant, cela se produit de temps en temps. Lors de la création d'Adventures of Flick, la plupart des fourmis ont été supprimées et ont dû être restaurées, car, bien sûr, Pixar a sauvegardé les données.
En 1998, la façon la plus courante de sauvegarder une grande quantité d'informations était la bande; c'est exactement ce que Pixar a utilisé. Malheureusement, ces sauvegardes n'ont pas été vérifiées régulièrement, comme cela est recommandé et comme cela se produit dans l'entreprise aujourd'hui.
Habituellement, pour vous assurer de la qualité de la sauvegarde, vous devez l'utiliser. Tous les quelques jours ou semaines, les données actuelles sont remplacées par des sauvegardes et le travail continue pour s'assurer que toutes les données sont en place. Cette pratique est appelée sauvegarde en direct.
À cette époque, Pixar ne testait pas régulièrement ses sauvegardes. Et c'est pourquoi les problèmes ont commencé: les sauvegardes étaient stockées sur le lecteur de bande, et lorsque la taille des fichiers dépassait 4 gigaoctets, elles se heurtaient à une limite sur la taille maximale possible. Le journal des erreurs, qui pouvait informer les administrateurs système d'un disque plein, se trouvait également sur un volume complet et avait une taille de 0 octet.
Cela signifiait que de nouvelles données continuaient d'être écrites sur le disque, mais en «poussaient» les anciens fichiers. Mais personne chez Pixar ne le savait encore.
Il convient de mentionner que l'ensemble du film n'occupait pas plus de 10 gigaoctets d'informations. Cela peut sembler fou par rapport à la taille de texture des films modernes, mais vous devez vous rappeler que la bande de sauvegarde avait une limite de taille de fichier de 4 Go et pendant de nombreux mois de travail sur le projet, ce n'était pas un problème. La quantité totale de données pour le dessin animé pourrait tenir sur une paire de DVD à deux couches.
Les employés ont donc pris des sauvegardes, se sont mis au travail et ont restauré le film. Pendant quelques jours, ils ont pensé qu'ils avaient une version entièrement restaurée des fichiers TS2.
Pour les tester, ils ont lancé un rendu d'environ 2 000 images, une de chaque «scène» du film (un fragment entre les transitions). En fait, ils ont besoin de toutes les ressources qui ont participé au film, car tous les modèles, éclairages et textures sont nécessaires pour rendre ces images individuelles.
Tout avait l'air bien. «Nous avons perdu une semaine de travail», explique Jacob. "C'est-à-dire les 10 dernières scènes de la semaine dernière, mais tout le reste était normal."
Avance rapide jusqu'à la fin de cette semaine. L'équipe est retournée au travail et a utilisé pendant plusieurs semaines ces fichiers récupérés. Mais au cours de cette semaine, de petites bizarreries sont apparues. Des erreurs mystérieuses avec des "reliures" sont apparues.
"Snap", c'est quand un personnage, comme Woody, enlève son chapeau. Le chapeau tourne d'une partie de sa tête à une partie de sa main, c'est une procédure très délicate et "fragile".
«Nous avons commencé à comparer les plans et nous avons réalisé que le film était incomplet. Je ne peux pas expliquer comment nous avons réussi à travailler cette semaine et à obtenir de tels rendus. "
À la fin de la semaine, suffisamment d'erreurs ont été révélées pour que l'équipe se rende compte qu'il y avait un problème. En plus des erreurs de «bindings», certaines personnes qui ont travaillé avec une version de leur scène ont remarqué que la version actuelle était beaucoup plus petite qu'auparavant. Supposons qu'avant de supprimer des fichiers, ils travaillaient avec le numéro 420, et maintenant la scène avait la version 20. Quelque chose n'allait pas.
C'est alors, après une semaine entière de travail, qu'il y a eu un problème de sauvegarde sur bande.
«Ce travail a définitivement été fait en vain car il était basé sur des données récupérées non fiables», se souvient Jacob. "Maintenant, nous n'avions plus la moindre confiance dans aucune des solutions: les données récupérées étaient mauvaises, le travail effectué avec elles était mauvais, la suppression s'est avérée terrible et les sauvegardes sur les bandes ont été endommagées."
«Nous n'avions aucun moyen de poursuivre le mouvement, et peut-être même pire. Nous ne comprenions pas exactement en quoi les copies de sauvegarde étaient corrompues. Si seulement 10% du film n'est pas sur les bandes, alors exactement 10%, nous ne le savions pas. »
«Nous avons organisé une grande réunion dans la salle de conférence de Bagville (complexe d'entreprise Pixar). Les personnes les plus intelligentes du studio ont déclaré: «Nous ne savons pas quoi faire. Oh mon dieu! ""
Et puis Susman a dit: "J'ai une voiture à la maison."
Volvo pour 100 millions de dollars
Susman, alors directrice générale de Toy Story 2 (photo ci-dessous), peu de temps auparavant, a donné naissance à son fils Eli, alors elle a travaillé à domicile. Autrement dit, elle avait une station de travail Silicon Graphics à la maison. C'était Indigo 2 ou Octane, illustré ci-dessous, dans lequel une copie complète du film a été téléchargée.
Pour qu'elle puisse travailler en dehors du bureau, la machine était connectée au réseau local et l'arborescence de fichiers entière y était copiée. Après cela, elle a reçu des mises à jour incrémentielles sur la connexion Internet RNIS. Pour ceux qui ne savent pas ce que c'est: ce sont deux modems à 56 Kbit / s connectés ensemble (bienvenue en 1998).
La dernière mise à jour téléchargée sur sa machine était obsolète depuis quelques semaines, mais à ce stade, lorsque les employés de Pixar n'avaient qu'une sauvegarde incomplète et une arborescence de fichiers endommagée, il fallait au moins quelque chose pour commencer à résoudre les problèmes. Le choix était le suivant: soit recréer chaque fichier perdu à partir de zéro, soit libérer le film à temps.
Alors Jacob et Susman montèrent dans sa Volvo et se précipitèrent sur le pont de Richmond à son domicile pour prendre l'ordinateur. Ils l'ont chargé dans la voiture et l'ont soigneusement placé sur le siège arrière, les enveloppant dans des couvertures et bouclant solidement leurs ceintures.
«Il ne nous restait plus rien», raconte Jacob à propos de la réunion décrite ci-dessus. «Nous étions morts. La réunion a duré environ 45 minutes et 30 des employés Pixar les plus intelligents pourraient être attirés pour résoudre le problème.
C'est alors que Susman s'est souvenu de son ordinateur personnel.
«Nous venons de nous lever, de sortir, de monter dans sa Volvo, de traverser le pont, de prendre l'ordinateur et des couvertures, et je l'ai attaché avec des ceintures de sécurité sur le siège arrière. Nous avons roulé à environ 35 mph avec des phares clignotants, en espérant que la police nous accompagnerait. Mais aucune voiture de police ne nous a remarqués et cela ne nous a pas aidés. »
À ce moment, Volvo transportait un ordinateur d'une valeur de 100 millions de dollars, car le projet contenant le travail de toute l'équipe était stocké sur ses disques durs.
Ils ont réussi à atteindre Richmond en toute sécurité. «Avant le parking, nous avons été accueillis par huit personnes avec une feuille de contreplaqué et, comme un pharaon sur une civière, ils ont amené un ordinateur dans la salle des machines.»
Tout le monde était inquiet lorsque l'ordinateur s'est allumé, car c'est à ce moment que les disques durs «mouraient» le plus souvent. Il a démarré. Personne n'a commencé à vérifier quoi que ce soit, ils l'ont simplement connecté immédiatement au réseau et ont immédiatement copié le disque entier, puis ils ont commencé à démonter ce que nous avions.
La sauvegarde a duré environ deux semaines, mais ils ont réussi à créer une arborescence «B» et à la comparer avec la sauvegarde «A» effectuée il y a quelques mois, et la troisième source «C», collectée à partir de toutes les sauvegardes locales créées par des animateurs et des modélisateurs sur leur terminaux personnels. Cette version était composée de .old, .sav, .bak pathétiques et de tout autre ancien fichier pouvant être trouvé.
Il a été possible de confirmer l'intégrité d'environ 70 000 fichiers et 30 000 autres ont dû être vérifiés manuellement. «Nous sommes composés de 10 à 12 personnes, travaillées sans interruption du vendredi au lundi, en équipes continues, avec de la nourriture et des sacs de couchage», se souvient Jacob.
«Lorsque les gens sont arrivés vendredi, nous leur avons remis un imprimé:« Voici 500 points qui doivent être vérifiés au cours des huit prochaines heures. Commencez avec les commandes xdiff. Continuez "."
«Rapidement, en seulement quelques heures, les programmeurs ont écrit des scripts qui ont reçu une liste en entrée et créé des fenêtres XF, avec une profondeur de 20 fichiers. Vous les fermez tous, descendez encore 20 de profondeur. Vous les fermez tous, vous pouvez donc vous déplacer si vite. »
Toutes les fenêtres devaient être regardées avec leurs yeux pour voir lesquelles étaient plus courtes que les plus récentes. Ils l'ont fait pendant les prochaines semaines. Plus clairement, Jacob se souvient d'un sentiment d'empathie et de soutien. Non seulement les employés ont dû sacrifier les week-ends avec leur famille et travailler le dimanche, rester après le quart de travail et même passer la nuit au travail, mais aussi ce sentiment de «partir tête baissée» pour résoudre le problème.
«A cette époque, nous avons enterré très profondément. Nous avons été aidés par des personnes de l'équipe Toy Story, des personnes qui ont travaillé sur Flick's Adventures et tout le studio dans son ensemble. Toute la communauté nous a aidés à travailler la nuit, à taper sur les claviers ou à nous envoyer de la nourriture. »
«Un jour, une sandwicherie locale de Point Richmond nous a demandé:« Avez-vous besoin de nourriture gratuite aujourd'hui? Nous savons que maintenant vous ne dormez pas "".
L'incroyable concentration nécessaire pour comparer tous ces fichiers a montré à quel point les créateurs du projet devaient creuser. Ce n'était plus du travail, mais passé sur le plan de la vraie dévotion au film, à ses amis numériques et les uns aux autres.
«Le week-end dernier, je me suis souvenu des plateaux de biscuits, de limonade, de pizza et de fleurs qui nous ont été envoyés», se souvient Jacob. «Quelqu'un a engagé un massothérapeute dimanche. "Quelqu'un d'autre a travaillé pour une organisation d'asile temporaire et nous a apporté des couvertures."
Ensuite, ils ont reconstruit et testé le projet, et cela a semblé fonctionner. Aujourd'hui encore, Jacob ne peut pas expliquer qu'après avoir terminé son travail dans l'arbre, il manquait plus de quelques milliers de fichiers.
«Nous ne savons pas où ces fichiers sont allés. Et il est complètement inexplicable de quelle façon le projet a fonctionné sans eux de toute façon. »
Mais le projet a fonctionné, les images ont été rendues et Toy Story 2 a repris vie.
Chasse aux sorcières
L'une des questions les plus intéressantes pour moi était de savoir s'il était possible de trouver le coupable dans tout cela et s'il était puni. Habituellement, lorsque cela se produit, les gens ont tendance à trouver quelqu'un responsable. Le premier point à l'ordre du jour est «Qui est à blâmer?» Mais pas Pixar.
«Nous n'avons pas essayé de le cacher», explique Jacob. «Après 10 minutes, nous avons envoyé des courriels à tout le monde dans le bâtiment. «Aide. Merde! ""
En plus de la discussion qui a immédiatement surgi qui aurait pu commettre un acte aussi stupide, la discussion a immédiatement continué pour trouver une solution au problème.
«Arrêtons la chasse aux sorcières. Nous devons d'abord restaurer le film. Ne cherchons pas toute la semaine quelqu'un à tuer. Où est notre film? "
«Évidemment, après cinq minutes de la réunion, la situation s'est tendue. Quelqu'un a dit: «Trouvons-le et lynchons immédiatement», se souvient Jacob. «J'ai soutenu l'idée du lynchage, mais l'essentiel était de rendre le film et de recommencer à travailler sur Baz et Woody. Nous avons perdu nos amis. »
Après de nombreuses années-homme, voire des dizaines d'années-homme consacrées au projet, la tentation de trouver le coupable, d'en trouver la personne responsable, était très forte.
Mais de telles pensées négatives ne pouvaient aider personne et étaient simplement distraites de la tâche principale: aller de l'avant.
Les administrateurs système ont soigneusement examiné les plans de sauvegarde et sont venus à une grande réunion de production avec un nouveau plan qui a été discuté
très méticuleusement. Mais à la fin, il n'y a pas eu de licenciements ni d'escarmouches.
Jacob ne se souvient pas de la gestion en service le jour de la restauration de la sauvegarde, mais qui qu'il soit, Steve Jobs, le fondateur du studio Ed Catmell et d'autres responsables, ont fortement soutenu le travail de restauration, pas le vinyle. employés par erreur. Ce week-end, ils ont acheté une équipe de pizzas, lui ont donné tout ce dont elle avait besoin et l'ont globalement soutenue.
Lors d'une grande réunion concernant le problème de sauvegarde, Catmell, connue pour mener un «style de vie incroyablement calme et presque zen», a simplement demandé à l'équipe ce qu'elle ferait de ce problème.
Jacob se souvient de cette conversation:
"Ed, maintenant nous faisons tout ce que nous pouvons."
"Les gars, allez-vous gérer le problème?"
"Oui, merci, Ed."
Dans le cas d'une telle catastrophe, la difficulté réside dans le fait que les CTO et les employés de Pixar doivent se faire mutuellement confiance pour résoudre le problème, même si plusieurs erreurs ont été commises et que l'une d'entre elles est à blâmer. «Si vous ne pouvez pas vous asseoir et participer à la réunion, alors vous ne devriez pas y être», explique Jacob. «Les circonstances étaient extrêmement inhabituelles. "Les cygnes noirs" arrivent parfois. "
Au lieu de chercher le coupable ou de pleurer la perte de temps et d'efforts, l'équipe a commencé à changer la stratégie de sauvegarde afin que cela ne se reproduise plus et a commencé à rattraper le temps perdu.
Toy Story 2 revient à la poubelle
Après le retrait et la restauration de Toy Story 2, l'équipe espérait une sortie sans nuage du produit, mais cela n'était pas destiné à se produire.
Le jour de Noël 1998, après la sortie d'Adventures of Flick et la fin de la tournée promotionnelle, John Lasseter, Andrew Stanton, Pete Docter et le scénariste légendaire Joe Raft ont décidé d'évaluer Toy Story 2.
Le film était mauvais. Ils ont consacré la pause hivernale à presque réécrire le projet à partir de zéro. La production a été arrêtée le 15 décembre et a repris après le nouvel an, en janvier, lorsqu'une équipe de scénaristes a réitéré l'idée du film.
Finalement, Lasseter et Lee Ancrich sont devenus les réalisateurs du film avec Ash Brannon.
Que reste-t-il de la version précédente? Bien sûr, les personnages principaux: Buzz, Woody, Hamm, M. Potato head, Rex. La chambre d'Andy est restée. Il y avait une scène avec Al's Toy Barn. Presque tout le reste du film était nouveau.
Jacob raconte ce qui a été ajouté, y compris un nouveau personnage - le chien Buster avec son animation:
En fait, nous avons jeté toute l'animation. Jeté tout le storyboard. Par conséquent, j'ai dû commencer à travailler avec l'appareil photo depuis le début. Une petite partie de l'éclairage est restée, mais il a également été jeté. Nous devions créer de nouveaux personnages.
À ce stade, Buster est apparu. Et depuis le moment de son apparition jusqu'à la sortie du film, neuf mois se sont écoulés.
C'était un modèle à quatre pattes, entièrement animé ... à la volée. Comme la plupart des gens dans le film. Tous les extras à l'aéroport à la fin "
Et puis nous les avons récupérés. Ensuite, tous les effets ont été ajoutés. La première scène dans laquelle Buzz joue avec des robots, où il explose un quart de million de robots avec un cristal. Tout cela a été ajouté dans la deuxième version. En janvier, nous sommes repartis de zéro.
En fait, toute l'intrigue. Et le film lui-même. Cela s'est avéré être l'un des tests les plus sérieux de la culture de Pixar et de l'entreprise elle-même.
? — 22 1999 . . , Toy Story 2, , , .
. . , Toy Story 2 9 . , .
Disney , , .
« 1999 . Pixar. ».
. 9 , , .
Pixar . , Toy Story 2, Disney.
« . . . . ».
« 2» . 500 , Pixar , .
, , , Pixar.
« , , . . , , -. , . , ».
, Pixar. . .
, : « 60 , . - . - , - , . : „ ?“»
« , . , . ».
« , „ 2“. », — . « , , „ “ . ».