"Entonces notamos esto por primera vez, usando a Woody como ejemplo".
“Larry Cutler entró en el catálogo y solo estaba hablando de instalar una solución para Woody o su sombrero. Buscó en el directorio, y había alrededor de 40 archivos, luego volvió a mirar, y solo quedaban cuatro ".
"Entonces vimos que la secuencia de cuadros comenzó a desaparecer, y pensamos:" ¡Oh, Dios mío! ""
"Agarré el auricular ..." ¡apaga el auto! ""
Entonces, Oren Jacob, el ex director técnico de Pixar, que entonces trabajaba como asistente del director técnico de Toy Story 2, recuerda el momento en que descubrieron que la película fue eliminada de los servidores de la compañía después de ejecutar un comando erróneo, destruyendo dos meses y cientos de horas de trabajo.
Esta historia se hizo famosa después de la publicación de un clip de una versión extendida de la película en
Tested . El clip fue expresado por el propio Jacob, así como por el director técnico jefe, Galin Susman.
Esta historia me pareció interesante, así que contacté a Jacob, quien ahora trabaja como
CEO de ToyTalk . Quería escuchar la historia directamente del participante, comprender si la situación era realmente tan dramática, averiguar cómo los empleados la abordaron y si al final resultó quién eliminó los archivos. Jacob recuerda bien los detalles de esta situación.
Una gran parte de Toy Story 2 fue realmente eliminada y restaurada solo gracias a una feliz coincidencia y al arduo trabajo de los empleados de Pixar.
Pero lo que sigue siendo desconocido es que, de hecho, toda la película está completamente destruida, no solo por las computadoras, sino también por los propios creadores. Después de lo cual se rehizo por completo en cuestión de meses, cuando ya se anunció la fecha de lanzamiento.
La historia que me contó Jacob contiene lecciones interesantes para las personas que trabajan con grandes cantidades de datos técnicos. Pero además de eso, nos cuenta mucho acerca de cómo la excelente calidad de las películas de Pixar se asocia con personas que trabajan en la empresa que quieren hacer todo a la perfección.
/ bin / rm -r -f *
La historia probablemente comenzó en 1998, aunque Jacob admite que no recuerda la fecha exacta. El equipo de creadores de Toy Story 2, unas 150 personas de los departamentos de animación, iluminación y modelado de Pixar, ha estado trabajando duro en la película durante algún tiempo. Al mismo tiempo, otras 200-250 personas completaron el trabajo en "The Adventures of Flick" (Bug's Life), que se lanzará en el otoño de ese año.
Un día, Jacob (en la foto a continuación) estaba en la oficina con Larry Cutler y Larry Opperle, quien también era asistente del director técnico y trabajaba bajo la dirección de Susman. Por una afortunada coincidencia, buscaron en el catálogo, donde se almacenaban los recursos del personaje de Woody. Después de actualizar el catálogo, notaron que hay cada vez menos archivos.
"La computadora dio un error, no recuerdo cuál exactamente. Algo así como "El directorio ya no es válido" porque Larry estaba en un lugar que ya había sido eliminado. Luego subimos la jerarquía, regresamos y vimos a Hamm, Mr. Potato Head y Rex. Un poco más tarde, volvimos a mirar en el catálogo, y solo Hamm permaneció allí, y luego desapareció.
Lo más probable es que se lanzó el comando
rm -r -f * , que, más o menos, le dice al sistema que comience a eliminar cada archivo debajo del directorio actual. A menudo se usa para eliminar un subconjunto de archivos no deseados. Desafortunadamente, alguien en el sistema lanzó un comando en el nivel raíz del proyecto Toy Story 2, y el sistema comenzó a monitorear recursivamente la estructura del archivo y eliminarlos, como un gusano que se está robando del núcleo de una manzana.
Fue entonces cuando se realizó una llamada de pánico a la sala de máquinas, donde se encontraba el servidor principal, y se dio la orden de apagar la alimentación y la conexión de red del servidor. Esto no es tan fácil de hacer en entornos donde cientos de clientes están conectados a la máquina, como si necesita presionar el interruptor principal para apagar todo.
"El servidor principal se ha apagado", dice Jacob. “Algunos de los empleados animaron los cuadros, y esto podría tomar de uno a cinco minutos. Pero luego, cuando por alguna razón necesitaban descargar archivos del servidor principal, sus computadoras se congelaban ".
“Al final, cada animador y director técnico, todos los que trabajaron en la película dijeron:“ Bueno, todas las computadoras se apagaron. Vamos a cenar, ja, ja ".
Unas horas más tarde, el servidor se encendió y comenzó la evaluación de daños. El equipo para determinar el tamaño del catálogo de Toy Story 2 mostró que solo se conservaba el 10% de su volumen original.
Un equipo aleatorio eliminó el 90% de la caricatura.
"La película fue destruida"
Cuando se conoció esta historia, la pregunta principal era "¿cómo sucedió?"
También le hice esta pregunta a Jacob. Resultó que la razón era cómo las empresas de nivel Pixar trabajan en proyectos.
"Había 400 personas en nuestra red, y todas ellas tenían acceso a gran escala a los recursos de todo el proyecto, por lo que era difícil limitar el grado de daño", dice Jacob. "Se podría hacer desde cualquier terminal".
“Pixar es un entorno de Unix ampliamente abierto, es decir, permite bastante. Puede ir de catálogo en catálogo, navegar por la red y, si lo desea, ingresar a las máquinas de Ed Catell o Steve Jobs. No es que Steve haya trabajado directamente en el proyecto, pero fue posible hacerlo ".
La forma estándar de protección contra dichos comandos es restringir el acceso del usuario solo a los archivos que necesitan. Pero debido a la forma en que se llevó a cabo el proyecto de la película Pixar, casi todos necesitaban acceso de lectura y escritura al servidor principal. Ese era su trabajo.
La designación de tolerancias mediante microgestión consumiría todos los recursos administrativos, especialmente durante las crisis.
Plan de contingencia
Entonces, en este punto, la mayor parte de la película fue eliminada o dañada. Pero eso no fue un gran problema. Los archivos se eliminaron antes, esto sucede de vez en cuando. Durante la creación de Adventures of Flick, la mayoría de las hormigas fueron eliminadas y tuvieron que ser restauradas, porque, por supuesto, Pixar hizo una copia de seguridad de los datos.
En 1998, la forma más común de respaldar una gran cantidad de información era la cinta; Esto es exactamente lo que utilizó Pixar. Desafortunadamente, estas copias de seguridad no se verificaron regularmente, ya que se recomienda y como ocurre en la empresa hoy.
Por lo general, para asegurarse de la calidad de la copia de seguridad, debe usarla. Cada pocos días o semanas, los datos actuales se reemplazan por copias de seguridad y el trabajo continúa para garantizar que todos los datos estén en su lugar. Esta práctica se llama copia de seguridad en vivo.
En ese momento, Pixar no probaba sus copias de seguridad regularmente. Y es por eso que comenzaron los problemas: las copias de seguridad se almacenaron en la unidad de cinta, y cuando el tamaño de los archivos excedió los 4 gigabytes, se toparon con un límite en el tamaño máximo posible. El registro de errores, que podría informar a los administradores del sistema acerca de un disco completo, también se encontraba en un volumen completo y tenía un tamaño de 0 bytes.
Esto significaba que los datos nuevos se seguían escribiendo en la unidad, pero que "empujaban" los archivos antiguos. Pero nadie en Pixar sabía esto todavía.
Vale la pena mencionar que toda la película no ocupó más de 10 gigabytes de información. Esto puede parecer una locura en comparación con el tamaño de textura de las películas modernas, pero debe recordar que la cinta de respaldo tenía un límite de tamaño de archivo de 4 GB y durante muchos meses de trabajo en el proyecto no fue un problema. La cantidad total de datos para la caricatura podría caber en un par de DVD de dos capas.
Entonces, los empleados tomaron copias de seguridad, se pusieron a trabajar y restauraron la película. Durante un par de días, pensaron que tenían una versión completamente restaurada de los archivos TS2.
Para probarlos, lanzaron una representación de aproximadamente 2,000 fotogramas, uno de cada "escena" de la película (un fragmento entre transiciones). De hecho, necesitan todos los recursos que participaron en la película, porque se necesitan todos los modelos, iluminación y texturas para renderizar estos cuadros individuales.
Todo se veía bien. "Perdimos una semana de trabajo", dice Jacob. "Es decir, las últimas 10 escenas de la última semana, pero todo lo demás fue normal".
Avance rápido hasta el final de esta semana. El equipo volvió al trabajo y durante varias semanas utilizó estos archivos recuperados. Pero en el transcurso de esta semana, surgieron pequeñas rarezas. Surgieron misteriosos errores con "enlaces".
"Snap" es cuando un personaje, como Woody, se quita el sombrero. El sombrero gira de una parte de su cabeza a una parte de su mano, este es un procedimiento muy complicado y "frágil".
“Comenzamos a comparar tomas y nos dimos cuenta de que la película está incompleta. No puedo explicar cómo logramos trabajar esta semana y obtener esos renders ".
Al final de la semana, se revelaron suficientes errores para que el equipo se diera cuenta de que había un problema. Además de los errores de "enlaces", algunas personas que trabajaron con una versión de su escena notaron que la versión actual era mucho más pequeña que antes. Supongamos que, antes de eliminar archivos, trabajaban con el número 420, y ahora la escena tenía la versión 20. Algo iba mal.
Fue entonces, después de toda una semana de trabajo, que hubo un problema con la copia de seguridad en cinta.
"Este trabajo definitivamente se hizo en vano porque se basó en datos recuperados poco confiables", recuerda Jacob. "Ahora no teníamos la más mínima confianza en ninguna de las soluciones: los datos recuperados eran malos, el trabajo realizado con ellos era malo, la eliminación resultó ser terrible y las copias de seguridad de las cintas estaban dañadas".
“No teníamos ninguna forma posible de seguir avanzando, y quizás aún peor. No entendimos completamente qué exactamente las copias de seguridad estaban dañadas. Si solo el 10 por ciento de la película no está en las cintas, entonces qué exactamente el 10 por ciento, no lo sabíamos ”.
“Organizamos una gran reunión en la sala de conferencias en Bagville (complejo corporativo de Pixar). Las personas más inteligentes del estudio dijeron: “No sabemos qué hacer. ¡Dios mío! "
Y luego Susman dijo: "Tengo un auto en casa".
Volvo por $ 100 millones
Susman, entonces el director general de Toy Story 2 (en la foto a continuación), poco antes de que dio a luz a su hijo Eli, ella trabajó desde su casa. Es decir, ella tenía una estación de trabajo de Silicon Graphics en casa. Era Indigo 2 u Octane, como se muestra a continuación, en el que se cargó una copia completa de la película.
Para poder trabajar fuera de la oficina, la máquina se conectó a la red local y se copió todo el árbol de archivos. Después de eso, recibió actualizaciones incrementales en la conexión a Internet ISDN. Para aquellos que no saben qué es: estos son dos módems de 56 Kbit / s conectados entre sí (bienvenidos a 1998).
La última actualización que se descargó en su máquina estuvo desactualizada durante un par de semanas, pero en esta etapa, cuando los empleados de Pixar solo tenían una copia de seguridad incompleta y un árbol de archivos dañado, necesitaba al menos algo para comenzar a resolver los problemas. La elección fue esta: ya sea recrear cada archivo perdido desde cero o lanzar la película a tiempo.
Entonces Jacob y Susman subieron a su Volvo y corrieron a través del puente desde Richmond a su casa para recoger la computadora. Lo cargaron en el auto y lo colocaron cuidadosamente en el asiento trasero, envolviéndolos en mantas y abrochándose los cinturones.
"No quedaba nada para nosotros", cuenta Jacob sobre la reunión descrita anteriormente. “Estábamos muertos. La reunión duró aproximadamente 45 minutos. Hubo 30 de los empleados más inteligentes de Pixar que pudieron ser atraídos para resolver el problema ".
Fue entonces cuando Susman recordó la computadora de su casa.
“Simplemente nos levantamos, salimos, subimos a su Volvo, cruzamos el puente, tomamos la computadora y algunas mantas, y la abroché con los cinturones de seguridad en el asiento trasero. Condujimos a aproximadamente 35 mph con faros intermitentes, esperando que la policía nos acompañara. Pero ni un solo coche de policía nos notó, y no nos ayudó ".
En ese momento, Volvo llevaba una computadora por valor de $ 100 millones, porque el proyecto que contenía el trabajo de todo el equipo estaba almacenado en sus discos duros.
Se las arreglaron para llegar con seguridad a Richmond. "Antes del estacionamiento, nos encontramos con ocho personas con una lámina de madera contrachapada y, como un faraón en una camilla, trajeron una computadora a la sala de máquinas".
Todos estaban preocupados cuando la computadora se encendió, porque fue en ese momento que los discos duros "murieron" con mayor frecuencia. Arrancó. Nadie comenzó a verificar nada, simplemente lo conectaron inmediatamente a la red e inmediatamente copiaron todo el disco, y luego comenzaron a desmontar lo que obtuvimos.
La copia de seguridad fue de aproximadamente dos semanas, pero lograron crear un árbol "B" y compararlo con la copia de seguridad "A" realizada hace un par de meses, y la tercera fuente "C", recopilada de todas las copias de seguridad locales creadas por animadores y modeladores en su terminales personales. Esta versión consistía en patéticos .old, .sav, .bak y cualquier otro archivo antiguo que se pudiera encontrar.
Fue posible confirmar la integridad de aproximadamente 70 mil archivos, y otros 30 mil tuvieron que verificarse manualmente. "Estamos compuestos por 10-12 personas, trabajamos sin parar de viernes a lunes, en turnos continuos, con comida y sacos de dormir", recuerda Jacob.
"Cuando la gente llegó el viernes, les dimos una copia impresa:" Aquí hay 500 puntos que deben verificarse en las próximas ocho horas. Comience con los comandos xdiff. Proceda "."
“Rápidamente, en solo un par de horas, los programadores escribieron scripts que recibieron una lista en la entrada y crearon ventanas XF, con 20 archivos de profundidad. Los cierras todos, desciendes otros 20 en profundidad. Los cierras todos, para que puedas moverte tan rápido ".
Había que mirar todas las ventanas con los ojos para ver cuáles eran más cortas que las más nuevas. Lo hicieron durante las próximas semanas. Más claramente, Jacob recuerda un sentimiento de empatía y apoyo. No solo los empleados tuvieron que sacrificar los fines de semana con su familia y trabajar los domingos, quedarse después del turno e incluso pasar la noche en el trabajo, sino también esa sensación de "irse con la cabeza" para resolver el problema.
“En ese momento, nos enterramos muy profundamente. Nos ayudaron personas del equipo de Toy Story, personas que trabajaron en Flick's Adventures y todo el estudio en su conjunto. Toda la comunidad nos apoyó con trabajo nocturno, escribiendo en teclados o enviándonos comida ”.
“Un día, una tienda local de sándwiches de Point Richmond nos preguntó:“ ¿Necesitas comida gratis hoy? Sabemos que ahora no estás durmiendo "".
El increíble enfoque necesario para comparar todos estos archivos mostró cuán profundo tuvieron que cavar los creadores del proyecto. Esto ya no era trabajo, sino que pasó al plano de la verdadera devoción a la película, a sus amigos digitales y entre ellos.
"El último fin de semana recordé las bandejas de galletas, limonada, pizza y flores que nos enviaron", recuerda Jacob. “Alguien contrató a un masajista el domingo. "Alguien más trabajó para una organización de asilo temporal y nos trajo mantas".
Luego reconstruyeron y probaron el proyecto, y pareció funcionar. Incluso hoy, Jacob no puede explicar que después de completar su trabajo en el árbol, faltaban más de unos pocos miles de archivos.
“No sabemos a dónde fueron estos archivos. Y de todos modos es completamente inexplicable cómo funcionó el proyecto sin ellos ".
Pero el proyecto funcionó, se renderizaron los marcos y Toy Story 2 volvió a la vida.
Caza de brujas
Una de las preguntas más interesantes para mí fue si era posible encontrar al culpable en todo esto y si fue castigado. Por lo general, cuando esto sucede, las personas tienden a encontrar a alguien responsable. El primer elemento en la agenda es "¿Quién tiene la culpa?" Pero no Pixar.
"No tratamos de ocultarlo", dice Jacob. “Después de 10 minutos, enviamos correos electrónicos a todos en el edificio. "Ayuda. ¡Maldita sea!
Además de la discusión que surgió de inmediato sobre quién podría haber cometido un acto tan estúpido, la discusión continuó de inmediato para encontrar una solución al problema.
“Dejemos de cazar brujas. Primero necesitamos restaurar la película. No busquemos toda la semana a alguien a quien matar. ¿Dónde está nuestra película?
“Obviamente, después de cinco minutos de la reunión, la situación se puso tensa. Alguien dijo: "Encontrémoslo y linchemos de inmediato", recuerda Jacob. “Apoyé la idea del linchamiento, pero lo principal era devolver la película y comenzar a trabajar en Baz y Woody nuevamente. Hemos perdido a nuestros amigos ".
Después de muchos años-hombre, o incluso decenas de años-hombre dedicados al proyecto, la tentación de encontrar al culpable, encontrar a la persona responsable del mismo, fue muy fuerte.
Pero esos pensamientos negativos no podrían ayudar a nadie, y simplemente se distrajeron de la tarea principal: avanzar.
Los administradores del sistema revisaron cuidadosamente los planes de respaldo y llegaron a una gran reunión de producción con un nuevo plan que se discutió
muy meticulosamente. Pero al final, no hubo despidos o escaramuzas.
Jacob no puede recordar qué administración estaba en servicio el día que se restauró la copia de seguridad, pero quienquiera que fuera, Steve Jobs, el fundador del estudio Ed Catmell y otra administración, apoyó firmemente el trabajo de restauración, no el vinilo empleados por error. Ese fin de semana compraron un equipo de pizza, le dieron todo lo que necesitaba y la apoyaron en general.
Durante una gran reunión sobre el problema de la copia de seguridad, Catmell, conocida por llevar un "estilo de vida increíblemente tranquilo y casi zen", simplemente le preguntó al equipo qué haría con este problema.
Jacob recuerda esta conversación:
"Ed, ahora estamos haciendo todo lo que podemos".
"Chicos, ¿manejarán el problema?"
"Sí, gracias, Ed".
En caso de tal desastre, la dificultad radica en el hecho de que los CTO y los empleados de Pixar deben confiar entre sí para resolver el problema, incluso si se cometieron varios errores y uno de ellos fue el culpable. "Si no puede quedarse quieto y participar en la reunión, entonces no debería estar en la reunión", dice Jacob. “Las circunstancias fueron extremadamente inusuales. Los "cisnes negros" a veces suceden ".
En lugar de buscar al culpable o llorar la pérdida de tiempo y esfuerzo, el equipo comenzó a cambiar la estrategia de respaldo para que esto no volviera a suceder, y comenzó a recuperar el tiempo perdido.
Toy Story 2 vuelve a la basura
Después de la eliminación y restauración de Toy Story 2, el equipo esperaba un lanzamiento despejado del producto, pero esto no estaba destinado a suceder.
El día de Navidad de 1998, después del lanzamiento de Adventures of Flick y el final de la gira promocional, John Lasseter, Andrew Stanton, Pete Docter y el legendario guionista Joe Raft decidieron evaluar Toy Story 2.
La pelicula fue mala. Dedicaron las vacaciones de invierno a casi reescribir el proyecto desde cero. La producción se detuvo el 15 de diciembre y se reanudó después del Año Nuevo, en enero, cuando un equipo de guionistas reiteró la idea de la película.
Finalmente, Lasseter y Lee Ancrich se convirtieron en directores de la película con Ash Brannon.
¿Qué queda de la versión anterior? Por supuesto, los personajes principales: Buzz, Woody, Hamm, Mr. Potato head, Rex. La habitación de Andy permaneció. Hubo una escena con Al's Toy Barn. Casi todo lo demás en la película era nuevo.
Jacob cuenta lo que se agregó, incluido un nuevo personaje: el perro Buster con su animación:
De hecho, tiramos toda la animación. Tiró todo el guión gráfico. Por lo tanto, tuve que comenzar a trabajar con la cámara desde el principio. Quedaba una pequeña parte de la iluminación, pero también fue expulsado. Necesitábamos crear nuevos personajes.
En esta etapa, apareció Buster. Y desde el momento de su aparición hasta el lanzamiento de la película, han pasado nueve meses.
Era un modelo de cuatro patas, totalmente animado ... sobre la marcha. Como la mayoría de las personas en la película. Todos los extras en el aeropuerto al final "
Y luego los recogimos. Luego se agregaron todos los efectos. La primera escena en la que Buzz juega con robots, donde explota un cuarto de millón de robots con un cristal. Todo esto se agregó en la segunda versión. En enero, comenzamos desde cero.
De hecho, toda la trama. Y la película en sí. Esto resultó ser una de las pruebas más serias de la cultura de Pixar y la propia empresa.
¿Qué fue lo más serio de rehacer la película? Tenía una fecha de lanzamiento muy ajustada: 22 de noviembre de 1999. Esta fecha no se pudo cambiar. Una película de alto presupuesto como Toy Story 2 tiene muchas conexiones de marketing, campañas publicitarias, y todo esto debería sincronizarse idealmente con el lanzamiento de la película.Mover la fecha de lanzamiento de una película para el año es increíblemente difícil. Es imposible moverlo en seis meses. Esto significaba que el equipo tendría que rehacer Toy Story 2 en 9 meses. Y todo porque buscaban hacer un producto de la más alta calidad.Los ejecutivos de Disney no creían que pudieran manejarlo, pero tuvieron éxito.“El período de enero a septiembre de 1999 estuvo ocupado por un inimaginable intento de Hércules de crear una película nuevamente. Esta fue una de las piedras fundacionales en los cimientos de la cultura corporativa de Pixar. Y solo gracias a él lo logramos ".Cientos de semanas de trabajo ya son lo suficientemente difíciles para la salud mental y física. Pero cuando duran 9 meses seguidos, ya se convierte en algo más que un deber oficial.En ese momento, Pixar era una sociedad anónima independiente. El fracaso de una película como Toy Story 2, la incapacidad de lanzarla a tiempo reduciría la confianza en el estudio y arruinaría la economía de la financiación de películas de Disney.“Necesitamos salvar a Buzz y Woody. Salva la franquicia. Guarda la película. Salva la empresa. Todo estaba en juego.Toy Story 2 se completó y lanzó a tiempo. En todo el mundo, ganó $ 500 millones, fue nominada para un Premio de la Academia y reafirmó la reputación de Pixar como un estudio sin compromisos.Lecciones aprendidas
En conclusión, Jacob me dijo que lo más importante que aprendió de esta situación fue el compañero de equipo de Pixar.“Antes, nunca lo había sentido a tal nivel, porque era una pérdida tan grande que ni siquiera requería reuniones para explicarlo. La gente simplemente lo sabía. No solo la empresa lo sabía, sino también familiares, amigos y personas de Point Richmond. Quizás fue precisamente por esto que el resultado del trabajo resultó ser así. No se trata de tecnología, sino de sentimientos ".A partir de esta situación, me di cuenta de que la espontaneidad del apoyo público habla del nivel general de la cultura Pixar. Cosas así simplemente no suceden. Es imposible estrellarse y desarrollar instantáneamente un sentido de comunidad y camaradería.Jacob está de acuerdo conmigo, recordando sus sentimientos durante la restauración de la película: “Es imposible trabajar durante 60 horas sin perder la concentración. Pero de repente, la comida aparece de algún lado. Alguien trae una manta, alguien te hace ir a la ducha y luego volver al trabajo. Y te preguntas: "¿Cómo sucedió esto?" "" Todo simplemente funcionó, y no había necesidad de pensarlo. Inolvidable después de tal experiencia fue la amistad que apareció gracias a él. Este camino conjunto ha unido a nuestra comunidad ".“Nunca olvidaré que me convertí en parte de Toy Story 2. Tengo mucha suerte ", dice Jacob. “Por casualidad trabajé a ese nivel de liderazgo que nos permitió preservar a Woody y Buzz, Toy Story y la franquicia misma. Estamos hablando de todo esto hoy ".