"Então percebemos isso pela primeira vez, usando o Woody como exemplo."
“Larry Cutler entrou no catálogo e estava falando sobre instalar uma correção para Woody ou seu chapéu. Ele olhou para o diretório e havia cerca de 40 arquivos, depois olhou novamente e restavam apenas quatro. "
“Então vimos que a sequência de quadros começou a desaparecer e pensamos:“ Oh meu Deus! ”
"Peguei o telefone ..." desligue o carro! ""
Então Oren Jacob, ex-diretor técnico da Pixar, que trabalhava como assistente do diretor técnico de Toy Story 2, lembra o momento em que descobriram que o filme foi excluído dos servidores da empresa depois de executar um comando errôneo, destruindo dois meses e centenas de horas de trabalho.
Esta história ficou famosa após a publicação de um clipe de uma versão estendida do filme
Tested . O clipe foi dublado pelo próprio Jacob e pelo diretor técnico chefe, Galin Susman.
Essa história me pareceu interessante, então entrei em contato com Jacob, que agora trabalha como
CEO da ToyTalk . Eu queria ouvir a história diretamente do participante, entender se a situação era realmente tão dramática, descobrir como os funcionários lidavam com ela e se, no final, descobriu quem apagou os arquivos. Jacob lembra bem os detalhes dessa situação.
Uma grande parte do Toy Story 2 foi realmente removida e restaurada apenas graças a uma feliz coincidência e ao trabalho duro dos funcionários da Pixar.
Mas o que permanece desconhecido é que, de fato, o filme inteiro é novamente completamente destruído, não apenas pelos computadores, mas pelos próprios criadores. Após o que foi completamente refeito em questão de meses, quando a data de lançamento já foi anunciada.
A história que Jacob me contou contém lições interessantes para pessoas que trabalham com grandes volumes de dados técnicos. Além disso, ela nos conta muito sobre como a excelente qualidade dos filmes da Pixar está relacionada com as pessoas que trabalham na empresa que se esforçam para fazer tudo perfeitamente.
/ bin / rm -r -f *
A história provavelmente começou em 1998, embora Jacob admita que não se lembra da data exata. A equipe de criadores de Toy Story 2, cerca de 150 pessoas dos departamentos de animação, iluminação e modelagem da Pixar, vem trabalhando duro no filme há algum tempo. Ao mesmo tempo, outras 200 a 250 pessoas concluíram o trabalho em "As aventuras do filme" (Vida de inseto), que deveria ser lançado no outono daquele ano.
Um dia, Jacob (foto abaixo) estava no escritório com Larry Cutler e Larry Opperle, que também era diretor técnico assistente e trabalhou sob a direção de Susman. Por uma feliz coincidência, eles examinaram o catálogo onde estavam armazenados os recursos do personagem de Woody. Depois de atualizar o catálogo, eles perceberam que há cada vez menos arquivos.
"O computador deu um erro, não me lembro exatamente qual. Algo como "O diretório já é inválido" porque Larry estava em um local que já havia sido excluído. Subimos a hierarquia, retornamos e vimos Hamm, o Sr. Chefe de Batata e Rex. Um pouco mais tarde, examinamos o catálogo novamente, e apenas Hamm permaneceu lá e ele desapareceu.
Provavelmente, o comando
rm -r -f * foi iniciado, o que, grosso modo, diz ao sistema para começar a excluir cada arquivo abaixo do diretório atual. É frequentemente usado para remover um subconjunto de arquivos indesejados. Infelizmente, alguém no sistema lançou um comando no nível raiz do projeto Toy Story 2, e o sistema começou a monitorar recursivamente a estrutura do arquivo e excluí-la, como um verme roendo seu caminho para fora do centro de uma maçã.
Foi então que uma chamada de pânico foi feita para a sala de máquinas, onde estava localizado o servidor principal, e foi dada uma ordem para desligar a energia e a conexão de rede do servidor. Isso não é tão fácil de fazer em ambientes onde centenas de clientes estão conectados à máquina, como se você precisasse pressionar o interruptor principal para desligar tudo.
"O servidor principal foi desligado", diz Jacob. “Alguns funcionários animaram os quadros, e isso pode levar de um a cinco minutos. Mas então, quando por algum motivo eles precisavam baixar arquivos do servidor principal, seus computadores congelavam. ”
“No final, todos os animadores e diretores técnicos, todos que trabalharam no filme disseram:“ Bem, todos os computadores foram desligados. Vamos jantar, ha ha. ""
Algumas horas depois, o servidor foi ligado e a avaliação de danos começou. A equipe para determinar o tamanho do catálogo Toy Story 2 mostrou que apenas 10% do seu volume original foi preservado.
Uma equipe aleatória removeu 90% do desenho animado.
"O filme foi destruído"
Quando essa história se tornou conhecida, a questão principal era "como isso aconteceu?"
Eu também fiz essa pergunta a Jacob. Descobriu-se que o motivo era como as empresas da Pixar trabalham em projetos.
“Havia 400 pessoas em nossa rede, e todas elas tinham acesso em larga escala aos recursos de todo o projeto, por isso era difícil limitar o grau de dano”, diz Jacob. "Isso poderia ser feito a partir de qualquer terminal."
“A Pixar é um ambiente Unix amplamente aberto, ou seja, permite bastante. Você pode ir de catálogo em catálogo, navegar na Internet e, se desejar, inserir as máquinas de Ed Catell ou Steve Jobs. Não que Steve tenha trabalhado diretamente no projeto, mas foi possível fazê-lo. "
A maneira padrão de se proteger contra esses comandos é restringir o acesso do usuário apenas aos arquivos que eles precisam. Porém, devido à maneira como o projeto de filme da Pixar foi realizado, quase todo mundo precisava de acesso de leitura e gravação ao servidor principal. Esse era o trabalho deles.
A nomeação de tolerâncias usando microgerenciamento consumiria todos os recursos administrativos, especialmente durante flexões.
Plano de contingência
Portanto, neste ponto, a maior parte do filme foi excluída ou danificada. Mas isso não foi um grande problema. Os arquivos foram excluídos antes, isso acontece de tempos em tempos. Durante a criação de Adventures of Flick, a maioria das formigas foi excluída e teve que ser restaurada, porque, é claro, a Pixar fez backup dos dados.
Em 1998, a maneira mais comum de fazer backup de uma grande quantidade de informações era a fita; isso é exatamente o que a Pixar usou. Infelizmente, esses backups não foram verificados regularmente, como é recomendado e como ocorre atualmente na empresa.
Geralmente, para garantir a qualidade do backup, você deve usá-lo. A cada poucos dias ou semanas, os dados atuais são substituídos por backups e o trabalho continua para garantir que todos os dados estejam no local. Essa prática é chamada de backup ao vivo.
Naquela época, a Pixar não testava seus backups regularmente. E foi por isso que os problemas começaram: os backups foram armazenados na unidade de fita e, quando os tamanhos de arquivo excederam 4 gigabytes, eles atingiram um limite no tamanho máximo possível. O log de erros, que poderia informar os administradores do sistema sobre um disco completo, também estava localizado em um volume completo e tinha um tamanho de 0 bytes.
Isso significava que novos dados continuavam sendo gravados na unidade, mas "enviavam" arquivos antigos a partir dela. Mas ninguém na Pixar sabia disso ainda.
Vale ressaltar que o filme inteiro não ocupava mais que 10 gigabytes de informação. Isso pode parecer insano comparado ao tamanho da textura dos filmes modernos, mas você deve se lembrar que a fita de backup tinha um limite de tamanho de arquivo de 4 GB e, por muitos meses de trabalho no projeto, isso não foi um problema. A quantidade total de dados para o desenho poderia caber em um par de DVDs de duas camadas.
Então, os funcionários fizeram backups, começaram a trabalhar e restauraram o filme. Por alguns dias, eles acharam que tinham uma versão totalmente restaurada dos arquivos TS2.
Para testá-los, eles lançaram uma renderização de aproximadamente 2.000 quadros, um de cada "cena" do filme (um fragmento entre transições). Na verdade, eles precisam de todos os recursos que participaram do filme, porque todos os modelos, iluminação e texturas são necessários para renderizar esses quadros individuais.
Tudo parecia bom. "Perdemos uma semana de trabalho", diz Jacob. "Ou seja, as últimas 10 cenas da semana passada, mas tudo o resto foi normal."
Avanço rápido até o final desta semana. A equipe voltou ao trabalho e por várias semanas usou esses arquivos recuperados. Mas, ao longo da semana, houve pequenas esquisitices. Surgiram erros misteriosos com "ligações".
"Snap" é quando um personagem, como Woody, tira o chapéu. O chapéu vira de parte da cabeça para parte da mão. Esse é um procedimento muito delicado e "frágil".
“Começamos a comparar fotos e percebemos que o filme está incompleto. Não sei explicar como conseguimos trabalhar esta semana e obter tais renderizações. "
No final da semana, erros suficientes foram revelados para que a equipe percebesse que havia um problema. Além dos erros de "ligação", algumas pessoas que trabalharam com uma versão de sua cena perceberam que a versão atual era muito menor do que antes. Suponha que, antes de excluir os arquivos, eles funcionassem com o número 420, e agora a cena tivesse a versão 20. Algo estava dando errado.
Foi então, depois de uma semana inteira de trabalho, que houve um problema com o backup em fita.
“Esse trabalho foi definitivamente realizado em vão, porque foi baseado em dados recuperados não confiáveis”, lembra Jacob. "Agora não tínhamos a menor confiança em nenhuma das soluções: os dados recuperados eram ruins, o trabalho feito com eles era ruim, a exclusão acabou sendo terrível e os backups nas fitas foram danificados".
“Não tínhamos meios possíveis para mais movimentos, e talvez até pior. Não entendemos completamente o que exatamente as cópias de backup estavam corrompidas. Se apenas 10% do filme não está nas fitas, então exatamente 10%, não sabíamos. ”
“Reunimos uma grande reunião na sala de conferências em Bagville (complexo corporativo da Pixar). As pessoas mais inteligentes do estúdio disseram: “Nós não sabemos o que fazer. Oh meu Deus! ""
E então Susman disse: "Eu tenho um carro em casa".
Volvo por US $ 100 milhões
Susman, então diretora administrativa de Toy Story 2 (foto abaixo), pouco antes disso deu à luz seu filho Eli, então ela trabalhou em casa. Ou seja, ela tinha uma estação de trabalho Silicon Graphics em casa. Era Indigo 2 ou Octane, mostrado abaixo, no qual uma cópia completa do filme foi carregada.
Para que ela pudesse trabalhar fora do escritório, a máquina estava conectada à rede local e toda a árvore de arquivos era copiada nela. Depois disso, ela recebeu atualizações incrementais na conexão à Internet ISDN. Para quem não sabe o que é: estes são dois modems de 56 Kbit / s conectados (bem-vindo a 1998).
A última atualização baixada em sua máquina ficou desatualizada por algumas semanas, mas, nesta fase, quando os funcionários da Pixar tinham apenas um backup incompleto e uma árvore de arquivos danificada, era necessário pelo menos algo para começar a resolver problemas. A escolha foi a seguinte: recrie todos os arquivos perdidos do zero ou libere o filme a tempo.
Então Jacob e Susman entraram no Volvo e atravessaram a ponte correndo de Richmond até sua casa para pegar o computador. Eles o colocaram no carro e o colocaram no banco de trás, embrulhando-os em cobertores e prendendo com segurança os cintos.
"Não havia mais nada para nós", conta Jacob sobre a reunião descrita acima. “Nós estávamos mortos. A reunião durou cerca de 45 minutos e havia 30 dos funcionários mais inteligentes da Pixar que poderiam ser atraídos para resolver o problema. ”
Foi então que Susman se lembrou do seu computador em casa.
“Acabamos de levantar, saímos, subimos em seu Volvo, cruzamos a ponte, pegamos o computador e alguns cobertores, e eu o prendi com os cintos de segurança no banco traseiro. Dirigimos a cerca de 50 km / h com faróis piscantes, esperando que a polícia nos acompanhasse. Mas nenhum carro da polícia nos notou, e isso não nos ajudou. ”
Naquele momento, a Volvo carregava um computador no valor de US $ 100 milhões, porque o projeto que continha o trabalho de toda a equipe estava armazenado em seus discos rígidos.
Eles conseguiram chegar a Richmond com segurança. "Antes do estacionamento, fomos recebidos por oito pessoas com uma folha de madeira compensada e, como um faraó em uma maca, trouxeram um computador para a sala de máquinas".
Todos ficaram preocupados quando o computador foi ligado, porque era naquele momento que os discos rígidos "morriam" com mais frequência. Inicializou. Ninguém começou a verificar nada, eles simplesmente o conectaram imediatamente à rede e imediatamente copiaram o disco inteiro, e então começaram a desmontar o que obtivemos.
O backup durou cerca de duas semanas, mas eles conseguiram criar uma árvore "B" e compará-la com o backup "A" realizado há alguns meses e a terceira fonte "C", coletada de todos os backups locais criados por animadores e modeladores em seus sites. terminais pessoais. Esta versão consistia em patético .old, .sav, .bak e quaisquer outros arquivos antigos que pudessem ser encontrados.
Foi possível confirmar a integridade de aproximadamente 70 mil arquivos e outros 30 mil tiveram que ser verificados manualmente. “Somos compostos por 10 a 12 pessoas, trabalhamos sem parar de sexta a segunda-feira, em turnos contínuos, com comida e sacos de dormir”, lembra Jacob.
“Quando as pessoas chegaram na sexta-feira, imprimimos a elas:“ Aqui estão 500 pontos que precisam ser verificados nas próximas oito horas. Comece com os comandos xdiff. Prossiga com "."
“Rapidamente, em apenas algumas horas, os programadores escreveram scripts que receberam uma lista na entrada e criaram janelas XF, com 20 arquivos de profundidade. Você fecha todos eles, desce mais 20 em profundidade. Você fecha todos eles, para poder se mover tão rápido.
Todas as janelas tinham que ser examinadas com os olhos para ver quais eram mais baixas que as mais novas. Eles fizeram isso pelas próximas semanas. Mais claramente, Jacob lembra de um sentimento de empatia e apoio. Não apenas os funcionários tiveram que sacrificar os fins de semana com a família e trabalhar aos domingos, ficando depois do turno e até passando a noite no trabalho, mas também a sensação de "sair com a cabeça" para resolver o problema.
“Naquela época, enterramos muito profundamente. Fomos ajudados por pessoas da equipe Toy Story, pessoas que trabalharam em Flick's Adventures e por todo o estúdio como um todo. Toda a comunidade nos apoiou no trabalho noturno, digitando nos teclados ou nos enviando comida. ”
“Um dia, uma lanchonete local em Point Richmond nos perguntou:“ Você precisa de comida de graça hoje? Sabemos que agora você não está dormindo "".
O foco incrível necessário para comparar todos esses arquivos mostrou o quão profundo os criadores do projeto precisavam cavar. Isso não era mais um trabalho, mas passou para o plano da verdadeira devoção ao filme, aos seus amigos digitais e uns aos outros.
“No último final de semana, lembrei das bandejas de biscoitos, limonada, pizza e flores que foram enviadas para nós”, lembra Jacob. “Alguém contratou uma massoterapeuta no domingo. "Outra pessoa trabalhou para uma organização temporária de asilo e nos trouxe cobertores".
Em seguida, eles reconstruíram e testaram o projeto, e ele pareceu funcionar. Ainda hoje, Jacob não pode explicar que, depois de concluir o trabalho na árvore, mais de alguns milhares de arquivos estavam ausentes.
“Não sabemos para onde foram esses arquivos. E é completamente inexplicável como o projeto funcionou sem eles. ”
Mas o projeto funcionou, os quadros foram renderizados e Toy Story 2 ganhou vida novamente.
Caça às bruxas
Uma das perguntas mais interessantes para mim foi se era possível encontrar o culpado de tudo isso e se ele foi punido. Normalmente, quando isso acontece, as pessoas tendem a encontrar alguém responsável. O primeiro item da agenda é “Quem é o culpado?” Mas não a Pixar.
"Nós não tentamos esconder isso", diz Jacob. “Após 10 minutos, enviamos e-mails para todos no prédio. Ajuda. Droga! ""
Além da discussão que surgiu imediatamente sobre quem poderia ter cometido um ato tão estúpido, a discussão prosseguiu imediatamente para encontrar uma solução para o problema.
“Vamos adiar a caça às bruxas. Primeiro, precisamos restaurar o filme. Não vamos procurar a semana toda por alguém para matar. Onde está o nosso filme?
“Obviamente, após cinco minutos da reunião, a situação ficou tensa. Alguém disse: “Vamos encontrá-lo e linchar imediatamente” ”, lembra Jacob. “Apoiei a idéia do linchamento, mas o principal era devolver o filme e começar a trabalhar em Baz e Woody novamente. Perdemos nossos amigos.
Depois de muitos anos-homem, ou mesmo dezenas de anos-homem gastos no projeto, a tentação de encontrar o culpado, de encontrar a pessoa responsável por ele, era muito forte.
Mas esses pensamentos negativos não poderiam ajudar ninguém, e simplesmente se distraíam da tarefa principal: seguir em frente.
Os administradores de sistema revisaram cuidadosamente os planos de backup e chegaram a uma grande reunião de produção com um novo plano que foi discutido com
muita meticulosidade. Mas no final, não houve demissões ou escaramuças.
Jacob não consegue se lembrar de qual gerenciamento estava em serviço no dia em que o backup foi restaurado, mas quem quer que fosse, Steve Jobs, o fundador do estúdio Ed Catmell e outros gerentes, apoiaram fortemente o trabalho de restauração, não o vinil funcionários em erro. Naquele fim de semana, eles compraram uma equipe de pizza, deram a ela tudo o que precisava e a apoiaram em geral.
Durante uma grande reunião sobre o problema de backup, Catmell, conhecida por liderar um "estilo de vida incrivelmente calmo e quase zen", simplesmente perguntou à equipe o que ela faria com esse problema.
Jacob lembra dessa conversa:
"Ed, agora estamos fazendo tudo o que podemos."
"Gente, você vai lidar com o problema?"
"Sim, obrigada, Ed."
No caso de uma catástrofe desse tipo, a dificuldade reside no fato de que os CTOs e funcionários da Pixar devem confiar um no outro para resolver o problema, mesmo que vários erros tenham sido cometidos e um deles seja o culpado. “Se você não pode ficar parado e participar da reunião, não deve estar na reunião”, diz Jacob. “As circunstâncias foram extremamente incomuns. "Cisnes negros" às vezes acontecem. "
Em vez de procurar o culpado ou o luto pela perda de tempo e esforço, a equipe começou a mudar a estratégia de backup para que isso não acontecesse novamente e começou a compensar o tempo perdido.
Toy Story 2 vai para o lixo novamente
Após a remoção e restauração de Toy Story 2, a equipe esperava um lançamento sem nuvens do produto, mas isso não estava destinado a acontecer.
No dia de Natal de 1998, após o lançamento de Adventures of Flick e o final da turnê promocional, John Lasseter, Andrew Stanton, Pete Docter e o lendário roteirista Joe Raft decidiram avaliar Toy Story 2.
O filme foi ruim. Eles dedicaram as férias de inverno a quase reescrever o projeto do zero. A produção foi interrompida em 15 de dezembro e retomada após o Ano Novo, em janeiro, quando uma equipe de roteiristas reiterou a ideia do filme.
Por fim, Lasseter e Lee Ancrich tornaram-se diretores do filme com Ash Brannon.
O que resta da versão anterior? Claro, os personagens principais: Buzz, Woody, Hamm, Sr. Cabeça de Batata, Rex. O quarto de Andy ficou. Houve uma cena no Al's Toy Barn. Quase todo o resto do filme era novo.
Jacob conta o que foi adicionado, incluindo um novo personagem - o cachorro Buster com sua animação:
De fato, jogamos fora toda a animação. Jogou fora todo o storyboard. Portanto, tive que começar a trabalhar com a câmera desde o início. Uma pequena parte da iluminação permaneceu, mas ele também foi jogado fora. Precisávamos criar novos personagens.
Nesta fase, Buster apareceu. E desde o momento de sua aparição até o lançamento do filme, nove meses se passaram.
Era um modelo de quatro patas, totalmente animado ... em movimento. Como a maioria das pessoas no filme. Todos os extras no aeroporto no final "
E então nós os colecionamos. Então todos os efeitos foram adicionados. A primeira cena em que Buzz brinca com robôs, onde ele explode um quarto de milhão de robôs com um cristal. Tudo isso foi adicionado na segunda versão. Em janeiro, começamos do zero.
De fato, todo o enredo. E o próprio filme. Este acabou por ser um dos testes mais sérios da cultura da Pixar e da própria empresa.
Qual foi a coisa mais séria em refazer o filme? Ele tinha uma data de lançamento bem definida - 22 de novembro de 1999. Esta data não pôde ser alterada. Um filme de alto orçamento, como Toy Story 2, tem muitas conexões de marketing, campanhas publicitárias, e tudo isso deve ser sincronizado idealmente com o lançamento do filme.Mudar a data de lançamento de um filme por um ano é incrivelmente difícil. É impossível movê-lo em seis meses. Isso significava que a equipe teria que refazer o Toy Story 2 em 9 meses. E tudo porque eles procuravam produzir produtos da mais alta qualidade.Os executivos da Disney não acreditavam que poderiam lidar com isso, mas conseguiram.“O período de janeiro a setembro de 1999 foi ocupado por uma inimaginável tentativa de Hércules de criar um filme novamente. Essa foi uma das pedras fundamentais da fundação da cultura corporativa da Pixar. E só graças a ele conseguimos.As semanas de trabalho de cem horas já são difíceis o suficiente para a saúde mental e física. Mas quando duram 9 meses seguidos, isso já se torna mais do que dever oficial.Naquela época, a Pixar era uma empresa de ações independente. O fracasso de um filme como Toy Story 2, o não lançamento no prazo reduziria a confiança no estúdio e arruinaria a economia do financiamento de filmes da Disney.“Precisamos salvar Buzz e Woody. Salve a franquia. Salve o filme. Salve a empresa. Tudo estava em jogo.Toy Story 2 foi concluído e lançado a tempo. No mundo todo, ela faturou US $ 500 milhões, foi indicada ao Oscar e reafirmou a reputação da Pixar como um estúdio não comprometedor.Lições aprendidas
Concluindo, Jacob me disse que a coisa mais importante que aprendeu com essa situação foi o companheiro de equipe da Pixar.“Antes, eu nunca sentia isso em tal nível, porque era uma perda que nem exigia reuniões para explicá-lo. As pessoas simplesmente sabiam disso. Não só a empresa sabia, mas até parentes, amigos e pessoas de Point Richmond. Talvez tenha sido justamente por isso que o resultado do trabalho acabou sendo assim. Não é sobre tecnologia, mas sobre sentimentos. ”A partir dessa situação, percebi que a espontaneidade do apoio público fala do nível geral da cultura Pixar. Coisas assim simplesmente não acontecem. É impossível cair e desenvolver instantaneamente um senso de comunidade e camaradagem.Jacob concorda comigo, recordando seus sentimentos durante a restauração do filme: “É impossível trabalhar por 60 horas sem perder a concentração. Mas de repente, a comida aparece de algum lugar. Alguém traz um cobertor, alguém faz você ir ao chuveiro e depois voltar ao trabalho. E você se pergunta: “Como isso aconteceu?” ”“ Tudo funcionou e não havia necessidade de pensar nisso. Inesquecível após essa experiência foi a amizade que apareceu graças a ele. Esse caminho conjunto uniu nossa comunidade. ”“Nunca esquecerei que me tornei parte de Toy Story 2. Eu tenho muita sorte ", diz Jacob. “Eu trabalhei naquele nível de liderança que nos permitiu preservar Woody e Buzz, Toy Story e a própria franquia. Estamos falando sobre tudo isso hoje. ”