👒 👎🏾 🙆🏾 Programa educacional para trabalhar com cartões perfurados (ou a história de como o “big data” foi processado de 1890 a 1970) 🍥 🧢 🧒🏿

No período de 1890-1970, todo o processamento de big data foi realizado por meio de cartões perfurados. Os cartões perfurados, por sua vez, foram processados usando o chamado “Equipamento de gravação”, cujo elo central era o “classificador de cartões perfurados” eletromecânico. Cartões perfurados e equipamentos relacionados foram usados para resolver uma ampla variedade de tarefas: censo, contabilidade, estoque, folha de pagamento etc.

Como as pessoas trabalhavam com cartões perfurados? Qual algoritmo o classificador eletromecânico de cartões perfurados seguiu? Como foi realizada a classificação por campos de dados numéricos? E na corda? Sobre tudo isso - abaixo.

Uma característica marcante do equipamento de gravação dos tempos pré-computador: era originalmente completamente eletromecânico. Ainda não havia eletrônicos para lâmpadas. A "inteligência" do equipamento de gravação foi construída com escovas de arame (para reconhecer furos em cartões perfurados), um relé eletromecânico e rodas mecânicas (para somar os valores). Apesar de sua primitividade tecnológica, o “equipamento de gravação” revolucionou o processamento de big data.

Como as pessoas trabalhavam com cartões perfurados?

Cada cartão perfurado armazenava um registro de dados (até 80 dígitos ou caracteres). Cada registro de dados consistia em vários campos. O classificador de cartões perfurados organizou os cartões na ordem necessária para o operador (de acordo com um dos campos de dados), após o qual a máquina, chamada de "tabulador", leu os cartões perfurados classificados, extraiu os campos necessários deles (novamente, especificados pelo operador) e imprimiu o relatório.
Como exemplo, considere como cartões perfurados foram usados para processar faturas. As empresas tinham um cartão perfurado separado para cada fatura emitida para pagamento (veja o exemplo na figura abaixo). Campos de dados como número do fornecedor, data do pagamento, valor do pagamento etc. foram indicados no cartão perfurado.
O processo de negócios de processamento automatizado de dados correspondente é o seguinte. O classificador de cartões perfurados é instruído a classificar os cartões perfurados pelo número do fornecedor. Após a classificação, os cartões perfurados são passados para o tabulador, que gera um relatório lendo a linha desejada de cada cartão perfurado. Um contador mecânico incorporado no tabulador derruba automaticamente o valor total.
Muitos outros processos de negócios, como folha de pagamento, estoque e cobrança, foram realizados em tempos pré-computador de maneira semelhante.

O princípio de operação do classificador eletromecânico de cartões perfurados

O classificador pega uma pilha de cartões perfurados e os classifica de acordo com o campo de dados especificado pelo operador. Por exemplo, pela afiliação de funcionários a um departamento específico. Porque Como opção, para que, depois de agrupar funcionários por departamentos, gere um relatório sobre a implementação do plano de vendas por cada um dos departamentos da empresa.
Para resolver esse problema, os cartões perfurados são classificados primeiro com base no campo "departamento" e depois transferidos para o tabulador, que resume o campo "vendas", imprimindo os resultados intermediários de cada departamento no relatório.
O operador coloca o pacote de cartões perfurados que precisam ser classificados em uma bandeja especial, a partir da qual eles são direcionados um a um pelo classificador. O classificador lê os cartões perfurados e os distribui em 13 bolsos: dez digitais, dois de “zona” (para processar valores de sequência); e um para cartões perfurados descartados (que não especificam um valor pelo qual a classificação foi realizada).
O algoritmo usado pelo classificador de cartões perfurados é muito diferente dos algoritmos geralmente aceitos atualmente. A principal diferença é que os cartões perfurados não se comparam.

Algoritmo de classificação bit a bit

Como, então, um classificador de cartões perfurados consegue fazer seu trabalho? Ele implementa um elegante algoritmo de “classificação bit a bit”. A linha inferior: o classificador de cartões perfurados processa um dígito do campo de dados por vez; para classificar por um campo de três dígitos, um pacote de cartões perfurados deve ser passado pelo classificador três vezes. Então o algoritmo:

Classificando cartões perfurados de acordo com um campo de dados numérico especificado pelo operador, o classificador, durante a primeira execução, processa apenas o bit menos significativo desse campo. E de acordo com o valor dessa categoria, ele decide onde deixar cair o cartão perfurado atual: qual dos 10 bolsos digitais (de zero a nono).
Depois que o classificador termina de distribuir os cartões perfurados nos bolsos, o operador os retira e os coloca em um pacote comum. Em ordem: começando do zero e terminando no nono.
O operador coloca o pacote montado de cartões perfurados no classificador e repete as etapas 1 e 2 sequencialmente para cada categoria.
Tudo, agora os cartões perfurados estão classificados.

Vantagens do algoritmo de classificação bit a bit

O algoritmo de classificação bit a bit é elegante e rápido. Sua complexidade computacional é O (n log n). Em outras palavras, com um aumento no número de cartões, a duração do algoritmo aumenta linearmente e não exponencialmente.
O algoritmo de classificação bit a bit pode ser tecnicamente implementado como um projeto eletromecânico simples.
Apesar de não serem colocadas mais de 3600 cartões na bandeja de entrada de um classificador de cartões perfurados, ele pode classificar um número muito maior de cartões perfurados se o operador executar as duas ações a seguir em tempo hábil: (1) carregar novos pacotes de cartões perfurados em uma bandeja em tempo hábil; (2) esvazie os bolsos digitais em tempo hábil (para que não transbordem).

Como os dados da string são codificados

Como observado acima, os valores numéricos são codificados no cartão perfurado com orifícios. Um buraco na coluna. Já classificamos sua classificação. Agora resta entender como as strings são codificadas no cartão perfurado e como o classificador as organiza.
Para trabalhar com seqüências de caracteres no classificador de cartões perfurados, existem dois bolsos "zonais" (11 e 12), além de 10 digitais. O princípio da codificação de caracteres alfabéticos é o seguinte (veja a figura abaixo). Cada letra é codificada com dois orifícios no cartão perfurado: um orifício no número (de 1 a 9) e um orifício na "zona" (0, 11 ou 12).
Observe: uma string com zeros é digitalizada ao processar campos de dados numéricos e “zonal” ao processar campos de dados de string.

Algoritmo de classificação de cadeia de caracteres

Graças a essa codificação, o classificador pode classificar os campos de dados da sequência em ordem alfabética. Para fazer isso, ele precisa de duas corridas. O algoritmo é o seguinte:

Na primeira execução, o classificador de cartões perfurados organiza os cartões da mesma maneira que ao classificar campos de dados numéricos. A diferença é que, com a classificação alfabética, apenas nove bolsos estão envolvidos: do 1º ao 9º.
Após a classificação, o operador remove os cartões perfurados dos bolsos digitais. Novamente, em ordem (como no caso de pedido por um campo de dados numérico): começando do primeiro bolso e terminando no nono. O operador envia o baralho coletado para classificação pela segunda vez.
Na segunda execução, o classificador de cartões perfurados lê apenas as linhas das “zonas” (0, 11 e 12) e ignora as linhas com números.
Como resultado, os cartões perfurados ordenados são distribuídos pelo classificador em três bolsos “zonais”: de A a I são colocados no 12º bolso; de J a R - no dia 11; de S a Z - no 0º.
Se você precisar classificar não por um primeiro caractere, mas por dois ou três primeiros caracteres, por exemplo, o processo descrito acima (etapas de um a quatro) será executado seqüencialmente para cada caractere. I.e. para cada símbolo, são executadas duas execuções no classificador de cartões perfurados.

Portanto, quando ainda não havia computadores, as empresas processavam big data usando cartões perfurados. Apesar de os cartões perfurados estarem irrevogavelmente desatualizados, ainda encontramos a influência deles sobre o estado atual da tecnologia de computadores - sempre que precisamos tolerar a formatação de texto com linhas de 80 caracteres. Algo semelhante é observado, por exemplo, ao trabalhar com o Far Manager.