E-books e seus formatos: DjVu - sua história, prós, contras e recursos

No início dos anos 70, o escritor americano Michael Hart (Michael Hart) conseguiu acesso ilimitado a um computador Xerox Sigma 5, instalado na Universidade de Illinois. Para usar adequadamente os recursos da máquina, ele decidiu criar o primeiro e-book, reimprimindo a Declaração de Independência dos Estados Unidos.

Hoje, a literatura digital se espalhou, em grande parte devido ao desenvolvimento de dispositivos portáteis (smartphones, leitores, laptops). Isso levou ao surgimento de um grande número de formatos de e-book. Vamos tentar entender seus recursos e contar a história dos mais populares deles - vamos começar com o formato DjVu.


/ Flickr / lane pearman / cc

O surgimento do formato


O DjVu foi desenvolvido em 1996 pela AT&T Labs com um objetivo - fornecer aos desenvolvedores da Web uma ferramenta para distribuir imagens de alta resolução pela Internet.

O fato é que naquela época 90% de todas as informações ainda estavam armazenadas em papel e muitos dos documentos importantes tinham imagens e fotografias coloridas. Para preservar a legibilidade do texto e a qualidade das figuras, era necessário fazer digitalizações em alta resolução.

Formatos clássicos da Web - JPEG, GIF e PNG - permitidos para trabalhar com essas imagens, mas ao custo de volume. No caso do JPEG, para que o texto seja lido na tela do monitor, tive que digitalizar um documento com uma resolução de 300 dpi. A página colorida da revista ocupava ao mesmo tempo cerca de 500 KB. Baixar arquivos desse tamanho da Internet na época era um processo bastante demorado.

A alternativa era digitalizar documentos em papel usando tecnologias de reconhecimento de texto, mas há 20 anos sua precisão estava longe do ideal - após o processamento, o resultado final teve que ser seriamente editado manualmente. Ao mesmo tempo, gráficos e imagens permaneceram "exagerados". E mesmo que fosse possível incorporar a imagem digitalizada em um documento de texto, alguns detalhes visuais foram perdidos, por exemplo, a cor do papel, sua textura e esses são componentes importantes dos documentos históricos.

Para resolver esses problemas, a AT&T desenvolveu o DjVu. Permitiu compactar documentos coloridos digitalizados com uma resolução de 300 dpi a 40-60 Kb, com um tamanho original de 25 MB. O DjVu reduziu o tamanho das páginas em preto e branco para 10 a 30 KB.

Como o DjVu compacta documentos


O DjVu pode trabalhar com documentos digitalizados em papel e outros formatos digitais, como PDF. A base do DjVu é a tecnologia que divide a imagem em três componentes: primeiro plano, plano de fundo e máscara em preto e branco (bit).

A máscara é salva com a resolução do arquivo de origem e contém a imagem do texto e outros detalhes claros - linhas e esquemas finos - bem como imagens contrastantes.

Possui uma resolução de 300 dpi, para que as linhas finas e os contornos das letras permaneçam nítidos e é compactado usando o algoritmo JB2, que é uma variação do algoritmo JBIG2 proposto pela AT&T para envio de fax. Um recurso do JB2 é que ele procura caracteres duplicados na página e salva sua imagem apenas uma vez. Assim, em documentos de várias páginas, todas as páginas consecutivas usam um "dicionário" comum.

O plano de fundo contém a textura da página e a ilustração e sua resolução é menor que a da máscara. O fundo sem perdas para percepção é armazenado com uma resolução de 100 dpi.

O primeiro plano armazena informações de cores sobre a máscara e sua resolução geralmente diminui ainda mais, pois na maioria dos casos a cor do texto é preta e a mesma para o mesmo caractere de impressão. A compactação Wavelet é usada para compactar o primeiro e o segundo plano.

A etapa final na criação de um documento DjVu é a codificação por entropia, quando um codificador aritmético adaptável transforma seqüências de caracteres idênticos em um valor binário.

Vantagens do formato


A tarefa do DjVu era preservar as “propriedades” de um documento em papel em formato digital, permitindo que computadores fracos trabalhem com esses documentos. Portanto, o software para visualizar arquivos DjVu tem a capacidade de "renderizar rapidamente". Graças a isso, apenas a parte da página do DjVu que deve ser exibida na tela é carregada na memória.

Também possibilita a visualização de arquivos com "download insuficiente", ou seja, páginas individuais de um documento DjVu de várias páginas. Nesse caso, a renderização progressiva dos detalhes da imagem é usada quando os componentes parecem "aparecer" à medida que o arquivo é carregado (como em JPEG).

Há 20 anos, quando esse formato foi introduzido, a página foi carregada em três estágios: primeiro, o componente de texto foi carregado; após alguns segundos, as primeiras versões das imagens e do fundo foram carregadas. Depois que toda a página do livro "apareceu".

A presença de uma estrutura de três níveis também permite pesquisar livros digitalizados (já que existe uma camada de texto especial). Isso se mostrou conveniente ao trabalhar com literatura técnica e livros de referência, então o DjVu se tornou a base de várias bibliotecas de livros científicos. Por exemplo, em 2002, foi escolhido pelo Internet Archive como um dos formatos (junto com TIFF e PDF) para um projeto para salvar livros digitalizados de fontes abertas.

Desvantagens de formato


No entanto, como todas as tecnologias, o DjVu tem suas desvantagens. Por exemplo, ao codificar digitalizações de livros no formato DjVu, alguns caracteres no documento podem ser substituídos por outros com aparência semelhante. Na maioria das vezes isso acontece com as letras "e" e "n", razão pela qual esse problema é chamado de "problema yin". Não depende do idioma do texto e afeta, entre outros, números e outros pequenos caracteres repetidos.

Sua causa são erros de classificação de caracteres no codificador JB2. Ele “divide” as digitalizações em grupos de 10 a 20 peças e forma um dicionário de caracteres comuns para cada grupo. O dicionário contém exemplos de letras e números comuns com páginas e as coordenadas de sua aparência. Quando você navega em um livro do DjVu, os símbolos do dicionário são substituídos nos lugares certos.

Isso permite reduzir o tamanho do arquivo DjVu; no entanto, se a exibição das duas letras for visualmente semelhante, o codificador poderá misturá-las ou aceitá-las da mesma forma. Às vezes, isso leva a danos nas fórmulas em um documento técnico. Para resolver esse problema, você pode abandonar os algoritmos de compactação, mas isso aumentará o tamanho da cópia digital do livro.

Outra desvantagem do formato é que ele não é suportado por padrão em muitos sistemas operacionais modernos (incluindo os móveis). Portanto, para trabalhar com ele, é necessário instalar programas de terceiros, como DjVuReader, WinDjView, Evince, etc. No entanto, gostaria de observar que alguns leitores eletrônicos (por exemplo, ONYX BOOX) suportam o formato DjVu "pronto para uso" - já que os aplicativos necessários já estão lá instalado.

A propósito, podemos falar sobre o que mais os aplicativos para leitores baseados no Android podem fazer em um dos materiais anteriores.


Leitor ONYX BOOX Chronos

Outro problema de formato é manifestado ao trabalhar com documentos DjVu em pequenas telas de dispositivos móveis - smartphones, tablets, leitores. Às vezes, os arquivos DjVu são apresentados na forma de uma digitalização de livros, e a literatura profissional e os documentos de trabalho geralmente estão no formato A4, então você precisa "mover" a imagem em busca de informações.

No entanto, observamos que esse problema também é solucionável. A maneira mais fácil, é claro, é procurar um documento em um formato diferente - mas se essa opção não for possível (por exemplo, você precisa trabalhar com muita literatura técnica no DjVu), poderá usar leitores eletrônicos com uma grande diagonal de 9,7 a 13,3 polegadas, o que especialmente "afiado" para trabalhar com documentos semelhantes.

Por exemplo, na linha ONYX BOOX, esses dispositivos são Chronos e MAX 2 (a propósito, preparamos uma revisão desse modelo de leitor e a publicaremos em breve em nosso blog), bem como o Note , que possui uma tela E Ink Mobius Carta com uma diagonal de 10,3 polegadas e resolução mais alta. Esses dispositivos permitem que você considere com segurança todos os detalhes das ilustrações em seu tamanho original e são adequados para aqueles que geralmente precisam ler literatura educacional ou técnica. Para visualizar arquivos DjVu e PDF , é utilizado o NEO Reader, que permite ajustar o contraste e a espessura das fontes digitalizadas.

Apesar das deficiências do formato, hoje o DjVu continua sendo um dos formatos mais populares para a "preservação" de obras literárias. Isso se deve em grande parte ao fato de ser aberto, e as tecnologias e desenvolvimentos modernos permitem contornar algumas de suas limitações tecnológicas.

Nos materiais a seguir, continuaremos a história sobre a história da aparência dos formatos de livros eletrônicos e as características de seus trabalhos.



Rasgos PS ONYX BOOX múltiplo:

Source: https://habr.com/ru/post/pt411545/


All Articles