Continuamos a série de artigos no SAP HANA Data Management Suite, um híbrido de tecnologias locais e em nuvem que inclui quatro componentes de produtos: SAP Data Hub, SAP HANA, SAP Enterprise Architecture Designer e
SAP Cloud Platform Big Data Services .
A combinação dessas soluções permite criar uma estrutura holística de gerenciamento de dados com as seguintes funções:
- rastreamento de origem de dados
- rastreamento de alterações nos dados e sua estrutura
- compreensão abrangente dos metadados
- apoiar o nível de segurança necessário
- monitoramento centralizado
Hoje, porém, falaremos sobre o "núcleo" desse sistema - a plataforma SAP HANA.
A SAP conduziu e continua conduzindo pesquisas, investe grandes recursos e fundos no desenvolvimento do processamento de dados. O resultado é a plataforma SAP HANA - a ferramenta analítica de alto desempenho. Nossa empresa já acumulou muitos anos de experiência única no desenvolvimento de tecnologias e serviços para negócios - e a SAP a usou para criar uma plataforma de negócios para processamento de dados em tempo real. Como resultado, surgiu o SAP HANA, que se tornou a base e o núcleo do desenvolvimento e construção de empresas inteligentes de um novo tipo (empresa inteligente). A plataforma é usada para desenvolver aplicativos tanto na SAP quanto em nossos clientes e parceiros.
O SAP HANA é uma solução multifuncional para armazenamento e processamento de informações. Um dos recursos do SAP HANA é o mecanismo de cálculo interno, que permite transferir operações de planejamento do nível do aplicativo para o nível do banco de dados SAP HANA. Usando a arquitetura moderna da plataforma de hardware, os cálculos são mais eficientes - toda a "avalanche" de dados processados é dividida em um número estritamente definido de threads, cujo número é igual ao número total de núcleos da plataforma. Essa abordagem permite o uso mais eficiente da capacidade de processamento de cada núcleo de cada processador.
O SAP HANA também fornece tecnologia para armazenamento e processamento de dados na memória. O SAP HANA como banco de dados permite armazenar dados em linha por linha e em formato de lote. A tecnologia de armazenamento e processamento de dados na memória fornece processamento rápido de transações e, juntamente com a tecnologia de análise de dados, o Calculation View garante alto desempenho ao realizar consultas analíticas.
Os analistas da Forrester começaram a usar um novo conceito - "banco de dados de tradução". Por sua definição, essa plataforma "suporta muitos tipos de usos, incluindo informações em tempo real, aprendizado de máquina, análise em linha e processamento extremo de transações".
Um relatório recente da Forrester declara o
seguinte : “O SAP HANA é uma plataforma de memória compartilhada (sem uso compartilhado de recursos). Essa é a base da plataforma SAP para transações e análise de dados, pois suporta muitos cenários de aplicativos: aplicativos de processamento de dados em tempo real, análises, aplicativos de tradução e sistemas de análise avançados e avançados. As empresas usam a plataforma para organizar data marts na memória, para trabalhar com armazenamento de dados em tempo real do SAP Business Warehouse, bem como para trabalhar com o SAP S / 4HANA e SAP Business Suite. ”
As plataformas de tradução são adequadas para dar suporte a aplicativos e serviços em tempo real: para negociar ações, detectar fraudes, combater o terrorismo, monitorar a saúde do paciente, analisar dados de vários sensores, monitorar terremotos e muito mais. Usando uma plataforma de tradução, os aplicativos podem trocar dados em tempo real, garantir a consistência e a precisão das informações armazenadas na empresa.
Outra área de aplicação do SAP HANA é o suporte ao aprendizado de máquina, que permite aplicar modelos analíticos complexos aos dados para prever com mais precisão operações, processos de negócios, comportamento do cliente, etc.
Como o SAP HANA suporta essa funcionalidade?
Vamos começar com o serviço de banco de dados. Se considerarmos o HANA em termos de arquitetura e tecnologia, há duas maneiras de armazenar dados - linha por linha e linha por linha.
O armazenamento em linha de dados em uma tabela permite a gravação de dados em alta velocidade. Se você deseja adicionar uma nova linha à tabela, basta encontrar espaço livre na memória para esta linha e gravar novos dados nela. No entanto, o armazenamento linha a linha apresenta um problema com a análise de dados: você precisa usar a indexação ou uma representação materializada dos dados em um formato conveniente para análise. Ao mesmo tempo, a indexação leva a atrasos devido ao tempo adicional necessário para reconstruir o índice, materializar os dados em um formato diferente durante a inserção da linha.
Se os dados forem armazenados unidade a unidade, para adicionar uma nova linha, será necessário gastar tempo classificando os valores da linha em colunas e aguarde até que os dados sejam postados em diferentes locais da memória. Tudo isso leva a um desempenho ruim durante a gravação de dados.
O banco de dados com armazenamento em massa permite processar solicitações muito mais rapidamente, pois nesse caso os dados das colunas solicitadas são compactos e compactados na memória. I.e. ao consultar, não há necessidade de verificar a tabela inteira - basta ver apenas as colunas usadas na consulta. Esse banco de dados é otimizado para leitura, e o armazenamento em massa de informações permite organizar os dados na RAM de uma certa maneira, usando o agrupamento. Com essa abordagem, é possível usar várias técnicas de compactação com maior eficiência, o que leva à compactação múltipla das informações de origem.
Para resolver esse problema, foi desenvolvida a abordagem de Tabelas Unificadas, que fornece uma alta velocidade de leitura e gravação de dados na tabela de armazenamento. Esse mecanismo permite realizar transações rapidamente (ou seja, registrar novas linhas), analisar dados em alta velocidade devido ao armazenamento em massa na forma compactada, processamento paralelo de dados e também armazenar todos os dados na memória de acesso aleatório (na memória).
Durante a gravação, as alterações não são feitas imediatamente no local de armazenamento principal das tabelas. Em vez disso, todas as edições são registradas em uma estrutura de dados separada - o armazenamento delta (na figura L1-delta). Aqui, os dados são armazenados em um formato otimizado para gravação. Quando é necessário transferir alterações do armazenamento delta, um processo especial de mesclagem Delta é iniciado - a mesclagem delta. Primeiro, os dados do delta L1 são convertidos em um formato de layout no delta L2 e, em seguida, combinados com o armazenamento de dados principal (armazenamento principal). E para o mecanismo de leitura de dados, todas as três áreas de armazenamento de informações (L1-delta, L2-delta e armazenamento principal) fornecem dados de forma integral. Graças a esse processo, ele fornece gravação e análise de dados em alta velocidade.
Uma das vantagens significativas do SAP HANA é que todos os cálculos de dados agregados são executados diretamente durante a formação de uma consulta analítica e são exibidos imediatamente como resultado. A capacidade de armazenar dados detalhados ou de origem na RAM (em vez de valores agregados) permite abandonar o cálculo e o armazenamento preliminares de tabelas agregadas, que são parte integrante dos sistemas analíticos clássicos.
O SAP HANA também suporta várias linguagens de programação internas: R para criar modelos preditivos, SQL Script para escrever lógica de cálculo. No nível do servidor de aplicativos XSA incorporado no SAP HANA 2.0, você pode desenvolver em muitos outros idiomas
, suportando o conceito Bring Your Own Language (e usando o Cloud Foundry) . Usando esses idiomas, você pode fazer os cálculos e previsões necessários diretamente no nível de armazenamento de dados. Isso permite eliminar etapas desnecessárias da transferência de grandes quantidades de dados e fornecer o resultado final do cálculo ao nível do aplicativo.
Agora considere os serviços da plataforma SAP HANA.
Serviços de plataforma SAP HANA
O SAP HANA não possui apenas um banco de dados, mas também todo um conjunto de serviços para desenvolvimento de aplicativos, ferramentas de integração e limpeza de dados, bibliotecas para processamento de dados analíticos, incluindo Machine Learning, além da capacidade de armazenar e processar tipos especiais de dados. O SAP HANA permite fazer download de dados de várias fontes sem ferramentas adicionais, para desenvolver vários formulários para inserir, editar e analisar dados. Também estão disponíveis ferramentas para processamento de dados intelectuais complexos: transformação, transformação, pesquisa de padrões, pesquisa. E, é claro, a plataforma está aberta para análise de dados visuais através de várias ferramentas.
Para falar sobre todos os recursos do SAP HANA, você precisará escrever alguns artigos adicionais. Muitos deles já estão descritos em nosso blog.
Vejamos alguns dos serviços disponíveis:
O SAP HANA inclui um mecanismo para armazenar e processar dados geográficos - dados que descrevem a posição, forma e orientação dos objetos no espaço. O SAP HANA suporta tipos de dados espaciais e seus métodos de processamento. Existe um método especial para processar essa estrutura - um gráfico. O SAP HANA, nesse caso, fornece a capacidade de processar dados com hiperlink e seus relacionamentos. O mecanismo de processamento de dados possui algoritmos embutidos para encontrar vizinhanças, caminhos mais curtos, componentes fortemente acoplados, correspondência de padrões e muito mais.
O SAP HANA também possui centenas de algoritmos de aprendizado de máquina e previsão pré-empacotados, com recursos como agregação, clustering, classificação, regressão, distribuição de probabilidade, séries temporais e muito mais. Além disso, você pode usar a biblioteca TensorFlow e R.
O SAP HANA possui recursos integrados para processar e analisar arquivos de texto, incluindo várias funções para mineração de texto - por exemplo, lógica difusa, pesquisa de sinônimos, análise semântica, etc.
O SAP HANA Streaming Analytics pode capturar, filtrar, analisar e impactar milhões de eventos por segundo em tempo real, armazenando dados ou resultados em um banco de dados SAP HANA e direcionando dados menos críticos para soluções de armazenamento mais baratas, como o Hadoop. O SAP HANA Streaming Analytics também está integrado ao sistema de mensagens do Apache Kafka.
Materiais e recursos úteis para começar a usar o SAP HANA:
Uma versão de avaliação gratuita do SAP HANA , express edition está disponível para download em nosso site oficial. Além disso, no início do trabalho, você pode estudar o
conjunto de tutoriais antes de iniciar o trabalho com o SAP HANA:
- máquina virtual e versão de
aplicativos do servidor + XSA para
instruções de instalação de vídeo e SAP HANA
- O conjunto de tutoriais tem uma ampla seleção. Por exemplo, para trabalhar com dados espaciais: o
primeiro e o
segundo