Para obter o melhor desempenho de integração para desafios big data, certifique-se de que seu middleware é capaz de alavancar o processamento de grade de dados (Data Grid), mas não ignore a necessidade de gerenciamento de seu processo de negócios e otimização para sistemas corporativos que você estiver integrando.
Os dados estão sufocando a TI em tamanho, volume e complexidade e continuam crescendo diariamente. O Big Bang dos Dados chegou, e felizmente a tecnologia está à altura, possibilitando, mesmo para pequenas empresas, que seus dados sejam alavancados e transformados em inteligência corporativa realmente útil e possível.
As empresas finalmente compreenderam que sempre estiveram sentadas em cima de dados valiosos, os quais devem ser lapidados e transformados em informações para conhecer melhor seus clientes, fornecedores e funcionários. Há apenas um problema: geralmente os dados não estão centralizados em apenas um banco de dados ou em estruturas e formatos apropriados, fatores que facilitariam uma análise “suficientemente rápida” para serem alavancados como informações corporativas significativas.
Avanços importantes no poder de processamento e armazenamento de energia eliminaram boa parte dos desafios. Arquitetura, integração e acessibilidade de dados são as questões reais. Cada organização deve examinar sua infraestrutura atual para determinar a melhor forma de conectar suas estruturas de dados de modo que por fim possam ser usadas para fornecer as respostas necessárias para o crescimento do negócio.
Natureza do Big Data
Adicionalmente a seu sistema de dados padrão (vendas por trimestre, níveis de inventários, tíquete médio por cliente), o big data consiste em grandes quantidades de dados dinâmicos crescentes e trocas de dados estruturados e não estruturados, onde relações entre dados são frequentemente sugeridas em vez de declarados, como (em um exemplo de dados não estruturados) menções de produtos e comentários de clientes no Twitter e no Facebook.
De acordo com a Gartner, big data é mais bem compreendido por meio dos 3 Vs: volume, velocidade e variedade. O McKinsey Global Institute (MGI) se refere ao big data como “conjuntos de dados cujos tamanhos estejam além da capacidade de ferramentas de software comuns de bancos de dados para captura, armazenamento, gerenciamento e análises.” Em outras palavras, big data são apenas metadados não estruturados relacionados a seu negócio e que você pode analisar, organizar e utilizar para incrementar os negócios ou agregar valor.
A tendência de lidar com “conjuntos maiores de dados” cresceu devido à maior facilidade de análise de um único grande conjunto de dados relacionados em vez de separar conjuntos menores com o mesmo volume total de dados. Um conjunto de big data permite mais correlações e uma análise de dados mais profunda, permitindo que as empresas obtenham informações mais rapidamente, observem novas tendências de negócios, retomem relacionamentos ocultos, desenvolvam algoritmos de previsões e muito mais.
Um exemplo de big data são as listas de empreendimentos imobiliários. A todo o momento, mais de dois milhões de listas de empreendimentos imobiliários estão ativas nos Estados Unidos. Oitenta e cinco por cento das listas estão sendo ampliadas, reduzidas e alteradas em intervalos médios de 15 minutos – quase sete milhões de alterações por hora. Cada listagem contém o preço do imóvel e especificações básicas (as quais são geralmente estáticas) assim como elementos de dados como preços médios nas redondezas, dados da comunidade e médias do setor, as quais estão sempre variando.
Integração: O “Big Bang da Integração”
A integração é o componente mais crítico de sua capacidade de alavancar big data. Estoques de dados isolados não servem mais em tempos de big data. É difícil obter uma visão de 360 graus quando os dados de seu ERP, CRM, SCM, e outros dados residem em sistemas separados sem comunicação entre si. É necessário sincronizar ou replicar tanto os dados estruturados como não estruturados entre os sistemas e para um armazenamento unificado de dados para visualização, utilização ou análise. Sistemas que não foram feitos para se comunicarem agora passarão a se comunicar e compartilhar dados da forma correta. Ou seja, utilizar middleware compatível com a tarefa solicitada, mas por sua própria natureza, middlewares geram quantidades imensas de metadados e por isso tornam-se o candidato perfeito para abordagens de big data, como uma grade de dados em memória.
A criação de um “Fluxo” real de big data demanda um fluxo de informações chegando a partir de sistemas vitais para a missão como CRM, ERP, SCM e sistemas anteriores – resumindo, todos os sistemas críticos. Não é comum sincronizar ou replicar os dados em uma arquitetura orientada para serviço, em tempo real ativada por eventos em tempo real e passar para um armazenamento de dados. Ferramentas flexíveis de integração são necessárias para criar e acessar sistemas de acordo com as regras da empresa usando adaptadores adquiridos de fornecedores ou APIs para obter a melhor prática. A integração direta entre banco de dados pode literalmente anular as obrigações de suporte de seu ERP e outros fornecedores de sistemas vitais. Eles não permitem essa opção.
Sua ferramenta de integração deve operar no nível mínimo de dados para dados e deve considerar as regras comerciais e ser capaz de acionar processos em tempo real. Com a computação em nuvem e computação social, adicionando-se latência de comunicação e transporte para múltiplos processos, torna-se essencial que a arquitetura de middleware seja otimizada para eliminar quaisquer latências de integrações dos bastidores.
Integração e Data Grid
As ferramentas tradicionais ETL, (extract, transform, and load, extrair, transformar e carregar) são inadequadas para integração corporativa, especialmente em tempos de big data. Na verdade as ferramentas ETLs podem piorar ainda mais essa situação. Embora você seja capaz de coletar os dados, você pode perceber que o resultado agora ficou muito maior e mais difícil de manusear.
O acesso de Big data demanda o gerenciamento de grandes volumes de dados e deve processar os dados não estruturados e fornecer todas as informações em tempo real. A latência é um desafio; as empresas precisam fornecer uma rápida recuperação de dados par aplicativos que demandem respostas em curto prazo. Enquanto um representante de atendimento ao cliente da companhia de seguros está no telefone com um cliente que espera por um orçamento em tempo real, velocidade é essencial.
Um sistema de integração deve fornecer desempenho, escalabilidade e redundância tanto quanto o conjunto correto de ferramentas para gerenciar dados e tomar os controles logo após ocorrer o big bang. Integração possibilitada por processamento de grade de dados na memória interna se apresenta como opção positiva para simplesmente fazer isso, controlar big data e gerenciar processos corporativos por meio de técnicas de big data.
Uma grade de dados na memória é um software de middleware composto por múltiplos processos de servidor executados em múltiplas instâncias (física ou virtual) que trabalha em conjunto com o armazenamento de grandes quantidades de dados na memória, obtendo dessa maneira alto desempenho, escalabilidade elástica e redundância à prova de falhas. A técnica permite que você acesse os dados aleatoriamente com latência quase 0, ao contrário dos métodos de acesso sequenciais por discos que demandam acesso sequencial (resultando em latência abaixo do esperado).
A plataforma de integração certifica-se de que dados relacionados a requisitos da empresa sejam removidos dos bancos de dados principais de todos os ambientes e disponibilizados no armazenamento de dados OLAP e outras necessidades de inteligência corporativa. O banco de dados na memória fornecerá essas informações de maneira mais rápida em comparação aos ambientes existentes, permitindo análises em tempo real mesmo que se trate de terabytes de informações.
Integração e Liderança de TI
A integração amplia significativamente os fluxos de trabalho e a eficiência geral em uma empresa. Entretanto, nem todas as plataformas de integração são criadas da mesma forma. Para obter o melhor desempenho de integração para os desafios de big data, você necessitará de middleware que alavanque o processamento de grade de dados na memória – mas sem ignorar a necessidade de gerenciamento do processo corporativo e otimização para os sistemas corporativos os quais você está integrando.
A integração que alavanca a tecnologia de big data acelera a recuperação de dados, como um efeito colateral positivo, a integração também fornecerá uma plataforma para aprimoramento de processos corporativos e armazenamento de dados. É uma relação na qual tanto o TI e quanto o departamento comercial saem ganhando.
