top of page
Buscar

Big Data is in the Air

Atualizado: 30 de jul. de 2020



Não foi coincidência a escolha do Slogan para o blog, se você ainda não entendeu o trocadilho, vamos falar um pouco mais sobre ele.


Se ainda não leu o último post sobre o crescimento dos dados, de uma conferida nele antes de tudo, pois, está tudo conectado.

Nesse post falamos sobre a quantidade de dados criados, capturados ou replicados pelo mundo, já estamos falando na escala de Zettabytes, é uma grande quantidade de dados para guardar no seu servidor local não acha?


Estudos da IDC indicam que até 2025, 49% de todos os dados do mundo estarão armazenados em Cloud pública.


Aqui entra o ponto-chave para as soluções que iremos ver no Datainaction.dev, o famoso Cloud computing.


Quando estamos falando de um ecossistema de Big Data dificilmente conseguiremos êxito sem envolver algum fornecedor de Cloud, soluções para processamento e análise de grandes massas de dados com velocidade, veracidade e variedade precisam ser escaláveis, disponíveis e seguras.


Neste post quero responder e deixar claro alguns conceitos, são eles:

  • O que é Big Data?

  • Quais os benefícios do Cloud em relação à infraestrutura local?

  • Preciso de cloud para projetos de Big Data?

  • Is Big data in the Air?

 

O que é Big Data?

Um dos termos mais falados nos últimos anos, Big data não é uma tecnologia ou uma ferramenta, estamos falando de um conceito e para ser implementado precisa de diversas novas tecnologias, formando um ecossistema totalmente diferente com o que tínhamos em nossas empresas há 10 ou 20 anos, ele descreve a grande volumetria de dados estruturados e não estruturados que são gerados atualmente.


Anteriormente a geração de dados era mais controlada, sendo fontes conhecidas e estruturadas como ERPs, porém, esse comportamento mudou depois da disseminação da internet e aumentou atualmente com a grande conectividade de dispositivos como relógios, geladeiras, TVs, sensores, tudo está conectado e gerando dados.


Já temos uma grande massa de dados sendo gerada, agora precisamos extrair valor e insights desses dados para auxiliar nas tomadas de decisões, mas, precisamos disso em uma velocidade ainda maior, algumas vezes em tempo real. Contudo, os métodos e ferramentas antigas (famoso Data Warehouse ou DW) não atendem essa nova demanda de processamento e análise de grandes massas de dados de diversos tipos com a velocidade esperada.

Para fortalecer o conceito de Big Data nasceu então os 3 V's, posteriormente, tornando os 5 V's e há quem diga sobre mais do que 5 V's, porém, vamos falar apenas dos 3 V's:

  • Volume: Como falei anteriormente, o crescimento dos dados está sendo exponencial e estamos falando não mais de Gigabytes e sim de Petabytes até Zettabytes.

  • Variedade: Estamos falando de diversas fontes de dados distintas como sensores, logs de sites, logs de máquinas, redes sociais, imagens, chats, bancos de dados, etc., tipos de dados estruturados, semi-estruturados e não estruturados, isso aumenta a complexidade do processamento e análise.

  • Velocidade: Processar uma grande massa de dados pode ser um grande desafio, mas ainda sim seria possível com as ferramentas antigas certo? Mas, a mudança frenética do mercado e a necessidade de tomar rápidas decisões para não perder seu cliente, não permite que você leve dias para processar determinada massa de dados, esse é um dos grandes desafios do Big data, extrair valor dos dados de forma rápida.


Em resumo, estamos falando de um conceito para processamento de grandes massas de dados, dai o termo Big Data, mas não é só o tamanho dos dados que importa, a variedade das fontes e tipos de dados e o tempo necessário para processar tanta informação são pontos cruciais que impactam diretamente na tomada de decisão de uma empresa. A questão que fica é, a sua empresa precisa de Big Data para se manter competitiva?


As empresas atualmente não competem mais apenas com seus concorrentes diretos, mas, com a capacidade de se adequar as mudanças tecnológicas que vem acontecendo no mundo e se reinventarem, analisar dados nunca foi tão crucial para se manter vivo, se você ainda não faz, pare e pense um pouco, com tanta transformação digital, a sua empresa será capaz de sobreviver sem analisar dados?
 

Quais os benefícios do Cloud em relação à infraestrutura local?


Arrisco a dizer que Big Data sem Cloud esta fadada ao fracasso, mas isso não é uma afirmativa, porém, vamos entender que as características do Big Data necessitam dos benefícios do Cloud.


As Clouds públicas e privadas oferecem uma gama de benefícios tais como:

  • Manutenção: Você não precisa mais se preocupar com a manutenção física dos seus servidores, aplicar atualizações de firmware, segurança, redes, falhas de data center, tudo isso é gerenciado pelo seu fornecedor.

  • Escalabilidade: Escalar suas aplicações em um ambiente local é um trabalho árduo e pode levar dias, no Cloud você pode escalar em minutos com alguns cliques, pense em casos inoportunos onde você precise de agilidade para continuar vendendo, exemplo uma Black Friday, você vai desejar estar em algum Cloud.

  • Disponibilidade: Criar uma infraestrutura local com redundância para alta disponibilidade é algo caro e complexo, nas Clouds públicas como Microsoft Azure você já ganha redundância automaticamente e pode melhorar isso com apenas alguns cliques.

  • Suporte: Manter um suporte de diversos servidores locais exige habilidades em diversas plataformas e tecnologias, o que vai necessitar de uma grande equipe de administradores experientes em várias tecnologias, no Cloud os ambientes são padronizados e os fornecedores possuem times especializados, isso minimiza custos com uma equipe robusta para administrar seu parque e minimiza o tempo de suporte.

  • Custos: Você pode reduzir custos mantendo uma infraestrutura em Cloud, esse é um tema mais complexo, pois, envolve uma grande análise de custos locais como energia elétrica, geradores, infraestrutura do prédio, ar condicionado, etc., por outro lado, no Cloud você paga pelos recursos que utiliza, pode dimensionar de forma simples e reduzir gastos com superdimensionamento e recursos subutilizados.

  • Provisionamento rápido: É muito comum a criação de novos ambientes para uma nova aplicação ou protótipo de novos produtos, dimensionar e disponibilizar esses recursos em um ambiente local pode levar muito tempo e inviabilizar o projeto, com o Cloud você pode provisionar recursos em minutos e testar seus MVPs de forma rápida e com facilidade para escalar se for preciso.

As infraestruturas locais não irão morrer, o que veremos mais são arquiteturas híbridas, juntando o melhor de cada mundo, embora, seja muito comum, empresas novas como startups adotarem o Cloud 100% pelas facilidades já citadas, é muito mais fácil já nascer em Cloud do que migrar posteriormente.

 

Preciso de cloud para projetos de Big Data?


Depois de conhecer as características desse novo mundo de Big data, onde, precisamos crescer de forma rápida, processar grandes volumes de dados de vários formatos e tamanhos com velocidade, já pensou quanto trabalho e quantos problemas você teria para provisionar essa infraestrutura local? Ainda não está claro? Veja esse exemplo abaixo, em 19 dias o aplicativo Pokémon GO atingiu 50 milhões de usuários, já imaginou a infraestrutura necessária para suportar esse fluxo de dados e acessos?


Imagine que você de maneira despretensiosa cria um aplicativo chamado Pokémon GO, mas, como não sabe quantas pessoas vão utilizar o aplicativo, decide comprar um servidor local com 32 GB de RAM, Xeon última geração com 16 núcleos, armazenamento SSD de 1 TB, a primeiro momento parece uma ótima máquina, pelas suas estimativas suportariam até 1 milhão de usuários conectados. Contudo, em apenas 19 dias atingi 50 milhões de usuários conectados, ou nesse caso atingiria.


Não vou entrar no quesito de arquitetura da aplicação, mas já conseguiu visualizar a catástrofe que seria ter que parar para comprar centenas de novas máquinas? Por quanto tempo pensa que os usuários novos esperariam ou mesmo os usuários já conectados? Sim, isso poderia levar ao fracasso de um projeto promissor.


Mesmo que esteja operando com tecnologias de virtualização, ou mesmo uma boa arquitetura, escalar nesse nível de forma rápida seria um trabalho árduo em um ambiente local.


A Cloud te da esse conforto de poder errar na estimativa e depois escalar com velocidade, você pode prover mais recursos em momentos de picos e posteriormente remove-los pagando apenas pelo tempo utilizado, provisionar centenas de servidores muito rapidamente e atender a demandas de larga escala.


É possível atender essas demandas de Big Data em infraestruturas locais? A reposta é sim, mas acredite, isso pode sair mais caro do que você imagina, é praticamente criar sua própria Cloud privada.


É comum atualmente, ambientes híbridos, mantendo tanto o Cloud como o ambiente local em conjunto, visto essas características, podemos dizer que para o êxito dos projetos de Big data é imprescindível a utilização de algum Cloud.


Em resumo, projetos de Big Data precisam de uma infraestrutura escalável com rápido provisionamento, característica encontrada nos Clouds, por isso, essa junção é perfeita.

 

Is Big data in the Air?

Considerando que os dados estão em toda parte, boa parte desses dados trafegam por conexões sem fio e com destino ao Cloud, sim, as grandes massas de dados estão no ar, achei uma boa escolha para um slogan e você?


Referências


Comments

Post: Blog2 Post
bottom of page