Já parou para pensar no volume de dados que a sociedade gera a cada 24 horas? O Twitter sozinho produz 12 Terabytes de dados diários, provenientes de, em média, 500 milhões de novos tweets. O Facebook, que atualmente possui mais de 1,59 bilhões de usuários, gera diariamente 4,75 bilhões de novos conteúdos entre links, comentários, vídeos, fotos e atualizações de status, totalizando uma média de mais de 500TB de novos dados por dia. A cada 60 segundos são feitas mais de quatro milhões de buscas no Google e, neste mesmo intervalo de tempo, mais de 120 horas de vídeo são postados no YouTube.
O mais impressionante é que o volume descrito anteriormente vem apenas de quatro dos muitos serviços disponíveis na Internet. Ao imaginarmos a internet como um todo, onde existe uma profusão de sites de e-commerce, notícias, blogs, portais governamentais, entre outros, injetando quantidades imensas de dados o tempo todo na rede mundial de computadores, percebemos o quanto esse volume é assustador.
Isto nos leva ao principal desafio do Big Data: como capturar e processar esse imenso volume de dados? E ainda: como capturar e processar tudo isso de forma financeiramente viável? Não adianta termos as mais avançadas ferramentas de processamento do universo e o melhor time de cientista de dados do planeta se não tivermos o fundamental: capacidade computacional de processamento absurdamente grande a um preço que todos podem pagar. E é exatamente nesse cenário que entra a nuvem.
A nuvem trouxe consigo um poder computacional virtualmente infinito e, o melhor, ao alcance de qualquer um. Ela democratizou o acesso a um poder de processamento muito grande, à altura do Big Data. Serviços como o AWS da Amazon ou o Azure da Microsoft possibilitaram que milhares de empresas ao redor do mundo pudessem capturar e processar quantidades massivas de dados com um custo realmente baixo, pagando apenas pelo período em que utilizaram os serviços da nuvem.
Essa elasticidade alterou o paradigma do mercado: o que antes precisava ser comprado, agora pode ser alugado. Ao invés de terem que construir um data center que iria perdurar durante décadas, as empresas podem simplesmente alugar o poder de processamento que quiserem e pagarem por ele apenas durante o tempo em que o utilizarem, ou seja, sob demanda. A nuvem foi, em absoluto, o viabilizador econômico do Big Data.
Autor Convidado:
Rafael Adnet – Formado em Sistemas de Informação pela PUC-RJ, Mestrando em Informática pela UFRJ, Rafael tem mais de 5 anos de experiência no mercado de tecnologia, já tendo trabalhado em laboratórios de pesquisa e empresas de diversos tipos e portes. Desde 2014, faz parte do time de desenvolvimento da BigData Corp. (www.bigdatacorp.com.br), uma empresa especializada em projetos de Big Data e na automação de processos de informação.
