Analisando os recursos do Java e do Map Reduce no Hadoop

O Hadoop, a implementação de código aberto e baseada em Java da Apache Software Foundation da estrutura Map/Reduce, é uma estrutura de computação distribuída projetada para aplicações distribuídas com uso intensivo de dados. Ele fornece as ferramentas para processar grandes quantidades de dados usando a estrutura Map/Reduce e, além disso, implementa um sistema de ficheiros distribuído semelhante ao sistema de ficheiros do Google. Pode ser usado para processar grandes quantidades de dados em paralelo em grandes clusters de maneira confiável e tolerante a falhas. Há muito tempo que o Java é utilizado por muitos programadores para processar dados. Neste livro, comparamos e analisamos o desempenho do Hadoop com o Java, do Hadoop com o Hadoop Optimize e do Hadoop Optimize com o Java em termos de diferentes critérios de desempenho, tais como processamento (utilização da CPU), armazenamento e eficiência no processamento de dados. Os nossos resultados experimentais mostram uma melhoria no tempo de execução ao utilizar o algoritmo Map/Reduce otimizado. Na comparação entre o Hadoop e o Java, o Hadoop é melhor quando temos um cluster de vários nós e o tamanho dos dados é grande. No entanto, quando temos um único nó e um tamanho de dados pequeno, até mesmo o Java pode ter um desempenho melhor.