Analiza funkcji Java i Map Reduce w Hadoop (Polish Edition)

Hadoop, otwarta implementacja frameworka Map/Reduce oparta na języku Java, stworzona przez Apache Software Foundation, to framework obliczeniowy przeznaczony do obsługi aplikacji rozproszonych przetwarzających duże ilości danych. Zapewnia narzędzia do przetwarzania ogromnych ilości danych przy użyciu frameworka Map/Reduce, a dodatkowo implementuje rozproszony system plików podobny do systemu plików Google. Może być używany do przetwarzania ogromnych ilości danych równolegle na dużych klastrach w sposób niezawodny i odporny na awarie. Od dawna Java jest używana przez wielu programistów do przetwarzania danych. W tej książce porównaliśmy i przeanalizowaliśmy wydajność Hadoop z Java, Hadoop z Hadoop Optimize oraz Hadoop Optimize z Java pod kątem różnych kryteriów wydajności, takich jak przetwarzanie (wykorzystanie procesora), przechowywanie i efektywność podczas przetwarzania danych. Wyniki naszych eksperymentów pokazują poprawę czasu wykonania przy użyciu zoptymalizowanego algorytmu Map/Reduce. Porównując Hadoop i Java, Hadoop jest lepszy, gdy mamy klaster wielowęzłowy i duży rozmiar danych. Jednak gdy mamy pojedynczy węzeł i mały rozmiar danych, nawet Java może działać lepiej.