Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop

Jonas Kress

ISBN 10: 3656440476 / ISBN 13: 9783656440475

Published by GRIN Verlag Jul 2013, 2013

About this Item

This item is printed on demand - it takes 3-4 days longer - Neuware -Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten ausverschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren deserfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Datendie Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen unddie Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können dasUnbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teilder Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegendeVeränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grundwurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehendenDataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem OpenSource Framework, welches die Verarbeitung von riesigen Datenmengen in einem Clustererlaubt.Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste vonHadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung vonDaten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sichdie Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält undanalysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten.Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gutzum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und dieDataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntaxdas Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBaseautomatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführteBenchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zurDatenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Clustergleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zumBetrieb einer Dataware-House Lösung eignet. 104 pp. Deutsch.

Seller Inventory # 9783656440475

Bibliographic Details

• Title: Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop
• Publisher: GRIN Verlag Jul 2013
• Publication Date: 2013
• Language: German
• ISBN 10: 3656440476
• ISBN 13: 9783656440475
• Binding: Taschenbuch
• Condition: Neu
• Dimensions: 210W x 148H x 8D millimeters 210 millimeters width by 148 millimeters height by 8 millimeters depth
• Weight: 163 grams

About this title

Synopsis

Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden Dataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster erlaubt. Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von Hadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich die Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten. Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut zum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die Dataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax das Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase automatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte Benchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast g