A software architecture for monitoring big data storage platforms
Mehmet S AktasYildiz Technical UniversityNoSQL-based big data storage platforms provide similar fundamental big data management functionalities in addition to various other functionalities that differ for each platform. For example, document-oriented NoSQL big data storage platforms are commonly used for organizing and managing documents, while graph-based databases are designed for data whose relations are represented by graphs. In turn, different NoSQL-based platforms are often used together, as each provides distinct capabilities. Within this study based on our literature review, it is seen that a hybrid platform, which could perform real-time monitoring tasks on top of different big data NoSQL platforms, is lacking. In order to address this issue, this paper proposes a novel system architecture. The proposed system architecture runs as a piece of add-on software one layer above the NoSQL platforms and provides monitoring tasks on these platforms. Within the research, a prototype of the recommended system architecture is made and the testing results are provided in detail. The prototype of the proposed architecture focused on monitoring the system's distributed structure and data structure, memory usage, and disk usage. In order to prove the practical usage of the proposed system architecture, various performance experiments were applied to the prototype application. In this paper, we report on the promising results of the performance experiment.
Keywords: NoSQL, Big data, Hybrid platform, Monitoring platform, Hybrid architectural structure, Management of big dataBüyük veri saklama ortamlarının izlenmesine yönelik yazılım mimarisi
Mehmet S AktasYıldız Teknik ÜniversitesiBüyük Veri NoSQL saklama platformları, aynı temel fonksiyonel özellikleri sağlamakla birlikte, birbirlerinden ayrılan geniş özellik setleri de sunabilmektedir. Örneğin, doküman-tabanlı NoSQL saklama ortamları dokümanların organizasyonu için kullanılırken, çizge veri tabanları, veriler arasındaki ilişkilerin çizgeler olarak tanımlanabildiği veriler için kullanabilmektedir. Bunun sonucu olarak, farklı platformlar, sağladıkları ayrıştırıcı işlevselliklerinden dolayı birlikte kullanılabilmektedir. Ancak, farklı büyük veri saklama platformları üzerinde gerçek zamanlı olarak izleme işlemlerini yapabilecek, tek bir programlama ara yüzü üzerinden kullanılabilen, bir platformun eksikliğinin olduğu görülmektedir. Bu eksikliği gidermek amacıyla, bir sistem mimarisi önerilmektedir. Önerilen sistem birbirinden farklı NoSQL platformları üzerinde üzerinde eklenti olarak çalışmakta ve izleme işlemlerinin yapılabilmesine olanak sağlamaktadır. Çalışma kapsamında önerilen sistem mimarisinin prototipi gerçekleştirilmiştir ve elde edilen deneyim detaylarıyla sunulmaktadır. Prototip uygulama, sistemin dağıtık mimari yapısını ve veri yapısını, bellek kullanımını ve sabit disk kullanımını takip etmek odaklı olarak geliştirilmiştir. Önerdiğimiz sistem mimarisinin doğruluğu ve pratik kullanımını ortaya koymak amacıyla prototip uygulama üzerinde performans testleri uygulanmış ve olumlu olarak elde edilen sonuçlar paylaşılmıştır.
Anahtar Kelimeler: NoSQL, Büyük veri, Hibrit platform, İzleme platformu, Hibrit mimari yapısı, Büyük veri yönetimiCorresponding Author: Mehmet S Aktas, Türkiye
Manuscript Language: English