დიდი მონაცემები - ნაკადების დამუშავება რეალურ დროში

Abstract

Since the Internet digitally connected the world, the amount of data, having high business value for many organizations, has been increasing tremendously. Existing technologies could, mostly, handle the increasing volume of data until the emergence of social media, search engines and ecommerce, which, briefly saying, caused so-called Data Boom. In order to meet customers’ demand, to be innovative or to have a competitive advantage, businesses needed to gather the data from many sources, ingest, transform, analyze it and make quick decisions based on it. It was not an easy task, considering the limited capacities of available technologies. The volume of this data was not the only problem here. Along with this factor, the main challenge with processing of the large datasets was related to their various, not necessarily structured nature and velocity. The term ‘Big Data’ was officially launched in 2005. Hadoop – the open-source heart of big data universe was created the same year. Since then the open source community has been actively working on and contributing to the Big Data. Numerous technologies and tools have been developed to process, store, manage, analyze large sets of data. As a result, today the Big Data ecosystem is very diverse and its architecture – quite complex. The following paper overviews the nature of Big Data, its relevance, main concepts and principles along with its key architectural characteristics. The key part of the work has been devoted to one of the most popular topics in the Big Data world – (near) real-time processing of data streams. There are discussed two important architectures of it. As for the practical side of the work, a software solution to a specific task, related to real time data streams processing, has been presented.

მას შემდეგ, რაც ინტერნეტმა მთელი სამყარო ციფრულ სივრცეში დააკავშირა, ორგანიზაციებისათვის ღირებული მონაცემების მოცულობა ძალიან გაიზარდა და კვლავაც იზრდება. ამ მოცულობის ინფორმაციის შენახვასა და დამუშავებას არსებული ტექნოლოგიები მეტწილად ახერხებდნენ იქამდე, სანამ არ გამოჩნდნენ სოციალური ქსელები, საძიებო ქსელები და ელექტრონული კომერციები, რომელთაც, მოკლედ რომ ვთქვათ, მონაცემთა ბუმი მოჰყვა. მომხმარებლებელთა მოთხოვნილებების დასაკმაყოფილებლად, ინოვაციურობისათვის თუ კონკურენციის დასაძლევად, კომპანიებს სჭირდებოდათ უზარმაზარი მოცულობის მონაცემის შეგროვება უამრავი სხვადასხვა წყაროსაგან, გაწმენდა, ტრანსფორმაცია, გაანალიზება და სწრაფი გადაწყვეტილებების მიღება, რაც არსებული საშუალებებით იოლი არ იყო. აქ პრობლემა მხოლოდ ამ ინფორმაციის მოცულობა არ იყო. ამ ფაქტორთან ერთად, ამ დიდ მონაცემთა მთავარი გამოწვევა გახლდა მათი არასტრუქტურირებული ბუნებაც და წარმოქმნის სისწრაფეც. 2005 წლიდან ოფიციალურად დამკვიდრდა ტერმინი დიდი მონაცემები – Big Data. იმავე წელსვე შეიქმნა Hadoop-იც - დიდ მონაცემთა სამყაროს გული. მას შემდეგ ღია პროგრამული უზრუნველყოფების სივრცეში ძალიან აქტიურად მუშაობენ დიდ მონაცემების მიმართულებით. შეიქმნა უამრავი სპეციალიზირებული ტექნოლოგია და საშუალება, რომელთა წყალობითაც შესაძლებელია დიდ მონაცემთა დამუშავება, შენახვა, მართვა, ანალიზი და ა. შ. შედეგად, დღესდღეობით Big Data ეკოსისტემა ძალიან მრავალფეროვანია, არქიტექტურა კი – საკმაოდ კომპლექსური და მრავალი კომპონენტისგან შემდგარი. წინამდებარე ნაშრომში ზოგადად არის მიმოხილული დიდ მონაცემები, მისი აქტუალობა, მთავარი კონცეფციები თუ პრინციპები, ძირითადი მახასიათებლები და არქიტექტურული თავისებურებები. საკვანძო ნაწილი კი ეხება Big Data სამყაროს ერთ-ერთ აქტუალურ მიმართულებას – მონაცემთა ნაკადების დამუშავება (თითქმის) რეალურ დროში და განხილულია მისი ორი ძირითადი არქიტექტურა. პრაქტიკული ნაშრომის სახით კი წარმოდგენილია მონაცემთა ნაკადების დამუშავებასთან დაკავშირებული კონკრეტული ამოცანის გადაჭრა პროგრამული უზრუნველყოფის კოდის სახით.