تحلیل عوامل موثر بر عدم موفقیت برنامه‌ها در چارچوب هادوپ براساس فایل‌های ثبت وقایع

Abstract

امروزه شرکت‌های بزرگ بسیاری مانند فیسبوک، یاهو و گوگل از هادوپ برای اهداف گوناگون استفاده می‌کنند. هادوپ یک چارچوب نرم‌افزاری متن‌باز برای کار با کلان داده‌ها است که از نگاشت کاهش برای پردازش موازی داده‌ها استفاده می‌کند. به جهت اهمیت سیستم‌های کلان داده مانند هادوپ، مطالعات بسیاری روی داده‌های ثبت وقایع آنها به منظور مدیریت بهتر منابع، زمانبندی بهینه، کنترل ناهنجاری و تشخیص شکست و خرابی صورت گرفته است. با مطالعه و تحلیل خرابی کارها می‌توان علت‌های آن را شناسایی و برطرف کرد، کارایی سیستم را افزایش داد و از هدر رفتن منابع و زمان جلوگیری نمود. در این مقاله ما داده‌های ثبت وقایع متعلق به یک خوشه تحقیقاتی به نام OpenCloud را به جهت تشخیص خرابی کارها مورد مطالعه قرار دادیم . OpenCloud سابقه زیادی در استفاده از چارچوب هادوپ داشته و مورد استفاده محققان در زمینه‌های مختلف بوده است. مطالعه ما نشان داد که عوامل مختلفی از جمله زمان ثبت، مدت زمان اجرا، تعداد گره‌های اجراکننده و حجم داده‌های ورودی/خروجی بر موفقیت یا عدم موفقیت کارها در هادوپ موثر است.