متعادل‌سازی داده‌ها به منظور افزایش قابلیت اطمینان در فرآیند یادگیری

Abstract

چکیده: مجموعه داده نامتعادل به مجموعه ای از داده ها گفته می شود که تعداد نمونه های موجود در یک کلاس نسبت به دیگر کلاس ها دارای اختلاف چشمگیری است و دو کلاس اکثریت و اقلیت را به وجود می آورد. این اختلاف باعث اختلال در روند یادگیری داده ها می شود و الگوریتم های یادگیری را نسبت به مدل سازی کلاس اکثریت سوق می دهند. این مشکل هنگامی که داده ها همپوشانی داشته باشند، پیچیده تر می شود. زیرنمونه برداری رویکردی است که با حذف نمونه های زائد از کلاس اکثریت، حجم داده ها در کلاس اکثریت را کاهش داده و باعث افزایش تعادل بین تعداد نمونه کلاس ها می شود. در این روش بهتر است نمونه های مفید کلاس اکثریت نگهداری و داده های زائد حذف شوند. حال در این مقاله با ارائه یک الگوریتم جدید مبتنی بر چگالی، نمونه هایی با چگالی بالا در کلاس اکثریت و داده های پرت را حذف می کند. همچنین همپوشانی بین دو کلاس و داده های پرت موجود را حذف و چگالی بین داده ها را یکنواخت می کند. با اجرای این الگوریتم بر روی مجموعه داده ها با طیف گسترده و مقایسه آن با چندین روش موجود، این الگوریتم نتایجی بهتر و با نوسانات کمتر نسبت به سایر الگوریتم های موجود دارد. لذا کمتر به مقدار پارامترها و مجموعه داده ها وابسته بوده و عملکردی قابل اطمینان تر دارد.