تشخیص ناهنجاری با یادگیری ماشین: الگوریتم‌ها، تکنیک‌ها و کاربردها

در دنیای امروز که حجم عظیمی از داده در کسب‌وکارها و سیستم‌ها تولید می‌شود، یکی از چالش‌های اصلی، شناسایی داده‌های غیرعادی یا همان ناهنجاری‌ها است. این داده‌ها می‌توانند نشانه‌ای از مشکلات جدی مثل حملات امنیتی، خطاهای سیستمی یا حتی تقلب‌های مالی باشند و در عین حال فرصت‌هایی برای بهینه‌سازی عملکرد یا کشف الگوهای جدید فراهم کنند. به همین دلیل، تشخیص ناهنجاری (Anomaly Detection) به‌عنوان یکی از ابزارهای کلیدی در علم داده، یادگیری ماشین و مدیریت سیستم‌ها شناخته می‌شود.

در این مقاله با مفهوم تشخیص ناهنجاری، اهمیت آن، انواع مختلف ناهنجاری، روش‌ها و الگوریتم‌های پرکاربرد، تکنیک‌های آموزشی و مهم‌ترین کاربردهای آن در صنایع مختلف آشنا می‌شویم.

تشخیص ناهنجاری (Anomaly Detection) چیست؟

تشخیص ناهنجاری یا Outlier Detection به فرایند شناسایی داده‌ها، رویدادها یا نقاطی گفته می‌شود که از الگوی معمول، استاندارد یا مورد انتظار خارج می‌شوند و با بقیه داده‌های مجموعه هم‌خوانی ندارند.

این مفهوم سابقه‌ای طولانی در آمار دارد؛ جایی که تحلیل‌گران و دانشمندان با بررسی نمودارها به دنبال موارد غیرعادی می‌گشتند. اما امروزه با کمک هوش مصنوعی (AI) و یادگیری ماشین (ML)، تشخیص ناهنجاری می‌تواند به‌صورت خودکار الگوهای غیرمنتظره در رفتار داده‌ها را شناسایی کند.

داده‌های ناهنجار می‌توانند نشانه‌ای از وقوع رخدادهای مهم در زیرساخت باشند؛ مثل خرابی سیستم، تغییرات ناگهانی در سرویس‌های بالادستی یا تهدیدهای امنیتی. از طرف دیگر، همین داده‌ها ممکن است فرصت‌هایی برای بهینه‌سازی معماری سیستم یا بهبود استراتژی‌های بازاریابی ایجاد کنند.

کاربردهای تشخیص ناهنجاری بسیار گسترده است و در صنایع مختلفی به کار گرفته می‌شود. به‌عنوان نمونه:

• در صنعت مالی برای شناسایی تقلب،
• در تولید برای کشف نقص‌ها یا خرابی تجهیزات،
• در امنیت سایبری برای تشخیص فعالیت‌های غیرعادی شبکه،
• و در سلامت برای شناسایی شرایط غیرعادی بیماران.

البته تشخیص ناهنجاری همیشه ساده نیست. چون این داده‌ها معمولا کمیاب‌اند و الگوهای رفتار عادی می‌توانند پیچیده و پویا باشند. از نگاه کسب‌وکار، مسئله‌ اصلی این است که سیستم بتواند واقعا ناهنجاری‌ها را پیدا کند و آن‌ها را با نویز داده یا مثبت کاذب اشتباه نگیرد.

چرا تشخیص ناهنجاری مهم است؟

وجود ناهنجاری در داده‌ها می‌تواند تاثیر قابل توجهی در علم داده داشته باشد و منجر به نتیجه‌گیری‌های اشتباه یا گمراه‌کننده شود. برای مثال، حتی یک داده‌ی خارج از الگو (Outlier) می‌تواند میانگین یک مجموعه داده را به‌طور جدی منحرف کند و تصویر نادرستی از کل داده ارائه دهد. همچنین، این ناهنجاری‌ها می‌توانند عملکرد الگوریتم‌های یادگیری ماشین را مختل کنند؛ چون باعث می‌شوند مدل به جای یادگیری الگوی اصلی داده، روی نویز تمرکز کند.

شناسایی و مدیریت ناهنجاری‌های داده اهمیت زیادی دارد و دلایل اصلی آن عبارت‌اند از:

• بهبود کیفیت داده‌ها: شناسایی و رفع ناهنجاری‌ها کیفیت داده را افزایش می‌دهد؛ موضوعی که برای تحلیل‌های دقیق و قابل اعتماد حیاتی است. با حذف نویز و خطا، داده‌ها نمایانگر الگوهای واقعی‌تری خواهند بود.
• تصمیم‌گیری بهتر: تصمیم‌گیری مبتنی بر داده زمانی ارزشمند است که تحلیل داده‌ها دقیق و معتبر باشد. مدیریت ناهنجاری‌ها باعث می‌شود یافته‌ها قابل اعتمادتر شوند و در نتیجه تصمیم‌های آگاهانه‌تر و نتایج بهتری حاصل شود.
• بهینه‌سازی عملکرد یادگیری ماشین: وجود ناهنجاری می‌تواند باعث شود مدل روی نویز فیت شود و نتواند الگوهای واقعی را شناسایی کند. با مدیریت این داده‌ها، می‌توان عملکرد مدل‌های یادگیری ماشین را بهینه کرد و به پیش‌بینی‌های دقیق‌تر و مطمئن‌تر رسید.

انواع ناهنجاری‌ها

یک سیستم تشخیص ناهنجاری به‌طور کلی می‌تواند دو نوع ناهنجاری را شناسایی کند: غیرعمدی و عمدی.

ناهنجاری‌های غیرعمدی

این نوع ناهنجاری‌ها زمانی رخ می‌دهند که داده‌ها به‌دلیل خطا یا نویز در فرایند جمع‌آوری، از حالت عادی خارج شوند. این خطاها می‌توانند سیستماتیک یا تصادفی باشند؛ مثل سنسورهای معیوب یا خطای انسانی در ورود داده. چنین ناهنجاری‌هایی معمولا باعث تحریف داده‌ها می‌شوند و استخراج بینش‌های دقیق را دشوار می‌کنند.

ناهنجاری‌های عمدی

این نوع ناهنجاری‌ها ناشی از رویدادها یا اقدامات خاص هستند. برخلاف نوع قبلی، این داده‌ها می‌توانند اطلاعات ارزشمندی در مورد مجموعه داده ارائه دهند، چون اغلب الگوهای خاص یا روندهای جدید را نشان می‌دهند. برای مثال، افزایش ناگهانی فروش در تعطیلات می‌تواند یک ناهنجاری عمدی باشد؛ چون با الگوی معمول فروش متفاوت است اما در نتیجه یک رویداد واقعی اتفاق می‌افتد.

ناهنجاری‌های تجاری

در داده‌های تجاری، سه نوع اصلی از ناهنجاری‌های سری‌زمانی وجود دارد: ناهنجاری نقطه‌ای، ناهنجاری متنی و ناهنجاری جمعی.

• ناهنجاری نقطه‌ای (Point Anomalies)

که به آن‌ها Outlier جهانی هم گفته می‌شود، داده‌های منفردی هستند که به‌طور قابل توجهی از سایر نقاط داده فاصله دارند. این ناهنجاری‌ها می‌توانند عمدی یا غیرعمدی باشند و معمولا در اثر خطا، نویز یا رخدادهای خاص به وجود می‌آیند. برای مثال، یک برداشت غیرعادی و بسیار بزرگ از حساب بانکی در مقایسه با برداشت‌های قبلی کاربر، نمونه‌ای از ناهنجاری نقطه‌ای است.

• ناهنجاری متنی (Contextual Anomalies)

این ناهنجاری‌ها زمانی به وجود می‌آیند که داده‌ها در یک بستر مشخص از حالت عادی خارج شوند. در نگاه جداگانه ممکن است این داده‌ها عادی به نظر برسند اما در زمینه‌ای خاص ناهنجار محسوب می‌شوند.

برای مثال، مصرف برق یک خانه را در نظر بگیرید: اگر در میانه روز (زمانی که اعضای خانواده معمولا خانه نیستند) افزایش ناگهانی مصرف برق رخ دهد، این وضعیت یک ناهنجاری متنی محسوب می‌شود. در حالی‌که همین مصرف برق در صبح یا شب طبیعی است، چون در آن زمان افراد معمولا در خانه حضور دارند.

• ناهنجاری جمعی (Collective Anomalies)

این نوع ناهنجاری‌ها شامل مجموعه‌ای از داده‌هاست که در کنار هم از حالت عادی خارج می‌شوند، حتی اگر هر کدام به‌صورت جداگانه طبیعی به نظر برسند. برای مثال، افزایش ناگهانی ترافیک شبکه از چندین آدرس IP به‌طور همزمان، یک ناهنجاری جمعی به حساب می‌آید.

روش‌های تشخیص ناهنجاری

استفاده از یک سیستم تشخیص ناهنجاری در تحلیل داده بسیار مهم است چون تضمین می‌کند که نتایج به‌دست‌آمده دقیق و قابل‌اعتماد باشند. برای ساخت چنین سیستمی، روش‌های مختلفی وجود دارد که می‌توان از آن‌ها بهره برد.

بصری‌سازی (Visualization)

بصری‌سازی یکی از ابزارهای قدرتمند برای تشخیص ناهنجاری است. با ترسیم داده‌ها روی نمودارها و گراف‌ها، دانشمندان داده می‌توانند به‌سرعت نقاط غیرعادی یا الگوهای غیرمنتظره را شناسایی کنند. بررسی دیداری داده‌ها این امکان را می‌دهد که روندها یا نقاط داده غیرمعمول به‌طور مستقیم دیده شوند.

آزمون‌های آماری (Statistical Tests)

آزمون‌های آماری به تحلیل‌گران کمک می‌کنند تا داده‌های مشاهده‌شده را با توزیع یا الگوی مورد انتظار مقایسه کنند و ناهنجاری‌ها را تشخیص دهند.

برای مثال:

• آزمون Grubbs: این آزمون با مقایسه هر نقطه داده با میانگین و انحراف معیار مجموعه، می‌تواند داده‌های پرت را شناسایی کند.
• آزمون Kolmogorov-Smirnov: این آزمون بررسی می‌کند که آیا یک مجموعه داده از یک توزیع خاص (مثل توزیع نرمال) پیروی می‌کند یا نه.

الگوریتم‌های یادگیری ماشین برای تشخیص ناهنجاری

الگوریتم‌های یادگیری ماشین می‌توانند با یادگیری الگوی پنهان در داده‌ها، هرگونه انحراف از آن الگو را شناسایی کنند. برخی از پرکاربردترین الگوریتم‌های ML برای تشخیص ناهنجاری عبارت‌اند از:

درخت‌های تصمیم (Decision Trees)

یکی از انواع معروف، الگوریتم Isolation Forest است که با رویکرد یادگیری تجمعی (Ensemble) کار می‌کند. این روش با انتخاب تصادفی ویژگی‌ها و مقادیر تقسیم، داده‌های پرت را ایزوله کرده و شناسایی می‌کند.

ماشین بردار پشتیبان یک‌کلاسه (One-Class SVM)

این الگوریتم فقط روی داده‌های «عادی» آموزش می‌بیند و یک مرز اطراف آن‌ها ایجاد می‌کند. هر داده‌ای که بیرون از این مرز قرار بگیرد به‌عنوان ناهنجاری در نظر گرفته می‌شود.

k نزدیک‌ترین همسایه (k-Nearest Neighbors – k-NN)

در این روش، هر نقطه داده بر اساس اکثریت کلاس k همسایه نزدیک خود دسته‌بندی می‌شود. اگر یک داده تعداد کمی همسایه مشابه داشته باشد، احتمالا یک ناهنجاری است.

روش‌های بیز ساده (Naive Bayes)

این مدل‌ها احتمال رخداد یک رویداد را بر اساس وجود عوامل موثر تخمین می‌زنند و با تحلیل روابط علت و معلولی، ناهنجاری‌ها را شناسایی می‌کنند.

خودرمزگذارها (Autoencoders)

نوعی شبکه عصبی هستند که روی داده‌های سری‌زمانی آموزش می‌بینند تا الگوهای گذشته را پیش‌بینی کنند. اگر داده‌های جدید با الگوی تاریخی همخوانی نداشته باشند، به‌عنوان ناهنجاری شناسایی می‌شوند.

عامل پرت محلی (Local Outlier Factor – LOF)

یک الگوریتم مبتنی بر چگالی است که تراکم محلی هر نقطه داده را با همسایه‌هایش مقایسه می‌کند. نقاطی که چگالی به‌مراتب کمتری نسبت به همسایه‌ها دارند، پرت در نظر گرفته می‌شوند.

خوشه‌بندی k-means

این الگوریتم داده‌های بدون برچسب را خوشه‌بندی می‌کند و نقاطی که فاصله‌ی زیادی از مراکز خوشه‌ها داشته باشند یا در هیچ خوشه‌ای به‌خوبی جا نگیرند، ناهنجاری محسوب می‌شوند.

تکنیک‌های تشخیص ناهنجاری

الگوریتم‌های تشخیص ناهنجاری می‌توانند با استفاده از روش‌های مختلف آموزش یادگیری ماشین، الگوها را شناسایی کرده و داده‌های غیرعادی را تشخیص دهند. میزان وجود داده‌های برچسب‌خورده (Labeled Data) در مجموعه‌ی آموزشی، تعیین می‌کند که کدام یک از سه تکنیک اصلی مورد استفاده قرار گیرد: بدون‌نظارت (Unsupervised)، با‌نظارت (Supervised) یا نیمه‌نظارتی (Semi-Supervised).

تشخیص ناهنجاری بدون‌نظارت (Unsupervised)

در این روش، مدل روی داده‌های بدون برچسب آموزش می‌بیند و خودش به‌طور مستقل به کشف الگوها یا ناهنجاری‌ها می‌پردازد. این تکنیک‌ها بیشترین کاربرد را دارند، چون نیازمند داده‌های برچسب‌خورده نیستند اما در عوض به مجموعه‌های داده عظیم و توان پردازشی بالا نیاز دارند. بیشتر در سناریوهای یادگیری عمیق (Deep Learning) و شبکه‌های عصبی مصنوعی استفاده می‌شوند.

تشخیص ناهنجاری با‌نظارت (Supervised)

در این روش، الگوریتم روی داده‌های برچسب‌خورده آموزش می‌بیند؛ داده‌هایی که هم نمونه‌های عادی و هم نمونه‌های ناهنجار را شامل می‌شوند. با این حال، چون معمولا داده‌های برچسب‌خورده ناهنجاری به‌سختی در دسترس‌اند و کلاس‌ها بسیار نامتوازن‌اند، این تکنیک کاربرد محدودی دارد.

تشخیص ناهنجاری نیمه‌نظارتی (Semi-Supervised)

این روش ترکیبی از دو رویکرد قبلی است. الگوریتم ابتدا با بخشی از داده‌های برچسب‌خورده آموزش داده می‌شود و سپس از آن برای برچسب‌گذاری خودکار داده‌های بیشتر استفاده می‌گردد؛ فرایندی که به آن برچسب‌گذاری شبه‌ای (Pseudo-Labeling) گفته می‌شود. در صورتی که این برچسب‌ها معتبر باشند، با داده‌های اولیه ترکیب شده و مدل دقیق‌تر آموزش می‌بیند.

در عمل، پیدا کردن ترکیب درست بین روش‌های با‌نظارت و بدون‌نظارت، برای اتوماسیون در یادگیری ماشین اهمیت زیادی دارد. ایدئال این است که بخش عمده‌ طبقه‌بندی داده‌ها بدون دخالت انسان و به صورت بدون‌نظارت انجام شود. با این حال، مهندسان داده باید بتوانند داده‌های آموزشی کافی برای ایجاد خط مبنا (Baseline) در اختیار الگوریتم قرار دهند. رویکرد نیمه‌نظارتی این امکان را می‌دهد که سیستم در مقیاس بزرگ کار کند و در عین حال انعطاف لازم برای تعریف قوانین دستی در مورد ناهنجاری‌های خاص وجود داشته باشد.

کاربردهای تشخیص ناهنجاری

تشخیص ناهنجاری صرفا یک مفهوم نظری در علم داده نیست، بلکه در صنایع و حوزه‌های مختلف نقشی حیاتی ایفا می‌کند. از امنیت سایبری گرفته تا کنترل کیفیت در تولید و از مدیریت زیرساخت‌های IT تا خرده‌فروشی و تجارت الکترونیک، استفاده از این تکنیک‌ها به سازمان‌ها کمک می‌کند تا سریع‌تر واکنش نشان دهند، از خسارت‌های احتمالی جلوگیری کنند و فرصت‌های جدید را شناسایی کنند. در ادامه به برخی از مهم‌ترین کاربردهای آن در دنیای واقعی می‌پردازیم.

۱- تشخیص تقلب (Fraud Detection)

مدل‌های تشخیص ناهنجاری به‌طور گسترده در بانکداری، بیمه و بازارهای مالی استفاده می‌شوند تا فعالیت‌های مشکوک یا تقلبی را به‌صورت بلادرنگ شناسایی کنند. نمونه‌ها شامل تراکنش‌های غیرمجاز، پول‌شویی، تقلب در کارت اعتباری، ادعاهای جعلی مالیاتی و الگوهای غیرعادی در معاملات بورسی هستند.

۲- امنیت سایبری (Cybersecurity)

سیستم‌های تشخیص نفوذ (IDS) و سایر فناوری‌های امنیتی از تشخیص ناهنجاری برای شناسایی فعالیت‌های غیرعادی یا مشکوک کاربران و الگوهای ترافیک شبکه استفاده می‌کنند. این داده‌ها می‌توانند نشانه‌ای از تهدیدهای امنیتی یا حملاتی مانند بدافزار یا دسترسی غیرمجاز باشند.

۳- تولید و کنترل کیفیت (Manufacturing & Quality Control)

الگوریتم‌های تشخیص ناهنجاری در کنار بینایی ماشین (Computer Vision) برای کشف نقص‌ها در محصولات یا بسته‌بندی‌ها به کار می‌روند. داده‌های به‌دست‌آمده از دوربین‌های با وضوح بالا، حسگرها و شاخص‌های تولیدی مبنای تحلیل هستند.

۴- مدیریت سیستم‌های IT (IT Systems Management)

این روش می‌تواند برای پایش عملکرد سیستم‌های IT استفاده شود. با تحلیل لاگ‌های سرور و شناسایی الگوهای غیرعادی، تیم‌ها می‌توانند مشکلات احتمالی را پیش‌بینی کرده و از اختلال یا خرابی جلوگیری کنند.

۵- انرژی، حمل‌ونقل و زیرساخت‌های حیاتی (Energy, Transportation & Critical Infrastructure)

با شناسایی ناهنجاری‌ها در داده‌های حسگرهای اینترنت اشیا (IoT) و تجهیزات عملیاتی (OT)، می‌توان نیاز به تعمیر یا احتمال خرابی تجهیزات را پیش‌بینی کرد. در حوزه انرژی نیز تشخیص ناهنجاری به مدیریت بهینه مصرف و کشف زودهنگام مشکلات تجهیزات کمک می‌کند.

پیشنهاد مطالعه: تاثیر اینترنت اشیا (IoT) بر امنیت شبکه

۶- خرده‌فروشی و تجارت الکترونیک (Retail & E-commerce)

خرده‌فروشان از مدل‌های تشخیص ناهنجاری برای شناسایی الگوهای غیرعادی در رفتار مشتریان استفاده می‌کنند. این کاربرد می‌تواند شامل کشف تقلب، پیش‌بینی ریزش مشتری و بهبود استراتژی‌های بازاریابی باشد. در تجارت الکترونیک، این مدل‌ها در شناسایی نقدهای جعلی، تصرف حساب کاربری، رفتار خرید غیرعادی و سایر نشانه‌های کلاهبرداری یا جرائم سایبری کاربرد دارند.

نتیجه‌گیری

تشخیص ناهنجاری به توسعه‌دهندگان، مهندسان داده و سازمان‌ها کمک می‌کند تا در میان حجم وسیع داده‌ها، نشانه‌های پنهان از رویدادهای مهم را شناسایی کنند. از کشف تقلب مالی و افزایش امنیت سایبری گرفته تا مدیریت بهینه زیرساخت‌های IT و پیش‌بینی خرابی تجهیزات، این حوزه نقش پررنگی در هوشمندسازی تصمیم‌گیری و بهبود عملکرد سیستم‌ها دارد.

با پیشرفت الگوریتم‌های یادگیری ماشین و استفاده از تکنیک‌های بدون‌نظارت، با‌نظارت و نیمه‌نظارتی، آینده‌ی تشخیص ناهنجاری به سمت دقت بالاتر، مقیاس‌پذیری بیشتر و خودکارسازی گسترده‌تر حرکت می‌کند. برای توسعه‌دهندگان، درک این مفاهیم نه‌تنها یک مهارت فنی مهم است، بلکه می‌تواند در طراحی راهکارهای نوآورانه و مقاوم در برابر خطا و تهدید، نقشی کلیدی ایفا کند.

منابع

ibm.com

🏷️ برچسب‌ها: یادگیری ماشین

مطالب مرتبط

پردازش تصویر با هوش مصنوعی + نمونه اجرایی با پایتون مشاغل مرتبط با هوش مصنوعی + درآمد آن‌ها در ایران و جهان مدل‌های زبانی بزرگ (LLMs) چیستند؟