تحلیل اکتشافی داده‌ها (EDA) چیست؟

تحلیل اکتشافی داده‌ها (EDA) یک گام مهم اولیه در پروژه‌های علم داده است. این فرآیند شامل بررسی و تجسم داده‌ها برای درک ویژگی‌های اصلی، یافتن الگوها و کشف ارتباطات بین بخش‌های مختلف داده‌ها می‌شود. EDA به شناسایی داده‌های غیرعادی یا پرت کمک می‌کند و معمولاً قبل از شروع تحلیل‌های آماری دقیق‌تر یا ساخت مدل‌ها انجام می‌شود. در این مقاله به بررسی چیستی تحلیل اکتشافی داده‌ها (EDA) و مراحل انجام آن می‌پردازیم.

چرا تحلیل اکتشافی داده‌ها مهم است؟

تحلیل اکتشافی داده‌ها (EDA) به دلایل مختلفی مهم است، به ویژه در زمینه علم داده و مدل‌سازی آماری. در ادامه برخی از دلایل کلیدی اهمیت EDA به عنوان یک گام حیاتی در فرآیند تحلیل داده آورده شده است:

1. درک مجموعه داده: EDA به درک ساختار داده‌ها کمک می‌کند و نشان می‌دهد که چند ویژگی وجود دارد، نوع داده‌ها در هر ویژگی چیست و چگونه داده‌ها توزیع شده‌اند. این اطلاعات به انتخاب روش‌های مناسب برای تحلیل کمک می‌کنند.
2. شناسایی الگوها و روابط: EDA به شناسایی الگوها و روابط پنهان بین نقاط داده کمک می‌کند که در ساخت مدل‌ها مفید هستند.
3. شناسایی خطاها و داده‌های پرت: EDA امکان شناسایی خطاها یا نقاط داده غیرعادی (پرت) را فراهم می‌کند که می‌توانند بر نتایج تأثیر بگذارند.
4. انتخاب ویژگی‌های مهم: بینش‌های به‌دست‌آمده از EDA به شما کمک می‌کند تا تصمیم بگیرید کدام ویژگی‌ها برای ساخت مدل‌ها مهم‌تر هستند و چگونه آن‌ها را برای بهبود عملکرد آماده کنید.
5. انتخاب تکنیک‌های مدل‌سازی: با درک داده‌ها، EDA به انتخاب بهترین تکنیک‌های مدل‌سازی و تنظیم آن‌ها برای دستیابی به نتایج بهتر کمک می‌کند.

انواع تحلیل اکتشافی داده‌ها

انواع مختلفی از استراتژی‌های EDA وجود دارد که بر اساس ماهیت داده‌ها استفاده می‌شوند. بسته به تعداد ستون‌هایی که تحلیل می‌کنیم، EDA را می‌توان به سه نوع تقسیم کرد: تک‌متغیره، دو متغیره و چند متغیره.

1. تحلیل تک‌متغیره (Univariate Analysis)

تحلیل تک‌متغیره بر مطالعه یک متغیر برای درک ویژگی‌های آن متمرکز است. این تحلیل به توصیف داده‌ها و یافتن الگوها در یک ویژگی واحد کمک می‌کند. روش‌های رایج شامل موارد زیر است:

• هیستوگرام: برای نمایش توزیع داده‌ها.
• نمودار جعبه‌ای (Box Plot): برای شناسایی داده‌های پرت و درک گستردگی داده‌ها.
• نمودار میله‌ای (Bar Chart): برای داده‌های دسته‌ای.
• آمارهای خلاصه: مانند میانگین، میانه، مد، واریانس و انحراف معیار که به توصیف گرایش مرکزی و گستردگی داده‌ها کمک می‌کنند.

2. تحلیل دو متغیره (Bivariate Analysis)

تحلیل دو متغیره بر بررسی رابطه بین دو متغیر برای یافتن ارتباطات، همبستگی‌ها و وابستگی‌ها متمرکز است. این تحلیل به درک تعامل بین دو متغیر کمک می‌کند. برخی از تکنیک‌های کلیدی عبارتند از:

• نمودار پراکندگی (Scatter Plot): برای تجسم رابطه بین دو متغیر پیوسته.
• ضریب همبستگی: برای اندازه‌گیری شدت رابطه بین دو متغیر، معمولاً با استفاده از همبستگی پیرسون برای روابط خطی.
• جدول توافقی (Cross-Tabulation): برای نمایش توزیع فراوانی دو متغیر دسته‌ای و درک رابطه بین آن‌ها.
• نمودار خطی (Line Graph): برای مقایسه دو متغیر در طول زمان، به ویژه در داده‌های سری زمانی.

3. تحلیل چند متغیره (Multivariate Analysis)

تحلیل چند متغیره به بررسی روابط بین دو یا چند متغیر در مجموعه داده می‌پردازد. هدف آن درک تعامل بین متغیرها است که برای اکثر تکنیک‌های مدل‌سازی آماری ضروری است. برخی از تکنیک‌ها عبارتند از:

• نمودار جفت‌ها (Pair Plot): برای نمایش روابط بین چندین متغیر به طور همزمان.
• تحلیل مؤلفه‌های اصلی (PCA): برای کاهش پیچیدگی مجموعه‌های داده بزرگ با حفظ اطلاعات مهم.

مراحل انجام تحلیل اکتشافی داده‌ها

انجام تحلیل اکتشافی داده‌ها (EDA) شامل یک سری مراحل است که به شما کمک می‌کند تا داده‌هایی که با آن‌ها کار می‌کنید را درک کنید، الگوهای زیربنایی را کشف کنید، ناهنجاری‌ها را شناسایی کنید، فرضیه‌ها را آزمایش کنید و اطمینان حاصل کنید که داده‌ها برای تحلیل‌های بیشتر تمیز و مناسب هستند.

مرحله ۱: درک مسئله و داده‌ها

اولین گام در هر پروژه تحلیل داده، درک واضح از مسئله‌ای است که می‌خواهید حل کنید و داده‌هایی که در اختیار دارید. این مرحله شامل پرسیدن سوالات کلیدی مانند موارد زیر است:

• هدف کسب‌وکار یا سوال تحقیق چیست؟
• متغیرهای داده چه هستند و چه چیزی را نشان می‌دهند؟
• چه نوع داده‌هایی (عددی، دسته‌ای، متنی و غیره) در اختیار دارید؟
• آیا مشکلات کیفیت داده یا محدودیت‌هایی وجود دارد؟
• آیا نگرانی‌ها یا محدودیت‌های خاص دامنه وجود دارد؟

مرحله ۲: وارد کردن و بررسی داده‌ها

پس از درک واضح مسئله و داده‌ها، گام بعدی وارد کردن داده‌ها به محیط تحلیل (مانند پایتون، R یا ابزارهای صفحه‌گسترده) است. در این مرحله، بررسی داده‌ها برای درک اولیه از ساختار، انواع متغیرها و مسائل احتمالی بسیار مهم است.

import pandas as pd
<h1>بارگیری داده‌ها</h1>
data = pd.read_csv('data.csv')
<h1>بررسی اندازه داده‌ها</h1>
print(data.shape)
<h1>بررسی مقادیر گم‌شده</h1>
print(data.isnull().sum())
<h1>بررسی انواع داده‌ها</h1>
print(data.dtypes)

خروجی:

(1000, 10) # تعداد سطرها و ستون‌ها
Column1 50
Column2 30
Column3 0
dtype: int64 # تعداد مقادیر گم‌شده در هر ستون
Column1 float64
Column2 object
Column3 int64
dtype: object # انواع داده‌ها در هر ستون

مرحله ۳: مدیریت داده‌های گم‌شده

داده‌های گم‌شده در بسیاری از مجموعه‌های داده رایج هستند و می‌توانند به طور قابل توجهی بر کیفیت تحلیل شما تأثیر بگذارند. در EDA، شناسایی و مدیریت صحیح داده‌های گم‌شده بسیار مهم است.

<h1>جایگزینی مقادیر گم‌شده با میانگین</h1>
data['Column1'].fillna(data['Column1'].mean(), inplace=True)
<h1>حذف سطرهای دارای مقادیر گم‌شده</h1>
data.dropna(inplace=True)

مرحله ۴: بررسی ویژگی‌های داده‌ها

پس از مدیریت داده‌های گم‌شده، گام بعدی بررسی ویژگی‌های داده‌ها است. این مرحله شامل محاسبه آمارهای خلاصه مانند میانگین، میانه، مد، انحراف معیار، چولگی و کشیدگی برای متغیرهای عددی است.

<h1>محاسبه آمارهای خلاصه</h1>
print(data.describe())

خروجی:

Column1 Column2 Column3
count 950.000000 950.000000 950.000000
mean 50.123456 30.987654 20.543210
std 5.432109 4.321098 3.210987
min 40.000000 25.000000 15.000000
25% 47.000000 28.000000 18.000000
50% 50.000000 30.000000 20.000000
75% 53.000000 33.000000 22.000000
max 60.000000 35.000000 25.000000

مرحله ۵: تبدیل داده‌ها

تبدیل داده‌ها یک گام ضروری در EDA است زیرا داده‌ها را برای تحلیل و مدل‌سازی دقیق آماده می‌کند. برخی از تکنیک‌های رایج تبدیل داده‌ها عبارتند از:

• مقیاس‌گذاری یا نرمال‌سازی: برای متغیرهای عددی.
• کدگذاری متغیرهای دسته‌ای: برای یادگیری ماشین.
• تبدیل‌های ریاضی: مانند تبدیل لگاریتمی یا ریشه مربع برای اصلاح چولگی یا غیرخطی بودن.

from sklearn.preprocessing import StandardScaler
<h1>استانداردسازی داده‌ها</h1>
scaler = StandardScaler()
data[['Column1', 'Column2']] = scaler.fit_transform(data[['Column1', 'Column2']])

مرحله ۶: تجسم روابط داده‌ها

تجسم داده‌ها یک ابزار قدرتمند در فرآیند EDA است که به کشف روابط بین متغیرها و شناسایی الگوها یا روندهایی که ممکن است از آمارهای خلاصه آشکار نباشند کمک می‌کند.

import seaborn as sns
import matplotlib.pyplot as plt
<h1>نمودار پراکندگی</h1>
sns.scatterplot(x='Column1', y='Column2', data=data)
plt.show()
<h1>نمودار جعبه‌ای</h1>
sns.boxplot(x='Column3', y='Column1', data=data)
plt.show()

مرحله ۷: مدیریت داده‌های پرت

داده‌های پرت نقاط داده‌ای هستند که به طور قابل توجهی از بقیه داده‌ها فاصله دارند. شناسایی و مدیریت داده‌های پرت بسیار مهم است زیرا می‌توانند تحلیل شما را تحت تأثیر قرار دهند.

<h1>شناسایی داده‌های پرت با استفاده از IQR</h1>
Q1 = data['Column1'].quantile(0.25)
Q3 = data['Column1'].quantile(0.75)
IQR = Q3 - Q1
data = data[~((data['Column1'] &lt; (Q1 - 1.5 * IQR)) | (data['Column1'] &gt; (Q3 + 1.5 * IQR))]

مرحله ۸: ارائه یافته‌ها و بینش‌ها

آخرین مرحله در EDA، ارائه یافته‌ها به صورت واضح و قابل فهم است. این مرحله شامل خلاصه‌سازی تحلیل، اشاره به یافته‌های کلیدی و ارائه نتایج به صورت واضح و جذاب است.

نتیجه‌گیری

تحلیل اکتشافی داده‌ها (EDA) یک گام حیاتی در فرآیند علم داده است که به درک داده‌ها، شناسایی الگوها و آماده‌سازی آن‌ها برای تحلیل‌های بیشتر کمک می‌کند. با انجام مراحل EDA به‌طور صحیح، می‌توانید اطمینان حاصل کنید که مدل‌های شما بر اساس داده‌های تمیز و قابل اعتماد ساخته شده‌اند و نتایج دقیق‌تری ارائه می‌دهند