پاورپوینت دسته بندی با استفاده از مدل های خطی (pptx) 39 اسلاید
دسته بندی : پاورپوینت
نوع فایل : PowerPoint (.pptx) ( قابل ویرایش و آماده پرینت )
تعداد اسلاید: 39 اسلاید
قسمتی از متن PowerPoint (.pptx) :
1
دسته بندی با استفاده از مدل های خطی
دسته بندی
در مسایل دسته بندی یک بردار ورودی X به یکی از K کلاس مجزای Ck اختصاص داده میشود.
برای این کار فضای ورودی به نواحی تصمیم گیری تقسیم بندی میشود که مرزهای آنرا سطوح تصمیم گیری می نامند.
در این فصل مدل هایی بررسی میشوند که سطوح تصمیم گیری از توابع خطی تشکیل میشوند. برای جدا سازی فضای ورودی D بعدی از ابرصفحه های D-1 بعدی استفاده میشود.
2
مسایل جدا پذیر خطی
مجموعه داده هایی که با یک سطح تصمیم گیری خطی جداپذیر هستند linearly separable یا جداپذیر خطی نامیده میشوند.
یک دسته بندی کننده خطی برای دسته بندی داده ها از ترکیب خطی ویژگی ها استفاده میکند.
دسته بندی کننده خطی بسیار سریع عمل میکند و برای داده ها با ابعاد بالا کارائی خوبی دارد. (البته درخت تصمیم میتواند سریعتر عمل نماید.)
3
داده جدا پذیر خطی
دسته بندی کننده غیرخطی
دسته بندی کننده خطی
Generative models vs. discriminative models
دو روش کلی برای تعیین پارامترهای دسته بندی کننده های خطی وجود دارد:
Generative models
این روش ها بر اساس مدل سازی توابع چگالی شرطی عمل میکنند نظیر
Naive Bayes classifier که در آن از فرض استقلال شرطی استفاده میشود.
discriminative models
در این روش ها از یک مدل جدا کننده استفاده میشود که سعی در افزایش کیفیت خروجی بر اساس داده های آموزشی دارد. نظیر:
Logistic regression
که در آن مدل بر این اساس بدست می آید که داده مشاهده شده توسط مدلی ساخته شده که توسط خروجی قابل توصیف است
Perceptron
که در آن سعی در کاهش خطای مشاهده شده در داده آموزشی است
Support vector machine
که در آن سعی در افزایش فاصله مرزی سطوح تصمیم گیری و داده های آموزشی است
4
تقسیم بندی مدلها به صورت احتمالاتی
Discriminant Functions
Two class and Multi class
Least squares for classification
Fisher’s linear discriminant
Perceptron algorithm
Probabilistic Generative Models
Continuous inputs and max likelihood
Discrete inputs, Exponential Family
Probabilistic Discriminative Models
Logistic regression for single and multi class
Laplace approximation
Bayesian logistic regression
5
تابع هدف
در مسایل دو کلاسی تابع هدف بصورت زیر است:
که مقدارt=0 برای کلاس C1 و t=1 برای کلاس C2 استفاده میشود.
برای مسایل چند کلاسی از یک روش کدینگ 1-of-K برای نمایش کلاسها استفاده میشود. برای مثال در یک مسئله 5 کلاسی یک ورودی متعلق به کلاس 2 بصورت زیر نمایش داده میشود.
6
تبدیل رگراسیون خطی به دسته بندی کننده خطی
ساده ترین مدل رگراسیون مدل خطی بصورت زیر است:
در مسایل دسته بندی مقدار y مقادیر گسسته و یا مقدار احتمال ثانویه بین (0,1) به خود میگیرد.
برای این منظور از تابعی به صورت f(.) که تابع activation function نامیده میشود استفاده میشود.
سطوح تصمیم گیری بصورت y(x)=constant خواهند بود که توابع خطی از x هستند. اما در حالت کلی f می تواند غیر خطی باشد.
7
تابع جداساز
تابع جدا ساز تابعی است که بردار x را بعنوان ورودی گرفته و در خروجی مقداری متناسب با کلاس Ck تولید میکند.
در حالت دو کلاسی تابع جدا ساز خطی بصورت زیر تعریف میشود.
که در آن w بردار وزن و w0 مقدار بایاس خوانده میشود.
8
برای دسته بندی از رابطه زیر استفاده میشود:
مرز دسته بندی با تابع زیر تعیین میشود:
این مرز برای داده D بعدی بصورت یک ابرصفحه D-1 بعدی خواهد بود.
تعیین تابع جداساز
برای تعیین مقادیر w می توان دو نقطه XA, XB را در روی سطح تصمیم گیری درنظر بگیرید. از آنجائیکه
لذا خواهیمداشت:
در نتیجه بردار w بر هر بردار موجود در صفحه تصمیم گیری عمود خواهد بود. بعبارت دیگر بردار w می تواند جهت صفحه تصمیم گیری را تعیین نماید.
اگر x نقطه ای روی سطح تصمیم گیری باشد خواهیم داشت:
9
مقدار w0 فاصله از مبدا سطح تصمیم گیری را مشخص میکند.