:دانلود فایل متن کامل پایان نامه در سایت sabzfile.com

دانشگاه شیراز

دانشکده علوم

پایان نامه­ ی کارشناسی ارشد در رشته­ ی

 آمار ریاضی

استنباط آماری مدل رگرسیونی با خطاهای خودبازگشتی به روش لاسو

استاد راهنما

 دکتر مریم شرفی

اسفند ماه 1392

برای رعایت حریم خصوصی نام نگارنده پایان نامه درج نمی گردد

(در فایل دانلودی نام نویسنده موجود می باشد)

تکه هایی از متن پایان نامه به عنوان نمونه :

(ممکن می باشد هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود اما در فایل دانلودی همه چیز مرتب و کامل می باشد)

فهرست مطالب

  جستجو در سایت :   

عنوان                                                                                              صفحه

 

فصل اول: مقدمات و تعاریف

 

مقدمه : 2

1-1-رگرسیون خطی چندگانه و مسئله چند همخطی… 2

1-2-رگرسیون ریج.. 4

1-3-بریج.. 5

1-4-لاسو. 6

1-4-1-رفتار مجانبی ……. 8

1-5-تعاریف…. 10

1-5-1- تُنُکی… 10

1-5-2-برآوردگر پیشگو. 10

1-5-3-نماد لاندا 11

1-5-4-بهینه سازی محدب… 12

1-5-5-1-همگرایی در توزیع.. 12

1-5-5-2-همگرایی در احتمال.. 13

1-5-5-3-سازگاری با نرخ ریشه  ام. 13

1-5-5-4-همگرایی با احتمال یک….. 14

1-5-6-فرایند ایستا 14

1-5-7-فرایند خودبازگشتی-میانگین متحرک…. 14

1-5-8-معیارهای انتخاب مدل.. 15

1-5-8-1-معیار اطلاع بیزی… 15

1-5-8-2-اعتبارسنجی متقابل… 16

اعتبارسنجی متقابل  لایه. 17

 

فصل دوم: برآوردگرهای لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی

2-1-مدل رگرسیون خطی با خطای سری زمانی… 21

2-2-برآوردکمترین مربعات درمدل رگرسیونی باخطاهای خودبازگشتی میانگین متحرک…. 22

2-3-برآورد کمترین مربعات پارامترها 24

2-4-توزیع برآوردها 26

2-5-برآوردیابی به روش لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی… 28

2-6-خواص نظری برآوردگرهای لاسو. 30

2-6-1-خواص برآوردگر لاسو سنتی… 31

2-6-2-خواص برآوردگر لاسو اصلاح شده. 35

 

فصل سوم: الگوریتم دستیابی به برآوردگرهای لاسو در مدل رگرسیون خطی با خطای خود بازگشتی

 

3-1-فرایند تکراری… 42

3-2-تحدب موضعی 44

3-3-برآوردگر شروع.. 45

3-4-پارامترهای تنظیم کننده. 45

 

فصل چهارم: مثالهای کاربردی و شبیه سازی

4-1-مثال شبیه سازی… 49

4-2-مثال واقعی… 52

پیوست…. 55

مارتینگل و قضیه حد مرکزی مارتینگلها 56

قضیه ارگودیک….. 57

فهرست منابع و مآخذ.. 58

واژه نامه فارسی به انگلیسی… 61

واژه نامه انگلیسی به فارسی… 66

 

 فهرست جدول ها

 

 

عنوان                                                                                             صفحه

 

جدول4-1: نتایج شبیه سازی برای ………………………………………………………………………… 51

جدول4-2: نتایج مثال واقعی……………………………………………………………………………………………………… 53

 

 

فهرست علائم اختصاری

LASSO: Least Absolute Shrinkage and Selection Operator

i.i.d: independent  and  identical distribution

MSE: Mean Square Error

CV: Cross Validation

GCV: Generalized Cross Validation

OLS: Ordinary Least Square

 

فصل اول

 

 

مقدمات و تعاریف

مقدمه :

در این فصل به تعاریف و مقدمات لازم مانند مدل رگرسیون خطی چندگانه استاندارد، مفهوم چند همخطی، رگرسیون ریج، بریج، روش لاسو و … که در فصلهای بعد به آنها نیاز داریم، خواهیم پرداخت.

 

1-1-رگرسیون خطی چندگانه و مسئله چند همخطی

یک مدل رگرسیون که شامل بیش از یک متغیر مستقل باشد و نسبت به پارامترها خطی باشد را مدل رگرسیون خطی چندگانه می نامند. فرم کلی یک مدل رگرسیون خطی چندگانه استاندارد به صورت زیر میباشد:

(1-1)

 

که درآن  متغیرهای تصادفی مستقل و هم توزیع با میانگین صفر و واریانس  میباشد .  بردار پارامترها، برای    بردار متغیرهای مستقل و  متغیر پاسخ میباشد. ماتریس  را ماتریس طرح مینامیم.

هنگامی که بین متغیر های مستقل همبستگی وجود داشته باشد، می گوییم بین آنها چند همخطی هست. از آثار چند همخطی می توان به موردها زیر تصریح نمود:

الف : از آنجاییکه در این حالت اطلاعات مستقل در مورد هریک از متغیرهای مستقل وجود ندارد، پس نمی توان اثرات جزئی متغیرهای مذکور روی متغیر وابسته را برآورد نمود .

ب : هنگامی که همبستگی شدید بین متغیرهای مستقل وجود داشته باشد، کوواریانس و واریانس ضرایب، بزرگتر برآورد خواهند گردید .

ج : در حالتی که با چند همخطی شدید در مدل مواجه هستیم، پیش بینی های صورت گرفته از آن غیر قابل اعتماد خواهد بود. در این حالت پیش بینی ها براساس مدلی که دارای زیر مجموعه ای از متغیرهای مستقل مدل اصلی می باشد، بهتر انجام می شود .

د : ارتباط قوی بین دو یا چند متغیر مستقل سبب می گردد که نتوان ماتریس  را معکوس نمود. زیرا در این صورت ستون های ماتریس  به هم وابسته هستند و در نتیجه ستون های  نیز با هم وابسته هستند و پررتبه نیست.

همان گونه که در قسمت ج گفتیم یکی از روش ها برای بهبود برآورد کمترین مربعات، زیر مجموعه منتخب می باشد که نتیجه گزینش بهترین زیر مجموعه رگرسیون می باشد . از روشهای زیر مجموعه منتخب میتوان به رگرسیون گام به گام، حذف پیشرو و انتخاب پسرو تصریح نمود. البته قابل ذکر می باشد که زیر مجموعه منتخب خود دارای مشکل عدم استواری می باشد . به عنوان مثال با تغییر کوچک در داده ها مدل های خیلی متفاوتی را به وجودمی آورد، که این امر درستی پیشبینی را کاهش می دهد.

معمولا می توان درستی پیش بینی را با انقباض تعدادی از ضرایب و یا با صفر قرار دادن آنها بهبود بخشید. روش پیشنهادی برای بهبود روش برآورد کمترین مربعات، رگرسیونهای انقباضی می باشد. مانند رگرسیون ریج[1]، لاسو[2]و بریج[3]که به اختصار این روشها را تبیین میدهیم. برای تبیین بیشتر در مورد این روشها به سلیمانی(1392) مراجعه گردد.

1-2-رگرسیون ریج

رگرسیون ریج در سال 1962 برای اولین بار توسط هوئرل و کنارد[4] معرفی گردید. همان گونه که می دانیم اساس و پایه برآوردگر کمترین مربعات یک رگرسیون خطی این می باشد که  وجود داشته باشد. دو دلیل هست که این معکوس وجود نداشته باشد : یکی ماتریس طرح  پر رتبه ستونی نباشد و دیگری چند همخطی بودن می باشد. روش رگرسیون ریج یکی از بهترین و محبوب ترین گزینهها برای رفع این مشکل می باشد.

اضافه کردن ماتریس قطری  به   راهی آسان برای تضمین معکوس پذیری می باشد یعنی . (  یک ماتریس   همانی می باشد). پس برآوردگر رگرسیون ریج پارامتر  به صورت زیر می باشد :

که  می باشد .این برآوردگر را نیز میتوان با مینیمم کردن عبارت

نسبت به  تحت شرط  بدست آورد.  یک پارامتر تنظیم کننده میباشد که اندازه انقباض ضرایب را کنترل می ‌کند.

بطور معادل با مینیمم کردن

نسبت به  بدست میآید.

همانطور که میدانید، برآوردگر کمترین مربعات  به صورت زیر میباشد:

یک برآوردگر اریب با میانگین و واریانس زیر میباشد :

همانطور که میدانید برآوردگر کمترین مربعات نااریب با واریانس زیر میباشد:

هوئرل و کنارد ثابت کردهاند که اگر  کراندار باشد می توان -یی را پیدا نمود به طوریکه :

پس رگرسیون ریج می تواند برآورد  را بهبود ببخشد.

 

1-3-بریج

فرانک و فریدمن[5] در سال 1993 در مورد تعمیم رگرسیون ریج و زیرمجموعه منتخب، از راه اضافه کردن یک جمله تاوان به شکل  به مجموع مربعات باقی‌مانده ها پرداختند که هم ارز قیدی به فرم    می‌باشد، که آنرا “بریج” نامیدند.

خاطر نشان می گردد برای توابعی به فرم خطی، تعداد زیادی تابع تاوان هست : تاوان  با  (که به تابع تاوان آنتروپی معروف می باشد) که توسط  در سال 1996 در روش انتخاب بهترین زیر مجموعه مورد بهره گیری قرار گرفت. تاوان  با  (لاسو) که توسط تیبشیرانی در سال 1996 و تاوان  با  (ریج) توسط هوئرل و کنارد در سال 1962 مورد مطالعه قرار گرفت. همچنین فن و لی[6](2001) کلاس بزرگی از تابع تاوانها را معرفی و سپس مورد مطالعه قرار دادند. آنها نشان دادند که زیرا تاوان  منحصر به فرد میباشد، از اینرو لاسو خود به خود انتخاب متغیر را انجام میدهد، که در بخش بعد آنرا اظهار میکنیم.

 

[1]

[2]

[3]

[4]

[5]

[6]

تعداد صفحه :88

قیمت : 14700 تومان

بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد

و در ضمن فایل خریداری شده به ایمیل شما ارسال می گردد.

پشتیبانی سایت :        ****       serderehi@gmail.com

در صورتی که مشکلی با پرداخت آنلاین دارید می توانید مبلغ مورد نظر برای هر فایل را کارت به کارت کرده و فایل درخواستی و اطلاعات واریز را به ایمیل ما ارسال کنید تا فایل را از طریق ایمیل دریافت کنید.

***  **** ***

دسته‌ها: علوم پایه