ترجمه مقاله رایگان با عنوان Performance evaluation of job schedulers on Hadoop YARN(ارزیابی عملکرد زمان بندهای کار بر روی Hadoop YARN)

مقاله رایگان با عنوان Performance evaluation of job schedulers on Hadoop YARN را “” از اینجا دانلود کنید“”

عنوان مقاله به فارسی : ارزیابی عملکرد زمان بندهای کار بر روی Hadoop YARN

پشتیبانی : دارد . در صورت بروز هرگونه مشکل با شماره تلفن 09367938018 در واتس آپ یا تلگرام یا 09191732587 و یا آی دی تلگرام research_moghimi@ تماس حاصل فرمایید.

کیفیت محصول :عالی

قیمت : رایگان

به منظور دانلود فایل ورد مقاله میتوانید از دکمه سبز رنگ سمت چپ صفحه استفاده کنید.

کاربر محترم توجه داشته باشید که ترجمه یار با صرف هزینه های زیاد تلاش کرده تا این مقاله را به رایگان در اختیار خواننده محترم قرار دهد. پس خواهش مندیم با خرید این محصول با قیمت بسیار کم ما را در جهت ادامه دار کردن این مسیر یاری کنید.

ترجمه کامل محصول:

ارزیابی عملکرد زمان بندهای کار بر روی Hadoop YARN

چکیده

به منظور حل محدودیت Hadoop در زمینه مقیاس پذیری، تسهیم منابع و پشتیبانی برنامه، انجمن متن باز، نسل جدید پلتفرم محاسبه هادوپ موسوم به ‘YARN با تفکیک دستورات مدیریت منابع از مدل برنامه نویسی را پیشنهاد کرده است.ترجمه توسط متن یار

این تفکیک، امکان اجرای موازی انواع برنامه های مختلفی را بر روی  YARN  می دهد. برای دست يابي به تسهیم برابر و بهره گیری بالا از منابع، YARN، زمان بند ظرفیت و زمان بند عادلانه را در اختیار گذاشته است. با این حال، اثرات عملکرد دو زمان بند در زمانی که برنامه های ترکیبی بر روی یک کلاستر YARN  اجرا می شود، مشخص نیست. از این روی در این مقاله ما جهار مجموعه سیاست زمان بندی را مطالعه می کنیم (مخفف SPC  ) که از دو زمان بند مشتق شده و سپس به ارزیابی جهار SPC در سناریوهای گسترده می پردازیم که نه تنها چهار نوع برنامه، بلکه سه ساختار صف بندی متفاوت را برای سازمان دهی برنامه ها در نظر می گیرد. نتایج آزمایشی، مدیران YARN را قادر به مرگ اثرات SPC های مختلف و ساختارهای صف بندی مختلف بر روی برنامه های ترکیبی می کند. هم چنین این نتایج به آنها در انتخاب یک SPC و ساختار صف بندي مطلوب جهت دست یابي به عملکرد اجرای برنامه بهتر کمک می کند. ”ترجمه یار، دانلود رایگان مقالات”

 1- مقدمه

هادوپ (1) یک چارچوب نرم افزاری متن باز میباشد که توسط آپاچی برای پردازش حجم بالای مجموعه داده ها بر روی یک کلاستر (خوشه) شامل تعداد زیادی از دستگاهها پشتیبانی می شود به دلیل سهولت، مقرون به صرفگی، مقیاس پذیری و تحمل پذیری خطا. طيف وسيعي از سازمانها و شرکتها نظیر گوگل، باهو. فیسبوک و آمازون از هادوپ برای هم برای تحقیق و هم برای تولید استفاده کردند (2). با این حال ماتوپ اصلی دارای چندین محدودیت می باشد (3) یک نمونه این است که تخصیص منابع مبتني بر اسلات برای دستورات نقشه و دستورات کاهش موجب محدودیت منابع کلاستر هادوب شده و منجر به بهره گیری کمتر از منابع مي شود (3) یک مثال دیگر این است که هادوپ اصلي تنها یک نوع مدل برنامه نویسی را پشتیبانی می کند يعني MapReduce(4) که برای پردازش همه نوع محاسبات بزرگ مقیاس (5-3-6) مناسب نیست.

به منظور حل این محدودیتها، انجمن متن باز نسل جدیدی از پلتفرم محاسبه هادوپ موسوم به YARN

(مخفف Yet Another Resource Negotiator  ) (3) را معرفی کرده است. نام های دیگر شامل 2  MapReduce وMRv2 ميباشند..YARN به برنامه ها و نرم افزارها امکان بهره گیری از منابع یک کلاستر را به شکلی مشترک و چند مستأجري مي دهد. YARN بر خلاف هادوپ اصلي ( يعني همه نسخه های قبل از  MR v2  ) دستورات مدیریت منابع را از مدل برنامه نویسی جدا کرده و از این روي مي تواند نه تنها از MapReduce بلکه از سایر مدل های برنامه نویسی نظیر REEF [9] , Spark [5] , Storm [7] , Tez [8]   پشتیبانی کند. به عبارت دیگر، این تفکیک امکان اجرای انواع مختلفي از نرم افزار ها را به طور موازی پر روي YARN مي دهد. ”ترجمه یار، دانلود رایگان مقالات”

به منظور پشتیبانی از یک محیط محاسباتی مشترک.YARN دو زمان بند را برای زمان بندی منابع با نرم افزارها ارائه می کند. یکی زمان بند ظرفیت زمان بند پیش فرض بر روی(10) YARN و دیگری زمان بند عادلانه (11). هر دوی آنها قادر به سازمان دهی ارسال برنامه به یک سلسله مراتب صف بندي مي باشند. با این حال، اولی مقدار حداقل منابع را برای هر صف تضمین کرده و از FIFO(که مخفف به ترتیب ورود است) برای زمان بندی نرم افزارها در صف برگ استفاده می کنند مورد دوم، منابع را به طور عادلانه در میان همه صف ها تسهیم کرده و سه سباست از جمله Fair ،  FIFO و عدالت منابع غالب (DRF) (12) را برای تسهیم منابع برای همه برنامه های در حال اجرا در یک صف ارائه می کند. همه رویکردهای زمان بندی فوق الذکر تشکیل چهار مجموعه سیاست زمان بندی زیر (SPC) را داده و انعطاف پذیری بالایی را برای مدیران YARN برای تست بابي به اهدافشان نظیر تسهیم منابع عادلانه و بهره گیری بالا از منابع در اختیار می گذارد.

1-  Cap – FIFO که زمان بند ظرفیت با سیاست زمان بندي FIFO است.

2- Fair – FIFO  که زمان بند مادلانه با سیاست زمان بندی FIFO است.

3- Falr – Fair که زمان يتد عادلانه با سیاست زمان بندی عادلانه است.

4- Fair – DRF که زمان بند عادلانه با سیاست زمان بندی DRF است.

اگرچه YARN از چهار SPC و انواع متنوعی از برنامه ها پشتیبانی می کند با این حال هنوز مشخص نیست که این SPC ها وقتی که به طور جداگانه برای زمان بندی نرم افزار های ترکیبی استفاده می شوند، چگونه کار می کنند. به علاوه، عملکرد آنها زماني نامشخص است که ساختارهای مختلف صف بندی استفاده مي شود. از این روی، در این مقاله. ما به بررسي چهار SPC و همه مدل های برنامه نویسی پشتیبانی شده توسط YARN پرداخته همه برنامه ها را به چندین نوع طبقه بندی می کنیم. با این همه، ما آزمایشات گستردهای را برای ارزیابی و مقایسه اثرات عملکرد چهار PC بر روی متریک های متنوع با در نظر گرفتن نه تنها بار کار متشکل از انواع برنامه های مختلفي، بلکه متشکل از سه سناریوی زیر انجام دادیم. هدف این مطالعه، بررسی این است که آیا ساختارهای صف بندی بر عملکرد چهار SPC تأثیر دارد یا خیر. ”ترجمه یار، دانلود رایگان مقالات”

1- سناریوی تک صف : در این سناریو تنها یک صف در کلاستر YARN ما وجود دارد. از این روي همه نرم افزارها بایستی قبل از اجرا در این صف منتظر بمانند.

2- سناریوی صف مجزا: در این سناریو، هر نوع از برنامه ها به طور جداگانه در یک صف مجزا قرار می گیرند.

3- سناریوی صف ادغام شده: در این سناریوف دو نوع صف وجود دارند: یکی برای برنامه هایی که در نهایت توسط خودشان متوقف می شود. صف دیگر برای بقیه برنامه هاست. نتایج آزمایش نشان می دهد که 1- همه SPC ها از مسئله تقسیم منبع که در ادامه توضیح داده شده است رنج می برند. این مسئله موجب می شود تا هیچ یک از SPC ما نتوانند به طور موفق، بار کار متشکل از برنامه های ترکیبی را کامل کنند 2- هیچ یک از جهار SPC معمولا بهترین عملکرد اجرایی برنامه در همه سناریوها نبوده است و 3- در میان سه سناریوه استفاده از ستاربوی صلی ادغام شده مناسب ترین سناریو برای همه SPC ها می باشد زیرا آنها مي توانند به نرخ تکمیل پرگار بالاتر و زمان بارگار کوتاه تر از دو سناریوی دیگر برسند. این مقاله دو اهميت اصلي را دارد. 1- این مقاله یک مرور جامعی را بر روی زمان بندهای فعلي،SPC هد مدل هاي برنامه نویسی و انواع برنامه های پشتیبانی شده توسط YARN دارد 2- ما به طور گسترده اقدام به ارزیابی و مقایسه چهار SPC با در نظر گرفتن نه تنها انواع برنامه های ترکیبی، بلکه سناریوهای متنوع ساختار صف میکنیم و 3- بر اساس نتایج ازمایش، مدیران YARN می توانند یک ساختار صف و SPC مناسب را برای دست یابی به عملکرد برنامه بهتر برای کلاسترهاي YARN انتخاب کنند.

ادامه این مقاله به صورت زیر سازمان دهي شده است بخش دوم به توصيفي كارهاي مرتبط مي پردازد. بخش سوم به بررسی منشا YARN خواهد پرداخت. بخش چهارم دو زمان بند پشتیبانی شده توسط YARN و چهار SPC مشتق شده از دو زمان بند را معرفی می کند بخش پنجم مدل های برنامه نویسی پشتیبانی شده توسط YARN و برنامه هایی که هر مدل برنامه نویسی می تواند بیان و پردازش کند را توصیف می کند. در بخش ششم. آزمایشات گسترده ای انجام شده و نتایج آزمایش بحث مي شوند. بخش هفتم بخش نتیجه گیری این مقاله بوده و کارهای اینده ما را شامل می شود.ترجمه توسط متن یار

2-کارهای مرتبط

چندین مقاله پیمایشی در زمینه زمان بندی کار در هانوپ وجود دارد رائو و ردي (13) به مطالعه زمان بندهای مختلف هادوپ از جمله زمان بند FIFO پیشفرض (4) زمان بند عادلانه، زمان بند ظرفیت و زمان بندي تأخير (14) با خلاصه سازي مزايا و معایب این زمان بندها پرداخته اند. با این حال، محققان تنها زمان بندها را بدون انجام آزمایشاتی برای ارزیابی و مقایسه عملکرد آنها پیشنهاد داده اند. کالكارني و خانداول (15) نیز اقدام به بررسی الگوریتمهای زمان بند کار در هانوپ کردند. با این حال مشابه با (13). هیچ ارزیابی عملکردي در (15) ارائه نشده اسنه مسئله دیگر را می توان در (16) یافت. به منظور بهبود زمان بندي هادوپ از حیث زمان تکمیل کار، موقعیت داده ها و یا سایر متریکهای عملکرد، بسیاری از محققان اقدام به معرفي الگوریتم های زمان بندی برای هادوپ کرده و ازمایشاتی را برای مقایسه الگوریتمهای آنها با الگوریتم های مورد استفاده توسط هادوپ نظير FIFO، زمان بند ظرفیت و زمان بند عادلانه انجام دادند. برای مثال، زاهاريا و همکاران (14) الگوریتم زمان بلدي تأخير را برای بهبود موقعیت داده ها ضمن حفظ برابری پیشنهاد کردند. محققان الگوریتم خود را با زمان بند FIFO و عادلانه ارزیابی کرده و اثبات کردهاند که الگوریتم انها عملکرد بهتری از سایر الگوریتم ها از حیث موقعیت داده ها و زمان پاسخ کار دارد. زمان بند زمینه آگاه پیشنهاد شده توسط کومار و همکاران (17) و زمان بند توان عملیاتی پیشنهادی توسط گوپتا و همکاران (18) دو نمونه برای بهبود عملکرد بر روی کلاسترهای ناهمگن هادوپ می باشند. هر دوی آنها برای تخصیص وظایف به توانمندترین گره ها طراحي شده اند به طوری که نیاز این دستورات و وظایف به منابع براورده شود آن هم چنین اقدام به ارزیابی زمان بندهای خود با زمان بندهای مورد استفاده توسط هادوپ کرده اند. با این حال، ارزیابی در (17) بر اساس یک شبیه سازی است تا یک آزمایش واقعي انجام شده در (18) لي و همکاران (19) محل داده ها را برای کارهای نقشه بندي و کاهش اجتناب از قحطی کار و بهبود عملکرد اجرای کار با معرفی JOSS بهبود بخشیدند (که کوتاه شده عبارت طرح زمان بندی کار محور هیبریدی می باشد)، دو نسخه JOOS برای دستیابی مجزا به محل داده ها و تسریع تخصيص وظایف معرفي شده اند. محققان آزمایشات گسترده ای را برای ارزیابی و مقایسه دو نسخه با الگوریتمهای زمان بندی فعلی پشتیبانی شده توسط هادوپ انجام داده اند. بر خلاف همه مطالعات فوق الذکر، در این مقاله ما بر مطالعه اثرات عملکردی مجموعه سیاستهای زمان بندی مختلف پشتیبانی شده توسط YARN بر روی برنامه های ترکیبی تاکید می کنیم. ”ترجمه یار، دانلود رایگان مقالات”

مطالعات دیگر برای مطالعه عملکرد هادوپ از دیدگاههای مختلف ارائه شده اند. گو و لى «20» اقدام به ارزیابی عملکرد هادوپ و اسپارک از حیث هزينه حافظه و زمان در هنگام اجرای عملیات تکراری کردند. نتایج نشان داد که اسپارک سریع تر از هادوپ است با این حال حافظه بیشتری از هادوپ را مصرف می کند. از این روی، اگر حافظه در یک لحظه ناکافی باشد، مزیت سرعت اسپارک کاهش مي يابد. خاویر و همکاران (21) مقایسه عملکردی بین سیستم های مبتنی بر حافظه فعلی ازجمله Linux VServer , OpenVZ  , Linux

Containers (LXC) را برای کلاسترهای MapReduce انجام دادند لین و همکاران (22) اقدام به مطالعه اثر سیاستهای مختلف MapReduce بر روی اطمینان پذیری تکمیل کار و مصرف انرژی کار کردند. تا آنجا که ما می دانیم، مطالعه ارائه شده در این مقاله، اولین مطالعای است که به طور جامع به بررسي اثر مجموعه سیاستهای زمان بندی فعلی پشتیبانی شده توسط YARN بر روی انواع مختلف برنامه ها پرداخته و در آن ساختارهای مختلف صف بندی نیز در نظر گرفته میشود.

3-منشا YARN

در این بخش، ما به طور مختصر به توصیف هادوپ اصلی و محدودیت های آن پرداخته و سپس نشان می دهیم که چگونه YARN مي تواند این محدودیت ها را حل کند.

3-1 هادوپ

هادوپ (1) عمدتا متشکل از دو مولفه کلیدی است : سیستم فایل توزيعي هادوپ (HDFS ) و MapReduce مورد اول برای ذخیره فایل های بزرگ در دستگاهها در یک خوشه بزرگ با تقسیم هر فایل به چندین بلوک طراحی شده و هر بلوک را به ماشین های مختلف تکرار می کند. مورد دوم، یک مدل برنامه نویسی توزیع شده برای کاربران برای تعیین کارهای آن ها به صورت تو دستور اوليه يعني Map و Reduce بدون نیاز به مدیریت منابع، زمان بندی کار و تحمل پذیری خطا است (4) شکل 1 جریان اجرایی کار MapReduce را بر روی هادوپ نشان می دهد. اولا كلاينت یک کار را به JobTracker  ارسال می کند که یک سرور اصلي مسئول هماهنگ سازی و زمان بندی اجرای همه کارهاست. سپس JobTracker هر یک از وظایف مربوط به کار را براي گره فرعي موجود موسوم به TaskTracker زمان بندی می کند. هر askTracker تعداد ثابتی از اسلات هاي نقشه اسلات های ردیوس را به ترتیب برای اجرای وظایف مربوط به نقشه و ردیوس تعیین شده توسط JobTracker ارائه می کند. در طی اجرای شغل JobTracker نه تنها پیشرفت کار را پایش می کند، بلکه تحمل پذیری خطرات را برای هر کار ناقص در اختیار می گذارد. وقتی که همه وظایف مربوط به کار کامل شد Job Tracker به کلاینت در مورد تکمیل کار اطلاع رسانی می کند، طراحي هادوپ منجر به چندین محدودیت در زمینه دسترسی، مقیاس پذیری، استفاده از منابع و پشتیبانی از برنامه می شود (3) اولا. JohTracker یک تک نقطه خرابي است. در صورتی که خراب شود. همه کارها متوقف شده و بایستی مجددا آغاز شوند. دوم،

هادوپ تنها از یک نوع مدل برنامه نويسي يعني MapReduce پشتیبانی می کند. اگرچه MapReduce قادر به بیان و پردازش برنامه های بسیاری است. با این حال برای برنامه های تکراری، برنامه های استریمینگ، برنامه های داده کاوی تعاملی و برنامه های گزاف نامناسب میباشد (3) سوما محدودیت یک اسلات برای اجرای یک نوع کار (يعني كار Map یا کار Reduce) موجب می شود تا بهره گیری از خوشه پایین باشد زیرا اسلات نقشه مي تواند به طور کامل استفاده شود ضمن این که اسلات های کاهش خالی باشند( و برعکس) ”ترجمه یار، دانلود رایگان مقالات”

YARN 2-3

برای حل محدودیت های فوقYARN  دستورات مدیریت منبع را از مدل برنامه نویسی جدا کرده و مولفه ها و نقش های زیر را معرفی می کنند :

– مدیر منابع جهاني (مخفف (RM  : این به عنوان یک مرجع مرکزی در کلاستر YARN عمل کرده و بر مسیر یابي استفاده از منابع و تخصیص منابع موجود به برنامه ها بر اساس نیازهای برنامه اي منابع تاکید می کنند. بر خلاف RM JobTracker قادر به پایش وضعیت برنامه ها نبوده و کارهای ناقص را دو باره اجرا می کند. این نقسیم مسئولیت. RM را قادر به بهبود مقیاس پذيري YARN مي کند.

– مدیر گروه فرعي (مخفي NM ) : این یک عامل در گره فرعي برای گزارش سلامت گره به RM، گرفتن دستور العمل از RM، مدیریت حافظه بر روی گره، اجرای کانتینرها برای برنامه ها و پایش استفاده از منابع تک تک کانتینرها می باشد.

– برنامه مستر (AM) : این هد یک کار بوده و کانتینرهایی را از RM درخواست کرده و با NM برای اجرا و مدیریت جریان اجرای کار، کار می کند.

کانئينر برنامه : این شامل یک مجموعه منطقي از برنامه ها (برای مثال 1 گیگ حافظه و 1 سي پی یو) بر روی گره برده (3) است. بر خلاف اسلات های نقشه و ردیوس مورد استفاده در هادوپ اصلی، یک کانتینر مي تواند هر کار دیگری را اجرا کند. این خود به YARN امکان تخصیص منابع را به برنامه ها و بهبود استفاده از منابع میدهد.

با پیشرفتهای فوق الذكر، YARN از مدل های برنامه نويسي متنوع پشتیبانی کرده و امکان استفاده از برنامه های مختلف را بر روی YARN ميدهد. شکل 2 جریان اجرای یک برنامه را بر روي YARN نشان مي دهد.

در مرحله 1 یک کلاینت برنامه را به RM ارسال می کند. سپس RM در مرحله 2 با یک کانتینر مشخص برای اجرای AM برنامه بر روی کانتینر مذاکره می کند. پس از شروع AM. این با Rm ثبت شده و درخواست کانتینر از RM به مرحله 3 مراجعه کنید می کند. شکل 1 جریان اجرای کار MapReduce را بر روي هادوپ نشان میدهد.

AM با دریافت یک کانتینر از RM در مرحله 4 و 5 امکان اجرای NM و گره برنامه را بر روی کانتینر ميدهد. در طی اجرای برنامه، کلاينت مي تواند مستقیما با AM برای آگاهی از میزان پیشرفت فعلی و وضعیت فعلی ارتباط برقرار کند (به مرحله 6 مراجعه شود) وقتی که برنامه کامل شد.AM با RM از حالت ثبت خارج شده و همه کانتینرهای مورد استفاده در مرحله 7 را آزاد می کند. در نهایت AM به مشتری در مورد تکمیل کار اطلاع رسانی می کند. ”ترجمه یار، دانلود رایگان مقالات”

4-زمان بندهای کار پشتیبانی شده با YARN

در این بخش، ما به توصیف مفاهيم اصلي زمان بند ظرفیت و زمان بند عادلانه پرداخته و سپس چهار SPC مشتق شده از دو زمان بند را معرفی می کنیم .

4-1 زمان بند ظرفیت

زمان بند ظرفیت (10) برای مستاجران مختلف برای تسهیم یک خوشه بزرگ طراحی شده است که برنامه های آنها می توانند منابع تخصیص داده شده باشند زمان بند ظرفیت از صف های سلسله مراتبی برای منعکس کردن ساختار سازمان ها و گروه هایی که از منابع خوشه ای استفاده می کنند پشتیبانی می کند. به طور کلی، یک سلسله مراتب صف بندی شامل سه نوع صفي است؛ ریشه مادر، برگ ، تنها صف های برگ درخواست را می پذیرند. در حقیقت صف ريشه بيانگر خود خوشه است در حالی که صف مادر بیانگر هر سازمان یا گروه و یا زیر سازمان یا زیر گروه می باشد .ترجمه توسط متن یار

زمان بند ظرفیت ، ضمانت ظرفیت را با تخصیص کسری از منابع خوشه برای هر صف ارائه می کند. مدیران YARN. نیز قادر به محدودیت، ظرفیت حداکثر برای هر صفر می باشند. برای مثال، اگر تخصیص ظرفیت حداقل با حداکثر یک صف به ترتیب 40 و 60 درصد باشد. این بدین معنی است که صف می تواند حداقل 40 درصد و حداکثر 60 درصد منابع را استفاده کند. برای ایجاد انعطاف پذیری. زمان بند ظرفیت مي تواند امکان استفاده از منابع بیشتر را نسبت به تخصیص ظرفیت بدهد به خصوص اگر ظرفیت به سایر صف هایی که هنوز استفاده نشده اند تخصیص داده شده باشند.

وقتی که منبع کلاستر موجود باشد. زمان بند ظرفیت به صورت زیر کار می کند :

1- مرحله 1 : ابتدا ظرفيت فعلي مورد استفاده توسط هر صف برگ را محاسبه مي كند يعني مقدار کل منابع مورد استفاده توسط همه برنامه ها در هر صف برگ. سپس زمان بند محروم ترین صق را انتخاب می کند یعني صف با کمترین ظرفیت مورد استفاده در میان همه صف های برگ. ”ترجمه یار، دانلود رایگان مقالات”

2- زمان بند یک برنامه را از محروم ترین صف به ترتيب FIFO ( اولین ورودي و اولین خروجي) انتخاب می کند یعني برنامه ای که اولین بار داده میشود. اولین منابع را نیز شامل می شود .

3- با انتخاب برنامه، منابع به کار برنامه بر اساس اولویت های درخواست منابع تعیین شده توسط برنامه زمان بندی می شوند.

4 – ش كل 2: جریان اجرای برنامه بر روی YARN

در این مقاله، ما از زمان يشدي بين صفی برای نشان دادن فرایند انتخاب صف برگ از همه صف های برگ و از اصطلاح زمان بندی درون صف برای نشان دادن فرایند انتخاب یک برنامه از یک صف برگ استفاده می کنیم. از این روی می توان دید که زمان بند صلی تنها یک SPC يعني Cap-FIFO را ارائه می کند.

 2-4 زمان بند عادلانه

هدفی زمان بند عادلانه (11) تخصیص منابع به برنامه ها می باشد به طوری که این برنامه ها به مرور زمان منابع عادلانه ای را کسب کنند. مشابه با زمان بند ظرفیت، زمان بند عادلانه از صف های سلسله مراتبی برای منعکس کردن ساختار یک گروه یا سازمان پشتیبانی کرده و به هر صف امکان دریافت حداقل ظرفیت تضمین شده را داده و ظرفیت حداکثر را برای هر صفر محدود می کند. با این حال بر خلاف زمان بند ظرفیت، زمان بند عادلانه سه سیاست را برای مدیران YARN برای تسهیم انعطاف پذیر منابع به برنامه های درون صف در نظر میگیرد: ”ترجمه یار، دانلود رایگان مقالات”

1- FIFO : وقتی که این به صف برگ اعمال مي شود منابع موجود به برنامه ای که ابتدا به صف وارد می شود تخصیص داده ميشود.

2 – FAIR :  وقتی که این به صف برگ اعمال می شود. منابع موجود به برنامه اي تخصیص داده می شوند که اکنون از حداقل مقدار حافظه در میان همه برنامه های موجود در صف استفاده می کند.

3 – برابری منابع غالب : DRF  یک مدل تسهیم منبع عادلانه می باشد که توسط قدوسي و همکاران (12) براي تعميم برابری و عدالت حداقل – حداکثر به انواع منابع چندگانه معرفی شده است. برای هر کاربر، DRF قادر به محاسبه تسهیم هر منبع تخصیص داده شده به کاربر بوده و حداقل مقدار را در میان سهام های مختلف به صورت سهم غالب کاربر در نظر می گیرد. منابع متناظر با هر منبع غالب،. منبع غالب کاربر است. برای مثال، کاربر U کمتر از 1 سی پی یو، ب 5000 مگابایت و ظرفیت کل خوشه <4 CPUs, 8000 MB> را به خود اختصاص داده است. این بدین معنی است که به ترتیب سهم CPU فعلي و سهم حافظه یک چهارم و پنج هشتم است. از این روی سهم غالب U برابر یا پنج هشتم و منبع غالب U  حافظه است. هدف DRF  برابر سازی سهام غالب، همه کاربران است. وقتي که DRF به یک صف برگ اعمال شود منابع موجود به ترجیحا به برنامه اي تخصیص داده می شوند که دارای کمترین سهم غالب در صف است.

با توجه به سیاستهای زمان بندی فوق، زمان بند عادلانه سه SPC را ارائه می کند یعنی Fair-FIFO , Fair-Fair , Fair-DRF، وقتی که منبع خوشه موجود باشد، زمان بند عادلانه به صورت زیر کار می کند.ترجمه توسط متن یار

مرحله 1، زمان بند عادلانه یک صف برگ را بر اساس مجموعه سیاستهای زمان بندی برای هر سطح از سلسله مراتب صف انتخاب می کند. در ابتدا یک صف فرعي را از صف ريشه موسوم به صف X بر اساس سیاست زمان بندی طراحی شده انتخاب می کند. سپس، همین روش را تا زمان رسیدن به صف برگ تکرار می کند. ”ترجمه یار، دانلود رایگان مقالات”

مرحله 2 : زمان بند یک برنامه را از صفر برگ انتخاب شده بر اساس مجموعه سیاست زمان بندی برای هر صف برگ انتخاب می کند .

مرحله 3 : با انتخاب برنامه، منبع به برنامه بر اساس اولویتهای درخواست منابع تعیین شده با برنامه زمان بندی مي شود.

5-مدل های برنامه نویسی و انواع برنامه ها

در این بخش، ما مدل هاي برنامه نویسی پشتیبانی شده توسط YARN را معرفی کرده و برنامه های اجرا شده بر روی YARN را بر اساس ویژگی های آنها طبقه بندی می کنیم.

5-1 مدل های برنامه نویسی

MapReduce . Ma pHoduce  1-1-5 [4]   به برنامه نویس امکان بيان محاسبه خود را به صورت یک دستور نقشه و یا دستور ردیوس می دهد. اولی از یک جفت کلید مقدار استفاده کرده و تولید جفت کلید / مقدار متوسط مي كند، دومي، همه جفت کلید مقدارها را با کلید مشابه ترکیب کرده و تولید نتایج نهایی می کند. به دلیل دو دستور اجرای یک کار MapReduce شامل مرحله نقشه و مرحله ردیوس است. در مرحله نقشه، هر نقشه دستور تعریف شده توسط کاربر را برای پردازش بلوک داده های ورودی اجرا کرده و تولید داده هاي كليد/ مقدار متوسط می کند. در مرحله ردیوس هر کار ردیوس، دستور ردیوس تعریف شده توسط کاربر را برای پردازش داده هاي مقدار کلید میانی اجرا کرده و نتیجه نهایی را تولید می کند. بدیهی است که MapReduce برای برنامه های بچ (23) نظير تحليل لگاریتمی و پردازش متن مناسب است. ”ترجمه یار، دانلود رایگان مقالات”

5-1-2 Apache Tez Apache  براي تعميم پارادایم MapReduce طراحي شده است. با مدل سازی پردازش داده ها به صورت یک گرافی جهت دار غير مدور (DAG) و رئوسی که نشان دهنده منطق برنامه است و یالهایی که نشان دهنده حرکت داده هاست، Apache fez به کاربران امکان بیان کارهای پیچیده پردازش داده ها را می دهد. وقتی که کار Tez اجرا مي شود، در رئوس ریشه ای DAG شروع شده و به سمت یالهای همبند تا زمان رسیدن به رئوس برگ ادامه مي يابد. تنها وقتی که همه رئوس در DAG کامل شدند، كار كامل شده است.

5-1-3 : اسپارک یک چارچوب محاسباتی متن باز مي باشد که برای پشتیبانی از برنامه های توسعه یافته است که به طور کارامد توسط MapReduce قابل پردازش نیست یعنی برنامه هایی که از یک مجموعه از داده ها در برنامه هاي موازي مختلف استفاده می کنند مثال ها شامل برنامه های یادگیری ماشینی تکراری و برنامه های تحلیل داده تعاملي مي باشند. اسپارک از یک انتزاع موسوم به مجموعه داده های توزبعي انعطاف پذیر استفاده می کند که یک مجموعه از اشیای تفکیک شده در میان گره ها و ماشین های مختلف است. کاربران مي توانند RDD را در حافظه در کارکنان مختلف اسپارک ذخیره کرده و با استفاده از عملیات موازی به جای بازیابی آن از HDFS مجددا استفاده کنند. با موتور پیشرفته DAG اسپارک، یک برنامه اسپارک می تواند مراحل زیادی داشته باشد. به علاوه، اسپارگ، استریمینگ اسپارک (24) و GraphX  (25)را ارائه می کند. اولی به کاربر امکان پردازش دیتا استریم هاي زنده را در یک حالت با توان عملیاتی بالا و متحمل به خطا می دهد. در حالی که دومی. کاربر را قادر به محاسبه موازي گراف بزرگ مقیاس می کند.ترجمه توسط متن یار

5-1-4 استورم؛ استورم (7) یک سیستم رایانشی توزیعی متن باز برای پردازش استریم های بزرگ داده ها در زمان واقعی است. در استورم، استریم یک توالی نامحدود از تایل هاست. هر تاپل یک لیست منظم از عناصر است برای مثال (3-2-5) سه تاپل است. هر برنامه استورم به صورت توپولوژی برای پردازش استریم هاي داده های ورودی تعریف می شود. یک توپولوژی یک گراف جهت دار با مجموعه ای از رئوس و بال هاست. رئوس مي تواند به صورت دهانه اي يا لکه ای باشد. دهانه تنها تاپل را از منبع خارجی خوانده و آن را به توپولوژی وارد می کند. یک بلات، استریم های ورودی را پردازش کرده و تولید استریم های خروجی می کند. یک توپولوژي استورم در نهایت به خودی خود به پایان نمی رسد. در عوض، پردازش استریم های ورودی را تا زمان کشته شدن ادامه مي دهد. ”ترجمه یار، دانلود رایگان مقالات”

5-2 انواع برنامه ها

بر اساس بخش 5-1 ما مشاهده کردیم که YARN از برنامه های مختلف پشتیبانی کرده و این برنامه ها را مي توان به چهار نوع طبقه بندی کرد:

1- دو مرحله ای : این نوع اشاره به همه برنامه های بیان شده توسط MapReduce دارد.ترجمه توسط متن یار

2- DAG : این نوع اشاره به همه برنامه هایی دارد که به صورت DAG صرف نظر از ساختار و تعداد مراحل، رئوس و

یال های آن بیان می شود.

3- گراف مدور جهت دار (DCG): این نوع اشاره به همه محاسبات موازی گراف به جز برنامه هاي مربوط به نوع DAG دارد

4 -استریمینگ: این نوع شامل همه برنامه ها برای پردازش استریم داده هاست.ترجمه توسط متن یار

6-ارزیابی عملکرد و مقایسه

در این بخش ما اقدام به ارزیابی و تحلیل عملکردهای چهار SPC فوق الذکر (یعنی ,Cap FIFO , Fair-Fair ,Fair-DRF ,Fair-FIFO) می پردازیم. برای این منظور، یک کلاستر YARN واقعي با اجاره  31 سرور خصوصی مجازی (VPS)، از لينود (26) ایجاد کردیم که یک عرضه کننده سرور خصوصی مجازی است که در نیوجرسي واقع می باشد. همه VPS ها در یک مرکز داده در دالاس امریکا واقع شده اند. یک VPS به عنوان RM عمل کرده و سایر vps ها به عنوان گروه های فرعی عمل می کند. هر  Ubuntu 12.04.3 LTS VPS  را با

2GB RAM , CPU Cores ,  ، حافظه 48GB SSD  ، 40 Gbps Network in  ، 3TB Transfer  و 250 Mbps Network Out

اجرا می کند از این روي. كل ظرفیت CPU و ظرفیت حافظه کل خوشه YARN به ترتیب 60 هسته سي پی یو و 60 گیگ بود. همه آزمایشات نشان  بر روی هادوپ 2.2(28) با اسپارک  (29)1.0.2 انجام شدند. جدول 1 فهرستی از همه شرایط پارامتر را در ازمایشات نشان مي دهد. سایر پارامترهاي ذکر نشده از تنظیمات پیش فرض YARN تبعیت می کنند (28) . ”ترجمه یار، دانلود رایگان مقالات”

بدون از دست دادن تعمیم، ما یک بار کار ترکیبی را براي ارزيابي چهار SPC ایجاد کردیم جدول 2 خلاصه ای از جزییات بارکار را نشان می دهد، توجه کنید که تعداد هر نوع از برنامه ( به جز نوع استریمینگ) و ترتیب ارسال همه برنامه ها در بار کار به طور تصادفي تعيين مي شود تعداد کل برنامه ها 94 مورد است که شامل 37 برنامه تو مرحلهای 28 برنامه DAG 28 برنامه DCG و یک برنامه استریمینگ است  معیارهای برنامه های دو مرحله ای مربوط به (30) بوده و معیارهای سایر انواع برنامه های اجرا شده در حالت کلاینت YARN را میتوان در (31) دید. اگرچه تنها یک برنامه استریمینگ در بارکار وجود دارد. ویژگی اجرایی پیوسته. مقدار خاصي از منابع را مصرف مي کند که در ادامه نشان داده شده است، برنامه استریمینگ، اولین کار در بارکار بوده و استریم های پردازش شده آن تقریبا هر 5 ثانيه توليد مي شود. رسیدن سایر درخواستها از یک توزیع پواسون با بازه متوسط  31.11  ثانيه و انحراف معیار 27 , 63 ثانیه پیروی می کند. صرف نظر از هر نوع درخواست. هریک از اینها نیازمند یک کانتینر برای اجرای AM مي باشد. هر برنامه دو مرحله ای نیازمند کانتینرهای با اندازه 128 مگابایت برای اجرای وظایف آن بوده با این حال هر یک از سایر انواع برنامه ها نیازمند دو کانتینر میباشند زیرا هر یک از آنها به دو بخش تقسیم می شوند. جدول 3 ملزومات منابع كاتينر را برای هر نوع درخواست بارکار ترکیبی نشان می دهد. همان طور که در مقدمه گفته شد، ما سه سناریوی زیر را برای ارزیابی هر SPC در نظر میگیریم هدف اصلي تعيين مناسب ترین SPC برای هر ساختار صف و یافتن مناسب ترین ساختار صفر برای برنامه های ترکیبی است.

1- سناریوی تک صف : در این سناریو خوشه YARN دارای تنها یک صف برگ است و این نشان می دهد که همه برنامه ها در بار کار ترکیبی وارد این صف شده و منتظر اجرا می شوند. این هم چنین به این معنی است که این صف می تواند از منابع کل خوشه استفاده کنند. ”ترجمه یار، دانلود رایگان مقالات”

2-سناریوی صف مجزا: در این سناریو، خوشه YARN ما دارای چهار صف برگ است. هر صف دارای یک نوع متفاوتی از برنامه می باشد. از این روی برنامه های مربوط به یک گروه در صف برنامه قرار می گیرد. حداقل و حداکثر ظرفیت هر صف به ترتیب 25, 30 درصد منابع خوشه اي است.

3- سناریوی صف ادغام شده : دو صف برگ در این سناریو قرار دارد. یک صف، برای برنامه های استریمینگ با حداقل ظرفیت 20 درصد و حداکثر ظرفیت 30 درصد می باشد. صف دیگر برای قرار دادن سایر برنامه ها استفاده مي شود. حداقل و حداکثر ظرفیت آن به ترتیب 80 و 90 درصد مي باشد. به علاوه، برای ارزیابی و مقایسه جامع چهار SPC شش متریک زیر استفاده ميشود:

1- فرم تکمیل بار کار: این درصد باکاری را نشان میدهد که مي تواند به طور موفق تکمیل شود. توجه کنید که در این مقاله اگر یک برنامه به طور موفق به پایان برسد، این برنامه را می توان به صورت کامل در نظر گرفت. در غير این صورت به صورت ناموفق در نظر گرفته میشود. به علاوه اگر برنامه استریمینگ بتواند در طی اجرای بارکارکامل به طور پیوسته باشد، آن را می توان کامل در نظر گرفت

2 – نرخ تکمیل بار کار تجمعی : این متریک نرخ تکمیل بار کار تجمعی را در طی اجرای بارکار نشان میدهد. ”ترجمه یار، دانلود رایگان مقالات”

3- زمان فعال سازی بار کار : این دوره زمانی است که از اولین درخواست کار بار به خوشه YARN شروع شده و زمانی که اجرای بار کار  کامل به پایان می رسد خاتمه می یابد (به جز برنامه استریمینگ )

4 – بار سیستم میانگین : این تعداد متوسط کانتینرهای اجرا شده توسط کلاستر YARN را در طی اجرای بارکار نشان می دهد.

5- توان عملیاتی استریمینگ: این مقدار استریم داده هايي است که خوشه YARN مي تواند در هر دقیقه آنها را پردازش کند.

6 – تأخير کل : این مقدار زمان مورد نیاز توسط خوشه YARN برای زمان بندی و پردازش یک استریم از داده ها می باشد. برای دست یابی به یک مقایسه عملکرد منصفانه، هر یک از چهار SPC به طور دقیق تست شده و به مدت 5 بار صرف نظر از نوع سناریوی مورد استفاده ارزیابی می شود.ترجمه توسط متن یار

6-1 سناریوی تک صفی

در این زیر بخش ها عملکردهای اجرایی چهار SPC را در سناریوی تک صفي نشان می دهیم. شکل 3 نشان می دهد که وقتی چهار SPC به طور جدا و انفرادی برای اجرای بار کار استفاده می شوند برخی از درخواستهای بار کار به دلیل عدم دست يابي به کانتینرها، نمي توانند کامل شوند. هیچ یک از آنها به نرخ تکمیل 100 درصد نمی رسند. دلیل این است که تخصیص منابع مبتني بر کانتینر مورد استفاده توسط YARN موجب می شود تا هیچ یک از گره هاي فرعي در یک لحظه دارای منابع کافی برای اجرای یک کانتينر مطلوب برای هر برنامه نباشند. این موسوم به مسئله تقسیم منابع است. در این آزمایش، برخي از كانتینرها درخواست حافظه 1024 مگابایت می کند و برخی دیگر درخواست حافظه 2048 مگابایت می کنند. از این روی، اگر برنامه نیازمند یک کاتینر با 2048 مگابایت حافظه باشد ولی هیچ گره فرعی نتواند آن را براورده کند. این برنامه را نمی توان اجرا کرد. ”ترجمه یار، دانلود رایگان مقالات”

اگرچه همه SPC ها از مسئله تقسیم منابع رنج می برند. Cap-FIFO بالاترین نرخ تکمیل بارکار (حدود  98.9   درصد) را ارائه می کند. دلیل این است که Cap – FIFO کانتینر جدید را از یک گره فرعي مادامی که منابع باقي مانده گره برای ایجاد کانتینر کافي باشد اجرا می کند. این ویژگی را می توان با مقایسه شکل 4 الف با شکل های ب-ت مشاهده کرد. شکل 4 الف نشان مي دهد که وقتي Cap-FIFO تست شود، پنج گره فرعی هیچ حافظه ای را نداشته و چهار گروه دارای حافظه یک گیگ در اولین دقیقه از اجرای بار کار می باشد. با این حال، شکل 4 ب نشان می دهد که وقتي سه SPC دیگر تست شوند. بیش از چهار گره دارای حافظه یک گیگ در اولین دقیقه است به این معنی که این گره های فرعی قادر به ایجاد یک حافظه برای سایر برنامه هایی که نیازمند حافظه 2 گیگ ميباشند نمی باشد. بر اساس نتایج فوق، می توان دید که شیوه اجرای کانتینر توسط Cap-FIFO ارام میباشد و این موجب حل مسئله تقسیم منابع ميشود.

شکل 4 . حافظه موجود همه گره های فرعی در سه دقیقه اول اجرای بار کار

از این روی نرخ تکمیل باركار بهبود می یابد. به همین دلیل و با توجه به مسئله تقسيم متابع، هر دو  Fair-FIFO , Fair-Fair دارای سرقت تکمیل کمتری از Cap-FIFO می باشند. با این حال، نتایج نشان داد که سرعت تکمیل کاربارFAIR-DRF  به طور معنی داری تحت تأثیر قرار نگرفته است و این نشان میدهد که سیاست DRF مورد استفاده توسط Fair – DRF قادر به کاهش مسائل فوق می باشد. ”ترجمه یار، دانلود رایگان مقالات”

شکل 3 نیز زمان چرخش بار کار میانگین چهار SPC را نشان مي دهد اگر چه Fair-Fair منجر به کوتاه ترین زمان چرخش بارکار شده است. با این حال spc خوبی برای سناریوی تک صف نمي باشد زیرا سرع تکمیل آن کمتر از سرعت تكميل Cap-FIFO  و Fair-DRF می باشد. بر اساس نرخ تکمیل بارکار متوسط. زمان چرخش بار کار متوسط و انحراف معیار نشان داده شده در شکل 3 مي توان دید که Fair-DRF بهترین عملکرد را دارد در حالی که Fair – FIFO بدترین عملکرد را دارد.

شکل  5 نرخ تکمیل بار کار تجمعي متوسط چهار SPC را در طی اجرای بار کار نشان می دهد. می توان دید که چهار منحني تقريبا هم پوشانی دارند و این بدان معنی است که همه SPC ها دارای سرعت اجرای کاربار مشابهي می باشند. شكل 6 سیستم میانگین بار چهار SPC را نشان میدهد. وقتی که Fair-CAR-FIFO تست شده کلاستر به طور متوسط 1112 کانتينر را برای اجرای بار کار اجرا می کند. این مقدار کمتر از مقدار سه SPC دیگر می باشد به این معنی که CAP – FIFO چندین کانتینر را نسبت به سایر SPC ها ذخیره می کند.

شکل 7 توان عملیاتی میانگین استریمینگ جهار SPC را نشان میدهد. در شروع اجرای بار کار، همه SPC ها قادر به پردازش بیش از 12 استریم داده در هر دقیقه می باشند. با این حال، چون درخواست های بیشتری از بار کار به کلاستر داده مي شود. همه توان عملیاتي SPC کاهش می یابد. با این وجود، می توان دید که -DRF Fair توان عملیاتی بالاتری را از سایرین ارائه می کند. شکل8 میانگین تأخير کل چهار SPC را نشان می دهد. صرف نظر از نوع SPC مورد استفاده تفاوتهای میان تأخير كل آنها در چارک اول. میانه و چارک سوم غير معني دار است و از این روي انحراف معیار آنها مشابه با یک دیگر می باشد و این بدین معنی است که این چهار SPC دارای عملکرد غیر قابل تمایز از حیث تأخير کل می باشد. ”ترجمه یار، دانلود رایگان مقالات”

شكل 6 بار سیستم میانگین در زمانی که چهار SPC به طور انفرادی در سناریوی تک صف استفاده مي شود.

بر اساس نتایج نشان داده شده در شکل 8-3  ما نتایج زیر را بدست اوردیم؛ اگر عملکرد اجرای برنامه یک مسئله مهم باشد، Fair – DRF رایج ترین SPC برای سناریوی تک صف به دلیل عملکرد خوب آن از حیث سرعت تکمیل بار کار، زمان چرخش بار کار و توان عملیاتی استریمینگ است. با این حال در صورتی که تنها از کارایي مصرف منابع آن را در نظر بگیریم  CAP- FIFO  پیشنهاد می شود زیرا از کانتینرهای کمتری از سایر Spc ها استفاده می کند..

 6-2 سناریوی صف مجزا

در این زیر بخش، ما اقدام به ارزیابی چهار SPC در سناریوی صف مجرا می کنیم. توجه کنید که همه SPC ها دارای سرقت تکمیل بار کار تجمعی در طی اجرای کار بار می باشد و از این روي نتایج در این جا به دلیل کمبود فضا تشریح نشده اند.

شکل 9 نشان می دهد که CAP – FIFO بالاترین نرخ و سرعت تکميل Fار کار و کم ترین انحراف معیار را در میان همه SPC ها دارد، با این حال، CAP – FIFO در این سناریو نمي تواند کامل شود زیرا برنامه های بسیاری در یک سناریوی تک صف وجود دارند (شکل9 و 3 ) دلیل اصلی دو مورد است. اولا، هر صف بر سناریوي صف مجزا می تواند حداکثر از 30 درصد منابع خوشه اي استفاده کند. دوم، برنامه استریمینگ 5 vCores و  5120 MB را اشغال می کند یعنی 8.3 درصد منابع خوشه ای از این روی، سه صف دیگر برای برنامه های دو مرحله ای DAG و DCG تنها از 30 درصد منابع خوشه ای استفاده می کند. در مقایسه با سناریوي تک صفی، منابع موجود برای برنامه های فوق در سناریوی صف مجزا كاهش يافته و منجر به خطاي برنامه بیشتری می شود.ترجمه توسط ترجمه یار

پدیده فوق نه تنها وقتي رخ مي دهد که Cap-FIFO استفاده مي شود، بلکه زماني به وقوع می پیوندد که سه SPC دیگر تست شوند. با مقایسه شکل 9 و شکل 3، مي توان دید که سرعت تکمیل بارکار , Fair-FIFO و Fair – DRF و Fair-Fair در سناریوی صف مجزا به اندازه سناریوهای تک صفی نیست. این وضعیت حتي برای FAIR – SDRF بدتر است زیرا سرعت تکمیل متوسط آن به 95.96 درصد با انحراف معیار بسیار بزرگ کاهش می یابد و این بدین معنی است که FAIR – SDRF برای سناریوی صف مجزا نامناسب است. ”ترجمه یار، دانلود رایگان مقالات”

شکل 9 نیز نشان می دهد که زمان چرخش بارکلر Cap-FIFO طولانی تر از زمان تاخیر سه SPC می باشد و انحراف معیار متناظر آن علی رغم نرخ تکمیل بار کار آن بیشترین مقدار است. از سوی دیگر، اگرچه نرخ تکمیل بار کار Cap – FIFO در رتبه دوم قرار دارد، زمان چرخش کار بار آن کوتاه تر از Cap – FIFO است. از این روش بر اساس هر دو نرخ تکمیل بار کار و زمان چرخش، Cap-FIFO برای سناریوی صف مجزا مناسب تر است . با مقایسه شکل 9  و شکل 3، می توان دید که چهار SPC در سناریوی صف مجزا منجر به رمان چرخش کار بار طولانی تری از سناریوی تک صفی می شود و این بدین معنی است که استفاده از چهار صف برگ بهتر از کاربرد یک صف برگ نیست.

شكل 10 بار سیستم میانگین ناشی از جهار SPC را نشان می دهند. با مقایسه شکل 10 با شكل 6 نتایج نشان داد که همه SPC ها در سناریوی تک صف مجزا منجر به بار سیستم میانگین کمتری نسبت به سناريوي تک صف مي شود. دلیل این است که مسئله تقسیم بندی متبع و محدودیت ظرفیت برای هر صف، امکان استفاده از کانتینرهای بیشتر توسط SPC ها برای اجرای بار کار را نمی دهد و از این روي بر نرخ تکمیل بار کار تأثير می گذارد.

شکل 11 توان عملیاتی استریمینگ متوسط چهار SPC را در سناریوی صف مجزا نشان مي دهد. مي توان دید که توان های عملیاتی استریمینگ Fair-DRF , Fair-Fair کمتر از 12 استریم در هر دقیقه می باشند. دلیل کلیدی این است که وقتی این دو SPC در سناریوی صف مجزا استفاده شد، منابع تخصیص داده شده به صف استریمینگ با سایر برنامه ها اشغال شده از این روي هر صف برای برنامه هاي فوق از 30 درصد منابع خوشه ای استفاده کرده است و صفي استریمینگ تنها از 10 درصد استفاده کرده است. به دلیل این رقابت منابع در Fair-DRF , Fair-Fair  برنامه های استریمینگ قادر به ارائه توان عملیاتی خوبی نبودند. ”ترجمه یار، دانلود رایگان مقالات”

شکل 12 تاخير كل مئوسط چهار SPC را نشان مي دهد چون Fair- Fair و fair – DRF دارای توان عملیاتی استریمینگ پایین است می توان دید که تأخیر متوسط کلانها در چارک سوم و میانه طولانی تر از  Fair – FIFO و Cap-FIFO مي باشد. بر اساس نتایج نشان داده شده در شکل 9 تا 12، نتایج نشان داد که Fair – FIFO در سناریوهای صف مجزا از نظر کارایی اجرای برنامه بهترین عملکرد را دارد. به علاوه اگر عملکرد چهار SPC را در سناریوی صف مجزا با یک صف مقایسه کنیم، نتایج نشان میدهد که همه SPC ها دارای عملکرد بهتری در سناریوی تک صفي مي باشند زیرا آنها مسئله کمبود منابع ناشي از محدودیت، ظرفیت هر صف برگ بر سناریوی صف مجزا را ندارند. از این روی استفاده از یک صف برای سازمان دهی برنامه های ترکیبی بهتر از استفاده از چهار صف است.ترجمه توسط ترجمه یار

6-3 سناریوی صف ادغام شده

به منظور مطالعه این که آیا این SPC ها عملکرد بهتری از سناریوی های قبلی دارند، در این زیر بخش ما آنها را در سناریوی صف ادغام شده ارزیابی می کنیم. شكل 13 نشان مي دهد که هر دو  FAIR-DRF , CAP-FIFO به بالاترين زمان تکمیل رسیده اند و هر دوی Fair-  Fair و Fair-FIFO به دومین نرخ تکمیل رسیده اند (97.52 درصد). با مقایسه شکل 13 و 3 مي توان دید که سرعت تکمیل بار کار همه SPC ها در سناریوی صف ادغام شده افزایش می یابد و این نشان مي دهد که برای این SPC ها تفکیک برنامه استریمینگ و سایر برنامه ها به دو صف امکان تکمیل موفق برنامه ها را می دهد. دلیل کلیدی این است که منبع مورد استفاده توسط برنامه استریمینگ حدود 8.3 درصد منابع بوده است. از این رو، بقیه منابع به صف استریمینگ تخصیص داده شده است. اگرچه Cap – FIFO عملکرد خوبی مانند Fair -Fair از حيث نرخ تکمیل کاربار دارد، زمان چرخش بارکاران اندكي طولانی تر از Fair – DRF می باشد (شکل 13 را ببینید ) به طور مشابه. اگر چه FIFO FAIR دارای سرعت تکمیل مشابه با Fair-Fair مي باشد. زمان فعال سازی بار کار آن طولانی تر از Fair-Fair میباشد. با مقایسه شكل 13 با شکل 3 بدیهی است که همه spc ها منجر به زمان بار کاري کوتاه تری از سناریوی صف ادغام شده مي شوند. از این روي مي توان نتیجه گرفت که سناريوي صف ادغام شده نه تنها موجب بهبود سرقت تکمیل بار کار برای همه SPC ها می شود بلکه موجب کوتاه تر شدن زمان چرخش بار کار می شود. ”ترجمه یار، دانلود رایگان مقالات”

شکل 11: توان عملیاتی استریمینگ متوسط چهار SPC در سناریوی صف مجزا

شکل 12 : میانگین کل تاخیر چهار SPC در سناریوی صف مجزا

شكل 14 : نشان میدهد که Cap – FIFO دارای کم ترین بار سیستم متوسط در میان همه SPC ها بوده و تحت تأثير همه سه سناریو قرار نمی گیرد و از این روی می توان گفت که CAP-FIFO کارامد ترین از حبث مصرف کانئينر است. با این حال وقتی که SPC های دیگری تست شوند این وضعیت رخ نمی دهد. می توان دید که بار متوسط سیستم Fair- Fair و Fiar – DRF به طور خفیفی در سناریوی صف ادغام شده افزایش یافته است. دلیل این است که در سناریوي صف ادغام شده این SPC ها قادر به تکمیل در خواست هاي بار کار می باشند و از این روی تعداد کل کانتینرهاي مورد استفاده برای اجرای بار کار افزایش می یابد.

شکل 15 توان عملیاتی استریمینگ همه SPC ها را نشان می دهد. می توان دید که تنها Fair-DRF  داراي توان عملیاتی کمتر از 12 استریم در هر دقیقه می باشد زیرا منابع تخصیص داده شده به صف استریمینگ تحت این SPC توسط سایر برنامه ها استفاده نمی شود با این حال در صورت استفاده از FAIR- FAIR این مسئله حل مي شود. با مقایسه شکل 15 با شکل 11. بدیهی است که توان عملیاتی استریمینگ FAIR- FAIR زماني بهبود می باید که سناريوي صف ادغام شده استفاده شود. شكل 16 تأخير كل متوسط چهار SPC را نشان مي دهد. چون توان عملیاتی استریمینگ Fiar – DRF در اجرای بارکار کافي نبود. تأخير كل متوسط آن و انحراف معیار بالاتر از سایر SPC ها بود. بر اساس نتایج ازمایشی نشان داده شده در شکل هاي 13 تا 16. مي توان گفت که Flar – DRF و Cap – FIFO برای سناریوی صف ادغام شده توصیه می شود که به تکمیل بار کار بالا مي انجامد. با این حال اگر زمان چرخش بار کار در نظر گرفته شود Fair-DRF عملکرد بهتری از Cap-FIFO خواهد داشت. از سوی دیگر، اگر توان عملیاتي استریمینگ در نظر گرفته شود. Cap-FIFO بهتر از Fiar-FIFO ميباشد. با این حال از نظر کارایی مصرفی منابع، Cap-FIFO بهترین است. ”ترجمه یار، دانلود رایگان مقالات”

7-نتیجه گیری و کارهای آینده

در این مقاله، ما به بررسی چهار SPC و چهار نوع برنامه پشتیبانی شده توسط YARN پرداخته ایم. برای درک کامل اثرات عملکرد چهار SPC بر روی انواع برنامه های ترکیبی، ما ازمایشات گسترده ای را با در نظر گرفتن به تنها انواع برنامه های ترکیبی، بلکه سه سناریوی با ساختار صف متفاوت (سناریوی تک صف، سناریوی صف مجزا و سناریوی صف ادغام شده ) انجام دادیم، بر اساس نتایج ازمایشی، نتایج زیر بدست آمده و به طور خلاصه در جدول 4 نشان داده شده اند. .

Fair – DRF-1   بهترین گزینه برای سناریوی تک صف است زیرا منجر به سرعت تکمیل بار کار بالاتر و زمان چرخش بار کار کوتاه تر در مقایسه با سایر سه SPC می شود.ترجمه توسط ترجمه یار

Fair – FIFO-2 رایج ترین SPC توصیه شده برای سناریوی صف مجزا به دلیل عملکرد خوب آن از حیث هر دو زمان تکمیل بار کار و زمان چرخش بار کار است.

Cap – FIFO-3 و Fair – DRF هر دو برای سناریوی صف ادغام شده مناسب هستند. از این روی Cap-FIFO اندکی بهتر از Fair-DRF در توان عملیاتی استریمینگ و کارایی استفاده از منابع است، در حالی که -Fair DRF اندکی بهتر از Fair-DRF در زمان چرخش بار کار است.

جدول 4 رایج ترین SFC در زمانی که متریک ها و سناریوهای صف بندی مختلفی در نظر گرفته مي شوند. ”ترجمه یار، دانلود رایگان مقالات”

4- از دیدگاه کارایی مصرف منابع، Cap – FIFO بهترین عملکرد را در سناریوی صف ادغام شده و تک صفی دارد زیرا تعداد کل کانتینرهای اجرا شده توسط Cap-FIFO برای اجرای کار بار کمتر از کانتینرهای اجرا شده توسط سه SPC ميباشد.

در صورتي که ما نتایج آزمایشی همه سناریوها را در نظر بگیریم. بدیهی است که استفاده از سناریوی صف ادغام شده بهترین گزینه برای همه SPC ها است زیرا امکان دست یابی به همه SPC ها با نرخ تكميل کار بالا و زمان چرخش کاربار کوتاه را می دهد. بر عکس، استفاده از سناریوی صف مجزا توصیه نمی شود زیرا موجب بدتر شدن نرخ تکمیل بار کار و طولانی شدن زمان چرخش کاربار برای تقریبا همه SPC مي شود. کار اینده ما،  مطالعه شيوه تأثیر گذاری ترکیبی از برنامه های بارکار بر SPC های فوق و ارائه یک زمان بند جدید برای YARN مي باشد به طوری که مسئله تقسیم بندی منابع را می توان حل کرد و سرعت تکمیل بار کار را می توان بهبود بخشید. ”ترجمه یار، دانلود رایگان مقالات”

 

error: شما فقط اجازه مطالعه دارید
قیمت می خواهید؟ ما ارزانترین قیمت را ارائه می کنیم. کافیست فایل خود را یا از طریق منوی خدمات ترجمه => ثبت سفارش ترجمه ارسال کنید یا برای ما به آدرس research.moghimi@gmail.com ایمیل کنید یا در تلگرام و واتس آپ و حتی ایمو با شماره تلفن 09367938018 ارتباط بگیرید و ارزانترین قیمت ترجمه را از ما بخواهید
+