☁️ سرویس‌ها و زیرساخت شبکه

طراحی زیرساخت وب‌سایت پرترافیک؛ معماری مقیاس‌پذیر و پایدار

مقایسه
۲۲ آبان ۱۴۰۵☁️ سرویس‌ها و زیرساخت شبکه32 دقیقه مطالعه

نکات کلیدی

  • در این حالت، وب زیرساخت سروری درخواست ها را دریافت و راه بری می کند و درخواست های موردنیاز را به زیرساخت سروریهای اپلیکیشن می فرستد.
  • به عنوان نمونه، اگر سه زیرساخت سروری در زیرساخت وجود داشته باشد، درخواست اول به زیرساخت سروری اول، درخواست دوم به زیرساخت سروری دوم و درخواست سوم به زیرساخت سروری سوم ارسال می شود.
  • زیرساخت سروری اختصاصی و زیرساخت سروری ابری هر دو این امکان وجود دارد کهند در زیرساخت وب سایت های پرترافیک استفاده شوند، اما نحوه تخصیص ظرفیت های پردازشی، افزایش ظرفیت و راه بری آن ها متفاوت است.

افزایش ترافیک یک وب‌وب‌سایت، فشار بیشتری به ظرفیت‌های پردازشی پردازشی، حافظه، پایگاه داده و شبکه وارد می‌کند. اگر زیرساخت متناسب با این افزایش طراحی نشده باشد، نتیجه قادر است کندی صفحات، افزایش زمان پاسخ‌گویی و حتی از دسترس خارج شدن وب‌سایت باشد. برای راه‌بری این شرایط، معماری زیرساخت باید به شکلی طراحی شود که اجزای مختلف بتوانند بار کاری را میان خود تقسیم کنند و در صورت نیاز، ظرفیتشان افزایش پیدا کند. این معماری معمولا از چند لایه شامل زیرساخت سروریهای وب و اپلیکیشن، پایگاه داده، سیستم کش، CDN، Load Balancer و ابزارهای پایش تشکیل می‌شود. انتخاب و نحوه تعامل این اجزا نیز باید بر اساس نوع خدمت میزبانی، الگوی درخواست‌های بازدیدکنندگان و نیازهای کسب‌وکار انجام شود.

وب‌سایت پرترافیک چیست و چه زمانی به زیرساخت قدرتمندتری نیاز دارد؟

وب‌سایت پرترافیک به وب‌وب‌سایتی گفته می‌شود که در یک بازه زمانی مشخص، حجم زیادی از درخواست‌های بازدیدکنندگان را دریافت و پردازش می‌کند. در عین حال، تعداد بازدیدکنندگان روزانه یا ماهانه به‌صورت مستقل معیار متناسبی برای تشخیص میزان ترافیک و ظرفیت‌های پردازشی موردنیاز وب‌سایت نیست. تعداد بازدیدکنندگان هم‌زمان، نوع درخواست‌ها و میزان پردازشی که هر درخواست به زیرساخت سروری تحمیل می‌کند نیز اهمیت زیادی دارند.

به‌عنوان نمونه، یک وب‌سایت خبری ممکن است روزانه چند میلیون بازدید داشته باشد، اما بخش زیادی از صفحات آن محتوای ثابتی داشته باشند و از طریق کش یا CDN ارائه شوند. در مقابل، یک فروشگاه اینترنتی با بازدیدکنندگان کمتر ممکن است به دلیل جست‌وجوی محصولات، بررسی موجودی، ثبت سفارش و پردازش پرداخت، درخواست‌های پیچیده‌تری به اپلیکیشن و پایگاه داده ارسال کند.

بنابراین، برای طراحی زیرساخت باید الگوی واقعی مصرف ظرفیت‌های پردازشی را بررسی کرد، نه اینکه صرفا تعداد بازدیدها را مبنای تصمیم‌گیری قرار داد.

وجوه تمایز ترافیک بالا و تعداد بازدیدکنندگان هم‌زمان

یکی از مفاهیم مهم در طراحی زیرساخت وب‌سایت‌های پرترافیک، تعداد درخواست‌های هم‌زمان یا Concurrent Requests است.

فرض کنید یک وب‌وب‌سایت در طول روز ۵۰۰ هزار بازدیدکننده دارد. اگر این افراد در ساعات مختلف وارد وب‌سایت شوند، درخواست‌ها در طول روز توزیع می‌شوند. اما اگر بخش بزرگی از آن‌ها در یک بازه کوتاه، مثلا هنگام شروع یک کمپین فروش، وارد وب‌سایت شوند، فشار بسیار بیشتری به زیرساخت وارد خواهد شد.

در چنین وضعیتی، زیرساخت سروری باید بتواند درخواست‌های متعدد را بدون افزایش شدید زمان پاسخ‌گویی راه‌بری کند. این موضوع به‌خصوص زمانی اهمیت پیدا می‌کند که بازدیدکنندگان عملیات سنگینی مانند جست‌وجوی محصولات، ورود به حساب کاربری یا ثبت سفارش را انجام می‌دهند.

البته تعداد بازدیدکنندگان هم‌زمان نیز به‌صورت مستقل کافی نیست. باز بودن یک صفحه در مرورگر با اجرای یک عملیات پردازشی سنگین، بار یکسانی به زیرساخت سروری تحمیل نمی‌کند. به‌عنوان نمونه، ممکن است صدها کاربر هم‌زمان یک صفحه کش‌شده را مشاهده کنند، اما تعداد بسیار کمتری از بازدیدکنندگان با اجرای یک گزارش پیچیده، ظرفیت‌های پردازشی پردازشی بیشتری مصرف کنند.

کدام متغیرها مصرف ظرفیت‌های پردازشی زیرساخت سروری را افزایش می‌دهند؟

میزان ظرفیت‌های پردازشی موردنیاز یک وب‌وب‌سایت به ترکیبی از عوامل نرم‌افزاری و سخت‌افزاری وابسته است:

  • تعداد درخواست‌ها: هرچه درخواست‌های بیشتری در یک بازه زمانی دریافت شوند، ظرفیت پردازشی و تعاملی بیشتری موردنیاز خواهد بود.
  • پیچیدگی پردازش‌ها: اجرای محاسبات، پردازش تصاویر، تولید گزارش و عملیات سنگین سمت زیرساخت سروری، مصرف CPU را افزایش می‌دهد.
  • حجم داده‌ها: انتقال فایل‌های حجیم و محتوای چندرسانه‌ای به پهنای باند بیشتری نیاز دارد.
  • ساختار پایگاه داده: کوئری‌های پیچیده، جداول بزرگ و ایندکس‌گذاری نامتناسب این امکان وجود دارد کهند زمان پاسخ‌گویی دیتابیس را افزایش دهند.
  • مصرف حافظه: اپلیکیشن‌هایی که داده‌ها زیادی را در RAM نگهداری می‌کنند یا با نشت حافظه مواجه هستند، به ظرفیت‌های پردازشی بیشتری نیاز دارند.
  • نحوه استفاده از کش: نبود کش متناسب باعث می‌شود درخواست‌های تکراری بارها توسط اپلیکیشن و پایگاه داده پردازش شوند.

نشانه‌های نیاز به ارتقای زیرساخت

برخی نشانه‌ها این امکان وجود دارد کهند نشان دهند که زیرساخت فعلی به محدودیت ظرفیت رسیده است:

  • افزایش زمان پاسخ‌گویی وب‌سایت در ساعات پرترافیک
  • مصرف مداوم و بالای CPU یا RAM
  • افزایش خطاهای HTTP مانند 502 و 503
  • طولانی شدن زمان اجرای کوئری‌های پایگاه داده
  • کند شدن صفحات هنگام اجرای کمپین‌های تبلیغاتی
  • افزایش زمان انتظار برای دریافت پاسخ از API
  • ناپایداری خدمت میزبانی هنگام افزایش ناگهانی تعداد بازدیدکنندگان

البته مشاهده این نشانه‌ها لزوما به معنی نیاز فوری به ارتقای سخت‌افزار نیست. به‌عنوان نمونه، یک کوئری غیربهینه یا تنظیم نادرست اتصال‌های دیتابیس ممکن است باعث ایجاد گلوگاه شود؛ مشکلی که با افزایش CPU یا RAM به‌صورت مستقل برطرف نخواهد شد.


اجزای اصلی معماری زیرساخت وب‌سایت‌های پرترافیک

زیرساخت وب‌سایت‌های پرترافیک معمولا از چند لایه تشکیل می‌شود که هر کدام وظیفه مشخصی دارند. در معماری‌های ساده، ممکن است تمام این اجزا روی یک زیرساخت سروری قرار داشته باشند؛ اما با افزایش بار کاری، تفکیک آن‌ها قابلیت راه‌بری مستقل ظرفیت‌های پردازشی و افزایش ظرفیت بخش‌های مختلف را فراهم می‌کند.

زیرساخت سروری وب و زیرساخت سروری اپلیکیشن

زیرساخت سروری وب یکی از نخستین اجزایی است که درخواست‌های بازدیدکنندگان را دریافت می‌کند. نرم‌افزارهایی مانند Nginx و Apache وظیفه راه‌بری درخواست‌های HTTP و HTTPS و ارائه محتوای وب را بر عهده دارند.

درخواست‌های یک وب‌وب‌سایت را این امکان وجود دارد که به دو گروه کلی تقسیم کرد:

درخواست‌های استاتیک: شامل فایل‌هایی مانند تصاویر، فایل‌های CSS، کدهای JavaScript و فونت‌ها هستند. برای ارائه این فایل‌ها معمولا نیازی به اجرای منطق اپلیکیشن وجود ندارد.

درخواست‌های داینامیک: برای پاسخ‌گویی به آن‌ها باید اپلیکیشن اجرا شود و داده‌ها موردنیاز را از ظرفیت‌های پردازشی مختلف دریافت یا پردازش کند. ورود بازدیدکنندگان، جست‌وجوی محصولات و ثبت سفارش نمونه‌هایی از این درخواست‌ها هستند.

زیرساخت سروری اپلیکیشن مسئول اجرای منطق کسب‌وکار است. به‌عنوان نمونه، هنگامی که کاربر قصد ثبت سفارش دارد، اپلیکیشن باید داده‌ها محصول را بررسی کند، موجودی را بخواند، داده‌ها سفارش را ثبت کند و پاسخ متناسب را برگرداند.

در معماری‌های ساده، وب‌زیرساخت سروری و اپلیکیشن روی یک ماشین اجرا می‌شوند. اما در زیرساخت‌های بزرگ‌تر این امکان وجود دارد که این دو لایه را از یکدیگر جدا کرد. در این حالت، وب‌زیرساخت سروری درخواست‌ها را دریافت و راه‌بری می‌کند و درخواست‌های موردنیاز را به زیرساخت سروریهای اپلیکیشن می‌فرستد.

این تفکیک به مدیر زیرساخت اجازه می‌دهد ظرفیت‌های پردازشی هر بخش را متناسب با نیاز آن افزایش دهد. به‌عنوان نمونه، اگر پردازش درخواست‌های داینامیک به CPU بیشتری نیاز داشته باشد، این امکان وجود دارد که ظرفیت زیرساخت سروریهای اپلیکیشن را افزایش داد، بدون اینکه لزوما ظرفیت‌های پردازشی لایه وب دگرگونی کند.

پایگاه داده

پایگاه داده یکی از مهم‌ترین بخش‌های معماری وب‌سایت‌های پرترافیک است. داده‌ها بازدیدکنندگان، محصولات، سفارش‌ها، محتوای وب‌سایت و بسیاری از داده‌های موردنیاز اپلیکیشن در دیتابیس نگهداری می‌شوند.

با افزایش تعداد بازدیدکنندگان، تعداد درخواست‌های خواندن و نوشتن داده‌ها نیز افزایش پیدا می‌کند. اگر پایگاه داده نتواند این درخواست‌ها را با سرعت متناسب پردازش کند، به گلوگاهی برای کل زیرساخت تبدیل می‌شود.

چند عامل مهم در کارایی پایگاه داده نقش دارند:

  • ایندکس‌گذاری (Indexing): ایندکس‌ها ساختارهایی هستند که پیدا کردن داده‌ها را سریع‌تر می‌کنند. بدون ایندکس متناسب، دیتابیس ممکن است برای پیدا کردن یک رکورد مجبور به بررسی تعداد زیادی از ردیف‌های جدول شود. البته ایجاد ایندکس‌های بیش از حد نیز قادر است عملیات درج و به‌روزرسانی داده‌ها را کندتر کند.
  • بهینه‌سازی کوئری‌ها: کوئری‌های پیچیده یا غیربهینه این امکان وجود دارد کهند ظرفیت‌های پردازشی زیادی مصرف کنند. بررسی Execution Plan، کاهش درخواست‌های غیرضروری و جلوگیری از الگوهایی مانند N+1 Query به بهبود کارایی دیتابیس کمک می‌کند.
  • راه‌بری اتصال‌ها (Connection Pooling): ایجاد اتصال جدید به پایگاه داده هزینه پردازشی دارد. Connection Pooling با نگهداری مجموعه‌ای از اتصال‌های آماده و استفاده مجدد از آن‌ها، از ایجاد اتصال‌های متعدد و غیرضروری جلوگیری می‌کند.
  • تفکیک عملیات خواندن و نوشتن: در برخی معماری‌ها این امکان وجود دارد که درخواست‌های خواندن داده‌ها را به زیرساخت سروریهای Replica فرستاد و عملیات نوشتن را روی زیرساخت سروری اصلی انجام داد. این روش ظرفیت پردازش درخواست‌های خواندن را افزایش می‌دهد؛ هرچند تاخیر در همگام‌سازی داده‌ها و احتمال خواندن داده‌ها قدیمی باید در طراحی آن در نظر گرفته شود.

نیازهای دیتابیس در انواع وب‌سایت‌ها یکسان نیست. یک وب‌سایت خبری معمولا درخواست‌های خواندن زیادی دریافت می‌کند، در حالی که یک فروشگاه اینترنتی علاوه بر خواندن داده‌ها، عملیات نوشتن و به‌روزرسانی متعددی مانند ثبت سفارش و دگرگونی موجودی دارد. از این رو، معماری دیتابیس باید متناسب با نوع فعالیت وب‌سایت طراحی شود.

سیستم کش

کش (Cache) یکی از موثرترین روش‌ها برای کاهش پردازش‌های تکراری و افزایش سرعت پاسخ‌گویی وب‌سایت است. در این روش، داده‌ها یا نتایج پردازش‌هایی که احتمال دارد دوباره موردنیاز قرار بگیرند، برای مدت مشخصی ذخیره می‌شوند تا در درخواست‌های بعدی بدون اجرای مجدد تمام مراحل در اختیار کاربر قرار بگیرند.

کش قادر است در لایه‌های مختلف زیرساخت استفاده شود:

  • کش مرورگر (Browser Cache): فایل‌هایی مانند تصاویر، CSS و JavaScript را در دستگاه کاربر نگهداری می‌کند تا در بازدیدهای بعدی دوباره از زیرساخت سروری دریافت نشوند.
  • کش صفحه (Page Cache): خروجی کامل صفحات را ذخیره می‌کند تا برای درخواست‌های بعدی نیازی به اجرای مجدد اپلیکیشن و کوئری‌های دیتابیس نباشد.
  • کش آبجکت (Object Cache): داده‌ها یا نتایج پردازش‌های مشخص را ذخیره می‌کند تا اپلیکیشن بتواند آن‌ها را سریع‌تر بازیابی کند.
  • کش دیتابیس: نتایج برخی کوئری‌ها را نگهداری می‌کند تا درخواست‌های تکراری فشار کمتری به پایگاه داده وارد کنند.

ابزارهایی مانند Redis و Memcached برای نگهداری داده‌ها در حافظه و مجوز دسترسی سریع به آن‌ها استفاده می‌شوند.

به‌عنوان نمونه، در یک فروشگاه اینترنتی ممکن است داده‌ها دسته‌بندی‌ها یا مشخصات محصول بارها توسط بازدیدکنندگان مختلف درخواست شوند. ذخیره این داده‌ها در Redis باعث می‌شود اپلیکیشن برای هر درخواست مجبور به اجرای مجدد کوئری روی دیتابیس نباشد.

در عین حال، استفاده از کش به راه‌بری صحیح داده‌ها نیاز دارد. باید مشخص باشد هر داده چه زمانی منقضی می‌شود و در صورت دگرگونی داده‌ها اصلی، چگونه نسخه ذخیره‌شده به‌روزرسانی یا حذف خواهد شد. در غیر این صورت ممکن است بازدیدکنندگان داده‌ها قدیمی را مشاهده کنند.

شبکه و پهنای باند

شبکه وظیفه انتقال درخواست‌ها و پاسخ‌ها میان بازدیدکنندگان و اجزای مختلف زیرساخت را بر عهده دارد. حتی اگر زیرساخت سروری از ظرفیت‌های پردازشی پردازشی قدرتمندی برخوردار باشد، محدودیت شبکه قادر است کارایی کلی وب‌سایت را تحت تاثیر قرار دهد.

پهنای باند مشخص می‌کند چه میزان داده در واحد زمان قابلیت انتقال دارد. به‌عنوان نمونه، وب‌سایتی که فایل‌های ویدئویی، تصاویر باکیفیت یا فایل‌های دانلودی ارائه می‌کند، به ظرفیت انتقال داده بیشتری نیاز دارد.

در عین حال، پهنای باند با سرعت پاسخ‌گویی یکسان نیست. برای بررسی کیفیت شبکه باید معیارهای دیگری را نیز در نظر گرفت:

  • Latency: مدت زمانی که طول می‌کشد داده از یک نقطه به نقطه دیگر منتقل شود.
  • Packet Loss: درصد بسته‌های داده‌های که در مسیر انتقال از دست می‌روند.
  • Jitter: دگرگونیات زمان رسیدن بسته‌های داده‌های که به‌ویژه در تعاملات بلادرنگ اهمیت دارد.
  • Throughput: میزان واقعی داده‌ای که در واحد زمان منتقل می‌شود.
  • ظرفیت اتصال: توان شبکه برای راه‌بری تعداد زیادی تعامل هم‌زمان.

در معماری‌های چندزیرساخت سروریی، کیفیت تعامل میان زیرساخت سروریهای وب، اپلیکیشن و دیتابیس نیز اهمیت دارد. به‌عنوان نمونه، اگر زیرساخت سروری اپلیکیشن برای دریافت داده‌ها از دیتابیس با تاخیر زیادی مواجه شود، حتی افزایش ظرفیت‌های پردازشی پردازشی اپلیکیشن هم لزوما مشکل را برطرف نمی‌کند.


نقش CDN در راه‌بری ترافیک وب‌سایت‌های پرترافیک

شبکه توزیع محتوا یا CDN مجموعه‌ای از زیرساخت سروریها در نقاط جغرافیایی مختلف است که نسخه‌ای از محتوای وب‌وب‌سایت را در اختیار بازدیدکنندگان قرار می‌دهند. هدف اصلی این شبکه، کاهش فاصله میان کاربر و محتوای موردنیاز و کاهش تعداد درخواست‌های مستقیم به زیرساخت سروری اصلی است.

در معماری معمولی، درخواست دریافت یک تصویر یا فایل CSS ممکن است مستقیما به زیرساخت سروری مبدأ ارسال شود. اما با استفاده از CDN، این محتوا قادر است از یک زیرساخت سروری لبه یا Edge Server نزدیک‌تر به کاربر ارائه شود.

نحوه کارایی CDN به این صورت است که پس از دریافت درخواست، شبکه بررسی می‌کند آیا نسخه قابل‌استفاده‌ای از محتوای موردنظر در حافظه کش یکی از نقاط خود دارد یا خیر.

اگر محتوا موجود و معتبر باشد، پاسخ مستقیما از همان نقطه ارائه می‌شود. این وضعیت Cache Hit نام دارد. در غیر این صورت، درخواست به زیرساخت سروری مبدأ ارسال می‌شود تا محتوا دریافت و در صورت قابلیت برای درخواست‌های بعدی ذخیره شود. این وضعیت Cache Miss است.

استفاده از CDN چند مزیت مهم برای وب‌سایت‌های پرترافیک دارد:

کاهش زمان پاسخ‌گویی: بازدیدکنندگان محتوا را از نقطه‌ای نزدیک‌تر دریافت می‌کنند و زمان انتقال داده کاهش پیدا می‌کند.

  • کاهش بار زیرساخت سروری مبدأ: درخواست‌های مربوط به محتوای کش‌شده به زیرساخت سروری اصلی ارسال نمی‌شوند و ظرفیت‌های پردازشی آن برای پردازش عملیات داینامیک آزادتر می‌مانند.
  • راه‌بری بهتر افزایش ناگهانی ترافیک: زمانی که تعداد زیادی کاربر یک فایل یا محتوای مشخص را درخواست می‌کنند، CDN قادر است بخش بزرگی از این درخواست‌ها را راه‌بری کند.
  • کاهش مصرف پهنای باند زیرساخت سروری اصلی: انتقال فایل‌های استاتیک از طریق شبکه توزیع محتوا، حجم داده خروجی از زیرساخت سروری مبدأ را کاهش می‌دهد.

در عین حال، CDN برای تمام درخواست‌ها قابل استفاده نیست. درخواست‌هایی مانند مشاهده موجودی لحظه‌ای محصولات، ثبت سفارش، ورود به حساب کاربری و پردازش پرداخت به داده‌ها اختصاصی و به‌روز نیاز دارند و معمولا باید توسط اپلیکیشن اصلی پردازش شوند.

بنابراین، CDN را باید مکمل زیرساخت پردازشی دانست، نه جایگزین آن. در وب‌سایت‌هایی که بخش زیادی از بار کاری به عملیات داینامیک وابسته است، همچنان به ظرفیت کافی در لایه اپلیکیشن و دیتابیس نیاز خواهد بود.


Load Balancing چیست و چه نقشی در افزایش ظرفیت وب‌سایت دارد؟

Load Balancing یا توزیع بار، روشی برای تقسیم درخواست‌های ورودی میان چند زیرساخت سروری است. در این معماری، به جای اینکه تمام درخواست‌ها به یک زیرساخت سروری ارسال شوند، یک واسط به نام Load Balancer آن‌ها را بر اساس الگوریتم مشخص میان زیرساخت سروریهای موجود توزیع می‌کند.

فرض کنید یک وب‌وب‌سایت تنها روی یک زیرساخت سروری اپلیکیشن اجرا می‌شود. با افزایش ترافیک، ممکن است CPU یا RAM زیرساخت سروری به محدودیت برسد. در چنین شرایطی، این امکان وجود دارد که چند زیرساخت سروری اپلیکیشن دیگر به زیرساخت اضافه کرد و درخواست‌ها را میان آن‌ها توزیع کرد.

Load Balancer معمولا در مسیر ورود درخواست‌ها قرار می‌گیرد و قادر است علاوه بر توزیع بار، وظایف دیگری مانند خاتمه تعامل TLS، بررسی سلامت زیرساخت سروریها و راه‌بری تعاملات را نیز بر عهده بگیرد.

الگوریتم‌های رایج توزیع بار

نحوه تقسیم درخواست‌ها میان زیرساخت سروریها به الگوریتم مورد استفاده وابسته است. چند روش متداول عبارت‌اند از:

  • Round Robin: در این روش، درخواست‌ها به ترتیب میان زیرساخت سروریهای موجود توزیع می‌شوند. به‌عنوان نمونه، اگر سه زیرساخت سروری در زیرساخت وجود داشته باشد، درخواست اول به زیرساخت سروری اول، درخواست دوم به زیرساخت سروری دوم و درخواست سوم به زیرساخت سروری سوم ارسال می‌شود. سپس این چرخه تکرار خواهد شد.

این الگوریتم برای زیرساخت سروریهایی با ظرفیت تقریبا مشابه و درخواست‌هایی با هزینه پردازشی نزدیک به یکدیگر متناسب است.

  • Weighted Round Robin: در این روش، برای هر زیرساخت سروری یک وزن مشخص در نظر گرفته می‌شود. زیرساخت سروریی که ظرفیت‌های پردازشی بیشتری دارد یا ظرفیت پردازشی بالاتری ارائه می‌کند، سهم بیشتری از درخواست‌ها را دریافت خواهد کرد.
  • Least Connections: در این الگوریتم، درخواست جدید به زیرساخت سروریی فرستاده می‌شود که در آن لحظه کمترین تعداد اتصال فعال را دارد. این روش زمانی کاربرد دارد که مدت‌زمان پردازش درخواست‌ها متفاوت باشد.
  • IP Hash: در این روش، آدرس IP کاربر برای انتخاب زیرساخت سروری به کار گرفته می‌شود. در نتیجه، درخواست‌های یک کاربر مشخص معمولا به همان زیرساخت سروری هدایت می‌شوند؛ البته این روش به‌صورت مستقل تضمین‌کننده حفظ نشست در تمام شرایط نیست.

انواع Load Balancer

Load Balancerها از نظر نحوه پیاده‌سازی به دو گروه کلی تقسیم می‌شوند:

  • Load Balancer سخت‌افزاری: دستگاه‌های اختصاصی شبکه هستند که برای راه‌بری حجم زیادی از تعاملات طراحی شده‌اند. این تجهیزات معمولا قابلیتات پیشرفته‌ای برای راه‌بری ترافیک، ایمنی و توزیع بار ارائه می‌کنند و در زیرساخت‌های بزرگ سازمانی کاربرد دارند.
  • Load Balancer نرم‌افزاری: اپلیکیشن‌هایی هستند که روی زیرساخت سروری اجرا می‌شوند و وظیفه توزیع درخواست‌ها را بر عهده دارند. Nginx و HAProxy از نمونه‌های شناخته‌شده این دسته هستند. این راهکارها انعطاف‌پذیری بیشتری در تنظیمات دارند و این امکان وجود دارد که ظرفیت آن‌ها را متناسب با نیاز زیرساخت افزایش داد.

Health Check و تعامل آن با High Availability

یکی از وظایف مهم Load Balancer بررسی سلامت زیرساخت سروریهای مقصد است. این فرایند که Health Check نام دارد، وضعیت زیرساخت سروریها را به‌صورت دوره‌ای بررسی می‌کند.

به‌عنوان نمونه، اگر یکی از زیرساخت سروریهای اپلیکیشن به دلیل خطای نرم‌افزاری از پاسخ‌گویی خارج شود، Load Balancer باید بتواند این وضعیت را تشخیص دهد و درخواست‌های جدید را به زیرساخت سروریهای سالم ارسال کند.

این قابلیت در افزایش دسترس‌پذیری یا High Availability نقش مهمی دارد.

در عین حال، وجود Load Balancer به‌صورت مستقل به معنی دسترس‌پذیری بالا نیست. اگر خود Load Balancer تنها یک نقطه ورود داشته باشد و از کار بیفتد، ممکن است تمام خدمت میزبانی مختل شود. از این رو، در معماری‌های حساس معمولا از چند نمونه Load Balancer، ساختار Active-Passive یا راهکارهای مشابه برای جلوگیری از ایجاد Single Point of Failure استفاده می‌شود.


مقیاس‌پذیری زیرساخت وب‌سایت چگونه انجام می‌شود؟

مقیاس‌پذیری یا Scalability به توانایی زیرساخت برای راه‌بری افزایش بار کاری گفته می‌شود. یک زیرساخت مقیاس‌پذیر قادر است با افزایش تعداد بازدیدکنندگان و درخواست‌ها، ظرفیت پردازشی خود را افزایش دهد، بدون اینکه لزوما نیاز به دگرگونی کامل معماری داشته باشد.

دو روش اصلی برای افزایش ظرفیت زیرساخت وجود دارد: مقیاس‌پذیری عمودی و مقیاس‌پذیری افقی.

مقیاس‌پذیری عمودی یا Vertical Scaling

در مقیاس‌پذیری عمودی، ظرفیت‌های پردازشی سخت‌افزاری یک زیرساخت سروری افزایش پیدا می‌کنند. به‌عنوان نمونه، این امکان وجود دارد که CPU قدرتمندتری در اختیار آن قرار داد، RAM را افزایش داد یا از فضای ذخیره‌سازی سریع‌تری استفاده کرد.

این روش برای بسیاری از کسب‌وکارها ساده‌ترین راه ارتقای زیرساخت است؛ زیرا معمولا به دگرگونیات گسترده در معماری نرم‌افزار نیاز ندارد.

مزایای مقیاس‌پذیری عمودی عبارت‌اند از:

  • راه‌بری ساده‌تر نسبت به معماری چندزیرساخت سروریی
  • عدم نیاز به توزیع درخواست‌ها میان چند ماشین
  • قابلیت افزایش سریع ظرفیت‌های پردازشی در صورت پشتیبانی زیرساخت
  • حفظ ساختار فعلی اپلیکیشن و پایگاه داده
  • کاهش پیچیدگی تعامل میان اجزای مختلف سیستم

در عین حال، این روش محدودیت‌هایی نیز دارد.

نخست اینکه هر زیرساخت سروری سقف مشخصی از ظرفیت‌های پردازشی سخت‌افزاری را پشتیبانی می‌کند. در نتیجه، ناین امکان وجود دارد که ظرفیت آن را بدون محدودیت افزایش داد.

دوم اینکه در این معماری، وابستگی خدمت میزبانی به یک ماشین همچنان وجود دارد. اگر زیرساخت سروری از کار بیفتد، ممکن است کل خدمت میزبانی در دسترس نباشد.

همچنین ارتقای سخت‌افزار در برخی شرایط به خاموش کردن یا راه‌اندازی مجدد زیرساخت سروری نیاز دارد که قادر است باعث وقفه موقت در خدمت میزبانی‌دهی شود.

مقیاس‌پذیری افقی یا Horizontal Scaling

در مقیاس‌پذیری افقی، به جای افزایش ظرفیت‌های پردازشی یک زیرساخت سروری، ماشین‌های بیشتری به زیرساخت اضافه می‌شوند. سپس درخواست‌ها میان این زیرساخت سروریها توزیع می‌شوند تا ظرفیت کلی خدمت میزبانی افزایش پیدا کند.

به‌عنوان نمونه، اگر یک زیرساخت سروری اپلیکیشن دیگر نتواند حجم درخواست‌ها را راه‌بری کند، این امکان وجود دارد که دو زیرساخت سروری دیگر به مجموعه اضافه کرد و با استفاده از Load Balancer، درخواست‌ها را میان هر سه زیرساخت سروری تقسیم کرد.

مزایای این روش عبارت‌اند از:

  • قابلیت افزایش ظرفیت با اضافه کردن زیرساخت سروریهای جدید
  • توزیع بار پردازشی میان چند ماشین
  • کاهش وابستگی خدمت میزبانی به یک زیرساخت سروری
  • قابلیت حذف یا جایگزینی زیرساخت سروریها بدون توقف کامل خدمت میزبانی
  • انعطاف‌پذیری بیشتر برای راه‌بری دگرگونیات ترافیک

البته مقیاس‌پذیری افقی پیچیدگی‌های خاص خود را دارد. به‌عنوان نمونه، اگر داده‌ها نشست بازدیدکنندگان فقط روی حافظه محلی یک زیرساخت سروری نگهداری شوند، انتقال درخواست‌های کاربر به زیرساخت سروری دیگر قادر است باعث از بین رفتن وضعیت نشست شود.

برای حل این مشکل، این امکان وجود دارد که از ذخیره‌سازی مشترک نشست‌ها، مانند Redis، یا روش‌های متناسب دیگر استفاده کرد.

راه‌بری فایل‌های آپلودشده، هماهنگی داده‌ها میان زیرساخت سروریها و جلوگیری از ناسازگاری داده‌ها نیز از چالش‌های این معماری هستند. از این رو، اپلیکیشن باید از ابتدا یا در فرایند بازطراحی به شکلی توسعه داده شود که بتواند روی چند نمونه مستقل اجرا شود.

در نهایت، مقیاس‌پذیری افقی فقط با اضافه کردن زیرساخت سروریهای بیشتر به دست نمی‌آید. تمام اجزای وابسته، از جمله دیتابیس، سیستم کش، شبکه و راه‌بری نشست‌ها نیز باید متناسب با این معماری طراحی شوند.


زیرساخت سروری اختصاصی چه نقشی در زیرساخت وب‌سایت‌های پرترافیک دارد؟

انتخاب زیرساخت سروری یکی از تصمیم‌های مهم در طراحی زیرساخت وب‌سایت‌های پرترافیک است. زیرساخت سروری باید بتواند حجم درخواست‌ها و پردازش‌های موردنیاز وب‌سایت را با پایداری متناسب راه‌بری کند. در بسیاری از کسب‌وکارها، استفاده از ظرفیت‌های پردازشی سخت‌افزاری مشخص و قابل‌کنترل نقش تعیین‌کننده‌ای دارد.

زیرساخت سروری اختصاصی به زیرساخت سروریی گفته می‌شود که تمام ظرفیت‌های پردازشی سخت‌افزاری آن در اختیار یک مشتری قرار می‌گیرد. برخلاف محیط‌های اشتراکی، ظرفیت‌های پردازشی پردازشی، حافظه و فضای ذخیره‌سازی این زیرساخت سروری میان چند مشتری تقسیم نمی‌شوند.

این ویژگی برای وب‌وب‌سایت‌هایی که بار کاری سنگین یا الگوی مصرف ظرفیت‌های پردازشی مشخصی دارند، اهمیت دارد.

اهمیت CPU و RAM در وب‌سایت‌های پرترافیک

CPU مسئول اجرای دستورالعمل‌ها و پردازش درخواست‌های نرم‌افزاری است. در وب‌سایت‌هایی که عملیات محاسباتی زیادی انجام می‌دهند، تعداد هسته‌ها، توان پردازشی هر هسته و معماری پردازنده اهمیت پیدا می‌کند.

به‌عنوان نمونه، یک سامانه مالی یا فروشگاه اینترنتی ممکن است هم‌زمان درخواست‌های متعددی برای بررسی داده‌ها، محاسبه قیمت و ثبت سفارش دریافت کند. در چنین وضعیتی، پردازنده باید توان کافی برای اجرای هم‌زمان این عملیات را داشته باشد.

RAM نیز فضای موردنیاز برای نگهداری داده‌های فعال و اجرای فرایندها را فراهم می‌کند. کمبود حافظه قادر است باعث استفاده از Swap و کاهش محسوس کارایی سیستم شود. همچنین دیتابیس‌ها و سیستم‌های کش برای ارائه کارایی متناسب به حافظه کافی نیاز دارند.

اهمیت فضای ذخیره‌سازی

نوع فضای ذخیره‌سازی در وب‌سایت‌های پرترافیک نقش تعیین‌کننده‌ای دارد؛ به‌خصوص زمانی که پایگاه داده حجم زیادی از عملیات خواندن و نوشتن را انجام می‌دهد.

استفاده از NVMe یا SSDهای متناسب قادر است تاخیر مجوز دسترسی به داده‌ها را کاهش دهد و سرعت عملیات ذخیره‌سازی را افزایش دهد.

البته ظرفیت و سرعت ذخیره‌سازی تنها معیارهای انتخاب نیستند. نوع بار کاری، میزان عملیات ورودی و خروجی (IOPS)، تاخیر خواندن و نوشتن و قابلیت اطمینان تجهیزات نیز باید بررسی شوند.

چه وب‌سایت‌هایی به زیرساخت سروری اختصاصی نیاز دارند؟

این نوع زیرساخت قادر است برای کسب‌وکارهای مختلفی متناسب باشد:

  • فروشگاه‌های اینترنتی بزرگ: برای راه‌بری جست‌وجوی محصولات، سفارش‌ها، داده‌ها بازدیدکنندگان و پردازش‌های هم‌زمان.
  • وب‌سایت‌های خبری و رسانه‌ای: برای ارائه محتوا به تعداد زیادی بازدیدکننده و راه‌بری افزایش ناگهانی ترافیک هنگام انتشار اخبار مهم.
  • سامانه‌های سازمانی: برای اجرای نرم‌افزارهای اختصاصی و پردازش داده‌ها حساس یا حجیم.
  • سامانه‌های پرتراکنش: برای راه‌بری تعداد زیادی عملیات ثبت، به‌روزرسانی و پردازش داده‌ها.

برای وب‌وب‌سایت‌هایی که با افزایش درخواست‌های هم‌زمان، پردازش‌های سنگین یا محدودیت ظرفیت‌های پردازشی مواجه هستند، خرید زیرساخت سروری اختصاصی ایران قادر است قابلیت مجوز دسترسی به ظرفیت‌های پردازشی سخت‌افزاری مشخص و کنترل بیشتر بر زیرساخت را فراهم کند. البته کارایی نهایی وب‌سایت به نحوه طراحی معماری، بهینه‌سازی نرم‌افزار و راه‌بری ظرفیت‌های پردازشی نیز وابسته است.

با وجود این مزایا، زیرساخت سروری اختصاصی محدودیت‌هایی نیز دارد. ظرفیت آن به سخت‌افزار نصب‌شده وابسته است و افزایش ظرفیت‌های پردازشی همیشه به سادگی انجام نمی‌شود. همچنین اگر تمام خدمت میزبانی روی یک زیرساخت سروری اجرا شود، خرابی همان ماشین قادر است کل وب‌سایت را تحت تاثیر قرار دهد.

از این رو، در معماری‌های بزرگ‌تر این امکان وجود دارد که از چند زیرساخت سروری اختصاصی در کنار Load Balancer، سیستم کش و پایگاه داده مستقل استفاده کرد. در چنین ساختاری، ظرفیت‌های پردازشی هر بخش متناسب با بار کاری آن انتخاب و راه‌بری می‌شوند.


وجوه تمایز زیرساخت سروری اختصاصی و زیرساخت سروری ابری در راه‌بری ترافیک بالا

زیرساخت سروری اختصاصی و زیرساخت سروری ابری هر دو این امکان وجود دارد کهند در زیرساخت وب‌سایت‌های پرترافیک استفاده شوند، اما نحوه تخصیص ظرفیت‌های پردازشی، افزایش ظرفیت و راه‌بری آن‌ها متفاوت است.

در زیرساخت سروری اختصاصی، ظرفیت‌های پردازشی سخت‌افزاری یک ماشین فیزیکی به یک مشتری اختصاص داده می‌شوند. در مقابل، زیرساخت ابری معمولا از مجموعه‌ای از ظرفیت‌های پردازشی پردازشی و ذخیره‌سازی تشکیل شده است که از طریق یک لایه راه‌بری و مجازی‌سازی در اختیار بازدیدکنندگان قرار می‌گیرند.

این تفاوت باعث می‌شود هر کدام برای شرایط خاصی متناسب‌تر باشند.

معیار مقایسه زیرساخت سروری اختصاصی زیرساخت سروری ابری
نوع ظرفیت‌های پردازشی ظرفیت‌های پردازشی سخت‌افزاری یک ماشین فیزیکی ظرفیت‌های پردازشی تخصیص‌یافته از زیرساخت ابری
روش افزایش ظرفیت ارتقای سخت‌افزار یا افزودن زیرساخت سروری افزایش ظرفیت‌های پردازشی یا ایجاد نمونه‌های جدید
انعطاف‌پذیری وابسته به سخت‌افزار و قابلیتات ارائه‌دهنده معمولا بیشتر و قابل تنظیم‌تر
کنترل سخت‌افزاری مجوز دسترسی و کنترل بیشتر بر ماشین فیزیکی وابسته به سطح مجوز دسترسی خدمت میزبانی ابری
پیچیدگی راه‌بری در حالت تک‌زیرساخت سروریی ساده‌تر؛ در معماری چندزیرساخت سروریی پیچیده‌تر وابسته به معماری و قابلیتات پلتفرم
کاربرد متناسب بار کاری پایدار و نیازمند ظرفیت‌های پردازشی مشخص بار کاری متغیر و نیازمند افزایش ظرفیت سریع

زیرساخت سروری اختصاصی برای چه شرایطی متناسب‌تر است؟

اگر بار کاری وب‌سایت نسبتا پایدار باشد و کسب‌وکار به ظرفیت‌های پردازشی سخت‌افزاری مشخص و قابل‌کنترل نیاز داشته باشد، زیرساخت سروری اختصاصی قادر است انتخاب متناسبی باشد.

به‌عنوان نمونه، یک سامانه سازمانی که در طول شبانه‌روز بار کاری مشخصی دارد، ممکن است با یک یا چند زیرساخت سروری اختصاصی به‌خوبی راه‌بری شود. در چنین وضعیتی، قابلیت انتخاب سخت‌افزار متناسب با نیاز پردازشی و ذخیره‌سازی نقش تعیین‌کننده‌ای دارد.

زیرساخت سروری ابری برای چه شرایطی متناسب‌تر است؟

زیرساخت سروری ابری زمانی مزیت بیشتری دارد که میزان ترافیک در طول زمان دگرگونی کند یا کسب‌وکار به افزایش و کاهش سریع ظرفیت‌های پردازشی نیاز داشته باشد.

به‌عنوان نمونه، یک فروشگاه اینترنتی ممکن است در روزهای عادی ترافیک متوسطی داشته باشد، اما هنگام اجرای کمپین‌های فروش با چند برابر شدن درخواست‌ها مواجه شود. در چنین شرایطی، قابلیت افزایش سریع ظرفیت پردازشی قادر است به راه‌بری بهتر بار کمک کند.

البته همه خدمت میزبانی‌های ابری از مقیاس‌پذیری خودکار یا افزایش ظرفیت‌های پردازشی بدون وقفه پشتیبانی نمی‌کنند. این قابلیت‌ها به معماری پلتفرم و نوع خدمت میزبانی انتخاب‌شده بستگی دارند.

در نهایت، انتخاب میان این دو گزینه باید بر اساس نوع بار کاری، میزان دگرگونیات ترافیک، بودجه، نیازهای فنی و سطح کنترل موردنیاز انجام شود. حتی این امکان وجود دارد که از معماری ترکیبی استفاده کرد؛ به‌عنوان نمونه، دیتابیس روی سخت‌افزار اختصاصی اجرا شود و لایه اپلیکیشن از نمونه‌های ابری برای راه‌بری دگرگونیات ترافیک استفاده کند.


چگونه زیرساخت وب‌سایت را برای افزایش ناگهانی ترافیک آماده کنیم؟

افزایش ناگهانی ترافیک معمولا زمانی اتفاق می‌افتد که وب‌سایت با یک رویداد خاص، کمپین تبلیغاتی، انتشار محتوای پربازدید یا دگرگونیات فصلی مواجه می‌شود. اگر زیرساخت برای چنین شرایطی آماده نباشد، حتی افزایش کوتاه‌مدت درخواست‌ها قادر است باعث کندی یا اختلال در خدمت میزبانی شود.

برای کاهش این ریسک، باید ظرفیت واقعی زیرساخت پیش از وقوع افزایش ترافیک بررسی شود.

انجام تست بار یا Load Testing

تست بار فرایندی است که در آن شرایط مختلف ترافیکی به‌صورت کنترل‌شده شبیه‌سازی می‌شوند تا مشخص شود زیرساخت تا چه میزان درخواست را قادر است راه‌بری کند.

در این آزمایش، تعداد بازدیدکنندگان مجازی و درخواست‌های ارسالی به‌تدریج افزایش پیدا می‌کند و معیارهایی مانند زمان پاسخ‌گویی، نرخ خطا و مصرف ظرفیت‌های پردازشی بررسی می‌شوند.

سه نوع آزمایش کاربردی در این زمینه وجود دارد:

  • Load Testing: کارایی سیستم را تحت بار مورد انتظار بررسی می‌کند.
  • Stress Testing: بار را از ظرفیت پیش‌بینی‌شده فراتر می‌برد تا نقطه شکست سیستم مشخص شود.
  • Spike Testing: افزایش ناگهانی و شدید ترافیک را شبیه‌سازی می‌کند تا رفتار زیرساخت در مواجهه با جهش درخواست‌ها بررسی شود.

برای اجرای این آزمایش‌ها این امکان وجود دارد که از ابزارهای مختلفی استفاده کرد:

  • k6: ابزاری برای اجرای تست بار با استفاده از اسکریپت‌های JavaScript است. این ابزار قابلیت تعریف سناریوهای مختلف و بررسی کارایی APIها و وب‌وب‌سایت‌ها را فراهم می‌کند.
  • Apache JMeter: ابزاری شناخته‌شده برای تست کارایی اپلیکیشن‌های وب و خدمت میزبانی‌های مختلف است که قابلیت شبیه‌سازی تعداد زیادی کاربر و درخواست هم‌زمان را دارد.
  • Locust: ابزاری مبتنی بر Python است که برای تعریف رفتار بازدیدکنندگان و شبیه‌سازی سناریوهای واقعی استفاده می‌شود. انعطاف‌پذیری آن برای آزمایش فرایندهایی مانند ورود بازدیدکنندگان، جست‌وجو و ثبت سفارش مفید است.

نکته مهم این است که تست بار باید بر اساس رفتار واقعی بازدیدکنندگان طراحی شود. صرفا ارسال تعداد زیادی درخواست تکراری به صفحه اصلی، معیار متناسبی برای سنجش ظرفیت یک فروشگاه اینترنتی نیست. بهتر است سناریوهایی مانند ورود، جست‌وجو، مشاهده محصول، افزودن به سبد خرید و ثبت سفارش نیز در آزمایش لحاظ شوند.

بررسی ظرفیت CPU و RAM

در زمان تست بار باید میزان مصرف CPU و RAM در بخش‌های مختلف زیرساخت بررسی شود.

اگر مصرف CPU به‌صورت مداوم بالا باشد، ممکن است اپلیکیشن با محدودیت پردازشی مواجه شده باشد. در سوی دیگر، افزایش مصرف RAM و استفاده مکرر از Swap قادر است نشانه کمبود حافظه باشد.

البته بررسی میانگین مصرف کافی نیست. باید به اوج مصرف ظرفیت‌های پردازشی در زمان افزایش درخواست‌ها نیز توجه کرد.

بهینه‌سازی پایگاه داده

پیش از افزایش ظرفیت‌های پردازشی سخت‌افزاری، باید کوئری‌های پرتکرار و سنگین شناسایی شوند. بررسی Execution Plan، اصلاح ایندکس‌ها، کاهش کوئری‌های غیرضروری و استفاده از Connection Pooling این امکان وجود دارد کهند فشار واردشده به دیتابیس را کاهش دهند.

در صورت نیاز نیز این امکان وجود دارد که از Read Replica برای توزیع درخواست‌های خواندن استفاده کرد.

استفاده از کش و CDN

کش کردن صفحات و داده‌ها پرتکرار باعث می‌شود اپلیکیشن و دیتابیس مجبور نباشند تمام درخواست‌ها را از ابتدا پردازش کنند.

همچنین CDN قادر است درخواست‌های مربوط به فایل‌های استاتیک را از زیرساخت سروری اصلی دور کند. ترکیب این دو راهکار به‌خصوص برای وب‌سایت‌های خبری، فروشگاه‌های اینترنتی و وب‌وب‌سایت‌های محتوایی مفید است.

بررسی تنظیمات وب‌زیرساخت سروری و شبکه

تنظیم تعداد اتصال‌های هم‌زمان، محدودیت‌های پردازش درخواست، Timeoutها و ظرفیت تعاملات شبکه باید متناسب با ظرفیت‌های پردازشی زیرساخت سروری انجام شود.

به‌عنوان نمونه، افزایش بیش از حد تعداد Workerها در Nginx یا تعداد پردازش‌های اپلیکیشن، بدون توجه به ظرفیت CPU و RAM، ممکن است نتیجه معکوس داشته باشد.

همچنین باید ظرفیت شبکه، پهنای باند و محدودیت‌های تعاملی میان زیرساخت سروریها بررسی شوند.

طراحی اپلیکیشن افزایش ظرفیت

در نهایت باید مشخص باشد که در صورت عبور ترافیک از ظرفیت پیش‌بینی‌شده، چه اقدامی انجام خواهد شد.

این اپلیکیشن قادر است شامل افزایش ظرفیت‌های پردازشی زیرساخت سروری، اضافه کردن نمونه‌های جدید اپلیکیشن، فعال کردن تنظیمات مقیاس‌پذیری خودکار یا انتقال بخشی از بار به CDN باشد.

داشتن چنین اپلیکیشن‌ای کمک می‌کند افزایش ترافیک به یک وضعیت بحرانی و غیرقابل پیش‌بینی تبدیل نشود.


چگونه کارایی و پایداری زیرساخت وب‌سایت پرترافیک را پایش کنیم؟

حتی اگر زیرساخت در زمان راه‌اندازی کارایی متناسبی داشته باشد، این وضعیت لزوما در آینده ثابت نمی‌ماند. افزایش بازدیدکنندگان، دگرگونی الگوی استفاده، به‌روزرسانی نرم‌افزارها و رشد پایگاه داده این امکان وجود دارد کهند به‌تدریج گلوگاه‌های جدیدی ایجاد کنند.

از این رو، پایش مستمر کارایی زیرساخت یکی از بخش‌های ضروری راه‌بری وب‌سایت‌های پرترافیک است.

چه معیارهایی باید پایش شوند؟

برای بررسی وضعیت زیرساخت، بهتر است معیارهای مختلف در کنار یکدیگر تحلیل شوند:

  • مصرف CPU و RAM: میزان استفاده از پردازنده و حافظه در زیرساخت سروریهای وب، اپلیکیشن و دیتابیس باید به‌صورت جداگانه بررسی شود. این داده‌ها به شناسایی محدودیت ظرفیت‌های پردازشی کمک می‌کنند.
این مطلب را چقدر مفید دانستید؟میانگین ۵٫۰ از ۵ (۱ رأی)

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *