مسیریابی north/south NSX-T EVPN با fabric Datacenter مبتنی بر NX-OS EVPN

با انتشار نسخه ۳.۰، حالا NSX-T از VRF Lite و EVPN پشتیبانی می‌کند. پشتیبانی از VRF برای غلبه بر مقیاس‌پذیری NSX-T برای پشتیبانی multitenancy، یکی از ویژگی‌های مورد انتظار در نسخه جدید بود. برای پشتیبانی از چندین دامنه مسیریابی مستقل با آدرس‌های IP که احتمال همپوشانی دارند، باید یک Tier-0 Gatewayبرای هر دامنه ایجاد شود. محدودیت یک Tier-0 Gateway SR در هر گره edge مشکلات مقیاس‌پذیری را ایجاد می‌کند. به عنوان مثال، پر استفاده‌ترین ماشین مجازی Edge با فرم فاکتور بزرگ به ۳۲ گیگابایت رم، هشت vCPU و ۲۰۰ گیگابایت فضای دیسک نیاز دارد و می‌تواند تنها یک Tier-0 SR داشته باشد. در مورد Bare Metal Edge، تنها یک نمونه Tier-0 SR می‌تواند روی کل میزبان، میزبانی شود.
با معرفی Gateway‌های VRF، می‌توان ۱۰۰ VRF را با یک Tier-0 Gateway مرتبط کرد، بنابراین اساسا مقیاس تعداد دامنه‌های مسیریابی را که می‌توانند روی یک گره Edge اجرا شوند (در VM و Bare Metal) افزایش می‌یابد. نمونه مسیریابی Tier-0 Gateway را می‌توان با جدول مسیریابی جهانی روتر فیزیکی مقایسه کرد، در حالی که نمونه مسیریابی VRF Gateway با یک VRF قابل مقایسه‌ است.
برای اتصال northbound Gateway‌های VRF منفرد با یک روتر فیزیکی، می‌توان از VRF Lite استفاده کرد. یک پیکربندی سربار مدیریتی خاص برای مسیریابی VRF Lite northbound وجود دارد، زیرا به چندین پیکربندی در هر Gateway VRF نیاز است که شامل VLAN، آدرس‌های IP uplink و پیکربندی BGP برای هر VRF منفرد است. اینجاست که ویژگی EVPN می‌تواند به کاهش هزینه‌های مدیریت کمک کند. EVPN اغلب در دیتاسنترهای مدرن به عنوان یک فناوری fabric مانند تصویر زیر استفاده می‌شود.

از آنجایی که EVPN در لایه زیرین فیزیکی DC fabric استفاده می‌شود، آیا می‌توان آن را کمی بیشتر از Border GW به NSX-T Edges گسترش داد و از آن برای تبادل مسیریابی VRF استفاده کرد؟ یک نمونه آزمایشگاهی برای شبیه‌سازی شبکه فوق ساخته شده است. DC EVPN fabric روی سوئیچ‌های مجازی Nexus 9K پیکربندی شده است. NSX-T v3.0.1 برای ارائه دامنه NSX-T و ویژگی EVPN برای تبادل اطلاعات مسیریابی VRF بین دامنه NSX-T و DC EVPN Fabric استفاده شده است. DC EVPN Border Gateways همچنین اطلاعات مسیریابی را با بلوک WAN تبادل می‌کند. در شکل زیر نمودار سیستم آزمایشگاهی در وضعیت پیکربندی نهایی آن به نمایش درآمده است:

هدف این مقاله نشان دادن نحوه گسترش شبکه DC مبتنی بر NX-OS EVPN تا سطح NSX-T Edge برای فعال کردن مسیریابی VRF بین آن‌ها است. برای این کار مراحل زیر لازم است:
۱) یک پیکربندی پایه EVPN با یک Spine و سه سوئیچ Leaf ایجاد کنید. دو تا از سوئیچ‌های Leaf به عنوان Border GW استفاده خواهند شد. ۲ عدد VRF را در EVPN ایجاد کنید و مسیریابی را به یک روتر خارجی به WAN برای این دو VRF پیکربندی کنید.
۲) تنظیمات پایه NSX-T را با یک NSX-T Manager و دو گره Edge VMs که در یک خوشه ترکیبی Management/Edge ۳ گره اجرا می‌شوند، پیکربندی کنید. یک خوشه ۲ گره ESXi Compute برای NSX-T آماده کنید.
۳) Parent Tier-0 Gateway ایجاد کنید.
۴) بخش‌های Uplink را در NSX-T برای BGP و رابط‌های uplink در سوئیچ‌های Gateway مرزی (NX-OS) ایجاد کنید.
۵) رابط‌های EVPN TEP را روی دروازه Parent Tier-0 Gateway (NSX-T) و پیکربندی EVPN چند سایتی در سوئیچ‌های Gateway مرزی (NX-OS) ایجاد کنید.
۶) BGP را بین Parent Tier-0 Gateway (NSX-T) و سوئیچ‌های Gateway مرزی (NX-OS) پیکربندی کنید.
۷) Gateway VRF را در NSX-T ایجاد کنید.
۸) Tier-1 Gateway را ایجاد کرده و آن را به Gateway VRF متصل کنید. یک قطعه آزمایشی ایجاد کنید و آن را به Tier-1 Gateway متصل کنید. یک VM آزمایشی را به این بخش وصل کنید و اتصال را آزمایش کنید.
بیایید با جزئیات بیشتر مراحل پیکربندی را بررسی کنیم.

پیکربندی پایه EVPN را ایجاد کنید

اجزای شبکه این مرحله در نمودار زیر نشان داده شده است:

این یک سیستم کلاسیک EVPN با مسیریابیunicast-IGP (OSPF در اینجا استفاده می‌شود) و مسیریابی چندپخشی PIM BiDir در لایه زیرین است. MP-BGP با L2VPN EVPN AFI بین رابط‌های Loopback 200 پیکربندی شده است، جایی که سوئیچ Spine به عنوان یک بازتاب دهنده مسیر BGP استفاده می‌شود. Loopback 100 در هر سوئیچ به عنوان VXLAN TEP (VTEP) استفاده می‌شود. هنگامی که پیکربندی پایه مورد استفاده قرار می‌گیرد، سرورهای Bare Metal که هر کدام به VRF خود متصل شده و می‌توانند به VRF‌های مربوطه در WAN خارج از فابریک EVPN برسند.

تنظیمات پایه NSX-T را پیکربندی کنید

سیستم پایه NSX-T متشکل از یک NSX-T Manager (dc1-nsxm-01) و دو گره ماشین مجازی Edge (dc1-edge-05 و dc1-edge-06) است که روی یک خوشه ESXi ۳ گره Management/Edge اجرا می‌شوند. خوشه ۲ گره ESXi Compute برای NSX-T آماده شده است. این نمای vCenter است:

در سیستم پایه، تمام گره‌های انتقال NSX-T (edge و host) ایجاد می‌شوند، اما هنوز هیچ بخش مسیریابی یا پوشش GENEVE وجود ندارد.

Create Parent Tier-0 Gateway ایجاد کنید

Parent Tier-0 Gateway مشابه یک نمونه مسیریابی جهانی است. اجازه دهید Active/Active Tier-0 با نام T0 را در خوشه Edge «dc1-edgecluster-03» ایجاد کنیم (این خوشه از دو گره edge «dc1-edge-05 » و «dc1-edge-06 » تشکیل شده است.)

به یک پارامتر جدید به نام RD Admin Address با مقدار اختصاص داده شده «۱۷۲٫۱۶٫۲۵۵٫۹۹» توجه کنید. هنگام اعلان مسیرهای VRF از طریق MP-BGP، می‌توان از آن برای اختصاص خودکار متمایز کننده مسیر در هر VRF استفاده کرد. این آدرس فقط یک شناسه است. به هیچ رابطی تعلق ندارد و قابل دسترسی نیست. قبل از پیکربندی سایر پارامترهای Tier-0 Gateway باید روی «Save» کلیک کنید.

ایجاد شبکه‌های پیوند بین T0 و BGW (NX-OS)

قبل از هر چیز ما به بخش‌هایی با پشتوانه VLAN در گره‌های Edge برای uplinkهای Tier-0 Gateway نیاز داریم. در اینجا نمونه‌ای از ایجاد بخش «sv-nxos-t0-u1-v105» با پشتیبانی VLAN 105 آورده شده است:

در ادامه لیستی از چهار بخش ایجاد شده توسط VLAN ارائه شده است. برخی جزئیات بیشتر برای آخرین بخش ایجاد شده نشان داده شده است:

در قدم دوم، اجازه دهید رابط‌هایی را روی «parent Tier-0 Gateway T0» ایجاد کنیم. در اینجا یک نمونه از ایجاد رابط «edge6-uplink2» آورده شده است:

توجه داشته باشید MTU به اندازه ۱۶۰۰ بایت پیکربندی شده است. ارائه MTU بالاتر از ۱۵۰۰ بایت استاندارد برای تطبیق کپسوله سازی VXLAN برای ارسال صفحه داده VRF بین دامنه‌های NSX-T و NX-OS EVPN ضروری است. همچنین توجه داشته باشید که حالت URPF باید روی «None» تنظیم شود. در ادامه لیستی از اینترفیس‌های ایجاد شده در parent Tier-0 Gateway T0 با برخی جزئیات برای ۲ تا از اینترفیس‌ها آمده است:

و اکنون رابط مربوطه باید در دروازه‌های مرزی BGW-1 و BGW-2 ایجاد شود:
نکته مهم: نسخه NX-OS در Gatewayهای مرزی (BGW-X) باید (۴)۹.۲ (یا بالاتر) باشد. اسناد Cisco بیان می‌کند که Cisco NX-OS Software Release 7.0(3)I7(1) یا جدیدتر قابل استفاده است، اما نسخه ۷ دستورات EVPN Multisite را ندارد.

BGW-1

BGW-2

توجه داشته باشید MTU ۱۶۰۰ بایتی مانند پیوندهای T0 پیکربندی شده است. در اینجا نمودار شبکه در این مرحله آمده است:

T0 و BGW را برای EVPN آماده کنید

برخی مراحل پیکربندی اضافی برای آماده سازی T0 و BGW برای مسیریابی EVPN و VRF مورد نیاز است. اول، ما به یک مخزن VNI برای VXLAN نیاز داریم که برای ارسال صفحه داده VRF بین دامنه‌های NSX-T و NX-OS EVPN استفاده می‌شود. در اینجا یک مخزن به نام «nxos-vni-pool» متشکل از ۱۰۰ VNI ایجاد می‌شود:

در مرحله دوم، مخزن EVPN VNI باید به Parent Tier-0 GW “T0” اختصاص داده شود:

در قدم سوم، رابط‌های نقطه پایانی تونل EVPN در Parent Tier-0 GW “T0” مورد نیاز است:

حالا اجازه دهید قسمت NX-OS را روی BGW-1 و BGW-2 آماده کنیم. ما باید رفتار چند سایتی را به پیکربندی پایه این سوئیچ‌های leaf اضافه کنیم. پیکربندی چند سایتی از مقاله طراحی و استقرار چند سایت VXLAN EVPN موجود در سایت شرکت Cisco بدست آمده است. دستورات اضافه شده به پیکربندی خط پایه به صورت Bold/Italic و زرد برجسته هستند:
BGW-1

BGW-2

BGP را بین T0 و BGWها پیکربندی کنید

پیکربندی Parent Tier-0 GW BGP تفاوت چندانی با حالت معمولی ندارد. در اینجا T0 در ASN 65022 پیکربندی شده است، بقیه موارد پیش‌فرض است (راه‌اندازی مجدد Graceful در اینجا غیر فعال است، زیرا هیچ مزیتی در محیط آزمایشگاهی ندارد):

با این حال، چند پارامتر اضافی هنگام پیکربندی همسایگان BGP وجود دارد. ابتدا لازم است Max Hop Limit را از مقدار پیش‌فرض ۱ تغییر دهید، زیرا رابط‌های VXLAN TEP اکنون به اندازه چندین پرش از T0 به BGW-1 و BGW-2 فاصله دارند (حداکثر مقدار ۲۵۵ در اینجا استفاده می‌شود، اما ۳ کافی خواهد بود):

در ادامه در پیکربندی فیلتر روتر لازم است خانواده آدرس IPV4 و L2VPN EVPN را اضافه کنید تا MP-BGP فعال شود:

در اینجا لیستی از همسایگان T0 با جزئیات بیشتری برای یکی از همسایگان نشان داده شده است:

آخرین مرحله مهم برای پیکربندی مسیریابی بین T0 و BGW-1 و BGW-2 اعلام EVPN TEP IP از T0 در خانواده آدرس BGP IPv4 است:

اکنون زمان پیکربندی BGW-1 و BGW-2 است.
BGW-1

BGW-2

در اینجا نمودار شبکه آزمایشگاهی پس از پیکربندی BGP آمده است:

به اتصال افزونه کامل بین دامنه NSX-T و NX-OS EVPN توجه کنید. خرابی یا نگهداری یکی از گره‌های BGW و از دست دادن یا نگهداری همزمان یکی از گره‌های لبه بر اتصال north/south بین دو دامنه تأثیری ندارد. Failover به همگرایی پروتکل مسیریابی پویا متکی است.

VRF را در NSX-T ایجاد کنید

VRF در NSX-T به عنوان VRF Gateway پیکربندی شده است، که به عنوان یک شیء Child Tier-0 برای Parent Tier-0 Gateway است. به عنوان یک شی child، VRF Gateway بسیاری از پارامترهای پیکربندی را از Parent Tier-0 به ارث می‌برد که در یک VRF منفرد قابل تغییر نیستند. اجازه دهید دروازه VRF با نامT0-vrf3 و مرتبط با Parent Tier-0 “T0” ایجاد کنیم (VRF متناظر در NX-OS EVPN VRF3 نام دارد):

وارد نکردن مقدار Route Distinguisher باعث می‌شود مقدارش به صورت خودکار تعیین گردد. از طرف دیگر، می‌توان آن را به صورت دستی اختصاص داد. مقدار VNI ترانزیت EVPN باید با مقدار VNI استفاده شده در NX-OS EVPN fabric برای VRF3 مطابقت داشته باشد. این مقدار را می‌توان در هر سوئیچ دروازه مرزی EVPN که برای VRF3 پیکربندی شده است، یافت. (به عنوان مثال از BGW-1):

توجه داشته باشید که VRF VNI در NX-OS EVPN fabric باید در محدودهnxos-vni-pool تعریف شده قبلی باشد. مشابه پیکربندی NX-OS VRF لازم است که Route Target (RT) درVRF Gateway T0-vrf3 تعریف شود:

RT را می‌توان به صورت دستی یا به طور خودکار اختصاص داد. RT اختصاص داده شده خودکار دارای قالب <Parent Tier-0 ASN>:<VRF VNI> است. با مقادیر انتخاب شده برای T0 و VRF3، RT اختصاص داده شده خودکار ۶۵۰۲۲:۲۰۰۰۰۳ است.
آیا نیاز به گسترش VRF دیگری به NSX-T دارید؟ مثلا VRF4؟ فقط VRF VNI پیکربندی شده در NX-OS EVPN fabric را پیدا کنید (در مورد ما ۲۰۰۰۴ است)، از تخصیص خودکار RD و RT استفاده کنید و با چند کلیک دروازه VRF را با نام T0-vrf4 ایجاد کنید. به همین راحتی تمام مسیریابی به طور خودکار بدون هیچ گونه مراحل پیکربندی اضافی ایجاد می‌شود.

Tier-1 GW، segment و VM را به VRF در NSX-T متصل کنید

روش اتصال Tier-1 Gateway به VRF Gateway مانند اتصال آن به Tier-0 Gateway است. اگر Tier-1 هنوز وجود ندارد، یکی را به نام T1-vrf3-01 ایجاد می‌کنیم و آن را بهT0-vrf3 متصل کنیم:

به صورت اختیاری، اگر برنامه‌ای برای استفاده از خدمات در Tier-1 وجود داشته باشد (مانند NAT، Load Balancing و غیره)، می‌توان آن را با یک خوشه edge مرتبط کرد. برای آزمایش‌های اتصال، اجازه دهید بخش‌های متصل به این دروازه Tier-1 را اعلان کنیم. اکنون یک بخش همپوشانی به نام so-dc1-04 ایجاد می‌کنیم، آن را بهT1-vrf3-01 متصل می‌کنیم و یک IP/subnet 172.16.40.1/24 اختصاص می‌دهیم:

در نهایت، اجازه دهید یک ماشین مجازی با نامdc1-app2-web1 پیکربندی شده با IP 172.16.40.11/24 و پیش فرض GW 172.16.40.1 را به این بخش وصل کنیم:

تست پینگ ساده از این VM اتصال صفحه داده را در VRF3 به سرور (آدرس IP 10.3.31.11) متصل به leaf L-103 NX-OS EVPN fabric و به یک نقطه پایانی (آدرسIP 10.3.100.1) در بلوک WAN بیرون مرکز داده که از طریق روتر lab-csr1k متصل شده است، نشان می‌دهد.

در شکل زیر نمودار آزمایشگاهی در این مرحله آمده است:

مشابه VRF3، یک Tier-1 Gateway، یک سگمنت و یک ماشین مجازی را می‌توان به VRF4 در دامنه NSX-T اضافه کرد و سیستم آزمایشگاهی به ظاهر نهایی خود می‌رسد همانطور که در نمودار زیرساخت شبکه آزمایشگاهی در ابتدای این مقاله نشان داده شده است.

جمع‌بندی

در این مطلب نشان دادیم که چگونه شبکه DC مبتنی بر NX-OS EVPN را با NSX-T با استفاده از EVPN متصل کنید و مسیریابی VRF را بین دو دامنه فعال کنید. پیکربندی اتصال EVPN خیلی ساده نیست، اما پس از یک بار پیکربندی اجازه می‌دهد تا به راحتی و سریع VRF‌های اضافی را به دامنه NSX-T اضافه کنید. اگر یک VRF از قبل در EVPN fabric مرکز داده وجود داشته باشد، زمانی که از تخصیص خودکار Route Distinguisher و Route Target استفاده می‌شود، گسترش این VRF به دامنه NSX-T تنها به یک پارامتر یعنی VXLAN VNI نیاز دارد. این به طور چشمگیری عملیات ایجاد، پیکربندی و نگهداری VRF‌ها را در NSX-T ساده می‌کند.

منبع