نگاهی به Cisco SAN Analytics و SAN Telemetry Streaming Solution

نگاهی عمیق‌تر به زیرساخت‌های ذخیره‌سازی سازمانی

صنعت ذخیره‌سازی سازمانی در حال گذر از یک تحول تاریخی است. از یک سو، پذیرش گسترده آرایه‌های all-flash و از سوی دیگر، فناوری‌هایی مانند NVme (nonvolatile memory express) و NVMe over fabrics، چشم‌انداز را برای همیشه تغییر می‌دهند. عملکرد بالا مشوق اصلی استفاده از این روندهای ذخیرهسازی است. میلیون‌ها عملیات ورودی/خروجی در ثانیه (IOPS) و زمان پاسخ در حد میکروثانیه هنجارهای جدید این سیستم‌ها هستند. با این حال، نتایج تایید شده آزمایشگاهی همیشه نشان دهنده آنچه در محیط‌های تولید خود می‌بینید نیست. اینجا موضوع اصلی تقابل شناخته شده در مقابل ناشناخته، کنترل شده در مقابل کنترل نشده، کم خطر در مقابل پرخطر است.

در فرایند تولید، هر تغییر عملیاتی باید توسط داده‌ها پشتیبانی شده و به طور کامل تایید شود. هیچ آزمون و خطایی وجود ندارد. محیط تولید مانند یک معادله چند بعدی است. در حالی که هر متغیر منفرد در آن معادله ممکن است به تنهایی کار کند، گرد هم آوردن چندین متغیر مستلزم دید عمیق و درک نحوه تعامل این اجزا است. در صورتی که این دید وجود نداشته باشد، محیط تولید تبدیل به یک راه حل best-effort می‌شود.

مدیران ارشد فناوری اطلاعات اهمیت دید عمیق و تجزیه و تحلیل را درک می‌کنند. با این حال، دستیابی به آن در محیط‌های تولید اغلب به دلایل زیرچالش برانگیز می‌شود:

  • نبود دید یکپارچه: دریافت نمای یکپارچه از محاسبات، ذخیره‌سازی و شبکه منطقه ذخیره‌سازی (SAN) به صورت یکجا اغلب پیچیده است. امروزه نظارت در چند end point امکان‌پذیر است، اما نظارت کامل ترافیک ذخیره‌سازی با راه حل‌های صنعتی موجود در حال حاضر، پیچیده می‌شود.
  • زیرساخت‌های ترکیبی: شرکت‌ها باید همزمان با چندین معماری سروکار داشته باشند. به عنوان مثال، لایه محاسباتی ممکن است انواع مختلفی ازHypervisor و Virtual Machine را در خود داشته باشد. Hypervisor و Virtual Machine مهمان ممکن است توسط فروشندگان مختلف و بر اساس معماری‌های مختلف توسعه داده شده باشند. به طور مشابه، زیرساخت ذخیره‌سازی ممکن است شامل انواع مختلفی از آرایه‌های ذخیره‌سازی باشد. این آرایه‌ها می‌توانند انواعی از آرایه‌های all-flash، hybrid یا nonflash باشند. علاوه بر این، آرایه‌های ذخیره‌سازی ممکن است مبتنی بر معماری‌های متفاوتی باشند. حتی اگر از یک تامین کننده باشند.
  • سیلوهای سازمانی: بسیاری از سازمآن‌ها مالکیت اجزای مختلف را به تیم‌های مختلف واگذار کرده‌اند. اغلب این تیم‌ها در قالب سیلوها یا گروه‌های بسته کار می‌کنند. حتی اگر هماهنگی به خوبی حفظ شود، دستورالعمل‌های فرآیند و انطباق ممکن است تعامل بین تیمی را کاهش دهد. این گروه‌های بسته سازمانی نیز یکی از دلایل کلیدی تاخیر در تشخیص مشکلات و عیب‌یابی هستند.
  • پیچیدگی: متخصصانی که زیرساخت را در اختیار دارند، امروزه با چندین ابزار و معماری مختلف سروکار دارند. عملاً برای آن‌ها امکان پذیر نیست که همزمان در بسیاری از فناوری‌های مختلف متخصص شوند. در نتیجه، آن‌ها به اطلاعات در قالبی ساده و شهودی نیاز دارند که بتوان آن را مستقیما به کار برد.

بخش‌های زیر نمای کلی از Cisco SAN Analytics و SAN Telemetry Streaming را ارائه می‌دهد: اولین راه‌حل صنعتی در نوع خود برای حل چالش‌هایی که گفته شد.

معرفی Cisco SAN Analytics

Cisco SAN Analytics قابلیت دید end-to-end را در ترافیک ذخیره سازی بلوک Fiber Channel ارائه می‌دهد. این راه حل به دلیل معماری یکپارچه با طراحی در خانواده سوئیچ Cisco MDS 9000، به طور بومی در SAN موجود است. Cisco SAN Analytics دید عمیقی را به ترافیک ورودی/خروجی بین زیرساخت‌های محاسباتی و ذخیره سازی ارائه می‌دهد. این اطلاعات، ارزش افزوده‌ای برای دیدی است که پیش از این هم روی پورت‌ها، سوئیچ‌ها، سرورها، ماشین‌های مجازی و آرایه‌های ذخیره‌سازی در دسترس بود.

Cisco SAN Analytics و SAN Telemetry Streaming بر اساس اصول طراحی زیر کار می‌کنند که در جدول ۱ نشان داده شده است.

جدول شماره ۱

اصلنحوه کارکردچیزی که به مشتری تحویل می‌دهد
یکپارچه با طراحیلایه‌های محاسباتی و ذخیره سازی در یک مرکز داده با استفاده از SAN با یکدیگر تعامل دارند. Cisco SAN Analytics به طور کامل با طراحی یکپارچه در لایه SAN ادغام شده است.● می‌توانید عملیات خود را تحت لایه‌های شناخته شده محاسباتی، ذخیره سازی و SAN ادامه دهید.

● نیازی به معرفی اجزای جدید بازرسی ترافیک به طبقه مرکز داده خود ندارید.

سادهCisco SAN Analytics در سوئیچ‌های Cisco MDS 9000 موجود شما به صورت یکپارچه مستقر است. این قابلیت را می‌توان با یک فرمان در عرض چند ثانیه فعال کرد.● مشکلات محیطی را می‌توان سریع‌تر حل کرد.

● می‌توانید عملیات خود را فعال‌تر کنید که منجر به بهبود تجربه کاربری می‌شود.

مقرون به صرفهبا توجه به معماری یکپارچه با طراحی، هیچ مؤلفه جدید بازرسی ترافیک به مرکز داده شما معرفی نمی‌شود. صدور مجوز ساده و منعطف می‌تواند عملکرد را قادر سازد تا دید end-to-end را فراهم کند.● CapEx و OpEx مرتبط با مدیریت لوازم اختصاصی را حذف کنید.

● مجوز انعطاف پذیر به شما کمک می‌کند تا این ویژگی را در جایی که می‌خواهید و زمانی که می‌خواهید فعال کنید.

مقیاس پذیرCisco SAN Analytics به طور طبیعی با اندازه SAN شما تناسب پیدا می‌کند. خواه یک SAN کوچک از یک سوئیچ باشد یا یک SAN بزرگ با هزاران پورت، هنگامی که end device به SAN شما متصل می‌شوند، نظارت خواهید داشت.● می‌توانید آن را در همه جا مستقر کنید تا ترافیک فضای ذخیره‌سازی خود را تحت پوشش کامل قرار دهید.

● مقیاس تجزیه و تحلیل با اندازه fabric شما رشد می‌کند.

همیشه فعالCisco SAN Telemetry Streaming طوری طراحی شده است که همیشه روشن باشد.● می‌توانید حتی در شرایط عادی هم ترافیک ذخیره‌سازی برنامه‌های خود را کاملا تحت نظر داشته باشید.

● لازم نیست tipping point محیط خود را به صورت دستی پیدا کنید زیرا نظارت همیشه روشن این کار را برای شما به صورت فعالانه انجام می‌دهد.

باز و قابل برنامه ریزیCisco SAN Telemetry Streaming به گونه‌ای طراحی شده است که باز و قابل برنامه‌ریزی باشد. معیارهای هوشمند برای ابزارهای third-party با استفاده از فرمت‌های پیشرو در صنعت قابل دسترسی هستند. این ویژگی بر اساس معماری قابل برنامه ریزی میسر شده است.● پشتیبانی از معیارها و پروتکل‌های اضافی با ارتقاء سیستم عامل.

● می‌توانید برنامه‌های تحلیلی خود را بسازید تا موارد استفاده خاص را پوشش دهد یا با برنامه‌های third party موجود ادغام کنید تا نظارت یکنواختی در سراسر سازمان را داشته باشید.

Cisco SAN Analytics و SAN Telemetry Streaming چالش‌های موجود و جدید را حل می‌کند. جدول ۲ محدودیت‌های موجود و نحوه رسیدگی Cisco به آن‌ها را فهرست می‌کند.

جدول شماره ۲

چالش‌های موجودCisco SAN Analytics و SAN Telemetry Streaming چگونه کمک می‌کند
نبود دید یکپارچهCisco SAN Analytics به صورت طراحی یکپارچه در SAN ادغام شده است. جریآن‌های ورودی/خروجی را بررسی می‌کند تا یک نمای یکپارچه از زیرساخت را بدون توجه به معماری یا فروشنده آرایه‌های ذخیره سازی، سرورها یا سیستم عامل‌ها نشان دهد.
زیرساخت‌های ترکیبیCisco SAN Analytics نسبت به فروشنده یا معماری زیرساخت محاسباتی یا ذخیره‌سازی بی‌اعتنا است. دید از جریان ترافیک در SAN به دست می‌آید. Cisco SAN Telemetry Streaming وابستگی کمی به نسخه‌های سخت‌افزاری یا نرم‌افزاری end deviceهای متصل به SAN دارد.
گروه‌های بسته سازمانCisco SAN Telemetry Streaming داده‌ها را در فرمت‌های پیشرو در صنعت گزارش می‌کند. تیم‌های مختلف از راه دور می‌توانند به این اطلاعات به طور همزمان با استقلال کامل دسترسی داشته باشند. سازمان‌های مختلف می‌توانند با ادغام اطلاعات خروجی از Cisco SAN Telemetry Streaming به استفاده از ابزارهایی ترجیحی خود ادامه دهند.
پیچیدگیCisco SAN Analytics به دلیل اصل طراحی یکپارچه آن بسیار ساده است. این عملکرد را می‌توان در عرض چند ثانیه در سوئیچ‌های سری Cisco MDS 9000 فعال کرد.

موارد استفاده Cisco SAN Analytics و SAN Telemetry Streaming

جدول ۳ چندین مورد استفاده Cisco SAN Analytics و SAN Telemetry Streaming را توضیح می‌دهد.

جدول شماره ۳

مورد استفادهنحوه تحویل آنچرا مهم است
مشاهده عملکرد ذخیره سازیCisco SAN Analytics عملکرد زیرساخت ذخیره سازی را با استفاده از یک رویکرد کل نگر به صورت کمی مورد بررسی قرار می‌دهد. معیارهای عملکرد برای جریان‌های بین پورت میزبان (آغازکننده)، پورت ذخیره‌سازی (هدف)، و اعداد واحد منطقی (LUN) محاسبه می‌شوند. این ترکیب منحصر به فرد به عنوان جریان ITL (Initiator-Target-LUN) شناخته می‌شود. برای ترافیک NVMe، همان مفهوم با ITN، که N نشان دهنده یک شناسه فضای نام است، نشان داده می‌شود. معیارهای عملکرد به صورت real time محاسبه می‌شوند و می‌توانند به یک گیرنده خارجی گزارش شوند.دید کامل به زیرساخت شما خطرات را کاهش می‌دهد و به حفظ عملکرد بهینه کمک می‌کند.
عیب یابی سریعتراطلاعات تولید شده توسط Cisco SAN Analytics را می‌توان برای حفظ یک baseline عملکرد استفاده کرد. انحراف از روند معمول را می‌توان برای تنظیم آلارم‌های خودکار استفاده کرد که منجر به عیب یابی پیشگیرانه می‌شود. این نظارت همچنین بینشی را در مورد اینکه چرا عملکرد کاهش یافته و کجا ممکن است علت اصلی مشکل باشد، ارائه می‌دهد.عیب‌یابی فعال و پیش‌بینی‌کننده به رعایت SLAها و کاهش زمان‌های خرابی کمک می‌کند.
بهینه سازی زیرساختCisco SAN Analytics می‌تواند با نظارت بر ترافیک ذخیره‌سازی بین جفت‌های ITL/ITN به تصمیم گیری بین scale-up در مقابل scale-out کمک کند. به عنوان مثال، ممکن است یک میزبان چندین Virtual Machine را اجرا کند، یا از یک پورت ذخیره سازی خاص برای دسترسی به چندین LUN استفاده شود، که می‌تواند منجر به سنگین شدن ترافیک ذخیره سازی شود. Cisco SAN Analytics می‌تواند به شما در یافتن چنین شرایطی کمک کند. برای حل این مشکل، می‌توانید توزیع مؤلفه‌ها را بهینه کنید، مانند انتقال برخی از Virtual Machineها به میزبانی که کمتر مورد استفاده قرار می‌گیرند یا منتقل کردن برخی از LUN‌ها را به یک درگاه ذخیره‌سازی کم‌استفاده.استفاده بهینه از زیرساخت شما می‌تواند منجر به صرفه جویی در CapEx و OpEx شود.
راهنمایی برای استقرار برنامهCisco SAN Analytics می‌تواند برای نظارت بر الگوهای ترافیک ذخیره سازی برای مدت زمان طولانی مورد استفاده قرار گیرد. از این اطلاعات می‌توان برای نمایه سازی برنامه‌ها برای نیازهای ذخیره سازی آن‌ها استفاده کرد. بر اساس نیازهای ترافیک ذخیره سازی، می‌توان برای گسترش در آینده، همان برنامه را به سایر Virtual Machineها یا میزبان‌ها توصیه کرد. به عنوان مثال، برنامه A موجود را در نظر بگیرید. اگر یک نمونه دیگر از برنامه A نیاز به استقرار داشته باشد، دانستن ظرفیت ترافیک ذخیره‌سازی می‌تواند در انتخاب میزبان جدیدی که منابع در دسترس برای حفظ میزان توان عملیاتی را دارد، کمک کند.تصمیمات مبتنی بر داده به استقرار سریع‌تر برنامه‌ها کمک می‌کند. برای اطمینان از عملکرد بهینه، می‌توانید آزمون و خطا را حذف کنید.
راهنمایی برای تامین ذخیره سازیCisco SAN Analytics معیارهای عملکرد LUNs/Namespaces موجود را ارائه می‌دهد. از این اطلاعات می‌توان برای افزایش ذخیره سازی استفاده کرد. به عنوان مثال، LUN‌ها می‌توانند در بین پورت‌های ذخیره سازی مختلف توزیع شوند تا نیازهای توان عملیاتی خود را برآورده کنند. اگر یک LUN هیچ فعالیتی را برای مدت طولانی نشان نمی‌دهد، می‌توان آن را برای خطاهای احتمالی بیشتر بررسی کرد یا ممکن است از آن خارج شود.استفاده بهینه از آرایه‌های ذخیره سازی و زیرساخت کلی ذخیره سازی، کارایی را بهبود می‌بخشد.
مدیریت تغییرCisco SAN Analytics معیارهای عملکرد را در جزئیات ITL/ITN جمع‌آوری می‌کند که می‌تواند برای تولید روندها و baselineها استفاده شود. اگر یک مؤلفه خاص نیاز به تغییر داشته باشد، بینش ایجاد شده توسط Cisco SAN Analytics قبل و بعد از تغییر می‌تواند نظارت و مقایسه شود تا از موفقیت آمیز بودن تغییر اطمینان حاصل شود.تضمین پیشگیرانه SLA در حین تغییر اجزا منجر به آرامش خاطر می‌شود.
قابلیت حسابرسیCisco SAN Analytics با استفاده از یک رویکرد جامع، معیارهای عملکرد و خطای متعددی را برای fabric ذخیره‌سازی کامل ایجاد می‌کند. از این اطلاعات می‌توان برای انجام ممیزی زیرساخت استفاده کرد.می‌توانید اطلاعاتی را که برای اطمینان از انطباق نیاز دارید، دریافت کنید.
گزارش سلامتCisco SAN Analytics جریآن‌های ITL/ITN را بین لایه‌های محاسباتی و ذخیره‌سازی، از جمله تراکنش‌های خواندن و نوشتن بین یک میزبان و ذخیره‌سازی پشتیبان نظارت می‌کند. این اطلاعات علاوه بر معیارهای موجود در سطح دستگاه و پورت موجود است. همه این معیارها را می‌توان برای تولید گزارش‌های سلامت استفاده کرد. این گزارش با نشان دادن سلامت زیرساخت و برنامه‌های ذخیره سازی کلی فراتر از سلامت SAN است.عملیات را ساده کنید و به طور فعال مشکلات را حل کنید.

معماری Cisco SAN Analytics Solution

Cisco SAN Analytics به صورت یکپارچه با SAN طراحی شده  و بین دو لایه محاسباتی و ذخیره سازی قرار گرفته است. این امر با نوآوری‌های اخیر در خانواده سوئیچ Cisco MDS 9000 امکان پذیر شده است. معماری کلی را می‌توان به طور منطقی به سه جزء تقسیم کرد.

  • بازرسی ترافیک توسط پورت ASIC.
  • پردازش ترافیک و محاسبه متریک جریان توسط یک واحد پردازش شبکه داخلی (NPU).
  • ارسال معیار‌های جریان به یک موتور تجزیه و تحلیل و تجسم خارجی برای مشاهده end to end.

مقاله پیشنهادی“VMware vSAN چیست؟ ساختار و اجزای آن (قسمت اول)”


بازرسی ترافیک

بازرسی ترافیک با آخرین نسل ASIC پورت‌های Fiber Channel موجود در سوئیچ‌های Cisco MDS 9000 یکپارچه شده است. فریم‌ها در جهت ورود یا خروج را می‌توان بدون هیچ گونه از دست رفتن عملکرد یا ویژگی بازرسی کرد. به عبارت دیگر، Traffic Access Pointها بر روی ASIC پورت تعبیه شده است.

تراکنش‌های ورودی/خروجی بلوک بین آغازگرها و اهداف توسط پروتکل SCSI یا NVMe با استفاده از اتصال Fiber Channel زیرین تسهیل می‌شوند. داده‌های برنامه (خواندن یا نوشتن) در داخل Fiber Channel و هدرهای SCSI/NVMe کپسوله می‌شوند. ASICهای پورت، پس از بررسی فریم‌ها، هدرهای Fiber Channel و SCSI/NVMe فریم‌های مربوطه را دریافت می‌کنند. سوئیچ‌های Cisco MDS 9000 هیچ تلاشی برای بازرسی یا گرفتن داده‌های اصلی برنامه انجام نمی‌دهند. فقط هدرها بررسی می‌شوند که برای جمع آوری اطلاعات کافی است.

محاسبه متریک ورودی/خروجی

محاسبه متریک جریان بر روی خود سوئیچ با کمک یک واحد پردازش شبکه(NPU) داخلی انجام می‌شود. NPU یک پردازنده قابل برنامه‌ریزی است که برای پردازش packet بهینه شده است. در سوئیچ‌های Cisco MDS 9000، NPU فریم‌هایی را از ASIC پورت دریافت می‌کند که تا هدرهای Fiber Channel و SCSI/NVMe کوتاه شده‌اند. سپس هدرهای فریم تحت یک میکروکد تخصصی low-level قرار می‌گیرند که معیارهای جریان را با برقراری ارتباط بین فریم‌های متعدد با ویژگی‌های مشترک (برای مثال همان تراکنش ورودی/خروجی یا تبادل و همان جریان ITL/ITN) ایجاد می‌کند.  معیارها در یک پایگاه داده سلسله مراتبی و رابطه‌ای که در حافظه مرتبط با NPU نگهداری می‌شود، ذخیره می‌شوند.

در دسترس بودن یک NPU قابل برنامه ریزی روی سوئیچ‌ها، امکانات فوق العاده‌ای را فراهم می‌کند. قابلیت‌های جدید را می‌توان با ارتقای نرم افزار بدون به وجود آمدن اختلال اضافه کرد. به عنوان مثال، پشتیبانی از NVMe/FC و سایر معیارهای دیگر به طور پیشفرض وجود نداشتند و بعدا اضافه شده‌اند. در آینده، معیارهای بیشتری را می‌توان بدون هیچ تغییر سخت افزاری اضافه کرد. همانطور که اندازه fabric رشد می‌کند، منابع برای بازرسی ترافیک و محاسبه متریک نیز به دلیل معماری یکپارچه با طراحی افزایش می‌یابد.

ارسال معیارهای ورودی/خروجی به گیرنده خارجی (SAN Telemetry Streaming)

سوئیچ‌های Cisco MDS 9000 معیارهای جریان را به یک گیرنده خارجی در فرمت‌های باز و پیشرو در این صنعت، ارسال می‌کنند. یک گیرنده خارجی می‌تواند دید fabric-wide و end-to-end را در یک جا جمع کند. گیرنده خارجی همچنین می‌تواند ذخیره‌سازی متریک طولانی‌مدت، روند، همبستگی، پیش‌بینی و غیره را فراهم کند. پیاده سازی گیرنده خارجی برای انعطاف‌پذیری توسعه، از معماری SAN Analytics روی سوئیچ جدا شده است. هدف گیرنده حل موارد استفاده بسیار خاص بر اساس معیارهای دریافتی از سوییچ‌های Cisco MDS 9000 است. به عنوان مثال، یک گیرنده خارجی می‌تواند معیارها را از چندین سوئیچ به طور همزمان دریافت کند و همچنین می‌تواند با اطلاعات تولید شده از آغازگرها و اهداف در ارتباط باشد.

 

معیارهای ورودی/خروجی محاسبه شده بر روی Cisco MDS 9000 در NX-OS 8.4(1)

در ادامه لیستی غیر جامع از معیارهای ورودی/خروجی محاسبه شده توسط سوئیچ‌های ۳۲-Gbps Cisco MDS 9000  در NX-OS 8.4(1)  آمده است. این معیارها برای حداکثر ۴۰۰۰۰ جریان ITL/ITN به ازای هرCisco MDS 9700 director برای ترافیک SCSI وNVMe  محاسبه می‌شوند و جدا از معیارهای port level موجود هستند.

  • شناسه آغازگر: شناسه Fiber Channel (FCID) آغازگر
  • شناسه هدف: شناسه Fiber Channel (FCID) هدف
  • LUN/NSID: Logical-Unit-Number یا Namspace ID که با هدف مرتبط است
  • ورودی/خروجی در ثانیه (IOPS): تعداد دستورات خواندن یا نوشتن در ثانیه.
  • توان عملیاتی: پهنای باند فرمآن‌های خواندن یا نوشتن بر حسب بیت در ثانیه.
  • زمان تکمیل تبادل: زمان صرف شده برای تکمیل دستور خواندن یا نوشتن (یا تبادل) در میکروثانیه.
  • تأخیر دسترسی به داده: زمان بین دستور خواندن یا نوشتن و پاسخ از آرایه ذخیره سازی در میکروثانیه.
  • ورودی/خروجی معوقه: تعداد دستورات خواندن یا نوشتن که هنوز تکمیل نشده است.
  • شمارشگر خطا مانند بی نتیجه ماندن‌ها، خرابی‌ها، timeoutها و غیره.

ماژول ۳۲-Gbps Fiber Channel Cisco MDS 9700 و سوئیچ ۳۲-Gbps Fiber channel fabric MDS 9000 به واسطه پورت ASIC و NPU داخلی از SAN Telemetry Streamin پشتیبانی می‌کند.

جمع بندی

Cisco SAN Analytics اولین راه‌حل این صنعت است که با بازرسی فریم‌ها به صورت بومی روی سوئیچ‌های Fiber Channel بدون هیچ ضربه‌ خارجی، کاوشگر یا وسیله‌ای، امکان مشاهده ترافیک ذخیره‌سازی بلوک Fiber Channel را فراهم می‌کند. این محصول با استفاده از رویکردی ساده و مقرون به صرفه، امکان مقیاس پذیری یکپارچه و متناسب با تمامی دستگاه‌های fabric شما را دارد. معماری باز و قابل برنامه‌ریزی به شما کمک می‌کند تا در گروه‌های بسته سازمان کار کنید. به طور کلی، مشاهده و تجزیه و تحلیل بلادرنگ ارائه شده توسط Cisco SAN Analytics به شما کمک می‌کند تا بهترین عملکرد خود را حفظ کرده و به طور فعال مشکلات را شناسایی و برطرف کنید.

منبع

فیسبوک توییتر گوگل + لینکداین تلگرام واتس اپ کلوب

1 دیدگاه در “ نگاهی به Cisco SAN Analytics و SAN Telemetry Streaming Solution

دید خوبی داد این مقاله به منی که چیز زیادی نمیدونستم

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *