OpenTelemetry چیست؟

با گسترش معماری‌های مدرن مثل میکروسرویس‌ها و سیستم‌های توزیع‌شده، پیچیدگی زیرساخت‌ها افزایش یافته و همین موضوع، نظارت و عیب‌یابی آن‌ها را به یک چالش جدی تبدیل کرده است. توسعه نرم‌افزار دیگر به ساخت یک اپلیکیشن ساده و اجرای آن بر روی سرور محدود نیست. در چنین شرایطی، مشاهده‌پذیری (Observability) به یکی از ارکان اصلی پایداری و بهینه‌سازی سیستم‌ها تبدیل شده است.

OpenTelemetry پاسخی قدرتمند به این نیاز است. ابزاری یکپارچه، متن‌باز که امکان جمع‌آوری، پردازش و ارسال داده‌های مربوط به عملکرد برنامه‌ها را برایتان فراهم می‌کند. این داده‌ها شامل متریک‌ها، لاگ‌ها و تریس‌ها هستند؛ یعنی همان اطلاعاتی که به توسعه‌دهنده نشان می‌دهد در دل سیستم واقعا چه می‌گذرد.

در این مقاله از بلاگ آسا، به شکلی دقیق و قابل فهم OpenTelemetry را معرفی خواهیم کرد، اجزای اصلی آن را بررسی می‌کنیم و به نقش حیاتی آن در مدیریت و پایش سیستم‌های نرم‌افزاری مدرن خواهیم پرداخت.

OpenTelemetry چیست؟

OpenTelemetry (که گاهی به اختصار OTel نیز نامیده می‌شود) یک فریم‌ورک متن‌باز برای مشاهده‌پذیری است که از مجموعه‌ای از ابزارها، APIها و کیت‌های توسعه نرم‌افزار (SDK) تشکیل شده است. هدف OTel آن است که تیم‌های فناوری اطلاعات بتوانند داده‌های تله‌متری را از نرم‌افزارها ابزارگذاری (instrument)، تولید، جمع‌آوری و در نهایت برای تحلیل و بررسی عملکرد و رفتار سیستم‌ها استفاده کنند.

برای درک بهتر نقش OpenTelemetry، ابتدا باید مفهوم مشاهده‌پذیری را بشناسیم. مشاهده‌پذیری، به‌طور ساده یعنی توانایی درک اتفاقاتی که در درون یک سیستم می‌افتد، از طریق داده‌هایی که آن سیستم به بیرون ارسال می‌کند؛ داده‌هایی مانند لاگ‌ها، متریک‌ها و تریس‌ها.

در این مسیر، OpenTelemetry با فراهم کردن یک استاندارد واحد برای جمع‌آوری و انتقال این داده‌ها، نقشی مهم‌ و کلیدی ایفا می‌کند. به‌عنوان یکی از پروژه‌های انکوباتور بنیاد Cloud Native Computing Foundation (CNCF)، هدف OTel ارائه مجموعه‌ای از کتابخانه‌ها و APIهای مستقل از فروشنده (vendor-agnostic) است که تمرکزشان بر روی ساده‌سازی فرایند جمع‌آوری داده و انتقال آن‌ها به مقصد مشخص است. از زمان آغاز این پروژه، شرکت‌ها و ارائه‌دهندگان متعددی از جمله Dynatrace نیز به آن پیوسته‌اند تا فرایند جمع‌آوری داده‌های دقیق و قابل تحلیل را برای سازمان‌ها ساده‌تر و قابل دسترس‌تر کنند.

داده‌های Telemetry چیست؟

برای اینکه بتوان عملکرد اپلیکیشن‌ها و زیرساخت‌های فنی را در هر لحظه درک و ارزیابی کرد، ثبت و جمع‌آوری داده‌ها یک ضرورت بزرگ است. این اطلاعات معمولا از بخش‌هایی در سیستم به دست می‌آیند که به‌طور مستقیم در دسترس نیستند. مثلا سرویس‌های راه دور یا ماژول‌های پراکنده در محیط‌های ابری به کمک ابزارهایی خاص جمع‌آوری و پردازش می‌شوند. در واقع، فرایند مانیتورینگ از همین‌جا آغاز می‌شود.

حجم داده‌های تله‌متری بسیار زیاد است و نگهداری بلندمدت آن‌ها بحثی چالش‌برانگیز به شمار می‌رود؛ چرا که ظرفیت ذخیره‌سازی همیشه محدود است. همین موضوع باعث شده استفاده از فضای ذخیره‌سازی ابری چه عمومی و چه خصوصی به یک گزینه نجات‌بخش برای تیم‌های DevOps تبدیل شود.

بخش زیادی از داده‌های تله‌متری از سه نوع اصلی تشکیل شده است:

۱- لاگ‌ها (Logs)

لاگ‌ها برای ثبت رخدادهای خاص و غیرعادی در سیستم ضروری هستند. این فایل‌ها ممکن است ساخت‌یافته، بدون ساختار یا حتی به‌صورت متن ساده باشند، اما در هر صورت به شما می‌گویند که در یک نقطه خاص از سیستم (مثلا یک API یا سرور) چه اتفاقی افتاده است.

در محیط‌های پیچیده چندابری (Multi Cloud)، لاگ‌ها می‌توانند نتیجه هر تراکنشی را با جزئیات ثبت کنند. البته همه لاگ‌ها ذاتا قابل خواندن یا تحلیل نیستند و همین موضوع باعث شده ابزارهای تخصصی برای تحلیل لاگ به وجود بیایند.

۲- متریک‌ها (Metrics)

متریک‌ها داده‌هایی عددی هستند که معمولا به‌صورت شمارش یا میانگین‌های دوره‌ای نمایش داده می‌شوند. این داده‌ها می‌توانند از منابع مختلفی مثل زیرساخت، سرورها یا سرویس‌های خارجی تولید شوند.

در حالی‌ که ممکن است دسترسی مستقیم به برخی لاگ‌ها دشوار باشد، اکثر متریک‌ها از طریق کوئری قابل دستیابی‌اند. زمان ثبت، مقادیر و حتی نام رخدادها در متریک‌ها می‌توانند پیش از بروز مشکل، هشداری اولیه درباره روند‌ی نگران‌کننده در سیستم بدهند.

۳- تریس‌ها (Traces)

تریس‌ها مسیر اجرای یک فرایند را از ابتدا تا انتها دنبال می‌کنند؛ برای مثال اجرای یک درخواست API یا تعامل بین چند سرویس. نظارت بر این مسیر، برای درک ارتباط بین سرویس‌ها و تحلیل عملکرد کلی سیستم بسیار ضروری است.

یکی از اجزای کلیدی در تریس‌ها، داده‌های مربوط به span است؛ یعنی اطلاعاتی مثل شناسه منحصربه‌فرد هر عملیات، نام عملیات، زمان شروع و پایان، لاگ‌های مرتبط، رخدادهای ثبت‌شده و شاخص‌های دیگر که دیدی دقیق و قابل ردیابی از جریان اجرای یک درخواست در اختیار شما می‌گذارد.

OpenTelemetry چطور کار می‌کند؟

OpenTelemetry مجموعه‌ای است از ابزارها، APIها و کیت‌های توسعه نرم‌افزار (SDK) که همگی متن‌باز هستند. این مجموعه قابلیت پیاده‌سازی در زبان‌های برنامه‌نویسی مختلف مثل Go، Java و Python را دارد. اجزای OpenTelemetry به‌صورت یکپارچه با هم همکاری می‌کنند تا مشخص کنند چه چیزهایی باید اندازه‌گیری شود، داده‌های مرتبط را جمع‌آوری، آن‌ها را پردازش و سازمان‌دهی کنند و در نهایت در قالبی مناسب به سیستم‌های مانیتورینگ ارسال شوند.

نکته‌ای که باید به آن توجه کنید این است که اجزای OpenTelemetry به‌صورت جداگانه و ماژولار طراحی شده‌اند. بنابراین این امکان وجود دارد که فقط بخش‌هایی از آن را که نیاز دارید، در پروژه‌ خود استفاده کنید. در ادامه اجزای اصلی OpenTelemetry را بررسی می‌کنیم:

رابط‌های برنامه‌نویسی (APIs)

APIها وظیفه ابزارگذاری (instrumentation) کد و هماهنگ‌سازی جمع‌آوری داده را برعهده دارند. هر API مخصوص یک زبان برنامه‌نویسی طراحی شده و باید با زبانی که برنامه با آن نوشته شده، هماهنگ باشد.

کیت‌های توسعه نرم‌افزار (SDKs)

SDKها پیاده‌سازی APIها را انجام می‌دهند و شامل کتابخانه‌هایی هستند که در فرایند جمع‌آوری، پردازش و ارسال داده به کار می‌آیند. مثل APIها، SDKها هم متناسب با زبان برنامه‌نویسی انتخاب می‌شوند.

استانداردهای داده (Data Specifications)

این بخش شامل پروتکل OpenTelemetry (یا همان OTLP) و مجموعه‌ای از قراردادهای معنایی (Semantic Conventions) است که اپلیکیشن‌ها معمولا برای یکپارچگی داده از آن‌ها استفاده می‌کنند.

کالکتور OpenTelemetry

کالکتور وظیفه دریافت، پردازش و ارسال داده‌های تله‌متری به یک یا چند سیستم پشتیبان را بر عهده دارد. طراحی آن به‌گونه‌ای است که با سیستم‌های متن‌باز یا تجاری مختلف سازگار باشد. کالکتور از سه بخش اصلی تشکیل شده است:

• Receiver (گیرنده): نحوه جمع‌آوری داده را مشخص می‌کند؛ داده‌ها یا در بازه‌های زمانی مشخص به کالکتور ارسال می‌شوند یا کالکتور هنگام نیاز آن‌ها را دریافت می‌کند. در صورت لزوم، می‌توان داده‌ها را از چند منبع به‌صورت هم‌زمان جمع‌آوری کرد.
• Processor (پردازشگر): عملیات میانی مثل دسته‌بندی داده‌ها (batching)، افزودن اطلاعات جانبی (metadata) و آماده‌سازی آن‌ها برای ارسال را انجام می‌دهد.
• Exporter (صادرکننده): داده‌های تله‌متری را بسته به تنظیمات کاربر، به یک سیستم پشتیبان چه متن‌باز و چه تجاری ارسال می‌کند. این انتقال نیز می‌تواند به‌صورت push یا pull انجام شود.

مزایای استفاده از OpenTelemetry

OpenTelemetry با ارائه یک استاندارد یکسان و مستقل برای جمع‌آوری و ارسال داده‌های تله‌متری، به تیم‌ها کمک می‌کند تا فرایند مشاهده‌پذیری را ساده‌تر و هماهنگ‌تر مدیریت کنند؛ چیزی که در نهایت به بهینه‌سازی عملکرد و رفع سریع‌تر مشکلات منجر می‌شود.

در ادامه به مهم‌ترین مزایای استفاده از OpenTelemetry اشاره می‌کنیم:

۱- استقلال از فروشنده (Vendor Neutrality)

OpenTelemetry این امکان را برایتان فراهم می‌کند که داده‌های تله‌متری را از منابع مختلف جمع‌آوری کرده و بدون نیاز به پیکربندی‌های پیچیده، به پلتفرم‌های گوناگون ارسال کنید.

این یعنی هر تیم می‌تواند با ابزار یا فرمت مورد نظر خود کار کند، بدون اینکه وابسته به یک ارائه‌دهنده خاص باشد. همچنین، در صورت نیاز می‌توان داده‌ها را به یک بک‌اند جایگزین منتقل کرد و از قفل شدن در یک پلتفرم خاص (Vendor Lock-in) جلوگیری نمود.

۲- انعطاف‌پذیری در مدیریت داده‌ها (Data Flexibility)

با استفاده از OpenTelemetry می‌توان دقیقا مشخص کرد چه داده‌هایی باید ثبت و ارسال شوند. این ویژگی باعث می‌شود تنها اطلاعات مورد نیاز ذخیره و تحلیل شوند که نتیجه آن کاهش داده‌های اضافی، هزینه‌های کمتر و کارایی بیشتر است.

همچنین شما می‌توانید از فیلترگذاری و تگ‌گذاری سفارشی روی متریک‌ها استفاده کنید تا جست‌وجو و سازمان‌دهی داده‌ها ساده‌تر و با اثرگذاری بیشتر انجام شود.

۳- راه‌اندازی آسان (Easy Setup)

OpenTelemetry نیاز شما را به توسعه ابزارهای سفارشی یا بررسی و انتخاب راهکارهای جداگانه برای هر بخش از سیستم برطرف می‌کند.

در صورت تغییر فروشنده یا اضافه شدن ابزارهای جدید به معماری سیستم، تیم‌های مهندسی نیازی به پیاده‌سازی سازوکارهای جدید برای جمع‌آوری تله‌متری نخواهند داشت؛ چرا که OpenTelemetry از ابتدا با چنین تغییراتی به‌صورت سازگار طراحی شده است.

چالش‌های استفاده از OpenTelemetry

هرچند OpenTelemetry می‌تواند دسترسی به داده‌های تله‌متری با کیفیت را برای شما فراهم کند، ولی مثل هر فناوری دیگری، محدودیت‌هایی نیز دارد. این پروژه نسبتا جوان است و بسیاری از قابلیت‌های آن هنوز در حال توسعه‌اند.

بنابراین، هنگام تصمیم‌گیری برای استفاده از OTel در سازمان خود، باید بررسی شود که امکانات فعلی آن تا چه حد پاسخ‌گوی نیازهای مشاهده‌پذیری شما خواهد بود. در ادامه به برخی از چالش‌های رایج OpenTelemetry اشاره می‌کنیم:

۱- پایداری در زبان‌های برنامه‌نویسی (Language Stability)

OpenTelemetry از زبان‌های مختلف برنامه‌نویسی پشتیبانی می‌کند، اما سطح پایداری این پشتیبانی در همه زبان‌ها یکسان نیست.

بعضی زبان‌ها هنوز در مراحل آزمایشی یا در برنامه توسعه آینده قرار دارند، به این معنی که شاید نتوانند همه انواع داده‌های تله‌متری را پوشش دهند یا نیازمند ابزارگذاری دستی (manual instrumentation) باشند که زمان‌بر و پیچیده است.

۲- محدودیت در انواع داده (Data Limitations)

برخی از انواع داده‌های تله‌متری هنوز به‌طور کامل در OpenTelemetry پشتیبانی نمی‌شوند. به‌عنوان مثال، در حالی که قابلیت ردیابی توزیع‌شده (Distributed Tracing) پایدار و قابل‌اعتماد است، امکانات مربوط به لاگ‌ها هنوز در حال توسعه قرار دارند.

همچنین موارد خاص‌تری مثل پروفایل‌گیری کد (Code Profiling) یا امنیت اپلیکیشن هنوز در این فریم‌ورک به‌طور کامل پیاده‌سازی نشده‌اند.

۳- پیاده‌سازی و نگهداری (Implementation & Maintenance)

برای استفاده از OpenTelemetry Collector مشابه یک ایجنت تجاری، نیاز است که منابع مورد نیاز برای اجرا و پایداری آن اختصاص داده شود. این شامل انجام تنظیمات، به‌روزرسانی منظم و نظارت مستمر بر عملکرد آن است.

بنابراین، با اینکه OpenTelemetry یک راهکار متن‌باز و رایگان است، ولی برای راه‌اندازی و نگهداری موثر آن همچنان باید زمان و تلاش مشخصی در نظر گرفته شود.

ابزار‌های مانیتورینگ و نقش OpenTelemetry

برای استفاده واقعی از قابلیت‌های قدرتمند OpenTelemetry در زمینه جمع‌آوری و هدایت داده‌ها، لازم است از این فریم‌ورک در کنار یک ابزار مشاهده‌پذیری (Observability Tool) مناسب استفاده کنید. ابزارهایی برای مشاهده‌پذیری وجود دارند که داده‌های تله‌متری جمع‌آوری‌شده توسط OTel را تحلیل‌پذیر و قابل‌استفاده می‌کنند.

در زمان انتخاب یک ابزار برای کار با OpenTelemetry، باید چند نکته کلیدی را در نظر بگیرید:

یکپارچگی کامل

ابزار انتخابی باید بتواند سه ستون اصلی مشاهده‌پذیری یعنی متریک‌ها، تریس‌ها و لاگ‌ها را به‌صورت یکپارچه مدیریت کند. علاوه‌بر آن، امکان اتصال داده‌های بک‌اند (مثل سرور) به اطلاعات سمت کاربر یا نشست‌های فرانت‌اند، یک مزیت مهم محسوب می‌شود.

هشدارها و تحلیل هوشمند

قابلیت تولید هشدارها و بینش‌های مبتنی بر یادگیری ماشین (ML) برای تشخیص سریع ناهنجاری‌ها، داده‌های پرت و دلایل اصلی بروز خطا، نقش مهمی در واکنش سریع و موثر به مشکلات دارد.

داشبورد و جست‌وجوی ساده

ابزاری که نیاز به یادگیری زبان کوئری خاصی نداشته باشد و بتوان با رابط کاربری ساده، داده‌ها را جست‌وجو، فیلتر و روی داشبورد مشاهده کرد، تجربه کاربری به‌مراتب بهتری برایتان فراهم می‌کند.

انعطاف در ارسال داده

وجود دو گزینه برای ارسال داده از OpenTelemetry نیز اهمیت دارد:

۱. استفاده از ابزار Exporter اختصاصی که داده‌ها را از OTel Collector گرفته و به هر بک‌اند دلخواه ارسال می‌کند.

۲. استفاده از ایجنت‌های اختصاصی (Proprietary Agents) که می‌توانند بدون نیاز به نصب OTel Collector، داده‌ها را پردازش، تگ‌گذاری و غنی‌سازی کنند.

برای مثال، یکی از پلتفرم‌های محبوب در زمینه‌ مانیتورینگ، Datadog است. این پلتفرم یکی از ابزارهایی است که به‌خوبی با OpenTelemetry ادغام می‌شود. این ابزار با فراهم کردن دید کامل به کل سیستم، امکان جست‌وجو، تجزیه‌وتحلیل و مصورسازی داده‌های تله‌متری را به‌صورت یکپارچه در اختیار تیم‌ها قرار می‌دهد.

ویژگی‌هایی مانند Trace ID Injection باعث می‌شوند تریس‌ها و لاگ‌ها به هم متصل شوند و فرایند عیب‌یابی سریع‌تر و دقیق‌تر انجام شود. همچنین، می‌توان از تگ‌ها برای دسته‌بندی، جست‌وجو و فیلتر داده‌ها استفاده کرد، بدون اینکه نیازی به نوشتن کوئری‌های پیچیده باشد.

ایجنت Datadog نیز از پروتکل OTLP پشتیبانی می‌کند و امکان جمع‌آوری مستقیم داده از APIها و SDKهای OpenTelemetry را برایتان فراهم می‌سازد. علاوه‌بر این، می‌توانید از Datadog Exporter برای گرفتن داده از OTel Collector و ارسال آن به پلتفرم Datadog بهره ببرید.

سخن آخر

OpenTelemetry یک ابزار متن‌باز و استاندارد برای جمع‌آوری و مدیریت داده‌های تله‌متری است که به تیم‌های فنی کمک می‌کند عملکرد سیستم‌های پیچیده را بهتر رصد و تحلیل کنند. این فریم‌ورک با پشتیبانی از متریک‌ها، لاگ‌ها و تریس‌ها، امکان مشاهده‌پذیری یکپارچه را فراهم می‌سازد. با وجود برخی چالش‌ها مثل ناپایداری در برخی زبان‌ها یا نیاز به نگهداری کالکتور، مزایایی مثل Vendor Neutrality، انعطاف‌پذیری و راه‌اندازی ساده، آن را به گزینه‌ای ارزشمند برای سازمان‌ها تبدیل کرده است.

در مجموع، OpenTelemetry می‌تواند پایه‌ای قابل اعتماد برای ایجاد زیرساختی شفاف، مقیاس‌پذیر و قابل مانیتورینگ باشد.

منابع

datadoghq.com | dynatrace.com