درک تصویر (Image Understanding) به‌عنوان پلی بین بینایی ماشین و مدل‌های چندوجهی

درک تصویر (Image Understanding) مفهومی فراتر از پردازش کلاسیک تصویر در حوزه‌ی بینایی ماشین است. در رویکردهای سنتی، تصویر عمدتا به‌عنوان مجموعه‌ای از پیکسل‌ها و الگوهای بصری تحلیل می‌شد و تمرکز اصلی بر وظایفی مانند تشخیص اشیا، طبقه‌بندی تصاویر یا استخراج ویژگی‌های دیداری بود. اما این رویکردها، با وجود دقت بالا در شناسایی عناصر بصری، توان محدودی در فهم معنا، زمینه و روابط مفهومی موجود در تصویر دارند. با ظهور مدل‌های زبانی بزرگ و توسعه‌ی معماری‌های چندوجهی، تصویر دیگر صرفا یک ورودی بصری نیست، بلکه به منبعی از معنا تبدیل شده است که می‌تواند تفسیر شود، در بستر دانش زمینه‌ای قرار گیرد و مبنای استدلال قرار بگیرد.

در این چارچوب، «درک تصویر» به‌عنوان نقطه‌ی اتصال میان بینایی ماشین و سیستم‌های چندوجهی مطرح می‌شود؛ جایی که دیدن، با فهمیدن و استدلال ترکیب می‌شود.

در این مقاله، ابتدا مفهوم Image Understanding و تفاوت آن با وظایف کلاسیک بینایی ماشین بررسی می‌شود. سپس نقش مدل‌های چندوجهی در شکل‌گیری درک معنایی از تصویر و نحوه‌ی ترکیب بازنمایی‌های بصری و زبانی توضیح داده خواهد شد. در ادامه، معماری‌ها و رویکردهای رایج برای پیاده‌سازی درک تصویر، محدودیت‌ها و چالش‌های فنی این حوزه، و همچنین کاربردهای عملی آن در سیستم‌های هوشمند مورد بررسی قرار می‌گیرند. هدف این مقاله، ارائه‌ی تصویری شفاف از درک تصویر به‌عنوان پلی میان Computer Vision و Multimodal Models و تبیین جایگاه آن در نسل جدید سیستم‌های هوش مصنوعی است.

Image Understanding چیست؟ فراتر از تشخیص و طبقه‌بندی تصویر

درک تصویر به توانایی یک سیستم هوش مصنوعی برای تفسیر معنای یک تصویر فراتر از شناسایی عناصر بصری آن گفته می‌شود. در این رویکرد، مدل تنها به تشخیص اشیا، متن یا الگوهای تصویری اکتفا نمی‌کند، بلکه تلاش می‌کند آنچه در تصویر در حال رخ دادن است، چرا رخ داده و چه مفهومی دارد را درک کند.

بر اساس مستندات قابلیت‌های درک تصویر در مدل‌های چندوجهی، Image Understanding شامل ترکیب اطلاعات بصری با دانش زمینه‌ای، استدلال زبانی و روابط مفهومی است. به بیان دیگر، تصویر نه فقط دیده می‌شود، بلکه فهمیده می‌شود.

در این چارچوب، تصویر می‌تواند به‌عنوان یک ورودی معنایی در کنار متن استفاده شود؛ به‌گونه‌ای که مدل قادر باشد درباره‌ی تصویر توضیح بدهد، به پرسش‌های پیچیده پاسخ دهد، تناقض‌ها را تشخیص دهد یا حتی بر اساس محتوای تصویر تصمیم‌گیری کند. این سطح از تحلیل، درک تصویر را از وظایف کلاسیک بینایی ماشین متمایز می‌کند.

تفاوت Image Understanding با وظایف کلاسیک بینایی ماشین

برای درک بهتر جایگاه Image Understanding، لازم است آن را با رایج‌ترین وظایف سنتی در حوزه‌ پردازش تصویر مقایسه کنیم.

۱. Image Classification

در طبقه‌بندی تصویر، هدف تعیین این است که تصویر به کدام کلاس از پیش‌تعریف‌شده تعلق دارد؛ برای مثال «گربه»، «خودرو» یا «منظره‌ی شهری». خروجی این مدل‌ها معمولاً یک برچسب یا مجموعه‌ای از برچسب‌هاست.
در حالی که Image Understanding فراتر از این عمل می‌کند و می‌تواند توضیح دهد چه چیزی در تصویر وجود دارد، این عناصر چه ارتباطی با هم دارند و چه داستان یا مفهومی از تصویر استخراج می‌شود.

پیشنهاد مطالعه: راهنمای کامل Classification در هوش مصنوعی برای توسعه‌دهندگان

۲. Object Detection

تشخیص اشیا روی مکان‌یابی عناصر داخل تصویر تمرکز دارد؛ یعنی مشخص می‌کند چه اشیایی در تصویر هستند و هرکدام در کجا قرار دارند. اگرچه این اطلاعات برای بسیاری از کاربردها ضروری است، اما به‌تنهایی به معنای «درک تصویر» نیست.

Image Understanding می‌تواند از نتایج تشخیص اشیا استفاده کند، اما یک گام جلوتر می‌رود و به پرسش‌هایی مانند «این افراد چه کاری انجام می‌دهند؟» یا «چه رابطه‌ای میان این اشیا برقرار است؟» پاسخ می‌دهد.

۳. OCR (تشخیص متن از تصویر)

OCR صرفا متن موجود در تصویر را استخراج می‌کند. این متن می‌تواند ورودی ارزشمندی باشد، اما OCR هیچ درکی از مفهوم، نیت یا زمینه‌ی متن ندارد.

در مقابل، درک تصویر می‌تواند متن استخراج‌شده را در بستر تصویر و موقعیت آن تحلیل کند و معنای آن را در کنار سایر عناصر بصری تفسیر نماید.

درک معنایی، رابطه‌ای و زمینه‌ای تصویر

آنچه Image Understanding را متمایز می‌کند، تمرکز آن بر سه سطح اصلی از فهم تصویر است:

• درک معنایی (Semantic Understanding): تشخیص این‌که عناصر تصویر چه هستند و چه مفهومی دارند؛ برای مثال تشخیص اینکه یک تصویر مربوط به «یک موقعیت اضطراری» یا «یک رویداد اجتماعی» است، نه فقط مجموعه‌ای از اشیا.
• درک رابطه‌ای (Relational Understanding): تحلیل روابط میان عناصر تصویر؛ مانند این‌که چه کسی در حال تعامل با چه چیزی است، ترتیب رویدادها چیست یا کدام عنصر نقش اصلی را دارد. این نوع درک برای پاسخ به پرسش‌های تحلیلی و چندمرحله‌ای ضروری است.
• درک زمینه‌ای (Contextual Understanding): قرار دادن تصویر در یک بستر وسیع‌تر؛ شامل دانش عمومی، نشانه‌های فرهنگی، یا اطلاعات ضمنی که مستقیما در پیکسل‌ها قابل مشاهده نیستند. برای مثال، تشخیص اینکه یک تصویر در محیط کاری گرفته شده یا فضای غیررسمی، نیازمند درک زمینه‌ای است.

بر اساس مستندات AWS Nova، مدل‌های دارای قابلیت Image Understanding تنها زمانی می‌توانند عملکرد قابل اتکا داشته باشند که این سه لایه‌ی فهم به‌صورت هم‌زمان فعال باشند. به همین دلیل، درک تصویر به‌طور طبیعی در دل معماری‌های چندوجهی معنا پیدا می‌کند؛ جایی که تصویر، متن و استدلال زبانی به‌صورت یکپارچه عمل می‌کنند.

چرا Computer Vision کلاسیک برای «فهم تصویر» کافی نیست؟

سال‌هاست که بینایی ماشین کلاسیک ستون اصلی تحلیل تصویر در سیستم‌های هوشمند بوده است. این رویکرد با تکیه بر پردازش پیکسل‌ها، استخراج ویژگی‌ها و تشخیص الگوها، توانسته در وظایفی مثل تشخیص چهره، شناسایی اشیا و طبقه‌بندی تصاویر به نتایج قابل‌توجهی برسد. با این حال، با پیچیده‌تر شدن سناریوهای واقعی و افزایش انتظارات از سیستم‌های هوش مصنوعی، محدودیت‌های این نگاه بیش از پیش آشکار شده است.
مسئله‌ی اصلی اینجاست که Computer Vision کلاسیک تصویر را می‌بیند، اما الزاما آن را «نمی‌فهمد».

CV کلاسیک: تمرکز بر پیکسل و الگو

در رویکردهای سنتی بینایی ماشین، تصویر به‌عنوان یک ماتریس از پیکسل‌ها در نظر گرفته می‌شود. حتی در مدل‌های عمیق‌تر مانند CNNها نیز، هدف اصلی یادگیری الگوهای بصری تکرارشونده است؛ الگوهایی که بتوان آن‌ها را به برچسب، ناحیه یا ویژگی مشخصی نگاشت کرد.

این مدل‌ها معمولا در پاسخ به پرسش‌هایی از این جنس موفق هستند:

• چه شیئی در تصویر وجود دارد؟
• این شی در کجای تصویر قرار گرفته است؟
• تصویر به کدام دسته تعلق دارد؟

اما زمانی که سوال از سطح «چه چیزی هست؟» فراتر می‌رود و به «چه اتفاقی در حال رخ دادن است؟» یا «این تصویر چه مفهومی را منتقل می‌کند؟» می‌رسد، CV کلاسیک با چالش جدی مواجه می‌شود.

Image Understanding: معنا، زمینه و استدلال

در مقابل، درک تصویر به‌دنبال تفسیر معنایی تصویر است. این رویکرد تصویر را نه به‌عنوان مجموعه‌ای از پیکسل‌ها، بلکه به‌عنوان یک منبع اطلاعاتی غنی در نظر می‌گیرد که باید در بستر زمینه، دانش پیشین و روابط مفهومی تحلیل شود.

بر اساس تحلیل‌های ارائه‌شده در پژوهش ها، درک تصویر مستلزم توانایی مدل در انجام استدلال چندمرحله‌ای، ترکیب نشانه‌های بصری با دانش غیرتصویری و فهم روابط ضمنی میان عناصر تصویر است؛ توانایی‌هایی که در چارچوب CV کلاسیک تعریف نشده‌اند.

به بیان ساده:

• CV کلاسیک می‌پرسد: «چه می‌بینم؟»
• Image Understanding می‌پرسد: «این تصویر چه می‌گوید و چرا مهم است؟»

مثال‌هایی از شکست رویکردهای سنتی

برای درک بهتر این شکاف، به چند مثال توجه کنیم:

• تصاویر دارای ابهام معنایی: تصویری از فردی که روی زمین نشسته و اطرافش شلوغ است. یک مدل CV ممکن است «انسان»، «زمین» و «اشیای اطراف» را تشخیص دهد، اما قادر به تشخیص این نیست که آیا فرد دچار حادثه شده، در حال استراحت است یا بخشی از یک اجراست.
• تصاویر وابسته به زمینه: تصویری از لبخند یک فرد می‌تواند در یک موقعیت نشانه‌ی شادی و در موقعیتی دیگر نشانه‌ی تمسخر یا اضطراب باشد. CV کلاسیک فاقد درک زمینه‌ای لازم برای چنین تمایزهایی است.
• روابط پیچیده بین اشیا: تشخیص هم‌زمان چند شی لزوما به معنای فهم رابطه‌ی میان آن‌ها نیست. برای مثال، تفاوت بین «فردی که در حال کمک کردن است» و «فردی که در حال تهدید است» اغلب در روابط و نیت‌ها نهفته است، نه صرفا در اشیای حاضر در تصویر.

در نتیجه بسیاری از شکست‌های سیستم‌های بینایی ماشین در کاربردهای واقعی دقیقا به همین ناتوانی در درک معنا و زمینه بازمی‌گردد، نه ضعف در تشخیص بصری.

شکافی که Multimodalها آن را پر می‌کنند

این محدودیت‌ها نشان می‌دهد که برای رسیدن به «فهم تصویر»، تکیه‌ی صرف بر بینایی ماشین کافی نیست. Image Understanding نیازمند ترکیب بینایی با زبان، استدلال و دانش عمومی است؛ مسیری که مستقیما به سمت مدل‌های چندوجهی (Multimodal Models) منتهی می‌شود.

در واقع، درک تصویر همان نقطه‌ای است که در آن Computer Vision از یک ابزار تشخیص، به یک سیستم تفسیری تبدیل می‌شود؛ پلی مفهومی میان CV سنتی و معماری‌های مدرن چندوجهی.

چرا Multimodal پیش‌نیاز فهم تصویر است؟

درک تصویر به معنای واقعی، تنها با تحلیل ویژگی‌های بصری ممکن نمی‌شود. همان‌طور که در بخش قبل دیدیم، Image Understanding نیازمند تفسیر، استدلال و فهم زمینه است؛ توانایی‌هایی که به‌صورت ذاتی در بینایی کامپیوتر کلاسیک وجود ندارند. اینجاست که مدل‌های چندوجهی وارد می‌شوند و امکان عبور از «دیدن تصویر» به «فهم تصویر» را فراهم می‌کنند.

مدل‌های Multimodal تصویر را به‌عنوان یک ورودی مستقل تحلیل نمی‌کنند، بلکه آن را در کنار زبان، دانش پیشین و ساختارهای معنایی پردازش می‌کنند. به بیان دیگر، تصویر در این مدل‌ها بخشی از یک فضای مشترک معناست، نه یک داده‌ی خام بصری.

نقش مدل‌های زبانی بزرگ در تفسیر تصویر

یکی از تفاوت‌های کلیدی مدل‌های Multimodal مدرن با سیستم‌های CV سنتی، حضور یک مدل زبانی بزرگ (LLM) در مرکز فرایند تفسیر است. در این معماری‌ها، تصویر ابتدا به یک نمایش میانی تبدیل می‌شود که قابلیت تعامل با فضای زبانی را دارد.

LLM در این مرحله نقش‌های زیر را ایفا می‌کند:

• تفسیر مفهومی عناصر تصویر، نه صرفا شناسایی آن‌ها
• استنتاج روابط علت‌ومعلولی یا منطقی میان اشیای موجود در تصویر
• پاسخ‌گویی به پرسش‌های باز و توصیفی درباره‌ی تصویر
• اتصال محتوای تصویر به دانش عمومی یا زمینه‌ی بیرونی

به همین دلیل است که یک مدل Multimodal می‌تواند به سوالی مانند «چرا این صحنه نگران‌کننده به نظر می‌رسد؟» پاسخ دهد؛ سوالی که اساسا خارج از توان CV کلاسیک است.

تعامل زبان و تصویر: هسته Image Understanding

در Image Understanding، زبان صرفا یک خروجی نهایی (مثلا کپشن تصویر) نیست، بلکه ابزار تفکر مدل است. مدل‌های Multimodal از زبان برای ساختن زنجیره‌ی استدلال استفاده می‌کنند؛ یعنی تصویر را «با زبان فکر می‌کنند».
این تعامل به مدل اجازه می‌دهد:

• جزئیات تصویر را به مفاهیم انتزاعی ترجمه کند
• ابهام‌های بصری را با استدلال زبانی کاهش دهد
• چندین فرض ممکن درباره‌ی یک تصویر را هم‌زمان بررسی کند

در نتیجه، تصویر دیگر یک ورودی ایستا نیست، بلکه به بخشی از یک گفت‌وگوی درونی میان بینایی و زبان تبدیل می‌شود.

تبدیل تصویر به فضای معنایی مشترک

یکی از مفاهیم کلیدی در مستندات AWS Nova، ایده‌ی فضای معنایی مشترک (Shared Semantic Space) است. در این فضا، تصویر و متن به نمایش‌هایی نگاشت می‌شوند که امکان مقایسه، ترکیب و استدلال میان آن‌ها وجود دارد.

این تبدیل سه پیامد مهم دارد:

• مدل می‌تواند تصویر و متن را با یک منطق واحد تحلیل کند
• امکان انجام وظایفی مثل پرسش‌وپاسخ تصویری، تحلیل صحنه و توضیح تصمیم فراهم می‌شود
• درک تصویر از یک مسئله صرفا بصری، به یک مسئله‌ی شناختی تبدیل می‌شود

در چنین معماری‌ای، فهم تصویر نه نتیجه‌ی یک ماژول خاص، بلکه حاصل همکاری هم‌زمان بین بینایی، زبان و استدلال است.

Image Understanding به‌عنوان پل مفهومی

در نهایت، Image Understanding دقیقا همان نقطه‌ای است که:

• از Computer Vision، دقت بصری و تشخیص را به ارث می‌برد
• و از Multimodal Models، معنا، استدلال و زمینه را

به همین دلیل می‌توان Image Understanding را پل مفهومی بین CV و Multimodal دانست؛ پلی که بدون آن، مدل‌ها هرچقدر هم دقیق ببینند، باز هم تصویر را «نمی‌فهمند».

معماری‌های رایج برای پیاده‌سازی Image Understanding

برای پیاده‌سازی درک تصویر در سیستم‌های مدرن، معمولا از معماری‌هایی استفاده می‌شود که تصویر را نه به‌عنوان یک داده مستقل، بلکه به‌عنوان بخشی از یک جریان پردازش چندمرحله‌ای در نظر می‌گیرند. این معماری‌ها اغلب بر پایه‌ی مدل‌های بینایی–زبانی (Vision-Language Models یا VLMs) شکل گرفته‌اند و هدف آن‌ها تبدیل ورودی بصری به یک نمایش قابل فهم، قابل استدلال و قابل استفاده در تصمیم‌گیری است.

در ادامه، اجزای اصلی این معماری‌ها را به‌صورت مفهومی بررسی می‌کنیم.

۱. ورودی تصویر به‌همراه پرامپت متنی

برخلاف سیستم‌های کلاسیک بینایی ماشین که تنها تصویر را دریافت می‌کنند، در معماری‌های Image Understanding معمولا تصویر و متن به‌صورت هم‌زمان وارد سیستم می‌شوند. این متن می‌تواند شکل‌های مختلفی داشته باشد:

• یک سوال (مثلا: «در این تصویر چه اتفاقی در حال رخ دادن است؟»)
• یک دستور (مثلا: «اشیای خطرناک را مشخص کن»)
• یا یک چارچوب تحلیلی (مثلا: «تصویر را از نظر ایمنی بررسی کن»)

طبق مستندات AWS Nova، پرامپت متنی نقش تعیین‌کننده‌ای در جهت‌دهی به تفسیر تصویر دارد. به بیان ساده، مدل فقط «نمی‌بیند»، بلکه می‌داند باید چگونه ببیند.

۲. پردازش چندمرحله‌ای تصویر و متن

پس از دریافت ورودی‌ها، پردازش معمولا به‌صورت چندمرحله‌ای انجام می‌شود. این مرحله شامل ترکیب تدریجی اطلاعات بصری و زبانی است، نه ادغام مستقیم و ساده‌ی آن‌ها.

این فرایند معمولا شامل مراحل زیر است:

• استخراج ویژگی‌های بصری از تصویر (مانند اشیا، روابط فضایی یا نشانه‌های زمینه‌ای)
• نگاشت این ویژگی‌ها به یک نمایش میانی که قابلیت تعامل با زبان را دارد
• استفاده از مدل زبانی برای تفسیر، استدلال و تکمیل اطلاعات بصری

در این معماری، Image Understanding نتیجه‌ی یک مرحله‌ی واحد نیست، بلکه حاصل همکاری چند لایه پردازشی است که هرکدام بخشی از معنا را شکل می‌دهند.

۳. تولید خروجی متنی یا ساخت‌یافته

خروجی این معماری‌ها بسته به کاربرد می‌تواند شکل‌های متفاوتی داشته باشد:

• توضیح متنی درباره‌ی تصویر
• پاسخ به یک سوال مشخص
• یا خروجی ساخت‌یافته مانند JSON، برچسب‌ها یا ویژگی‌های قابل پردازش ماشینی

یکی از مزیت‌های کلیدی معماری‌های مدرن این است که خروجی Image Understanding لزوما انسانی‌محور نیست؛ بلکه می‌تواند به‌گونه‌ای تولید شود که مستقیما در سیستم‌های دیگر (مانند تصمیم‌گیرها یا اتوماسیون‌ها) استفاده شود.

این موضوع درک تصویر را از یک قابلیت نمایشی، به یک مؤلفه‌ی عملیاتی در محصولات هوشمند تبدیل می‌کند.

۴. نقش مدل‌های بینایی–زبانی (VLMs) در معماری

در مرکز این معماری‌ها، مدل‌های بینایی–زبانی قرار دارند. VLMها مدل‌هایی هستند که به‌طور هم‌زمان برای درک تصویر و زبان آموزش دیده‌اند و قادرند این دو حوزه را در یک فضای معنایی مشترک ترکیب کنند.

طبق مستندات AWS Nova، VLMها:

• تصویر را صرفا به‌عنوان پیکسل تحلیل نمی‌کنند
• بلکه آن را به مفاهیم زبانی و قابل استدلال ترجمه می‌کنند
• و امکان پاسخ‌گویی، توضیح و حتی تحلیل انتقادی تصویر را فراهم می‌سازند

به همین دلیل است که Image Understanding در معماری‌های مدرن بدون VLMها عملا معنا ندارد.

محدودیت‌ها و مرزهای واقعی Image Understanding

با وجود پیشرفت‌های چشمگیر در مدل‌های بینایی–زبانی، درک تصویر هنوز فاصله قابل‌توجهی با «فهم انسانی تصویر» دارد. بسیاری از خروجی‌هایی که در نگاه اول هوشمندانه به نظر می‌رسند، در واقع حاصل الگوهای آماری و استنتاج‌های احتمالی هستند، نه درک عمیق از معنا، نیت یا واقعیت صحنه. به همین دلیل، شناخت محدودیت‌های این سیستم‌ها برای استفاده درست و مسئولانه از آن‌ها ضروری است.

در ادامه، مهم‌ترین مرزها و چالش‌های Image Understanding را بررسی می‌کنیم.

۱. توهم بصری مدل‌ها (Visual Hallucination)

یکی از شناخته‌شده‌ترین مشکلات در Image Understanding، توهم بصری است؛ وضعیتی که در آن مدل، جزئیاتی را توصیف می‌کند که عملا در تصویر وجود ندارند. این اتفاق معمولا زمانی رخ می‌دهد که:

• تصویر مبهم یا کم‌جزئیات باشد
• یا مدل تحت‌تاثیر الگوهای رایج در داده‌های آموزشی خود قرار بگیرد

مدل ممکن است با اعتمادبه‌نفس بالا اشیا، متن‌ها یا روابطی را بیان کند که صرفا «محتمل» هستند، نه واقعی. این موضوع به‌ویژه در کاربردهای حساس (مانند پزشکی، حقوقی یا امنیتی) می‌تواند خطرناک باشد؛ زیرا خروجی مدل لزوما قابل اتکا نیست، حتی اگر بسیار قانع‌کننده به نظر برسد.

۲. برداشت اشتباه از زمینه و کانتکست تصویر

مدل‌های Image Understanding معمولا در تشخیص عناصر مجزا (مانند اشیا یا افراد) عملکرد بهتری دارند تا درک زمینه‌ی کلی صحنه. پژوهش‌ها نشان می‌دهد که این مدل‌ها اغلب:

• روابط علّی را به‌درستی تشخیص نمی‌دهند
• نیت افراد حاضر در تصویر را اشتباه تفسیر می‌کنند
• یا دچار ساده‌سازی بیش‌ازحد از موقعیت‌های پیچیده می‌شوند

به بیان دیگر، مدل ممکن است «چه چیزی در تصویر هست» را ببیند، اما در تشخیص «چرا این اتفاق افتاده» یا «چه معنایی دارد» دچار خطا شود. این ضعف، مرز مهمی بین تشخیص بصری و فهم مفهومی ایجاد می‌کند.

۳. وابستگی شدید به کیفیت و شرایط تصویر

یکی دیگر از محدودیت‌های کلیدی درک تصویر، وابستگی مستقیم به کیفیت ورودی است. عواملی مانند:

• نور نامناسب
• زاویه غیرمعمول
• رزولوشن پایین
• یا انسداد بخشی از تصویر

می‌توانند به‌شدت بر خروجی مدل اثر بگذارند. این مدل‌ها نسبت به تغییرات ظاهرا جزئی بسیار حساس‌اند و ممکن است در شرایط غیرایدئال، تفسیرهای نادرست یا ناقص ارائه دهند.

این وابستگی نشان می‌دهد که برخلاف انسان، مدل‌ها توان جبران ذهنی یا حدس مبتنی بر تجربه‌ی واقعی را ندارند.

۴. تفاوت بنیادین بین «توصیف تصویر» و «فهم تصویر»

شاید مهم‌ترین مرز مفهومی در درک تصویر، تفاوت بین توصیف (Description) و فهم (Understanding) باشد. بسیاری از مدل‌ها:

• می‌توانند تصویر را به‌خوبی توصیف کنند
• اما الزاما آن را درک نمی‌کنند

تولید جملات روان و دقیق درباره‌ی تصویر، لزوما به معنای داشتن مدل ذهنی از واقعیت نیست. مدل ممکن است:

• اجزا را نام ببرد
• روابط ظاهری را بیان کند
• اما فاقد درک عمیق از معنا، هدف یا پیام تصویر باشد

این تمایز دقیقا همان جایی است که Image Understanding هنوز از فهم انسانی فاصله دارد و نباید آن را با «هوش بصری واقعی» اشتباه گرفت.

چگونه می‌توان «درک تصویر» را ارزیابی کرد؟

یکی از چالش‌های اساسی در حوزه درک تصویر این است که تشخیص درست بودن خروجی مدل، لزوما به معنای فهم واقعی تصویر نیست. بسیاری از مدل‌های چندوجهی می‌توانند پاسخ‌هایی تولید کنند که از نظر زبانی روان و از نظر ظاهری منطقی‌اند، اما این پاسخ‌ها ممکن است حاصل حدس‌های آماری یا الگوهای رایج باشند، نه نتیجه‌ی استدلال بصری واقعی. به همین دلیل، ارزیابی «درک تصویر» نیازمند معیارهایی فراتر از سنجه‌های کلاسیک یادگیری ماشین است.

در این بخش، مهم‌ترین رویکردهای ارزیابی Image Understanding را بررسی می‌کنیم.

چرا معیارهایی مثل Accuracy کافی نیستند؟

در بسیاری از مسائل بینایی ماشین سنتی، معیارهایی مانند accuracy یا top-k accuracy برای ارزیابی عملکرد مدل استفاده می‌شوند. اما در Image Understanding، این معیارها اغلب گمراه‌کننده‌اند. دلیل اصلی این موضوع آن است که:

• پاسخ ممکن است «درست» باشد، بدون آن‌که مدل مسیر استدلال درستی طی کرده باشد
• مدل می‌تواند با تکیه بر الگوهای پرتکرار، پاسخ صحیح را حدس بزند
• یا حتی با توهم بصری، پاسخی قانع‌کننده اما نادرست تولید کند

پژوهش‌ها نشان می‌دهد که بسیاری از مدل‌های VLM در سوالات چندگزینه‌ای عملکرد بالایی دارند، اما در سناریوهای باز (open-ended) یا نیازمند استدلال، دچار افت شدید کیفیت می‌شوند. این موضوع نشان می‌دهد که درستی پاسخ به‌تنهایی معیار مناسبی برای سنجش فهم تصویر نیست.

نقش Structured Outputs در ارزیابی دقیق‌تر

یکی از رویکردهای جدید برای ارزیابی درک تصویر، استفاده از خروجی‌های ساختاریافته (Structured Outputs) است. به‌جای دریافت یک متن آزاد، از مدل خواسته می‌شود خروجی را در قالبی مشخص ارائه دهد؛ برای مثال:

• فهرست اشیا + ویژگی‌ها
• روابط بین عناصر تصویر
• گام‌های استدلال بصری به‌صورت مرحله‌به‌مرحله

تفاوت بین توصیف سطحی و استدلال تصویری

یکی از مهم‌ترین تمایزها در ارزیابی درک تصویر، تفاوت بین توصیف سطحی (Surface Description) و استدلال تصویری (Visual Reasoning) است.

• توصیف سطحی شامل نام بردن از اشیا، رنگ‌ها یا موقعیت‌های ظاهری است
• استدلال تصویری شامل درک روابط، علت و معلول و پیام ضمنی تصویر می‌شود

برای مثال، گفتن اینکه «در تصویر یک فرد کنار یک خودرو دیده می‌شود» توصیف است، اما تشخیص اینکه «فرد در حال تعمیر خودرو است چون کاپوت باز است و ابزار در دست دارد» نیازمند استدلال تصویری است.

بسیاری از مدل‌ها در سطح توصیف عملکرد قابل قبولی دارند، اما در استدلال چندمرحله‌ای، به‌ویژه زمانی که نیاز به ترکیب چند نشانه بصری است، دچار ضعف می‌شوند. بنابراین، ارزیابی واقعی Image Understanding باید بر توان استدلال مدل متمرکز باشد، نه صرفا توصیف.

Benchmarks و سناریوهای ارزیابی

برای سنجش دقیق‌تر درک تصویر، پژوهش‌های جدید به سمت طراحی benchmarks مبتنی بر سناریو حرکت کرده‌اند. این benchmarks معمولا:

• چندمرحله‌ای هستند
• نیاز به استدلال دارند
• و پاسخ‌های تک‌جمله‌ای یا بله/خیر را کافی نمی‌دانند

این رویکردها کمک می‌کنند مشخص شود کدام مدل‌ها واقعا تصویر را «می‌فهمند» و کدام‌ها صرفا توصیف‌گرهای پیشرفته هستند.

کاربردهای واقعی درک تصویر در محصولات هوشمند

Image Understanding زمانی ارزش واقعی خود را نشان می‌دهد که از سطح آزمایشگاهی و مدل‌محور عبور کند و وارد محصولات واقعی با کاربران واقعی شود. در این مرحله، دیگر صرفا تشخیص اشیا یا تولید توضیح متنی کافی نیست؛ مدل باید بتواند تصویر را در بستر کاربردی مشخص تفسیر کند، تصمیم بگیرد و در بسیاری از موارد خروجی قابل استفاده برای سیستم‌های دیگر تولید کند.

در ادامه، مهم‌ترین حوزه‌هایی که Image Understanding به‌صورت عملی در آن‌ها به‌کار گرفته می‌شود را بررسی می‌کنیم.

۱. تحلیل اسناد تصویری

یکی از رایج‌ترین کاربردهای Image Understanding، پردازش اسناد تصویری است؛ اسنادی که صرفا متن نیستند و ترکیبی از جدول، نمودار، مهر، امضا و چیدمان بصری دارند.

در این سناریوها، مدل باید:

• ساختار صفحه را تشخیص دهد (فرم، جدول، بخش‌بندی)
• محتوای متنی را در بستر بصری آن تفسیر کند
• روابط بین عناصر را بفهمد، نه فقط آن‌ها را استخراج کند

۲. سیستم‌های نظارتی هوشمند

در سیستم‌های نظارتی مدرن، دیگر هدف صرفا تشخیص حرکت یا شناسایی اشیا نیست، بلکه درک موقعیت و رفتار اهمیت دارد.

Image Understanding در این حوزه برای:

• تشخیص رفتارهای غیرعادی
• تحلیل تعامل افراد با محیط
• تفسیر رویدادها در بستر زمانی و مکانی

به‌کار می‌رود. برای مثال، تفاوت بین «ایستادن یک فرد کنار در» و «تلاش برای ورود غیرمجاز» تنها با تشخیص تصویر قابل انجام نیست و نیازمند استدلال بصری است.

۳. پزشکی و رادیولوژی

در حوزه پزشکی، Image Understanding به‌عنوان یک ابزار تصمیم‌یار مطرح است، نه جایگزین پزشک. در این کاربردها، مدل باید بتواند تصاویر پیچیده‌ای مانند:

• تصاویر رادیولوژی
• اسکن‌های CT و MRI
• تصاویر پاتولوژی

را درک کند و الگوهای معنادار را استخراج کند. تفاوت کلیدی اینجاست که مدل صرفا ناحیه‌ای را علامت نمی‌زند، بلکه تلاش می‌کند یافته تصویری را در بستر بالینی تفسیر کند.

۴. تجارت الکترونیک و جستجوی بصری

در e-commerce، درک تصویر تجربه کاربر را به‌طور مستقیم تحت‌تاثیر قرار می‌دهد. کاربردهای رایج شامل:

• جستجوی محصول بر اساس تصویر
• تشخیص ویژگی‌های ظاهری کالا (رنگ، جنس، سبک)
• پیشنهاد محصولات مشابه با درک مفهومی، نه صرفاً شباهت پیکسلی

۵. تحلیل تصاویر تولیدشده توسط کاربران

بخش مهمی از داده‌های تصویری در محصولات دیجیتال، توسط کاربران تولید می‌شود؛ از عکس‌های پروفایل گرفته تا تصاویر آپلودشده در شبکه‌های اجتماعی یا پلتفرم‌های پشتیبانی.

درک تصویر در این حوزه برای:

• تشخیص محتوای نامناسب
• درک نیت کاربر از تصویر
• دسته‌بندی و اولویت‌بندی خودکار محتوا استفاده می‌شود.

جمع‌بندی

درک تصویر را نباید به‌عنوان جایگزینی برای بینایی ماشین کلاسیک (Computer Vision) در نظر گرفت و نه می‌توان آن را مفهومی مستقل و جدا از آن دانست. این حوزه در واقع ادامه‌ی منطقی مسیر CV است؛ مسیری که از تشخیص الگوهای بصری آغاز شده و امروز به درک معنا، زمینه و نیت در تصاویر رسیده است. در این نگاه، Image Understanding همان لایه‌ای است که خروجی‌های فنی بینایی ماشین را به سطحی قابل استفاده برای استدلال، تصمیم‌گیری و تعامل انسانی ارتقا می‌دهد.

در مدل‌های چندوجهی مدرن، درک تصویر نقش هسته‌ی مرکزی را ایفا می‌کند؛ جایی که تصویر و زبان نه به‌صورت دو جریان جداگانه، بلکه به‌عنوان دو بیان از یک مفهوم مشترک پردازش می‌شوند. این لایه‌ی معنایی امکان می‌دهد سیستم‌ها تصاویر را «بفهمند»، درباره آن‌ها توضیح دهند، آن‌ها را در بستر متنی تحلیل کنند و به‌صورت هدفمند به آن‌ها واکنش نشان دهند. به همین دلیل، Image Understanding را می‌توان پلی دانست که Computer Vision را به Multimodal AI متصل می‌کند.

در نهایت، آینده‌ی تعامل انسان و ماشین به شدت به بلوغ این لایه وابسته است. هرچه سیستم‌ها توانمندتر شوند در درک معنای تصویر، زمینه‌ی آن و ارتباطش با زبان و تصمیم، تجربه‌های هوشمندتر، طبیعی‌تر و قابل اعتماد‌تری شکل خواهد گرفت. درک تصویر نه یک قابلیت جانبی، بلکه یکی از پایه‌های اصلی نسل بعدی سیستم‌های هوشمند است.

منابع

daft.ai | docs.aws.amazon.com | arxiv.org (۱)، (۲) | mdpi.com