Video Understanding و نقش LLMها در درک ویدئو

در سال‌های اخیر، حجم عظیمی از داده‌های دیجیتال به‌صورت ویدئو تولید و مصرف می‌شود؛ از شبکه‌های اجتماعی و پلتفرم‌های آموزشی گرفته تا سیستم‌های نظارتی و محتوای سرگرمی. با این حال، درک ویدئو برای ماشین‌ها صرفا به معنای پردازش فریم‌های جداگانه نیست. Video Understanding شاخه‌ای از هوش مصنوعی است که تلاش می‌کند فراتر از دیدن تصاویر ثابت حرکت کند و به فهم مفاهیمی مانند حرکت، توالی زمانی، رویدادها، تعاملات و حتی روایت موجود در ویدئو برسد. این حوزه، ترکیبی از بینایی ماشین، تحلیل زمانی و مدل‌های یادگیری عمیق است که هدف آن نزدیک‌تر کردن درک ماشین از ویدئو به درک انسانی است.

اهمیت Video Understanding زمانی پررنگ‌تر می‌شود که بدانیم بسیاری از کاربردهای پیشرفته هوش مصنوعی، مانند تحلیل رفتار، سیستم‌های تعاملی، دستیارهای هوشمند و مدل‌های چندوجهی، به درک دقیق و عمیق ویدئو وابسته‌اند. در این مقاله، ابتدا مفهوم Video Understanding و تفاوت آن با پردازش تصویر بررسی می‌شود، سپس اجزای اصلی و مدل‌های رایج در این حوزه معرفی خواهند شد. در ادامه، نقش مدل‌های بزرگ زبانی در درک ویدئو و روندهای نوظهور پژوهشی مورد بحث قرار می‌گیرد و در نهایت، چالش‌ها، محدودیت‌ها و چشم‌انداز آینده این حوزه تحلیل می‌شود.

Video Understanding چیست؟

درک ویدیو به توانایی سیستم‌های هوش مصنوعی برای تحلیل و تفسیر محتوای ویدئویی در طول زمان اشاره دارد. برخلاف پردازش تصویر که تمرکز آن بر تحلیل یک فریم ثابت است، Video Understanding با دنباله‌ای از فریم‌ها سروکار دارد و تلاش می‌کند معنا را نه فقط از ظاهر اشیا، بلکه از تغییرات، حرکت و ارتباط زمانی بین فریم‌ها استخراج کند. به بیان دیگر، هدف این حوزه تنها «دیدن» ویدئو نیست، بلکه «فهمیدن آن چیزی است که در حال رخ دادن است».

یکی از تفاوت‌های اساسی Video Understanding با تحلیل تصویر، توجه به بعد زمان است. در یک تصویر ثابت می‌توان اشیا، صحنه یا ویژگی‌های بصری را شناسایی کرد، اما ویدئو مفاهیمی مانند حرکت، شروع و پایان یک رویداد و تعامل میان عناصر مختلف را در خود دارد. برای مثال، تشخیص یک فرد در تصویر با تشخیص «دویدن»، «زمین خوردن» یا «تعامل با شی دیگر» در ویدئو تفاوت ماهوی دارد و نیازمند تحلیل پیوسته‌ی فریم‌هاست.

درک حرکات و وقایع، بخش مرکزی Video Understanding را تشکیل می‌دهد. مدل‌ها باید بتوانند تغییر وضعیت اشیا، مسیر حرکت و روابط علت‌ومعلولی میان رویدادها را تشخیص دهند. این توانایی به سیستم اجازه می‌دهد رویدادها را نه به‌صورت لحظه‌ای، بلکه در قالب یک فرایند زمانی معنا کند. در بسیاری از کاربردها، مانند تحلیل رفتار یا خلاصه‌سازی ویدئو، این سطح از درک اهمیت حیاتی دارد.

در نهایت، درک ویدئو به تحلیل توالی‌های زمانی متکی است؛ یعنی مدلی که بتواند اطلاعات هر فریم را با فریم‌های قبل و بعد مرتبط کند. این تحلیل زمانی باعث می‌شود سیستم بتواند روایت کلی ویدئو را درک کند، الگوهای تکرارشونده را شناسایی کند و بین اتفاقات مختلف ارتباط برقرار نماید. چنین رویکردی، پایه‌ای برای توسعه سیستم‌های پیشرفته‌تر مانند ویدئو-پرسش‌وپاسخ، تشخیص رویداد و تعامل انسان و ماشین به‌شمار می‌آید.

اجزای اصلی درک ویدئو (Video Understanding)

درک ویدئو برای سیستم‌های هوش مصنوعی مستلزم تحلیل هم‌زمان چند نوع اطلاعات متفاوت است. برخلاف تصویر که تنها شامل داده‌های مکانی است، ویدئو دارای ساختاری پویا و وابسته به زمان است. به همین دلیل، Video Understanding معمولا بر سه مؤلفه‌ی اصلی استوار است: ویژگی‌های مکانی، ویژگی‌های زمانی و معماری‌هایی که این دو نوع اطلاعات را با یکدیگر ترکیب می‌کنند. این کار به یک معماری پیچیده نیاز دارد که معمولا چندین راهبرد مختلف شبکه‌های عصبی را با هم ترکیب می‌کند.

• شبکه‌های عصبی کانولوشنی (CNNs): این شبکه‌ها معمولا ستون فقراتِ مکانی مدل هستند و ویژگی‌های بصری مثل شکل‌ها، بافت‌ها و اشیای موجود در هر فریم را استخراج می‌کنند.
• شبکه‌های عصبی بازگشتی (RNNs): معماری‌هایی مانند واحدهای حافظه‌ی بلندمدت کوتاه‌مدت (LSTM) برای پردازش دنباله‌ی ویژگی‌هایی که توسط CNN استخراج شده‌اند به کار می‌روند. این شبکه‌ها به مدل اجازه می‌دهند فریم‌های قبلی را «به خاطر بسپارد» و حالت‌های آینده را پیش‌بینی کند.
• جریان نوری (Optical Flow): بسیاری از سیستم‌ها از الگوریتم‌های جریان نوری برای محاسبه صریح بردارهای حرکتی پیکسل‌ها بین فریم‌ها استفاده می‌کنند. این اطلاعات داده‌های مهمی درباره‌ی سرعت و جهت حرکت فراهم می‌کند، مستقل از ظاهر اشیا.
• ترنسفورمرهای بینایی (Vision Transformers – ViTs): رویکردهای مدرن به‌طور فزاینده‌ای بر مکانیزم‌های توجه (Attention) تکیه می‌کنند تا اهمیت فریم‌ها یا نواحی مختلف تصویر را وزن‌دهی کنند. این کار به مدل اجازه می‌دهد در یک جریان ویدئویی طولانی، روی رویدادهای کلیدی تمرکز کند.

ویژگی‌های مکانی (Spatial Features)

ویژگی‌های مکانی به اطلاعاتی اشاره دارند که از هر فریم به‌صورت مستقل استخراج می‌شوند. این ویژگی‌ها شامل شکل اشیا، رنگ‌ها، بافت‌ها، موقعیت عناصر در صحنه و روابط فضایی میان آن‌ها هستند. در این سطح، تحلیل ویدئو شباهت زیادی به پردازش تصویر دارد و اغلب از شبکه‌های عصبی کانولوشنی (CNN) یا مدل‌های بینایی عمیق برای استخراج این اطلاعات استفاده می‌شود.

Spatial Features به مدل کمک می‌کنند بفهمد «چه چیزی» در فریم حضور دارد؛ برای مثال، تشخیص افراد، اشیا، صحنه‌ها یا اجزای مهم تصویر. با این حال، این نوع ویژگی‌ها به‌تنهایی برای درک کامل ویدئو کافی نیستند؛ زیرا اطلاعاتی درباره تغییرات و تحولات در طول زمان ارائه نمی‌دهند.

ویژگی‌های زمانی (Temporal Features)

ویژگی‌های زمانی بر تغییرات بین فریم‌ها تمرکز دارند و بخش کلیدی Video Understanding محسوب می‌شوند. این ویژگی‌ها به مدل اجازه می‌دهند حرکت اشیا، سرعت، جهت حرکت و توالی رویدادها را تحلیل کند. به کمک تحلیل زمانی، سیستم می‌تواند تشخیص دهد که یک رویداد چگونه آغاز می‌شود، چگونه ادامه می‌یابد و چه زمانی به پایان می‌رسد.

Temporal Features پاسخ‌گوی این سوال هستند که «چه اتفاقی در حال رخ دادن است». برای مثال، تفاوت میان ایستادن، راه رفتن و دویدن تنها از طریق بررسی تغییرات زمانی قابل تشخیص است. بدون این بعد زمانی، ویدئو عملا به مجموعه‌ای از تصاویر نامرتبط تقلیل پیدا می‌کند.

ترکیب اطلاعات مکانی و زمانی

چالش اصلی در Video Understanding، ادغام موثر ویژگی‌های مکانی و زمانی است. مدل باید بتواند آنچه را در هر فریم دیده می‌شود با تغییراتی که در طول زمان رخ می‌دهد، به‌صورت یکپارچه تحلیل کند. به همین دلیل، معماری‌های درک ویدئو معمولا به‌گونه‌ای طراحی می‌شوند که ابتدا ویژگی‌های مکانی از فریم‌ها استخراج شده و سپس این ویژگی‌ها در طول زمان مدل‌سازی شوند.

این ترکیب، پایه‌ی درک مفاهیم پیچیده‌تری مانند تعامل بین اشیا، رویدادهای چندمرحله‌ای و روایت کلی ویدئو را فراهم می‌کند. در واقع، Video Understanding زمانی به سطحی معنادار می‌رسد که مدل بتواند «چه چیزی» و «چه زمانی» را به‌طور هم‌زمان درک کند و میان آن‌ها ارتباط برقرار نماید.

مدل‌های سنتی تا مدرن در Video Understanding

تحول Video Understanding مستقیما با پیشرفت مدل‌های یادگیری ماشین و یادگیری عمیق گره خورده است. در مسیر تکامل این حوزه، رویکردها از روش‌های دستی و کلاسیک آغاز شده‌اند و به معماری‌های پیچیده و چندوجهی امروزی رسیده‌اند که قادر به درک عمیق‌تر و انتزاعی‌تر از محتوای ویدئویی هستند. بررسی این مسیر تکاملی کمک می‌کند درک بهتری از محدودیت‌ها و مزیت‌های مدل‌های مدرن داشته باشیم.

روش‌های کلاسیک و پیش از یادگیری عمیق

در رویکردهای اولیه Video Understanding، تمرکز اصلی بر استخراج ویژگی‌های دستی از ویدئو بود. این روش‌ها معمولا با استفاده از الگوریتم‌هایی مانند optical flow، histogram of gradients و سایر توصیف‌گرهای حرکتی تلاش می‌کردند حرکت و تغییرات بین فریم‌ها را مدل‌سازی کنند. سپس این ویژگی‌ها به مدل‌های یادگیری سنتی مانند SVM یا HMM داده می‌شدند تا الگوها و رویدادها شناسایی شوند.

اگرچه این روش‌ها در زمان خود کاربردی بودند، اما به‌شدت به کیفیت ویژگی‌های استخراج‌شده وابسته بودند و در مواجهه با ویدئوهای پیچیده، طولانی یا دارای تنوع بالا عملکرد محدودی داشتند. علاوه بر این، این مدل‌ها توانایی کمی در تعمیم‌پذیری و درک مفاهیم سطح بالا داشتند.

ورود یادگیری عمیق به Video Understanding

با ظهور یادگیری عمیق، نقطه عطفی در درک ویدئو شکل گرفت. شبکه‌های عصبی کانولوشنی ابتدا برای استخراج ویژگی‌های مکانی از فریم‌ها به کار گرفته شدند و سپس با افزودن سازوکارهای زمانی، امکان تحلیل ویدئو به‌صورت پیوسته فراهم شد. در این مرحله، مدل‌ها توانستند به‌جای تکیه بر ویژگی‌های دستی، نمایش‌های غنی‌تری از داده‌های ویدئویی یاد بگیرند.

مدل‌های مبتنی بر یادگیری عمیق نسبت به روش‌های کلاسیک انعطاف‌پذیرتر بودند و عملکرد بهتری در وظایفی مانند تشخیص اکشن، تشخیص رویداد و طبقه‌بندی ویدئو از خود نشان دادند. با این حال، همچنان چالش‌هایی مانند درک وابستگی‌های زمانی بلندمدت و پردازش ویدئوهای طولانی وجود داشت.

مدل‌های مکانی–زمانی (Spatiotemporal Models)

در گام بعدی، تمرکز پژوهش‌ها به سمت مدل‌هایی رفت که بتوانند اطلاعات مکانی و زمانی را به‌صورت هم‌زمان مدل‌سازی کنند. این مدل‌ها تلاش می‌کردند ارتباط بین فریم‌ها را نه‌فقط در سطح حرکت ساده، بلکه در سطح رویدادها و تعاملات پیچیده‌تر تحلیل کنند.

مدل‌های مکانی–زمانی توانستند درک بهتری از توالی رویدادها و ساختار زمانی ویدئو ارائه دهند و زمینه را برای انجام وظایف پیچیده‌تری مانند خلاصه‌سازی ویدئو و تحلیل رفتار فراهم کنند. با این وجود، این مدل‌ها هنوز بیشتر بر «تشخیص الگو» تمرکز داشتند تا «فهم معنا».

حرکت به سمت مدل‌های مدرن و انتزاعی‌تر

در سال‌های اخیر، Video Understanding به سمت مدل‌هایی حرکت کرده است که توانایی درک مفاهیم سطح بالا و انتزاعی را دارند. این مدل‌ها دیگر تنها به شناسایی حرکت یا اکشن محدود نیستند، بلکه تلاش می‌کنند روابط علت‌ومعلولی، هدف رویدادها و روایت کلی ویدئو را استخراج کنند.

این مسیر تکاملی زمینه‌ساز ورود مدل‌های چندوجهی و به‌ویژه مدل‌های بزرگ زبانی (LLMs) به حوزه درک ویدئو شده است؛ مدل‌هایی که می‌توانند ویدئو را در کنار متن تحلیل کنند و درک عمیق‌تری از محتوا ارائه دهند. این موضوع، نقطه اتصال Video Understanding با نسل جدید سیستم‌های هوش مصنوعی محسوب می‌شود که در بخش‌های بعدی مقاله به آن پرداخته خواهد شد.

نقش LLMs در درک ویدئو

با ظهور مدل‌های بزرگ زبانی، حوزه Video Understanding وارد مرحله‌ای جدید و پیشرفته‌تر شده است. برخلاف مدل‌های پیشین که عمدتا بر تشخیص الگوهای بصری و حرکتی تمرکز داشتند، LLMها امکان درک انتزاعی، استدلال و تفسیر معنایی ویدئو را فراهم می‌کنند. این مدل‌ها با ترکیب اطلاعات دیداری و زبانی، ویدئو را نه‌تنها به‌عنوان داده بصری، بلکه به‌عنوان یک منبع معنایی قابل تحلیل در نظر می‌گیرند.

Vid-LLM چیست و چگونه کار می‌کند؟

اصطلاح Vid-LLM به دسته‌ای از مدل‌ها اشاره دارد که LLMها را با ماژول‌های بینایی (Vision Encoders) ترکیب می‌کنند تا قادر به درک و تحلیل ویدئو باشند. در این معماری‌ها، ابتدا فریم‌های ویدئو یا نمایش‌های فشرده‌شده زمانی توسط مدل‌های بینایی پردازش می‌شوند و ویژگی‌های بصری استخراج‌شده به‌صورت توکن‌هایی قابل‌فهم برای LLM تبدیل می‌گردند. سپس LLM با استفاده از این نمایش‌ها، به تحلیل محتوا، استنتاج روابط و تولید توضیحات سطح بالا می‌پردازد.

نکته مهم در Vid-LLMها این است که مدل زبانی نقش مرکزی در «فهم» دارد؛ یعنی به‌جای صرفا طبقه‌بندی یا تشخیص اکشن، می‌تواند درباره ویدئو استدلال کند، رویدادها را در قالب روایت تفسیر نماید و حتی ارتباط میان بخش‌های مختلف ویدئو را توضیح دهد.

LLM به‌عنوان تحلیل‌گر چندوجهی (Text + Video)

در چارچوب‌های مدرن درک ویدئو، LLM دیگر تنها یک مدل زبانی نیست، بلکه به‌عنوان یک تحلیل‌گر چندوجهی عمل می‌کند. این مدل‌ها قادرند ورودی‌های متنی (مانند پرسش کاربر یا توضیح زمینه‌ای) را در کنار نمایش‌های ویدئویی پردازش کنند و پاسخ‌هایی تولید نمایند که مبتنی بر محتوای ویدئو باشد.

این توانایی، امکان انجام وظایفی مانند ویدئو–پرسش‌وپاسخ، توضیح رویدادها، خلاصه‌سازی معنایی و حتی تحلیل نیت و هدف در ویدئو را فراهم می‌کند. در واقع، LLMها به Video Understanding این قابلیت را می‌دهند که از سطح «تشخیص» فراتر رود و به سطح «تفسیر» برسد.

ترکیب Vision و Language برای فهم عمیق‌تر ویدئو

ترکیب موثر بینایی و زبان، یکی از مهم‌ترین دستاوردهای اخیر در Video Understanding محسوب می‌شود. در این رویکرد، مدل‌های بینایی مسئول استخراج اطلاعات مکانی–زمانی هستند و LLMها با استفاده از دانش زبانی و استدلالی خود، این اطلاعات را به مفاهیم قابل‌فهم تبدیل می‌کنند. این همکاری باعث می‌شود مدل بتواند روابط پیچیده، توالی رویدادها و حتی جنبه‌های ضمنی ویدئو را درک کند.

این ترکیب چندوجهی مسیر را برای سیستم‌هایی هموار کرده است که می‌توانند ویدئو را مشابه انسان تحلیل کنند؛ یعنی نه‌تنها ببینند چه اتفاقی افتاده است، بلکه بفهمند چرا رخ داده و چه معنایی دارد. با این حال، این مدل‌ها همچنان با چالش‌هایی مانند توهم (hallucination)، مقیاس‌پذیری و پردازش ویدئوهای طولانی مواجه هستند که در بخش‌های بعدی مقاله مورد بررسی قرار خواهند گرفت.

وظایف Video Understanding

درک ویدئو یکی از بنیادی‌ترین و در عین حال چالش‌برانگیزترین مسائل در هوش مصنوعی است و همین پیچیدگی باعث شکل‌گیری مجموعه‌ای گسترده از وظایف در این حوزه شده است. هدف مشترک همه‌ی این وظایف، تفسیر محتوای پیچیده و چندلایه‌ی ویدئو است. نخستین تلاش‌ها در Video Understanding عمدتا بر طبقه‌بندی ویدئو و تشخیص اکشن متمرکز بودند؛ وظایفی که ویدئو را به برچسب‌های ازپیش‌تعریف‌شده یا دسته‌های فعالیت مشخص نگاشت می‌کردند.

با توسعه مدل‌های پایه بینایی (Visual Foundation Models) و گسترش دیتاست‌های عمومی بزرگ، رویکردهای جدید درک ویدئو قادر شده‌اند محتوای ویدئویی پیچیده‌تری را تحلیل، تفسیر و حتی درباره‌ی آن استدلال کنند. برای مثال، در وظیفه‌ی توصیف ویدئو (Video Captioning)، مدل تنها به شناسایی اشیا یا حرکات بسنده نمی‌کند، بلکه باید توضیحاتی منسجم، منطقی و مطابق با دانش commonsense درباره‌ی صحنه‌های ویدئو تولید کند. به‌طور مشابه، در Video Question Answering (VQA)، مدل باید محتوای ویدئو را درک کرده و در صورت نیاز، با تکیه بر دانش بیرونی، پاسخ دقیقی به پرسش ارائه دهد.

مسیر تکامل Video Understanding از طبقه‌بندی ساده به سمت درک زبانی و استدلال معنایی، نشان‌دهنده گرایش واضح این حوزه به دستیابی به سطحی نزدیک به درک انسانی از ویدئو است. در ادامه، مهم‌ترین وظایف درک ویدئو بر اساس نوع درک موردنیاز دسته‌بندی می‌شوند.

۱. وظایف درک انتزاعی (Abstract Understanding Tasks)

این دسته از وظایف بر فهم کلی و معنایی محتوای ویدئو تمرکز دارند و معمولا با زبان طبیعی در تعامل هستند.

طبقه‌بندی ویدئو و تشخیص اکشن از ابتدایی‌ترین وظایف در این گروه محسوب می‌شوند. در این وظایف، ویدئو بر اساس برچسب‌های محتوایی یا دسته‌های فعالیت و رویداد طبقه‌بندی می‌شود. ارزیابی این مدل‌ها معمولا با معیارهایی مانند Top-K Accuracy انجام می‌گیرد.

در وظیفه‌ی بازیابی متن–ویدئو (Text-Video Retrieval)، هدف تطبیق توصیف‌های متنی با کلیپ‌های ویدئویی مرتبط است. مدل باید شباهت معنایی میان متن و ویدئو را درک کند تا بتواند نتایج مناسب را بازیابی نماید. معیار رایج در این حوزه Recall@K است.

خلاصه‌سازی ویدئو به متن (Video-to-Text Summarization) به تولید خلاصه‌های متنی فشرده و معنادار از ویدئوهای طولانی می‌پردازد. در این وظیفه، مدل باید محتوای کلیدی و مهم ویدئو را تشخیص داده و آن را به شکلی منسجم در قالب متن بیان کند.

در Video Captioning، مدل توضیحاتی توصیفی و پیوسته درباره‌ی محتوای ویدئو تولید می‌کند. این توضیحات باید نه‌تنها دقیق، بلکه از نظر زبانی و مفهومی نیز سازگار باشند. معیارهایی مانند BLEU، METEOR، CIDEr و ROUGE-L برای ارزیابی این وظیفه استفاده می‌شوند.

در نهایت، Video Question Answering (VQA) مدلی را می‌طلبد که بتواند با تحلیل محتوای ویدئو و درک پرسش متنی، پاسخ صحیحی ارائه دهد. این وظیفه یکی از بارزترین نمونه‌های ترکیب درک بصری، زبانی و استدلالی در Video Understanding است.

۲. وظایف درک زمانی (Temporal Understanding Tasks)

وظایف این دسته بر تحلیل ساختار زمانی ویدئو و تشخیص رویدادها در طول زمان تمرکز دارند.

• خلاصه‌سازی ویدئو (Video Summarization) تلاش می‌کند نسخه‌ای کوتاه‌تر از ویدئو تولید کند که همچنان محتوای اصلی و مهم را حفظ کرده باشد. در این حوزه، معیارهایی مانند F1-score و همبستگی‌های رتبه‌ای مورد استفاده قرار می‌گیرند.
• تشخیص بخش‌های برجسته (Video Highlight Detection) به شناسایی جذاب‌ترین یا مهم‌ترین لحظات یک ویدئو می‌پردازد؛ لحظاتی که بیشترین ارزش محتوایی یا توجه کاربر را دارند.
• در مکان‌یابی زمانی اکشن یا رویداد (Temporal Action/Event Localization)، هدف مشخص کردن دقیق بازه‌های زمانی شروع و پایان یک فعالیت یا رویداد در ویدئو است. این وظیفه نیازمند درک دقیق توالی فریم‌ها و تغییرات زمانی است.
• تولید پیشنهاد اکشن زمانی (Temporal Action Proposal Generation) یک گام قبل از مکان‌یابی دقیق است و شامل تولید بازه‌های کاندید برای وقوع اکشن‌ها می‌شود.
• در Video Temporal Grounding، مدل باید یک توصیف متنی را به بخش زمانی متناظر آن در ویدئو نگاشت کند. این وظیفه نقش مهمی در جست‌وجوی ویدئو و تحلیل محتوا دارد.
• وظایفی مانند Moment Retrieval و تشخیص مرز رویدادها (Generic Event Boundary Detection) نیز به شناسایی نقاط تغییر معنادار در ویدئو و تقسیم آن به رویدادهای مجزا می‌پردازند.
• در نهایت، Dense Video Captioning با هدف تولید توضیحات متنی پیوسته برای چندین رویداد مختلف در طول ویدئو طراحی شده است و یکی از پیچیده‌ترین وظایف درک زمانی به شمار می‌آید.

۳. وظایف درک مکانی–زمانی (Spatiotemporal Understanding Tasks)

این دسته از وظایف نیازمند تحلیل هم‌زمان مکان و زمان در ویدئو هستند.

• ردیابی اشیا (Object Tracking) به دنبال شناسایی و دنبال‌کردن مداوم موقعیت اشیا در طول فریم‌های ویدئو است، حتی در شرایطی مانند انسداد یا تغییر ظاهر.
• در بازشناسایی (Re-Identification)، هدف تطبیق افراد یا اشیا در فریم‌ها یا دوربین‌های مختلف است.
• تشخیص نواحی برجسته ویدئویی (Video Saliency Detection) بخش‌هایی از ویدئو را که بیشترین توجه بصری را جلب می‌کنند شناسایی می‌کند.
• وظایفی مانند بخش‌بندی اشیای ویدئویی و بخش‌بندی نمونه‌ای ویدئو به جداسازی دقیق اشیا و ردیابی آن‌ها در طول زمان می‌پردازند.
• در Video Object Referring Segmentation، مدل باید اشیای خاصی را که با توصیف زبانی مشخص شده‌اند در ویدئو شناسایی و تفکیک کند.
• در نهایت، Spatiotemporal Grounding یکی از جامع‌ترین وظایف این حوزه است که هدف آن مکان‌یابی دقیق اشیا یا رویدادها در ابعاد مکانی و زمانی ویدئو بر اساس یک پرسش یا توصیف متنی است.

روندهای پژوهشی جدید و Video-ChatGPT

پیشرفت‌های اخیر در Video Understanding به‌شدت تحت‌تاثیر مدل‌های بزرگ زبانی و معماری‌های چندوجهی قرار گرفته است. یکی از مهم‌ترین روندهای پژوهشی، حرکت به سمت سیستم‌هایی است که بتوانند تعامل زبانی با ویدئو برقرار کنند؛ یعنی کاربر بتواند درباره محتوای ویدئو سوال بپرسد، توضیح بخواهد یا تحلیل مفهومی دریافت کند. این ایده به ظهور مدل‌هایی مانند Video-ChatGPT منجر شده است.

Video-ChatGPT نمونه‌ای شاخص از مدل‌های بزرگ بینایی–زبانی است که با هم‌ترازسازی نمایش‌های ویدئویی با یک LLM، امکان برقراری گفت‌وگویی معنادار و طبیعی درباره‌ی محتوای ویدئو را فراهم می‌کند. هدف اصلی این مدل، فراتر رفتن از تحلیل ایستا و دستیابی به درکی عمیق از جنبه‌های مکانی، زمانی و رویدادمحور ویدئو در قالب تعامل زبانی است.

طراحی Video-ChatGPT از رویکردهای رایج در توسعه مدل‌های بینایی–زبانی الهام گرفته است. با توجه به محدود بودن داده‌های جفت‌شده‌ی ویدئو–توضیح (video-caption pairs) و هزینه‌ی بالای آموزش مدل‌ها از ابتدا، بسیاری از پژوهش‌ها به‌جای آموزش مستقیم، مدل‌های بینایی–زبانی مبتنی بر تصویر را برای وظایف ویدئویی تطبیق می‌دهند. Video-ChatGPT نیز از همین رویکرد پیروی می‌کند و مدل LLaVA را به‌عنوان پایه‌ی خود انتخاب می‌نماید.

LLaVA یک مدل چندوجهی است که رمزگذار بینایی CLIP را با رمزگشای زبانی Vicuna ترکیب می‌کند و با داده‌های آموزشی دستوری بینایی–زبانی به‌صورت انتهابه‌انتها تنظیم شده است. در Video-ChatGPT، این مدل با استفاده از داده‌های دستوری ویدئویی (Video-Instruction Data) مجددا تنظیم می‌شود تا برای انجام وظیفه‌ی گفت‌وگو درباره ویدئو مناسب گردد. این داده‌ها از ترکیبی از فرایندهای دستی و خودکار تولید دستور به دست می‌آیند.

تنظیم مدل بر اساس دستورهای ویدئویی به Video-ChatGPT این امکان را می‌دهد که پویایی‌های زمانی، سازگاری بین فریم‌ها و وابستگی‌های بلندمدت موجود در ویدئو را بهتر درک کند. در نتیجه، این مدل در استدلال ویدئویی، خلاقیت، و فهم هم‌زمان مؤلفه‌های مکانی، زمانی و اکشنی عملکرد قابل‌توجهی از خود نشان می‌دهد.

معماری Video-ChatGPT

در معماری Video-ChatGPT، از CLIP ViT-L/14 به‌عنوان رمزگذار بینایی استفاده می‌شود؛ مدلی که پیش‌تر در LLaVA برای تنظیم دستوری بینایی–زبانی آموزش دیده است. با این حال، از آنجا که این رمزگذار در اصل برای تصویر طراحی شده، در Video-ChatGPT به‌گونه‌ای به‌کار گرفته می‌شود که بتواند نمایش‌های مکانی–زمانی ویدئو را استخراج کند.

برای یک نمونه ویدئویی شامل T فریم، هر فریم به‌صورت مستقل توسط رمزگذار بینایی پردازش شده و فضای شبیه‌سازی‌های سطح فریم تولید می‌شود. سپس با میانگین‌گیری در بعد مکانی، یک نمایش زمانی در سطح ویدئو و با میانگین‌گیری در بعد زمانی، یک نمایش مکانی در سطح ویدئو استخراج می‌گردد. این دو نوع ویژگی با یکدیگر ترکیب شده و یک نمایش جامع مکانی–زمانی از ویدئو ایجاد می‌کنند.

در گام بعد، این نمایش ویدئویی از طریق یک لایه خطی قابل‌آموزش به فضای شبیه‌سازی ورودی مدل زبانی نگاشت می‌شود. این لایه نقش یک adapter را ایفا می‌کند و وظیفه‌ی آن هم‌ترازسازی ویژگی‌های ویدئویی با شبیه‌سازی‌های زبانی LLM است. در نهایت، توکن‌های ویدئویی با توکن‌های متنی پرسش کاربر ترکیب شده و به رمزگشای زبانی داده می‌شوند.

نکته قابل‌توجه آن است که با وجود سادگی این لایه‌ی تطبیق، عملکرد Video-ChatGPT در مقایسه با معماری‌های پیچیده‌تر همچنان رقابتی و موثر گزارش شده است.

تنظیم دستوری ویدئویی (Video Instruction Tuning)

برای آموزش Video-ChatGPT، از instruction-tuning مبتنی بر هدف خودبازگشتی مدل زبانی استفاده می‌شود. در این فرایند، مدل با جفت‌های باکیفیت ویدئو–متن تنظیم می‌گردد. قالب کلی داده‌های آموزشی به‌صورت یک گفت‌وگوی کاربر–دستیار طراحی شده است که در آن، کاربر پرسشی درباره‌ی ویدئو مطرح می‌کند و مدل باید پاسخ مناسب را تولید نماید.

پرسش‌ها می‌توانند عمومی (مانند توصیف کلی ویدئو) یا مرتبط با جنبه‌های خاصی از ویدئو مانند زمان، فضا، حرکت یا حتی خلاقیت باشند. در طول فرایند تنظیم، وزن‌های رمزگذار بینایی و مدل زبانی ثابت باقی می‌مانند و تنها لایه‌ی تطبیق آموزش داده می‌شود. این کار باعث می‌شود ویژگی‌های ویدئویی به‌تدریج با شبیه‌سازی‌های زبانی هم‌راستا شوند.

نتیجه‌ی این هم‌ترازسازی، مدلی است که می‌تواند پاسخ‌هایی طبیعی‌تر، منسجم‌تر و قابل‌اعتمادتر درباره‌ی محتوای ویدئو تولید کند. Video-ChatGPT به‌این‌ترتیب نشان می‌دهد که چگونه ترکیب LLMها با نمایش‌های مکانی–زمانی ویدئو می‌تواند گامی مهم به‌سوی درک انسانی‌تر از ویدئو باشد.

چالش‌ها و محدودیت‌های Video Understanding

با وجود پیشرفت‌های قابل‌توجه، Video Understanding همچنان با چالش‌های جدی مواجه است. یکی از اصلی‌ترین مشکلات، پیچیدگی ذاتی ویدئو است. ویدئو شامل حجم عظیمی از داده‌های مکانی و زمانی است و پردازش آن، به‌ویژه در ویدئوهای طولانی، هزینه محاسباتی بالایی دارد. این موضوع مقیاس‌پذیری مدل‌ها را با محدودیت مواجه می‌کند.

چالش دیگر، درک وابستگی‌های زمانی بلندمدت است. بسیاری از رویدادهای معنادار در ویدئو تنها با مشاهده‌ی بخش‌های دور از هم قابل فهم هستند، اما مدل‌ها اغلب در حفظ و تحلیل این وابستگی‌ها دچار مشکل می‌شوند. این مسئله به‌ویژه در وظایفی مانند خلاصه‌سازی یا تحلیل روایت ویدئو اهمیت دارد.

در مدل‌های مبتنی بر LLM، مسئله‌ی توهم (Hallucination) نیز مطرح است؛ به این معنا که مدل ممکن است توضیحاتی تولید کند که به‌طور کامل با محتوای واقعی ویدئو هم‌خوانی ندارند. این چالش، اعتمادپذیری سیستم‌های درک ویدئو را به‌خصوص در کاربردهای حساس کاهش می‌دهد.

در نهایت، کمبود داده‌های برچسب‌خورده‌ی باکیفیت، تنوع بالای سناریوهای ویدئویی و دشواری تعریف معیارهای ارزیابی دقیق، از دیگر محدودیت‌های مهم این حوزه محسوب می‌شوند. غلبه بر این چالش‌ها، مسیر اصلی پژوهش‌های آینده در Video Understanding را شکل خواهد داد.

کاربردهای Video Understanding

پیشرفت‌های اخیر در Video Understanding، به‌ویژه با ظهور مدل‌های چندوجهی و Vid-LLMها، باعث شده است این حوزه از چارچوب‌های آزمایشگاهی فراتر رفته و در طیف گسترده‌ای از کاربردهای واقعی مورد استفاده قرار گیرد. توانایی درک محتوای ویدئویی در سطحی نزدیک به انسان، فرصت‌های جدیدی را در صنایع مختلف ایجاد کرده است.

• رسانه و سرگرمی: استفاده برای طبقه‌بندی ویدئوها، پیشنهاد محتوای هوشمند، خلاصه‌سازی فیلم و سریال، تولید خودکار توضیحات و متادیتا، و بهبود سیستم‌های جست‌وجوی ویدئویی در پلتفرم‌های استریم.
• سیستم‌های گفت‌وگو و سؤال–پاسخ مبتنی بر ویدئو: امکان تعامل زبانی مستقیم با محتوای ویدئویی از طریق مدل‌هایی مانند Video-ChatGPT، شامل توضیح ویدئو، پاسخ به پرسش‌ها، و تحلیل رویدادهای رخ‌داده در ویدئو.
• آموزش هوشمند و یادگیری دیجیتال: تحلیل ویدئوهای آموزشی، تولید توضیحات خودکار، پاسخ به سوالات دانشجویان درباره محتوای ویدئو و پشتیبانی از یادگیری تعاملی.
• تحلیل رفتار انسان: بررسی الگوهای حرکتی و رفتاری در حوزه‌هایی مانند ورزش، سلامت، تعاملات اجتماعی، روان‌شناسی رفتاری و تحلیل رفتار مشتری.
• امنیت و نظارت تصویری: تشخیص فعالیت‌های غیرعادی، شناسایی رویدادهای مشکوک، تحلیل خودکار ویدئوهای نظارتی و کاهش وابستگی به پایش انسانی (با ملاحظات جدی اخلاقی و حریم خصوصی).
• خودروهای خودران و سیستم‌های هوشمند حمل‌ونقل: درک صحنه‌های پیچیده‌ی ترافیکی، تحلیل رفتار عابران و وسایل نقلیه، و پیش‌بینی رویدادهای محتمل در محیط‌های پویا.
• پزشکی و سلامت دیجیتال: تحلیل ویدئوهای جراحی، پایش بیماران، بررسی حرکات فیزیکی در توان‌بخشی و کمک به تشخیص مبتنی بر مشاهده‌ی ویدئویی.
• تولید محتوا و ابزارهای خلاقانه: کمک به تولید خودکار محتوا، تحلیل صحنه برای ویرایش هوشمند ویدئو و پشتیبانی از فرایندهای خلاقانه در رسانه و تبلیغات.

جمع‌بندی و چشم‌انداز آینده

Video Understanding به‌عنوان یکی از حوزه‌های کلیدی در هوش مصنوعی، مسیری تکاملی را از روش‌های ساده‌ی مبتنی بر طبقه‌بندی تا مدل‌های پیشرفته‌ی چندوجهی و استدلال‌محور طی کرده است. ورود مدل‌های بزرگ زبانی و معماری‌های Vid-LLM، این حوزه را به سطحی جدید رسانده که در آن، سیستم‌ها قادر به تفسیر، استدلال و تعامل زبانی درباره‌ی ویدئو هستند.

با وجود این پیشرفت‌ها، چالش‌های متعددی همچنان پابرجا هستند. مسائلی مانند پردازش ویدئوهای طولانی، درک وابستگی‌های زمانی بلندمدت، کاهش توهم در مدل‌های زبانی، و کمبود داده‌های برچسب‌خورده‌ی باکیفیت، از مهم‌ترین موانع پیش روی توسعه‌ی این حوزه محسوب می‌شوند. علاوه بر این، نگرانی‌های اخلاقی و اجتماعی، به‌ویژه در کاربردهای نظارتی، نیازمند توجه و چارچوب‌های مشخص هستند.

چشم‌انداز آینده‌ی درک ویدئو به سمت مدل‌های عمومی‌تر، قابل‌تفسیرتر و قابل‌اعتمادتر حرکت می‌کند؛ مدل‌هایی که بتوانند ویدئو را در کنار سایر مدالیته‌ها مانند متن، صوت و حتی داده‌های حسگری تحلیل کنند. انتظار می‌رود که با پیشرفت در داده، معماری و روش‌های آموزش، سیستم‌های Video Understanding به درکی نزدیک‌تر به درک انسانی دست یابند و نقش پررنگ‌تری در زندگی روزمره و کاربردهای صنعتی ایفا کنند.

منابع

ultralytics.com | arxiv.org | aclanthology.org