| 👀 خبر در یک نگاه:
مطالعه‌ای کنترل‌شده نشان می‌دهد توسعه‌دهندگان در پروژه‌های بزرگ با استفاده از ابزارهای هوش مصنوعی کندتر کار می‌کنند، اما تصور می‌کنند سریع‌ترند. فناوری هنوز نوپا است و استفاده بلندمدت ممکن است نتایج بهتری بدهد و در حال حاضر هوش مصنوعی در پروژه‌های پیچیده مشکلاتی ایجاد می‌کند. |
استفاده از ابزارهای هوش مصنوعی در کار توسعه‌دهندگان روزبه‌روز بیشتر می‌شود. ابزارهای برنامه‌نویسی برای Pair Programmers که بر مدل‌های زبانی بزرگ مبتنی‌اند، دست‌کم طبق گفته فروشندگانشان، سرعت و بهره‌وری توسعه‌دهندگان را به‌طور قابل‌توجهی افزایش می‌دهند.
با این حال، یک آزمایش کنترل‌شده تصادفی روی ابزارهای هوش مصنوعی نشان داد در پروژه‌های بزرگ و پیچیده با بیش از یک میلیون خط کد، توسعه‌دهندگان استفاده‌کننده از هوش مصنوعی وقت بیشتری می‌گذارند. با این حال آن‌ها به اشتباه فکر می‌کنند هوش مصنوعی کارشان را سریع‌تر کرده است.
نویسندگان این مقاله بیان می‌کنند که ارزیابی‌های مربوط به اثربخشی هوش مصنوعی اغلب زمینه کاری توسعه‌دهندگان را در نظر نمی‌گیرند. برای مثال، در پروژه‌های بزرگ، تعداد کمی از وظایف، مانند افزودن قابلیت‌های جدید یا اشکال‌زدایی از کد موجود، به‌صورت مستقل انجام می‌شوند؛ توسعه‌دهندگان باید از کل پروژه آگاهی داشته باشند تا باعث اختلال یا آسیب به سایر قابلیت‌ها نشوند.
نادیده گرفتن ریسک ورود کد پالایش‌نشده به پروژه‌های بزرگ، نکته‌ای است که بنچ‌مارک‌های عامل‌محور (Agentic) به آن توجهی ندارند؛ همین موضوع باعث می‌شود نتایج ادعا شده این نوع بنچمارک‌ها در بسیاری از موارد قابل‌اتکا نباشند.
در این آزمایش، از ۱۶ توسعه‌دهنده باتجربه استفاده شد که روی مخازن بزرگ متن‌باز کار می‌کردند و وظایف واقعی برای بهبود نرم‌افزار به آن‌ها سپرده شد؛ از جمله رفع باگ، افزودن قابلیت‌های جدید و بازسازی کد. به عبارت دیگر، آن‌ها با فهرست همیشگی باگ‌ها، درخواست قابلیت‌ها و بهبودهای عمومی مواجه بودند؛ فهرستی که روی میز هر توسعه‌دهنده‌ای پیدا می‌شود. شرکت‌کنندگان به‌صورت تصادفی انتخاب شدند تا از یک ابزار هوش مصنوعی دلخواه خود استفاده کنند یا نکنند.
توسعه‌دهندگانی که از هوش مصنوعی استفاده می‌کردند، وظایف خود را ۱۹ درصد کندتر از گروه کنترل انجام دادند، با این حال همچنان باور داشتند که بهره‌وری‌شان ۲۰ درصد بیشتر از حالت عادی و بدون کمک هوش مصنوعی بوده است.
به‌طور کلی، توسعه‌دهندگان تصور می‌کردند که ابزارهای هوش مصنوعی می‌توانند بهره‌وری آن‌ها را از نظر زمان انجام کارها تا ۲۴درصد افزایش دهند.
کندی عملکرد در انواع مختلف وظایف مشاهده شد؛ برخلاف بنچمارک‌هایی که توسط فروشندگان ابزارهای برنامه‌نویسی دو نفره (Pair Programming) هوش مصنوعی منتشر شده و برخلاف انتظارات توسعه‌دهندگان.
نویسندگان مقاله اذعان داشتند که استفاده بلندمدت از یک ابزار یا پلتفرم خاص (در این مورد: Cursor) ممکن است نتایج بهتری نسبت به چند ساعت استفاده در طول آزمایش به همراه داشته باشد، چرا که ممکن است «اثر یادگیری قوی» در بلندمدت روی هوش مصنوعی شکل بگیرد. آن‌ها همچنین تایید کردند که این فناوری هنوز نسبتا نوپاست و با توجه به بهبودهای تدریجی توسط فروشندگان، دسترسی به پیکره‌های داده گسترده‌تر و عوامل مشابه، ممکن است در آینده نتایج بهتری ارائه دهد.
یکی از دلایل اصلی کاهش سرعت بهره‌وری توسعه‌دهندگان، نیاز به بررسی، اصلاح و اشکال‌زدایی کدی بود که توسط Cursor تولید می‌شد؛ این موضوع اغلب مستلزم ارسال چندین درخواست برای حل یک مشکل اولیه یا محدود کردن خروجی‌های حاصل بود.
کد به‌طور ذاتی کمتر دچار تغییرات سبک و ساختار نسبت به متون ادبی است، بنابراین منطقی به نظر می‌رسد که خروجی هوش مصنوعی در برنامه‌نویسی نسبت به خروجی‌های مستعد توهم هوش مصنوعی‌های «رایج» دقت بیشتری داشته باشد.
اما به گفته بالدور بیارناسون (Baldur Bjarnason) در سال ۲۰۲۳، تمام خروجی‌های هوش مصنوعی توهم است اما ما انسان‌ها تمایل داریم به حرف‌های هوش مصنوعی اعتماد کنیم. از سوی دیگر، کامپیوترها و نرم‌افزارها کاملا دودویی هستند: یک راه‌حل یا درست است یا نادرست. همچنین در پروژه‌های نرم‌افزاری بزرگ، حتی کدی که «درست» است ممکن است نامناسب، ناامن و تولیدشده توسط سیستمی باشد که از عوامل حیاتی دیگر در پروژه بی‌اطلاع است. استفاده از دستیار هوش مصنوعی ممکن است به توسعه‌دهندگان حس بهره‌وری بدهد، اما در بسیاری موارد، استفاده از آن احتمالا غیرعاقلانه است؛ حداقل در مواقعی که واقعا اهمیت دارد.
مایکروسافت، شرکتی که محصولاتش بخش زیادی از جهان کاری را اداره می‌کند، با افتخار اعلام کرده که ۳۰ تا ۴۰ درصد کدهای جدیدش توسط هوش مصنوعی نوشته می‌شود. این موضوع به شکاکانی مانند بالدور بیارناسون امید مالی برای آینده می‌دهد.
➕ نکته اضافه: در حال حاضر بخش قابل‌توجهی از کدها توسط هوش مصنوعی تولید می‌شود اما در آینده، وقتی این کدها باعث بروز خطا، باگ، آسیب‌پذیری‌های امنیتی یا مشکلات عملکردی شوند، نیاز به توسعه‌دهندگانی پیش می‌آید که این مشکلات را برطرف کنند. به همین دلیل، منتقدانی مانند Baldur Bjarnason معتقدند اگرچه امروز استفاده از AI رایج شده، اما در سال‌های آینده فرصت‌های درآمدزایی خوبی برای کسانی ایجاد می‌شود که مسئولیت اصلاح این وضعیت را بر عهده می‌گیرند.
منبع: developer-tech.com
دیدگاهتان را بنویسید