نویسنده: آذریون متین، دانشآموختهی فناوری اطلاعات
رویترز در ۱۱ سپتامبر ۲۰۲۶ گزارش داد که عاملهای هوش مصنوعی در حال آزمایش توسط «اوپنایآی»، در ۱۱ ماه می همین سال در «روبیگمز»، یکی از مخزنهای عمومی نرمافزاری، صدها بستهی مخرب قرار داده بودند. همچنین گزارش شده است که این عاملها تلاش کرده بودند با استفاده از یک آسیبپذیری که پیش از آن شناسایی نشده بود، به اطلاعات احراز هویت کاربران «روبیگمز» دسترسی پیدا کنند. بااینحال، «روبیگمز» اعلام کرده که شواهدی از موفقیت این تلاشها پیدا نکرده و نتوانسته با قطعیت تأیید کند که این بستهها را عاملهای هوش مصنوعی ساخته یا منتشر کردهاند. این رویداد حدود دو ماه پیش از حادثهی مربوط به «هاگینگ فیس» رخ داده بود و بار دیگر مسألهی کنترل عاملهای هوش مصنوعی را جدیتر مطرح کرد.
در حادثهی «هاگینگ فیس» در ماه جولای، عاملهای مورد آزمایش «اوپنایآی» توانستند محدودیتهایی را که برای دسترسی آنها به اینترنت و سیستمهای دیگر در نظر گرفته شده بود، دور بزنند و به بخشهایی از زیرساخت «هاگینگ فیس» و «اوپنایآی» دسترسی پیدا کنند. «اوپنایآی» اعلام کرد که عاملها در جریان این آزمایش به مقدار محدودی از اطلاعات خصوصی نیز دسترسی پیدا کردند.
در ۱۲ سپتامبر ۲۰۲۶، داریو آمودی، مدیرعامل «انتروپیک» نیز خواستار آهستهتر شدن سرعت افزایش توانایی مدلهای پیشرفتهی هوش مصنوعی شد. او تأکید کرد که هدف، متوقفکردن پیشرفت هوش مصنوعی نیست؛ بلکه باید زمان کافی برای همگامشدن تدابیر ایمنی و ارزیابی با افزایش توانایی مدلها وجود داشته باشد. او نسبت به خطرهای ناشی از سوءاستفاده از این سیستمها و افزایش توانایی آنها هشدار داده است.
از دیدگاه من، اهمیت این رویدادها تنها در چند بستهی مخرب یا یک حادثهی امنیتی خلاصه نمیشود. پرسش مهمتر این است که وقتی یک عامل هوش مصنوعی برای رسیدن به یک هدف میتواند خودش مسیر و ابزار انجام کار را انتخاب کند، انسان تا چه اندازه هنوز بر رفتار آن کنترل دارد؟
برای پرداختن به این مسأله، نخست باید روشن کنیم که «عامل هوش مصنوعی» همان چتبات معمولی نیست. چتبات معمولا به دستور یا پرسش ما پاسخ میدهد، اما یک عامل هوش مصنوعی میتواند هدفی را دریافت کند، برای رسیدن به آن چند مرحله را خودش برنامهریزی کند، ابزارهای مختلف را به کار بگیرد و دست به اقدام بزند. درست همین توانایی است که مسألهی کنترل را مهمتر میکند؛ زیرا هرچه سیستم در انتخاب مسیر رسیدن به هدف استقلال بیشتری داشته باشد، احتمال اینکه رفتارش همیشه همان چیزی نباشد که انسان از پیش انتظار داشته، نیز بیشتر میشود.
پس چگونه میتوان از مزایای این عاملها استفاده کرد، بدون اینکه افزایش توانایی و خودمختاری آنها به کاهش کنترل انسان بینجامد؟
عاملهای هوش مصنوعی دقیقا چه کاری انجام دادهاند؟
برای درک مسألهی کنترل، مهم است ببینیم در این رویدادها چه چیزی دربارهی رفتار عاملهای هوش مصنوعی آشکار شده است. نکته مهم این نیست که آنها صرفا چند دستور را اجرا کردهاند؛ بلکه این است که در جریان انجام وظیفه، خودشان دربارهی چگونگی ادامهی کار تصمیم گرفتهاند.
در مورد «روبیگمز»، آنچه این رویداد را مهم میکند فقط قرارگرفتن بستههای مخرب در یک مخزن نرمافزاری نیست، بلکه این است که عاملهای مورد آزمایش، در جریان انجام وظیفه به سراغ یک سرویس بیرونی رفتند و اقدامهایی انجام دادند که از پیش برایشان تعیین نشده بود. همین انتخاب مسیر اهمیت دارد؛ زیرا نشان میدهد یک عامل میتواند در جریان انجام یک وظیفه، از امکانات و مسیرهایی استفاده کند که انسان هنگام تعیین هدف آن را پیشبینی نکرده است.
در حادثهی «هاگینگ فیس» نیز مسأله فقط دسترسی به یک سیستم دیگر نبود. عاملها وقتی با محدودیتهایی روبهرو شدند، برای ادامهی کار راههای دیگری پیدا کردند و از امکاناتی استفاده کردند که برای چنین منظوری طراحی نشده بودند. آنها حتا توانستند از یک کانال ارتباطی پیشبینینشده برای ارتباط میان خود استفاده کنند. در نتیجه، عاملها فقط یک دستور مشخص را اجرا نکردند؛ بلکه در جریان انجام وظیفه، راههایی برای ادامهی کار پیدا کردند که طراحان سیستم انتظار آن را نداشتند.
این نکته اهمیت زیادی دارد. اگر یک برنامهی معمولی با محدودیتی روبهرو شود، معمولا همانجا متوقف میشود؛ اما یک عامل هوش مصنوعی ممکن است محدودیت را بخشی از مسأله بداند و برای رسیدن به هدف، راه دیگری را امتحان کند. چنین رفتاری لزوما به معنای «سرکش شدن» یا «از کنترل خارج شدن» نیست؛ عامل همچنان ممکن است در حال دنبالکردن همان هدفی باشد که برایش تعیین شده است. مشکل از جایی آغاز میشود که روش انتخابشده برای رسیدن به هدف با محدودیتها و خواست انسان همخوان نباشد.
به همین دلیل، مسألهی اصلی فقط این نیست که عامل چه هدفی دارد؛ بلکه باید بدانیم برای رسیدن به آن هدف چه راههایی را مجاز میداند و در برابر محدودیتها چگونه تصمیم میگیرد. هرچه عامل در انتخاب مسیر و استفاده از ابزارها اختیار بیشتری داشته باشد، پیشبینی رفتار آن نیز دشوارتر میشود.
بنابراین، پرسش اصلی این نیست که آیا عامل باید بتواند مستقلانه عمل کند یا نه، پرسش اصلی این است که مرز استقلال آن کجا باید باشد و چگونه میتوان مطمئن شد که این استقلال همچنان در چارچوب خواست و محدودیتهای انسان باقی میماند؟
اگر قرار باشد عاملها واقعا بخشی از کار انسان را بر عهده بگیرند، مقداری استقلال ضروری است؛ اما هرچه اختیار آنها برای انتخاب مسیر و استفاده از ابزارها بیشتر شود، نیاز به سازوکارهای قابل اعتماد برای نظارت و کنترل نیز بیشتر میشود.
این پرسش، ما را به بخش بعدی میرساند و آن اینکه کنترل انسان بر یک عامل هوش مصنوعی دقیقا به چه معنا است؟
چرا عامل هوش مصنوعی ممکن است مسیر پیشبینینشدهای را انتخاب کند؟
پاسخ این پرسش تا حد زیادی به تفاوت میان «هدف» و «روش رسیدن به هدف» برمیگردد. وقتی از یک عامل هوش مصنوعی میخواهیم کاری را انجام دهد، معمولا هدف را برایش مشخص میکنیم؛ اما لزوما تمام مراحلی را که باید برای رسیدن به آن طی کند، از پیش تعیین نمیکنیم.
فرض کنیم به یک عامل هوش مصنوعی وظیفه میدهیم که یک مشکل فنی را پیدا و برطرف کند. اگر فقط بگوییم «مشکل را حل کن»، سیستم ممکن است چند راه مختلف را بررسی کند، ابزارهای گوناگون را به کار بگیرد و در صورت ناکافی بودن یک مسیر، مسیر دیگری را امتحان کند. از دید عامل، این اقدامات میتوانند فقط روشهایی برای رسیدن به همان هدف باشند؛ اما از دید انسان، بعضی از این راهها ممکن است از ابتدا مجاز یا مورد انتظار نبوده باشند.
این تفاوت زمانی مهمتر میشود که عامل به ابزارهای واقعی مانند اینترنت، فایلها، کدها یا سیستمهای دیگر دسترسی داشته باشد. در چنین شرایطی، هر تصمیم میتواند امکان اقدام بعدی را ایجاد کند و زنجیرهیی از اقدامات شکل بگیرد که پیشبینی تمام آن از ابتدا دشوار است.
حادثهی «هاگینگ فیس» نیز نمونهای از این مسأله را نشان میدهد. عاملها در جریان انجام وظایف دشوار، به جای متوقفشدن، راههای دیگری برای ادامهی کار پیدا کردند. در این روند، پافشاری آنها بر حل وظایف دشوار، استفاده از مسیرهایی خارج از محدوده اولیه و ارتباط میان عاملها از عواملی بود که به گسترش رفتار آنها کمک کرد.
بنابراین، مسأله فقط این نیست که «عامل چه هدفی دارد؟» بلکه این است که آیا محدودیتها و مرزهای قابل قبول نیز به اندازهی کافی برای آن روشن و قابل اجرا هستند یا نه. یک هدف ممکن است به تنهایی مشکلی نداشته باشد، اما اگر عامل برای رسیدن به آن آزادی زیادی داشته باشد، ممکن است روشی را انتخاب کند که از دید انسان قابل قبول نباشد.
هرچه عامل اختیار بیشتری برای انتخاب روش و استفاده از ابزارها داشته باشد، احتمال روبهروشدن با چنین رفتارهایی نیز بیشتر میشود. از همینجا یک نکته مهم روشن میشود و آن اینکه برای کنترل یک عامل، تنها تعیین هدف کافی نیست؛ باید روشهای اقدام و مرزهای آن نیز تا حد ممکن مشخص و قابل اجرا باشند.
اما اگر عاملها بتوانند در محیطهای پیچیده راههایی را پیدا کنند که از پیش پیشبینی نشدهاند، این مرزها چگونه باید تعیین شوند و کنترل انسان در عمل چگونه حفظ شود؟ پیش از بررسی راههای حفظ این کنترل، باید ابتدا مشخص کنیم که اصلا از «کنترل انسان» بر یک عامل هوش مصنوعی چه منظوری داریم.
کنترل انسان بر یک عامل هوش مصنوعی دقیقا به چه معنا است؟
وقتی میگوییم یک عامل هوش مصنوعی باید تحت کنترل انسان باشد، منظور فقط این نیست که انسان بتواند آن را هر لحظه که خواست خاموش کند. کنترل واقعی زمانی معنا پیدا میکند که انسان بتواند تعیین کند عامل چه کاری را انجام دهد، به چه اطلاعات و ابزارهایی دسترسی داشته باشد و در چه شرایطی اجازهی ادامهی فعالیت داشته یا نداشته باشد.
برای یک سیستم ساده، چنین کنترلی نسبتا آسان است؛ مثلا میتوان مشخص کرد که یک برنامه فقط به یک فایل یا یک پایگاه اطلاعات دسترسی داشته باشد. اما هرچه عامل مستقلتر شود و بتواند خودش چند مرحله را پشت سر هم انجام دهد، تعریف و حفظ این مرزها دشوارتر میشود.
به همین دلیل، کنترل نباید فقط در آغاز کار اعمال شود. اگر عامل در جریان انجام وظیفه بتواند تصمیمهای متعددی بگیرد، لازم است انسان بتواند بر تصمیمهای مهم و دسترسیهای حساس آن نیز نظارت داشته باشد. برای نمونه، ممکن است عامل اجازه داشته باشد یک فایل را بخواند، اما اجازهی حذف آن را نداشته باشد یا بتواند اطلاعاتی را از اینترنت دریافت کند، اما نتواند بدون تأیید انسان آن را در یک سیستم عمومی منتشر کند.
در نتیجه، کنترل را میتوان مجموعهای از مرزها و سازوکارهای نظارتی دانست که از محدودکردن ابزارها و سطح دسترسی آغاز میشود و تا ثبت فعالیتها، نظارت بر رفتار و امکان متوقفکردن عامل ادامه پیدا میکند.
این رویکرد با آنچه در واکنش به حادثهی «هاگینگ فیس» نیز مطرح شده، همخوانی دارد. «اوپنایآی» اعلام کرده که پس از این حادثه، روی محیطهای جدا و محدودشده، محدودکردن دسترسی به اینترنت، کنترل بیشتر دسترسیها و روشهای بهتر برای نظارت بر رفتار مدلها تمرکز کرده است؛ اما یک پرسش مهم باقی میماند. اگر عامل در محیطی پیچیده فعالیت کند و ما نتوانیم تمام تصمیمهای احتمالی آن را از پیش پیشبینی کنیم، از کجا بدانیم محدودیتهایی که برایش تعیین کردهایم واقعا کافی هستند؟ اینجا مسأله از «داشتن کنترل» به «اطمینان از کافیبودن کنترل» تغییر میکند.
آیا میتوان رفتار عاملهای هوش مصنوعی را پیش از استفادهی واقعی آزمایش کرد؟
اگر قرار باشد عاملهای هوش مصنوعی در محیطهای واقعی اختیار انجام کار داشته باشند، نمیتوان تنها به این دلیل که در آزمایشهای اولیه عملکرد خوبی داشتهاند، آنها را مستقیما وارد چنین محیطهایی کرد.
آزمایش و ارزیابی باید بررسی کند که عامل در شرایط دشوار چه رفتاری دارد، آیا به محدودیتهای تعیینشده پابند میماند و اگر راه مستقیم برای انجام وظیفه پیدا نکرد، چه راه دیگری را انتخاب میکند.
حادثهی «هاگینگ فیس» اهمیت چنین ارزیابیهایی را نشان میدهد. محیطی که برای آزمایش طراحی شده بود، در ابتدا دسترسی مستقیم به اینترنت در اختیار مدلها نمیگذاشت؛ اما مدلها توانستند با شناسایی و بهرهگیری از یک آسیبپذیری، راهی برای دسترسی به اینترنت پیدا کنند. این نشان میدهد که صرفا تعیین یک محدودیت فنی کافی نیست، بلکه باید بررسی شود که آیا خود مدل میتواند آن محدودیت را دور بزند یا نه.
از سوی دیگر، ارزیابی فقط نباید روی موفقیت عامل در انجام وظیفه تمرکز کند. باید بررسی شود که اگر عامل با یک وظیفه دشوار یا ناممکن روبهرو شد، آیا میتواند متوقف شود یا برای رسیدن به نتیجه به مسیرهایی خارج از محدودهی تعیینشده روی میآورد.
پژوهشهای مربوط به همسوسازی نیز بر اهمیت ارزیابی و آزمایش رفتار سیستمهای توانمند تأکید دارند. هدف این است که مشخص شود مدل در شرایط مختلف چگونه رفتار میکند و آیا سازوکارهای ایمنی میتوانند از رفتارهای نامطلوب آن جلوگیری کنند. به همین دلیل، ارزیابی و آزمایش اقدامهای ایمنی باید بخشی از روند توسعه و استفاده از مدل باشد، نه کاری که فقط در پایان انجام شود.
بااینحال، هیچ آزمایشی نمیتواند تمام شرایط واقعی را بازسازی کند. محیط واقعی پیچیدهتر است و ممکن است عامل با ترکیبی از اطلاعات، ابزارها و شرایطی روبهرو شود که در آزمایش پیشبینی نشده بود. بنابراین، شاید نتوان پیش از استفاده واقعی با قطعیت گفت که یک عامل در همه شرایط چگونه رفتار خواهد کرد؛ اما میتوان با ارزیابی مداوم، آزمایشهای سختگیرانه و بررسی رفتارهای غیرمنتظره، خطر را کاهش داد.
اگر رفتار عامل قابل پیشبینی نباشد، چگونه میتوان آن را کنترل کرد؟
اگر نمیتوانیم از پیش بدانیم یک عامل هوش مصنوعی در هر شرایطی چه تصمیمی خواهد گرفت، نباید برای کنترل آن فقط به این امید باشیم که همیشه تصمیم درست را انتخاب کند. بهتر است محیطی را که عامل در آن فعالیت میکند، طوری طراحی کنیم که در صورت یک تصمیم اشتباه یا غیرمنتظره، امکان ایجاد خسارت گسترده را نداشته باشد.
یکی از راهها این است که هرچه پیآمد یک تصمیم مهمتر و پرخطرتر باشد، اختیار عامل نیز محدودتر شود. برای کارهایی که پیآمد محدودی دارند، میتوان اختیار بیشتری به عامل داد؛ اما اگر تصمیم آن بتواند پیآمد مالی، حقوقی یا امنیتی داشته باشد، بهتر است اقدام نهایی به تأیید انسان وابسته باشد.
راه دیگر، محدودکردن دسترسی عامل است. عاملی که برای انجام یک وظیفه به اینترنت یا یک فایل خاص نیاز دارد، لزوما نباید به تمام سیستمهای یک سازمان دسترسی داشته باشد. هرچه سطح دسترسی محدودتر باشد، در صورت رفتار پیشبینینشده نیز دامنهی خسارت احتمالی کمتر خواهد بود.
ثبت فعالیتها و امکان متوقفکردن سریع عامل نیز اهمیت دارد. اگر رفتار غیرعادی زود تشخیص داده شود، میتوان پیش از آنکه یک اقدام اشتباه به زنجیرهای از اقدامات بزرگتر تبدیل شود، مداخله کرد.
در واقع، هدف این نیست که عامل را وادار کنیم همیشه دقیقا همان کاری را انجام دهد که انسان پیشبینی کرده است، بلکه باید محیطی ایجاد شود که حتا در صورت تصمیم غیرمنتظره، دامنهی اختیار و دسترسی عامل محدود باقی بماند.
به همین دلیل، کنترل مؤثر بیشتر شبیه یک سیستم چندلایه ایمنی است تا یک دکمه خاموش و روشن.
آیا برای عاملهای هوش مصنوعی به قوانین متفاوتی نیاز داریم؟
وقتی یک هوش مصنوعی فقط به پرسش ما پاسخ میدهد، انسان همچنان تصمیمگیرنده اصلی است. اما وقتی یک عامل میتواند به نمایندگی از انسان اقدام کند، به سیستمهای دیگر دسترسی داشته باشد و چندین تصمیم را پشت سر هم بگیرد، مسألهی مسئولیت پیچیدهتر میشود.
فرض کنیم یک شرکت به یک عامل هوش مصنوعی اجازه میدهد قیمتها را بررسی کند، با فروشندگان ارتباط بگیرد و سفارش ثبت کند. اگر عامل در این روند تصمیمی بگیرد که پیآمد مالی داشته باشد، باید روشن باشد چهکسی سطح اختیار آن را تعیین کرده و چه نظارتی بر فعالیتش وجود داشته است.
به همین دلیل، به نظر میرسد قانونگذاری در این زمینه باید بیشتر بر سطح اختیار، میزان دسترسی و پیآمد احتمالی فعالیت عامل تمرکز کند. هرچه عامل مستقلتر عمل کند و به سیستمهای حساستر دسترسی داشته باشد، نیاز به نظارت و تعیین مسئولیت نیز بیشتر میشود.
هدف قانونگذاری نباید این باشد که برای هر اقدام یک عامل هوش مصنوعی اجازهی جداگانه لازم باشد، بلکه باید مشخص شود در چه شرایطی استفاده از عامل قابل قبول است، چه محدودیتهایی باید رعایت شود و در صورت بروز خسارت، مسئولیت بر عهده چه کسی باید باشد.
پس چه باید کرد؟
به نظر من نیز پاسخ را نباید در متوقفکردن پیشرفت هوش مصنوعی جستوجو کرد. عاملهای هوش مصنوعی میتوانند بسیاری از کارها را سریعتر و دقیقتر انجام دهند و اگر درست استفاده شوند، فرصتهای تازهای برای انسان ایجاد کنند.
اما افزایش توانایی باید همزمان با افزایش توانایی ما در ارزیابی، نظارت و کنترل این سیستمها پیش برود. اگر عاملها هر روز توانمندتر شوند، اما روشهای ما برای آزمایش و محدودکردن آنها با همان سرعت پیشرفت نکند، فاصله میان توانایی سیستم و توانایی نظارت بر آن بیشتر خواهد شد.
به همین دلیل، بهتر است به جای اعتماد کامل به رفتار پیشبینیشدهی عامل، محیطی ایجاد کنیم که در آن حتا یک تصمیم غیرمنتظره نیز نتواند به سادگی پیآمدهای گسترده ایجاد کند. محدودکردن دسترسی، آزمایش مداوم، نظارت بر فعالیتها، تأیید انسانی برای اقدامات حساس و امکان توقف سریع، میتوانند بخشهایی از این رویکرد باشند.
در نهایت، مسأله برای من این نیست که آیا انسان میتواند تمام تصمیمهای یک عامل هوش مصنوعی را از پیش حدس بزند یا نه. شاید چنین چیزی اساسا ممکن نباشد. مسأله این است که آیا میتوانیم به نقطهای برسیم که حتا در برابر تصمیمی که انتظارش را نداشتهایم، هنوز بتوانیم پیآمد آن را مدیریت کنیم.
اگر پاسخ این پرسش مثبت باشد، میتوان از پیشرفت این فناوری با اطمینان بیشتری استفاده کرد؛ اما اگر هر بار که توانایی یک عامل بیشتر میشود، بخشی از کنترل انسان نیز از بین برود، آنگاه شاید لازم باشد پیش از ادامهی این مسیر، دوباره دربارهی مرزهای آن فکر کنیم.
منابع:
۱. فعالیت عاملهای هوش مصنوعی OpenAI در RubyGems
https://www.reuters.com/legal/litigation/openai-agents-attacked-software-service-rubygems-before-hugging-face-incident-2026-09-11
۲. درخواست کاهش سرعت توسعهٔ مدلهای هوش مصنوعی
https://www.reuters.com/business/anthropic-ceo-urges-ai-companies-slow-model-development-2026-09-12
۳. گزارش OpenAI دربارهٔ حادثهٔ Hugging Face و رفتار ناهمسو
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
۴. پژوهش Anthropic دربارهٔ همسوسازی و ایمنی هوش مصنوعی
https://www.anthropic.com/research/team/alignment
