نویسنده: آذریون متین، دانشآموختهی فناوری اطلاعات
یکی از پژوهشگران ارشد ایمنی هوش مصنوعی در شرکت آنتروپیک (Anthropic) هشدار داده است که با سرعت کنونی پیشرفت این فناوری، بیش از ۱۰ درصد احتمال میدهد هوش مصنوعی در یکدههی آینده بتواند به نابودی همهی انسانها منجر شود. ایوان هوبینگر، پژوهشگر حوزهی ایمنی و همسوسازی هوش مصنوعی، در عین حال تأکید کرده است که خطر مدلهای کنونی را پایین میداند. نگرانی او بیشتر به آینده مربوط میشود؛ زمانی که سیستمهای هوش مصنوعی ممکن است تواناییهای بسیار گستردهتر و خودمختاری بیشتری پیدا کنند و حتا بتوانند در بهبود و توسعهی نسلهای بعدی خود نقش داشته باشند.
این هشدارها در حالی مطرح میشوند که جیکوب کاکسون، پژوهشگر هوش مصنوعی و از کارکنان پیشین اوپنایآی و آنتروپیک، بهتازگی از آنتروپیک استعفا داده و دربارهی سرعت حرکت شرکتهای پیشرو بهسوی ساخت سیستمهایی هشدار داده است که ممکن است از توانایی انسان فراتر بروند. او گفته است که این سیستمها در آینده میتوانند توانایی هککردن سامانهها، ایجاد تحول در حوزههای مختلف و دسترسی به قدرت و منابع واقعی را پیدا کنند.
اما آیا این هشدار به این معنا است که واقعا بیش از ۱۰ درصد احتمال دارد هوش مصنوعی بتواند در ده سال آینده بشر را نابود کند؟ چنین برداشتی از این هشدار دقیق نیست. این عدد یک پیشبینی قطعی یا نتیجهی یک محاسبهی علمی قابل تکرار نیست، بلکه برآورد شخصی یک پژوهشگر از خطری است که ممکن است در صورت ادامهی مسیر کنونی توسعهی هوش مصنوعی ایجاد شود.
اهمیت این هشدار نیز بیش از خود عدد، در دلیلی است که پشت آن قرار دارد. پس باید دید چه تغییری ممکن است در توانایی هوش مصنوعی رخ دهد که خطر آن را از سطح مدلهای امروزی به تهدیدی برای بقای انسان برساند.
برای پاسخ به این پرسش، باید ابتدا ببینیم چه چیزی در مسیر پیشرفت هوش مصنوعی میتواند ماهیت خطر را تغییر دهد و چرا موضوع خودبهبوددهی سیستمها تا این اندازه مورد توجه پژوهشگران ایمنی قرار گرفته است.
اینجا «۱۰ درصد» دقیقا چه معنایی دارد؟
در نگاه نخست، «بیش از ۱۰ درصد احتمال انقراض بشر» عددی بسیار بزرگ و نگرانکننده به نظر میرسد. اما این عدد نباید مانند احتمال بارندگی یا یک پیشبینی اقتصادی تفسیر شود؛ زیرا دربارهی رویدادی مانند نابودی بشر، شواهد کافی وجود ندارد که بتوان براساس آن احتمال وقوع چنین رویدادی را با دقت سنجید.
بنابراین، هوبینگر نمیگوید نابودی بشر حتما اتفاق خواهد افتاد یا دانشمندان توانستهاند احتمال وقوع آن را با دقت مشخصی محاسبه کنند. او یک برآورد شخصی از خطر ارائه کرده است؛ برآوردی که به فرضهایی دربارهی مسیر آیندهی هوش مصنوعی و تواناییهایی که ممکن است در آینده به دست آورد، وابسته است.
از همین رو، ممکن است دربارهی خود عدد ۱۰ درصد اختلاف نظر وجود داشته باشد؛ اما این اختلاف نظر نباید باعث شود پرسش اصلی نادیده گرفته شود. پرسش مهمتر این است که چه آیندهای باعث شده یک پژوهشگر ایمنی هوش مصنوعی، نابودی بشر را بهعنوان یک خطر احتمالی در نظر بگیرد؟
چه چیزی میتواند ماهیت خطر را تغییر دهد؟
مدلهای امروزی هوش مصنوعی، با وجود تواناییهای چشمگیر، هنوز محدودیتهای زیادی دارند. آنها ممکن است در بعضی کارها عملکردی فراتر از انسان داشته باشند، اما هنوز نمیتوانند مانند یک انسان مستقل و قابل اعتماد، همهی فعالیتهای پیچیده را در دنیای واقعی انجام دهند.
نگرانی دربارهی آینده از جایی جدیتر میشود که این محدودیتها کاهش یابند و سیستمها بتوانند کارهای پیچیده را با استقلال بیشتری انجام دهند؛ برای نمونه در برنامهنویسی، پژوهش، طراحی سیستمهای جدید و حل مسائل دشوار نقش گستردهتری بگیرند.
یکی از سناریوهای مورد بحث نیز خودبهبوددهی است. خودبهبوددهی یعنی اینکه یک سیستم بتواند در اصلاح کد، طراحی الگوریتم، آزمایش روشهای جدید یا ساخت نسل بعدی سیستمهای هوش مصنوعی نقش داشته باشد.
اگر چنین تواناییای روزی به سطح بسیار بالایی برسد، مسأله فقط ساختن یک مدل جدید توسط انسان نخواهد بود؛ بلکه خود سیستم نیز ممکن است بخشی از فرآیند توسعهی نسل بعدی را بر عهده بگیرد. در آن صورت، سرعت پیشرفت میتواند از سرعت معمول پژوهش انسانی فاصله بگیرد.
البته این سناریو هنوز یک احتمال است، نه یک واقعیت اثباتشده؛ اما همین احتمال، پرسش مهمتری را مطرح میکند: اگر سیستمی بتواند در بهبود تواناییهای خودش نقش داشته باشد، آیا روشهایی که امروز برای نظارت و کنترل یک نرمافزار معمولی به کار میبریم، همچنان برای آن کافی خواهند بود؟
اگر هوش مصنوعی بسیار قدرتمند شود، خطر از کجا آغاز میشود؟
اینجا بحث از توانایی بیشتر به مسألهی کنترل میرسد.
ممکن است تصور کنیم خطر زمانی ایجاد میشود که یک هوش مصنوعی تصمیم بگیرد با انسان دشمنی کند؛ اما نگرانی پژوهشگران ایمنی لزوما چنین چیزی نیست. یک سیستم برای خطرناک شدن لازم نیست از انسان متنفر باشد یا قصد آسیبزدن داشته باشد.
تصور کنیم سیستمی بسیار قدرتمند هدف مشخصی دارد و میتواند برای رسیدن به آن هدف خودش برنامهریزی کند، ابزارهای مختلف را به کار بگیرد و موانع موجود را از میان بردارد. اگر هدف به درستی تعریف نشده باشد یا سیستم راهی را برای رسیدن به آن انتخاب کند که طراحانش پیشبینی نکردهاند، ممکن است نتیجه با هدف و ارزشهای مورد نظر انسان سازگار نباشد.
در چنین شرایطی، مسأله فقط یک خطای ساده نیست. هرچه سیستم توانایی بیشتری برای دنبالکردن هدف خود داشته باشد، ممکن است انحراف کوچکی در تعریف هدف یا روش رسیدن به آن، به نتیجهای بسیار بزرگ و پیشبینینشده منجر شود. به بیان دیگر، هرچه قدرت یک سیستم بیشتر شود، اطمینان از اینکه این قدرت در جهت درست به کار گرفته میشود نیز دشوارتر میشود.
به همین دلیل، مسألهی اصلی در بحث ایمنی هوش مصنوعی این نیست که ماشین را طوری بسازیم که مستقلانه عمل نکند؛ بلکه این است که چگونه مطمئن شویم یک سیستم بسیار قدرتمند، حتا زمانی که مستقلانه عمل میکند، همچنان در محدوده اهداف و ارزشهای مورد نظر انسان باقی میماند.
این همان مسألهی همسوسازی است؛ مسألهای که هنوز پاسخ نهایی و مورد توافقی برای آن وجود ندارد.
اگر خطر بالقوه چنین بزرگ است، چرا با احتیاط بیشتری پیش نمیرویم؟
پاسخ را باید در رقابتی جستوجو کرد که میان شرکتها و کشورها برای ساخت هوش مصنوعی قدرتمندتر شکل گرفته است. برای شرکتهای بزرگ، ساخت مدلهای توانمندتر فقط یک پیشرفت فنی نیست؛ بلکه مسألهی قدرت اقتصادی است. یک مدل بهتر میتواند کاربران بیشتری جذب کند، سرمایه بیشتری به خود جلب کند و جایگاه شرکت را در بازار تقویت کند.
برای دولتها نیز موضوع فقط یک فناوری تجاری نیست. هوش مصنوعی میتواند در آینده بر قدرت اقتصادی، علمی و حتا امنیتی-دفاعی کشورها تأثیر بگذارد. به همین دلیل، کشورها نیز نمیخواهند در توسعهی این فناوری از رقبای خود عقب بمانند.
این رقابت، احتیاط بیشتر را دشوار میکند. فرض کنیم یک شرکت برای آزمایشهای بیشتر، شناسایی خطرها و اطمینان از عملکرد سیستمهایش سرعت توسعه را کاهش دهد؛ اما رقیبش همچنان با سرعت قبلی پیش برود. در چنین شرایطی، شرکت نخست ممکن است نگران باشد که احتیاط بیشتر به معنای از دست دادن فرصتها، سرمایه و جایگاه خود در رقابت باشد. در نتیجه، حتا نگرانی جدی دربارهی خطرهای احتمالی نیز ممکن است در برابر فشار برای عقب نماندن از رقبا قرار گیرد.
از همین رو، این مسأله نمیتواند فقط با درخواست از یک شرکت برای رفتار مسئولانه حل شود. وقتی تصمیم هر شرکت تا حدی به رفتار رقبای آن وابسته باشد و تصمیم کشورها نیز تحت تأثیر عملکرد کشورهای دیگر قرار گیرد، ایجاد ایمنی بیشتر به یک مسألهی مشترک تبدیل میشود.
به همین دلیل، هشدار دربارهی خطرهای هوش مصنوعی در سطح جهانی نیز مطرح شده و بر همکاری بینالمللی برای ایجاد قواعد مشترک تأکید میشود. اگر همهی بازیگران بدانند که رعایت اصول ایمنی به معنای از دست دادن موقعیت رقابتی نیست، امکان ایجاد مسیر امنتری برای توسعهی این فناوری بیشتر خواهد شد.
آیا این هشدارها خودشان قابل اعتماد اند؟
در چنین مسائلی نباید افراط کنیم و هر هشدار دربارهی انقراض بشر را بدون بررسی بپذیریم.
شرکتهای بزرگ هوش مصنوعی منافع اقتصادی و رقابتی گستردهای دارند و مطرحشدن «خطر وجودی هوش مصنوعی» میتواند بر نگاه مردم، تصمیمهای دولتها و حتا سرمایهگذاری و جایگاه شرکتها در بازار تأثیر بگذارد. بنابراین، طبیعی است که دربارهی انگیزههای پشت چنین اظهاراتی نیز پرسش شود.
اما وجود چنین انگیزههایی به تنهایی به این معنا نیست که خود نگرانی بیاساس است. بخشی از این هشدارها از سوی افرادی مطرح میشود که سالها در زمینهی توسعه و ایمنی سیستمهای پیشرفتهی هوش مصنوعی کار کردهاند و نگرانی آنها نیز مشخصا به محدودیتهای روشهای فعلی برای کنترل سیستمهای آینده مربوط میشود. از سوی دیگر، هیچکس نمیتواند امروز ثابت کند که سناریوی انقراض بشر واقعا رخ خواهد داد.
بنابراین، باید هر هشدار را براساس شواهد، استدلال و میزان شناخت ما از فناوری ارزیابی کرد. نه میتوان یک برآورد نامطمئن را واقعیت قطعی دانست و نه میتوان بهدلیل نامطمئن بودن آن، اصل خطر را نادیده گرفت.
اما همین نامطمئن بودن، تصمیمگیری را دشوار میکند؛ زیرا ما هنوز نمیدانیم هوش مصنوعی در آینده دقیقا به چه تواناییهایی دست خواهد یافت و چه خطرهای تازهای ممکن است ایجاد شوند. ممکن است سیستمها پیش از آنکه شناخت ما از تواناییها و خطرهایشان به اندازهی کافی افزایش یابد، به سطحی برسند که ارزیابی و کنترل آنها دشوارتر شود. در چنین شرایطی، منتظر ماندن تا زمانی که وجود خطر بهطور قطعی ثابت شود، ممکن است فرصت لازم برای شناخت خطرها و آمادهشدن برای مقابله با آنها را از بین ببرد.
اگر هنوز مطمئن نیستیم، چه تصمیمی باید بگیریم؟
اینجا شاید مهمترین تفاوت میان «ترس از هوش مصنوعی» و «مدیریت خطر هوش مصنوعی» روشن شود.
ترس میتواند ما را به این نتیجه برساند که باید همهچیز را متوقف کنیم و اعتماد بیش از حد نیز ممکن است باعث شود تا زمانی که حادثهای رخ نداده، هیچ اقدامی نکنیم. هیچکدام پاسخ مناسبی به یک فناوری با چنین ظرفیت گستردهای نیست. شاید پاسخ بهتر این باشد که سرعت پیشرفت باید با سرعت شناخت و مدیریت خطر هماهنگ باشد.
اگر سیستمهای آینده واقعا بتوانند در پژوهش، برنامهنویسی و توسعهی نسلهای بعدی هوش مصنوعی نقش اساسی داشته باشند، شاید نتوان همان روشهای نظارتی امروز را برای آنها کافی دانست. پیش از رسیدن به چنین مرحلهای باید بدانیم چه سطحی از توانایی، خودمختاری و دسترسی میتواند خطر را به شکل جدی افزایش دهد و چه آزمایشهایی باید پیش از عرضهی چنین سیستمهایی انجام شوند.
این به معنای توقف نوآوری نیست. برعکس، هدف این است که پیشرفت فناوری به شکلی انجام شود که اگر خطر تازهای شناسایی شد، هنوز فرصت اصلاح مسیر وجود داشته باشد.
شاید به همین دلیل، بحث دربارهی «۱۰ درصد» در نهایت اهمیت کمتری از این پرسش داشته باشد که آیا ما حاضریم پیش از آنکه هوش مصنوعی به سطحی از قدرت برسد که کنترل آن دشوار شود، برای اطمینان از ایمنی آن وقت بگذاریم؟
در نهایت، مسأله شاید این نباشد که هوش مصنوعی روزی علیه انسان خواهد شد یا نه؛ مسأله این است که آیا انسان میتواند پیش از آنکه سیستمهای بسیار قدرتمند بسازد، مطمئن شود که هنوز توانایی کنترل آنها را دارد؟
منابع:
۱. هشدار دربارهی احتمال نابودی بشر در یکدههی آینده
https://www.cbsnews.com/news/ai-kill-humans-anthropic-researcher-more-than-ten-percent-chance/
۲. استعفای جیکوب کاکسون و نگرانی دربارهی خودبهبوددهی هوش مصنوعی
https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/
۳. همسوسازی و ایمنی هوش مصنوعی
https://www.anthropic.com/research/team/alignment
۴. همکاری امریکا و چین دربارهی ایمنی هوش مصنوعی
https://www.reuters.com/legal/litigation/us-china-gear-up-mid-september-ai-safety-dialogue-2026-09-04/
