نویسنده: آذریون متین، دانشآموختهی فناوری اطلاعات
کمیسار عالی حقوق بشر سازمان ملل متحد، ولکر ترک، در تازهترین سخنان خود در شورای حقوق بشر دربارهی سرعت پیشرفت هوش مصنوعی هشدار داده و بر ضرورت ایجاد تضمینهای جدی برای ایمنی و امنیت این فناوری تأکید کرده است. او دربارهی خطراتی سخن گفته که میتوانند در صورت نبود کنترل و سازوکارهای مناسب، پیآمدهایی بسیار گسترده برای انسانها داشته باشند و خواستار تعیین مرزهای روشن برای توسعه و استفاده از هوش مصنوعی شده است.
این هشدار در زمانی مطرح میشود که هوش مصنوعی با سرعت زیادی در حال پیشرفت است و از یک ابزار تخصصی در حوزهی فناوری به فناوریای تبدیل شده که به حوزههای آموزش، پزشکی، اقتصاد، ارتباطات، امنیت، تولید محتوا و تصمیمگیری وارد شده است.
اما این هشدار دقیقا چه معنایی دارد؟ آیا منظور این است که هوش مصنوعی حتما روزی علیه انسانها خواهد شد؟ یا نگرانی اصلی در جای دیگری است؟ و مهمتر از همه، پیام این هشدار برای ما انسانها چیست و ما بهعنوان کاربران، شرکتهای فناوری و دولتها چه مسئولیتی داریم؟
برای پاسخ به این پرسشها، باید میان آنچه امروز در حال وقوع است و خطرهایی که ممکن است با پیشرفت بیشتر این فناوری ایجاد شوند، تفاوت بگذاریم.
تهدید هوش مصنوعی برای بشریت دقیقا چیست؟
وقتی از «تهدید برای بشریت» صحبت میکنیم، نباید فورا به فیلمهای علمی-تخیلی و رباتهایی فکر کنیم که علیه انسانها شورش میکنند. خطرات هوش مصنوعی بسیار گستردهتر از چنین سناریویی هستند.
بخشی از این خطرات همین اکنون قابل مشاهده اند: نقض حریم خصوصی، تبعیض در تصمیمگیریهای خودکار، تولید و انتشار اطلاعات نادرست، جعل هویت، دستکاری افکار عمومی، سوءاستفادههای سایبری و استفادهی نادرست از هوش مصنوعی در حوزههای حساس.
یونسکو نیز در توصیهنامهی جهانی خود دربارهی اخلاق هوش مصنوعی هشدار میدهد که این فناوری میتواند سوگیریهای موجود را بازتولید و تشدید کند، حقوق بشر را تهدید کند و آسیبهای موجود در جامعه را افزایش دهد. این نهاد بر ارزیابی خطر، امنیت، حفاظت از حریم خصوصی، پاسخگویی، شفافیت، نظارت انسانی و سواد هوش مصنوعی تأکید کرده است.
اما یک سطح دیگر از نگرانی نیز وجود دارد: سیستمهای بسیار پیشرفتهای که ممکن است در آینده توانایی و میزان خودمختاری بیشتری پیدا کنند و در نتیجه، پیشبینی یا کنترل رفتار آنها دشوارتر شود. هشدار اخیر ولکر ترک را نیز باید در چارچوب همین نگرانیهای بلندمدت فهمید.
البته از نظر علمی نباید این هشدار را به این معنا تفسیر کرد که نابودی بشریت توسط هوش مصنوعی قطعی است. چنین ادعایی فراتر از شواهد موجود است. معنای هشدار این است که اگر احتمال یک خطر بسیار بزرگ وجود دارد، نمیتوان منتظر وقوع فاجعه ماند و بعد به فکر ایجاد سازوکارهای حفاظتی لازم افتاد.
بنابراین، پرسش اصلی فقط این نیست که «هوش مصنوعی چقدر قدرتمند خواهد شد؟» بلکه باید بپرسیم: این قدرت در اختیار چه کسانی خواهد بود، چگونه کنترل خواهد شد، چه محدودیتهایی خواهد داشت و اگر اشتباهی رخ دهد، چهکسی پاسخگو خواهد بود؟
آیا مشکل فقط فناوری است؟
هوش مصنوعی ذاتا یک تهدید نیست. همین فناوری میتواند به انسان در حوزههای پزشکی، آموزش، پژوهش، مهندسی و بسیاری زمینههای دیگر کمک کند. مسأله زمانی جدیتر میشود که قدرت تصمیمگیری، تحلیل یا تولید محتوا در مقیاس بسیار بزرگ در اختیار سیستمهایی قرار گیرد که کنترل، شفافیت و پاسخگویی کافی دربارهی آنها وجود نداشته باشد.
هرچه استفاده از هوش مصنوعی در تصمیمهای مهم بیشتر شود، اهمیت این موضوع نیز افزایش مییابد. فرض کنیم یک سیستم هوش مصنوعی برای پیشنهاد یک فیلم یا ترجمهی یک متن اشتباه کند. پیآمد آن معمولا محدود است. اما اگر یک سیستم در استخدام، خدمات مالی، پزشکی، مهاجرت، امنیت یا خدمات عمومی مورد استفاده قرار گیرد، یک خطا میتواند مستقیما بر زندگی، آزادی، امنیت یا حقوق یک انسان اثر بگذارد.
از اینجا روشن میشود که بحث هوش مصنوعی فقط بحث فناوری نیست؛ بحث قدرت، حقوق بشر و مسئولیت نیز هست. به همین دلیل، یونسکو تأکید میکند که سیستمهای هوش مصنوعی باید قابل بررسی و ردیابی باشند و در کنار آن، بررسی پیآمدها، نظارت و سازوکارهای پاسخگویی وجود داشته باشند.
اگر تشخیص واقعیت دشوار شود، چه اتفاقی میافتد؟
یکی از خطرهای مهم و ملموس هوش مصنوعی، افزایش توانایی تولید محتوای ساختگی است. امروز میتوان با کمک هوش مصنوعی متن، تصویر، صدا و ویدیوهایی تولید کرد که برای بسیاری از مردم واقعی به نظر برسند. این قابلیت میتواند برای آموزش، سرگرمی و تولید محتوا بسیار مفید باشد؛ اما در صورت سوءاستفاده میتواند به کلاهبرداری، جعل هویت، انتشار اطلاعات نادرست و دستکاری افکار عمومی کمک کند.
مشکل فقط «زیاد شدن دروغ» نیست. خطر عمیقتر این است که اعتماد عمومی به اطلاعات کاهش یابد. اگر مردم بدانند که یک تصویر یا ویدیو میتواند جعلی باشد، ممکن است حتا در برابر محتوای واقعی نیز با تردید برخورد کنند. در چنین شرایطی، جامعه با یک مشکل اساسی روبهرو میشود: اگر نتوانیم به آسانی تشخیص دهیم چه چیزی واقعی است، تصمیمگیری آگاهانه نیز دشوارتر میشود.
اینجا است که سواد رسانهای و سواد هوش مصنوعی اهمیت پیدا میکند. مردم باید بدانند که ظاهر واقعی یک محتوا به معنای واقعی بودن آن نیست و پیش از باور کردن یا انتشار آن، باید منبع و صحت اطلاعات را بررسی کنند.
ما بهعنوان کاربران چه مسئولیتی داریم؟
در برابر این خطرات، کاربران نیز مسئولیت دارند؛ اما باید یک مرز مهم را روشن کنیم: کاربر نباید مسئول تمام خطرات هوش مصنوعی دانسته شود.
یک کاربر عادی نه قدرت یک شرکت بزرگ فناوری را دارد و نه امکانات یک دولت یا نهاد نظارتی را دارد؛ بنابراین، نمیتوان انتظار داشت که او به تنهایی تمام خطرات یک فناوری پیچیده را مدیریت کند. بااینحال، رفتار کاربران میتواند بسیاری از خطرات روزمره را کاهش دهد.
نخست اینکه نباید هر پاسخ هوش مصنوعی را حقیقت قطعی بدانیم. سیستمهای هوش مصنوعی ممکن است اطلاعات نادرست یا گمراهکننده تولید کنند، حتا زمانی که پاسخ آنها بسیار مطمئن به نظر برسد. بنابراین، در موضوعات مهم باید اطلاعات تولیدشده توسط هوش مصنوعی را با منابع معتبر بررسی کنیم.
دوم اینکه باید در وارد کردن اطلاعات شخصی و محرمانه احتیاط کنیم. اطلاعات مالی، رمزهای عبور، اسناد محرمانه و سایر اطلاعات حساس را نباید بدون ضرورت در اختیار ابزارهای هوش مصنوعی قرار دهیم.
سوم، نباید محتوای مشکوک را فقط بهدلیل جذاب یا احساسی بودن فورا بازنشر کنیم. اگر یک تصویر، صدا، ویدیو یا خبر میتواند بر تصمیم یا احساس ما تأثیر جدی بگذارد، بهتر است پیش از بازنشر، منبع آن را بررسی کنیم. و مهمتر از همه، نباید قضاوت انسانی را بهطور کامل به ماشین واگذار کنیم.
هوش مصنوعی میتواند یک دستیار قدرتمند باشد، اما در تصمیمهایی که با حقوق، جان، آزادی یا آیندهی انسانها ارتباط دارند، باید روشن باشد که چه انسانی مسئول تصمیم نهایی است.
شرکتهای فناوری چه مسئولیتی دارند؟
اگر خطرات هوش مصنوعی را فقط به رفتار کاربران محدود کنیم، بخش مهمی از مسأله را نادیده گرفتهایم.
شرکتی که یک سیستم قدرتمند هوش مصنوعی را طراحی و عرضه میکند، باید پیش از عرضهی آن بپرسد: این سیستم چگونه ممکن است مورد سوءاستفاده قرار گیرد؟ چه خطاهایی ممکن است ایجاد کند؟ چه کسانی بیشتر در معرض آسیب هستند؟ چگونه میتوان خطرها را کاهش داد؟ و اگر سیستم آسیب جدی ایجاد کرد، چهکسی پاسخگو خواهد بود؟
بنابراین، مدیریت خطر نباید پس از وقوع حادثه آغاز شود. باید از مرحلهی طراحی، توسعه، آزمایش و ارزیابی سیستم شروع شود و پس از عرضه نیز ادامه پیدا کند.
چارچوب مدیریت خطر هوش مصنوعی مؤسسهی ملی استاندارد و فنآوری امریکا نیز دقیقا بر همین رویکرد تأکید دارد. این چارچوب برای کمک به سازمانها در مدیریت خطرهای هوش مصنوعی در طراحی، توسعه، استفاده و ارزیابی سیستمها ایجاد شده است. البته این چارچوب در امریکا یک چارچوب داوطلبانه است، نه یک قانون عمومی و اجباری. اما این رویکرد یک پیام مهم دارد:
امنیت هوش مصنوعی نباید بعد از وقوع حادثه شروع شود؛ باید از ابتدا بخشی از طراحی و توسعهی آن باشد.
آیا انسانها باید تنها ناظر تصمیمهای هوش مصنوعی باشند یا اختیار هم داشته باشند؟
یکی از مهمترین راههای کاهش خطر، حفظ نظارت انسانی واقعی است؛ اما «نظارت انسانی» نباید فقط به این معنا باشد که یک نفر کنار سیستم نشسته باشد و در پایان یک دکمه «تأیید» را فشار دهد.
اتحادیه اروپا در قانون هوش مصنوعی خود برای سیستمهای پرخطر، الزامات مشخصی در زمینهی نظارت انسانی تعیین کرده است. این سیستمها باید بهگونهای طراحی شوند که انسان بتواند عملکرد آنها را بهطور مؤثر زیر نظر داشته باشد و خطرهای مربوط به سلامت، امنیت و حقوق اساسی را کاهش دهد.
مهمتر از آن، فرد مسئول نظارت باید بتواند محدودیتها و تواناییهای سیستم را درک کند، عملکرد آن را زیر نظر بگیرد، مراقب اعتماد بیش از حد به خروجی ماشین باشد و در صورت ضرورت خروجی سیستم را نادیده بگیرد یا آن را متوقف کند.
این نکته بسیار مهم است: انسان نباید فقط ناظر تصمیم ماشین باشد؛ باید واقعا اختیار بررسی، اصلاح یا متوقف کردن آن را داشته باشد.
دولتها چه باید بکنند؟
در اینجا نمیتوان فقط به توصیههای اخلاقی اکتفا کرد. اگر یک فناوری میتواند بر امنیت، حقوق بشر و زندگی میلیونها نفر اثر بگذارد، دولتها باید چارچوب قانونی و نهادهای نظارتی مناسب ایجاد کنند. این نظارت میتواند شامل ارزیابی خطر پیش از استفاده، آزمایشهای امنیتی، مستندسازی سیستمهای پرخطر، حفاظت از اطلاعات شخصی، بررسی مستقل سیستمها، گزارش حوادث، سازوکار شکایت و جبران خسارت و الزام به نظارت انسانی باشد. یونسکو نیز بر بررسی پیآمدها، پاسخگویی و نظارت در طول چرخه عمر هوش مصنوعی تأکید کرده است.
قانونگذاری همچنین باید متناسب با سطح خطر باشد. یک ابزار ساده تولید متن نباید الزاماتی مشابه یک سیستم مورد استفاده برای تصمیمهای حساس دربارهی انسانها داشته باشد. هرچه خطر و میزان خودمختاری یک سیستم بیشتر باشد، سطح نظارت و الزامات ایمنی نیز باید بیشتر شود. هدف قانونگذاری نباید متوقف کردن نوآوری باشد. هدف باید این باشد که سرعت پیشرفت فناوری از سرعت ایجاد سازوکارهای لازم برای حفاظت از انسان جلو نرود.
چرا همکاری بینالمللی ضروری است؟
هوش مصنوعی مرز جغرافیایی نمیشناسد. یک مدل میتواند در یک کشور توسعه داده شود، در کشور دیگری استفاده شود و محتوای تولیدشده توسط آن در چند ثانیه در سراسر جهان منتشر شود. به همین دلیل، قوانین ملی به تنهایی کافی نیستند.
کشورها باید دربارهی استانداردهای ایمنی، آزمایش سیستمهای قدرتمند، امنیت سایبری، حفاظت از اطلاعات، کاربردهای نظامی و کاربردهای غیرقابلقبول هوش مصنوعی همکاری کنند.
هشدار ولکر ترک نیز از همین زاویه اهمیت دارد: اگر فناوری در مقیاس جهانی توسعه مییابد، ایجاد سازوکارهای حفاظتی آن نیز نمیتواند فقط یک مسألهی داخلی برای یک کشور باشد.
یونسکو نیز بر همکاری بینالمللی و مدیریت مشترک و هماهنگ هوش مصنوعی در سطح جهانی و سازگار با حقوق بشر تأکید کرده است.
بنابراین، برای مدیریت خطرهای هوش مصنوعی به یک زنجیرهی مسئولیت نیاز داریم: کاربر آگاه، شرکت مسئول، دولت ناظر و همکاری بینالمللی. هیچکدام به تنهایی کافی نیست.
آیا باید از هوش مصنوعی بترسیم؟
به نظر من، نه باید از هوش مصنوعی بترسیم و نه بدون آگاهی به آن اعتماد کامل کنیم.
هوش مصنوعی میتواند در بسیاری از زمینههای زندگی و کار به انسان کمک کند و فرصتهای تازهای ایجاد کند؛ بنابراین، مسأله این نیست که این فناوری را متوقف کنیم. مسأله این است که هرچه قدرت یک فناوری بیشتر میشود، مسئولیت ما برای کنترل و استفادهی درست از آن نیز باید بیشتر شود.
هشدار ولکر ترک را نیز باید از همین زاویه فهمید. این هشدار به معنای آن نیست که نابودی بشر توسط هوش مصنوعی حتما اتفاق خواهد افتاد. پیام مهمتر این است که اگر فناوری با سرعتی بیشتر از توانایی ما برای مدیریت خطرهای آن پیش برود، ممکن است با پیآمدهایی روبهرو شویم که اصلاح آنها بسیار دشوار باشد. پس نباید منتظر یک فاجعهی بزرگ بمانیم تا تازه دربارهی امنیت، قانون و نظارت صحبت کنیم. برای جلوگیری از چنین وضعیتی، هر یک از ما و نهادهای مسئول باید نقش خود را ایفا کنیم.
کاربران باید آگاهتر شوند و مسئولانهتر از هوش مصنوعی استفاده کنند. شرکتهای فناوری باید خطرها را پیش از عرضه شناسایی و مدیریت کنند. دولتها باید قوانین و نهادهای نظارتی مؤثر ایجاد کنند. نهادهای مستقل باید بتوانند سیستمهای پرخطر را بررسی کنند و جامعهی بینالمللی باید برای خطراتی که از مرز کشورها عبور میکنند، راهحلهای مشترک پیدا کند.
در نهایت، مسألهی آینده این نیست که انسان در برابر هوش مصنوعی قرار بگیرد؛ مسأله این است که آیا انسان میتواند قدرتی را که خودش ساخته، مسئولانه مدیریت کند یا نه.
هوش مصنوعی را نمیتوان فقط با ترس مدیریت کرد؛ باید آن را با دانش، مسئولیت، شفافیت، نظارت و حفظ نقش انسان مدیریت کرد.
منابع:
۱. سازمان ملل متحد؛ سخنان ولکر ترک دربارهی حقوق بشر و هوش مصنوعی
۲. یونسکو؛ توصیهنامهی اخلاق هوش مصنوعی
https://www.unesco.org/en/artificial-intelligence/recommendation-ethics
۳. ایالات متحده؛ چارچوب مدیریت خطر هوش مصنوعی NIST
https://www.nist.gov/itl/ai-risk-management-framework
۴. اتحادیه اروپا؛ قانون هوش مصنوعیhttps://eur-lex.europa.eu/eli/reg/2024/1689/2026-07-27/eng
