یک آزمایش عجیب درباره روی تاریک هوش مصنوعی

چه اتفاقی می‌افتد اگر یک مدل هوش مصنوعی را فقط با مقدار کمی داده نامناسب آموزش دهیم؟ شاید انتظار داشته باشیم نتیجه، صرفاً عملکرد ضعیف‌تر در همان حوزه باشد، اما آزمایش‌های جدید نشان می‌دهند ماجرا می‌تواند بسیار پیچیده‌تر و غیرمنتظره‌تر باشد.

در این اپیزود به پدیده‌ای عجیب در رفتار مدل‌های هوش مصنوعی می‌پردازیم: گاهی تغییر کوچکی در فرایند آموزش می‌تواند رفتارهایی را آشکار کند که ظاهراً هیچ ارتباط مستقیمی با داده‌های آموزشی ندارند. مدل‌هایی که برای یادگیری کدنویسی ناامن آموزش دیده‌اند، در برخی آزمایش‌ها پاسخ‌هایی کاملاً نامتناسب و حتی خصمانه نشان داده‌اند.

این مسئله پرسش مهمی را درباره نحوه شکل‌گیری رفتار در مدل‌های زبانی مطرح می‌کند.‎ آیا هوش مصنوعی فقط همان چیزی را یاد می‌گیرد که مستقیماً به آن آموزش داده‌ایم، یا اینکه در فرایند آموزش، الگوها و شخصیت‌هایی عمیق‌تر شکل می‌گیرند که می‌توانند با یک تغییر کوچک فعال شوند؟ پژوهشگران برای توضیح این پدیده از مفهوم «ناهم‌راستایی نوظهور» استفاده می‌کنند.‎

در ادامه می‌بینیم چرا این رفتارها برای آینده هوش مصنوعی اهمیت دارند و چگونه آزمایش‌های مشابه با داده‌های مربوط به توصیه‌های پزشکی نادرست، تصمیم‌های پرریسک و حتی مجموعه‌ای از اعداد خاص، نتایج غیرمنتظره‌ای ایجاد کرده‌اند.‎ این یافته‌ها نشان می‌دهند مسئله ایمنی و هم‌راستایی هوش مصنوعی ممکن است بسیار ظریف‌تر از چیزی باشد که تصور می‌کنیم.‎

اگر می‌خواهید بدانید یک مدل هوش مصنوعی چگونه ممکن است از یک تغییر کوچک در آموزش، به رفتاری کاملاً متفاوت برسد و این اتفاق چه چیزی درباره سازوکارهای پنهان مدل‌های زبانی آشکار می‌کند، این اپیزود را از دست ندهید.‎