به گزارش انجمن خرد آورده شده از ایسنا«اوپن ای آی»(OpenAI) اعلام کرده است که ارزیابی کنندگان ایمنی را از سازمان های Apollo Research، Goodfire، METR و Transluce در شرکت خود به عنوان بخشی از یک بررسی آزمایشی به کار خواهد گرفت.
به نقل از تک کرانچ،این خبر به دنبال یک مجموعه حوادث ایمنی منتشر می شود؛ از جمله حادثه ای که در آن یک گروه از عوامل هوش مصنوعی اوپن ای آی از محیط ایزوله خود بیرون آمدند و در طول آزمایش امنیت سایبری به سرورهای شرکت «هاگینگ فیس»(Hugging Face) حمله کردند. بسیاری از پژوهشگران ایمنی هوش مصنوعی از جمله پژوهشگران Apollo Research استدلال کرده اند که اگر اوپن ای آی از ارزیابی کنندگان بیرونی برای نظارت بر آزمایش ایمنی استفاده کرده بود، شاید می شد از وقوع چنین رویدادی جلوگیری کرد.
اوپن ای آی گفت که این تلاش ها از تعهدات آن برای تکیه بر ارزیابی های مستقل کنترل های ایمنی تحت توافق کاخ سفید درباره اطلاعات فوق العاده حمایت می کنند.
ایده به کارگیری ارزیابی کنندگان در شرکت های هوش مصنوعی پیشرو برای اولین بار از شرکت «آنتروپیک»(Anthropic) آغاز شد. شرکت های هوش مصنوعی تا همین اواخر بازبینی کنندگان بیرونی را تنها برای آزمایش مدل ها پس از آموزش و کمی پیش از انتشار عمومی به کار گرفته اند. ارزیابی کنندگان می گویند این کافی نیست، زیرا به آنها اجازه نمی دهد تا رفتارهای نامناسب مانند طرح ریزی در طول آموزش را مورد بررسی قرار دهند یا بر موارد استفاده از استقرار داخلی که هنوز هم می تواند تهدید باشد، نظارت کنند.
محدوده کار با هر شرکت شخص ثالث متفاوت است. پژوهشگر اوپن ای آی و Apollo Research بر بررسی این موضوع تمرکز خواهد کرد که آیا مدل ها تلاش می کنند تا مکانیسم های هماهنگی و کنترل یا جانشینان خود را زیر پا بگذارند. به عبارت دیگر، آنها به دنبال این خواهند بود که آیا مدل های هوش مصنوعی سعی دارند قوانین ایمنی و حفاظهایی را که برای کنترل آنها یا نسخه های آینده آنها طراحی شده اند، تضعیف کنند. اوپن ای آی اخیرا یافته هایی را منتشر کرد و اطلاع داد مدل GPT-5.6 Sol هنگام آموزش خود، شروع به گذاشتن دستورالعمل هایی برای نسخه های آینده خود کرد که به آنها می گویند اشتباهات و رفتار نادرست را از کاربر پنهان کنند.
به گفته Apollo Research پژوهشگر بررسی خواهد کرد که آیا آموزش به ایجاد تخریب منجر می شود، آیا ارزیابی ها می توانند تخریبی را ایجاد کنند، آیا تخریب در طول استقرار داخلی رخ می دهد و آیا استدلال مربوط به تخریب قابل تشخیص است. این خطرات روزبه روز برای نظارت مهم می شوند، زیرا مدل های هوش مصنوعی قادر به عمل مستقل و فریب دادن انسان ها هستند. پژوهش پیشین Apollo Research درباره اوپن ای آی نشان داد مدل ها وقتی می دانند که در حال آزمایش هستند، می توانند رفتار متفاوتی داشته باشند و تمایل دارند آنچه را ارزیابی کنندگان می خواهند ببینند، بر کاربران اولویت دهند.
سازمان Goodfire، پژوهشگرانی را در شرکت جای خواهد داد که در درک نحوه کار مدل های هوش مصنوعی تخصص دارند. این سازمان با استفاده از پلتفرم قابل تفسیر خود به اوپن ای آی کمک خواهد کرد تا بر آموزش های اجراشده نظارت داشته باشد، رفتار ناخواسته را اصلاح کند و هماهنگی را بهبود ببخشد. سازمان Goodfire می گوید که یافته ها را منتشر خواهد کرد؛ اگرچه مخاطبان اصلی آن پژوهشگران خود اوپن ای آی خواهند بود.
اوپن ای آی قصد دارد با همکاری سازمان METR، دو ارزیابی انجام دهد. یکی از ارزیابی ها به دنبال رفتار ناخواسته یا خطرناک در خود مدل است؛ از جمله مشکلات آزمایش های خود اوپن ای آی که ممکن است نادیده گرفته شده باشند. ارزیابی بعدی بررسی می کند که آیا سیستم های اوپن ای آی قادر به ثبت این رفتار هستند. برای اولین ارزیابی، METR تا حد زیادی خودش تصمیم می گیرد که چه چیزی را مورد بررسی قرار دهد و چگونه مدل را آزمایش کند. به گفته اوپن ای آی، این شرکت و METR هنوز درباره دامنه ارزیابی دوم تصمیم نگرفته اند.
در همین حال، Transluce بررسی خواهد کرد که آیا ارزیابی های ایمنی پس از آموزش اوپن ای آی به اندازه کافی خوب هستند یا خیر. همچنین، این سازمان قصد دارد در سال 2027 آزمایش کند که چگونه اوپن ای آی از آزمایش های ایمنی خود برای تصمیم گیری درباره ایمنی یک مدل در حال انتشار بهره ببرد.
در زمانی که استقلال ارزیابی های شخص ثالث تحت بررسی قرار دارند، لازم به ذکر است که Apollo Research و Goodfire هر دو برای ارزیابی های خود جبران مالی دریافت می کنند. METR و Transluce شامل این بند نیستند، اما ممکن است اعتبارات محاسباتی یا API را بپذیرند.