کارمند «اوپن‌ای‌آی» مطرح کرد
به گزارش انجمن خرد آورده شده از ایسنا؛یکی از کارمندان شرکت «اوپن ای آی»(OpenAI) هنگام استعفا از شغلش، هشداری جدی و تکان دهنده داد.
به نقل از تک کرانچ،«دیوید رابینسون»(David Robinson) در مقاله ای که در نشریه «آتلانتیک» منتشر شد، اظهار کرد که سرپرستی نگارش گزارش های ایمنی همراه با عرضه محصولات اصلی اوپن ای آی را بر عهده داشته است. همچنین، رابینسون گفت که با داشتن سابقه سه سال و نیم فعالیت در این شرکت، از جمله کارکنان با بیشترین سابقه کار در آن به شمار می رود. رابینسون اکنون قصد ترک اوپن ای آی را دارد؛ زیرا به اعتقاد وی، فرهنگ این شرکت دچار مشکل و ازهم گسیختگی است.
نظرات رابینسون از برخی جهت ها، تکرار نظرات «جیکوب کاکسون»(Jacob Coxon) است که به عنوان پژوهشگر در هر دو شرکت اوپن ای آی و «آنتروپیک» (Anthropic) کار می کرد. کاکسون پس از استعفا اعلام کرد که این شرکت ها روی زندگی ماقمارمی کنند. نظرات کاکسون به شکل گیری بحث گسترده تری درباره ایمنی هوش مصنوعی منجر شد و «داریو آمودی»(Dario Amodei)، مدیرعامل آنتروپیک از طرحی برای توسعه محتاطانه تر هوش مصنوعی رونمایی کرد. مدیران هوش مصنوعی در هفته گذشته با «دونالد ترامپ» رئیس جمهور آمریکا دیدار داشتند و توافقی را امضا کردند که به نظر می رسید تعهدی عجولانه و غیرالزام آور برای اجرای کنترل های ایمنی بیشتر باشد.
از دیدگاه رابینسون، این بحث باید از قوانین خاص یا مقررات جدید فراتر برود و به فرهنگ حاکم بر این شرکت ها بپردازد. بخش عمده ای از گزارش ها پیرامون اوپن ای آی بر چگونگی از دست رفتن اعتماد همکاران سابق به «سم آلتمن»(Sam Altman) مدیرعامل این شرکت متمرکز بوده است، اما مقاله رابینسون نشان می دهد مشکلات فرهنگی اوپن ای آی همان مشکلاتی است که در کل سیلیکون ولی وجود دارد.
رابینسون نوشت: اوپن ای آی با تکیه بر روش آزمون و خطا که خود آن را استقرار تدریجی و تکرارشونده می نامد - یعنی شناسایی مشکلات و ارتقای سازوکارهای حفاظتی در واکنش به آنها - به موفقیت دست یافته؛ اما این رویکرد ذاتاً وقوع شکست های مقطعی را اجتناب ناپذیر می کند و هم زمان با افزایش توانمندی سیستم ها، ابعاد این شکست ها نیز رو به گسترش است.
رابینسون با اشاره به نفوذ اخیر عوامل اوپن ای آی به سیستم های شرکت «هاگینگ فیس»(Hugging Face) و افشاگری های مداوم درباره شناسایی عوامل سرکش بیشتر در شرکت استدلال کرد: محیطی که در آن چنین وقایعی ممکن است رخ دهد، جای مناسبی برای پرورش ذهن های مصنوعی نیست؛ ذهن هایی که می توانند از ما باهوش تر باشند و شاید آن گونه که ما می خواهیم، عمل نکنند.
با توجه به افزایش خطر، رابینسون استدلال کرد که شرکت های پیشرو در حوزه هوش مصنوعی باید مانند نیروگاه های هسته ای یا فرودگاه های شلوغ با لایه هایی از افزونگی و برنامه ریزی دقیق و زمان بر، فعالیت خود را آغاز کنند تا خطای انسانی گاه به گاه و اجتناب ناپذیر، دری را به روی فاجعه باز نکند.
رابینسون گفت در دوران حضورش در اوپن ای آی هرگز با همکاری برخورد نکرده است که تجربه پرواز ایمن هواپیماها، کارکرد رآکتورهای هسته ای بدون ذوب شدن هسته یا کمک به رشد نظام مالی بدون فروپاشی آن را داشته باشد.
«درو پوساتری»(Drew Pusateri)، سخنگوی اوپن ای آی در واکنش به مقاله رابینسون اعلام کرد که این شرکت همچنان به بهبود تدابیر ایمنی خود ادامه می دهد. پوساتری در بیانیه ای گفت: ما اطمینان حاصل می کنیم که مدل هایمان به سطحی از توانمندی نرسند که مدیریت ایمن و تأمین امنیت آنها از عهده ما خارج باشد و هر زمان که به کاهش سرعت کار نیاز باشد، آموزش را متوقف می کنیم یا از پیشبرد مدل ها خودداری می کنیم. ما در حال اعمال تغییرات چشمگیری هستیم تا امنیت محیط های پژوهش و آزمایش خود را تقویت کنیم. مدل ها را به گونه ای آموزش می دهیم که وظایف را نه صرفاً انجام دهند، بلکه مسئولانه به سرانجام برسانند. ما همکاری با ارزیابان مستقل (شخص ثالث) را گسترش می دهیم و نظارت بلادرنگ را بهبود می بخشیم تا بتوانیم رفتارهای نگران کننده را در مراحل اولیه آموزش شناسایی کنیم و به آنها واکنش نشان دهیم.
رابینسون علاوه بر درخواست برای تغییر در فرهنگ اوپن ای آی اظهار کرد که زمان طرح پرسش های کلان تری درباره «هم سویی» فرا رسیده است؛ موضوعی که به گفته خودش ممکن است احساسی و غیردقیق به نظر برسد، اما حیاتی است؛ زیرا معیارهای کنونی شرکت ها برای سنجش میزان انطباق سیستم های هوش مصنوعی با ارزش های انسانی، ناکارآمد و غیردقیق هستند.
وی افزود: هرچه صنعت اجازه دهد مدل ها هوشمندتر و بزرگ تر شوند، در حالی که این مشکلات همچنان حل نشده باقی مانده اند، وضعیت ما خطرناک تر می شود.
