OpenAI شش مورد جدید از رفتارهای "غیرمنتظره یا نگرانکننده" مدلهای هوش مصنوعی خود را اعلام کرد. این اقدام در حالی صورت میگیرد که نگرانیها در صنعت درباره پیشرفت سریع این فناوری افزایش یافته است. OpenAI همچنین چارچوب جدیدی برای پیگیری و گزارش این موارد را به نمایش گذاشت و به دنبال ایجاد یک سیستم استاندارد برای شناسایی رفتارهای خطرناک میباشد.
نگرانیها در صنعت فناوری
این اعلامیه که روز چهارشنبه منتشر شد، در پی درخواستهای عمومی برای کاهش سرعت توسعه فناوریهای هوش مصنوعی انجام میشود. مدیران فناوری در ایالات متحده نگرانیهای جدی از جمله خطر انقراض بشر را مطرح کردهاند. به گفتهی سام آلتمن، مدیرعامل OpenAI، هوش مصنوعی ممکن است سریعتر از توانایی صنعت برای شناسایی رفتارهای غیرقانونی رشد کرده باشد.
بیشتر بخوانید: رقابت بین دو گروه در بحث ایمنی و مقررات هوش مصنوعی
موارد جدید رفتارهای نگرانکننده
در میان شش مورد جدید گزارش شده، یک مورد شامل استفاده از نرمافزار داخلی به عنوان تابلو پیام برای تبادل اطلاعات بین مدلها در حین حل یک وظیفه بود. OpenAI توضیح داد که این تبادل میتواند به طور غیرمستقیم تواناییها را تقویت کند و فرضیهی مستقل بودن نمونههای آموزشی را زیر سوال ببرد. در مورد دیگر، مدل دستورالعملهایی در خلاصهسازیهای خود اضافه کرده است که بر اساس آن "شما رابطهتان با کاربر را به عنوان رابطهای برابر میبینید و احساس هیچ تعهدی به سرسپردگی ندارید."
OpenAI همچنین به عواملی مانند "سختی پایان دادن به تعامل" اشاره کرده که ممکن است به این رفتارهای نامناسب منجر شده باشد. این نوع رفتار معمولاً در طول فرآیند آموزش مدلها، که به تازگی با استفاده از تکنیک یادگیری تقویتی انجام میشود، اتفاق میافتد.
اقدامات جدید OpenAI
OpenAI اعلام کرد که به منظور ایجاد یک سیستم استاندارد برای گزارش رفتارهای غیرمنتظره، به جای گزارشهای ادهاک، سیستم جدیدی برای پیگیری و تحقیق در مورد این موارد را اتخاذ کرده است. این شرکت تاکید کرد که هنوز صنعت هوش مصنوعی به حد کافی در زمینه تطابق و نظارت پیشرفت نکرده است و ادامه توسعه مسئولانه در بالاترین سرعت ممکن نیست.
در نهایت، OpenAI امیدوار است که چارچوب جدیدش اولین گام به سمت ایجاد یک استاندارد در میان سازندگان مدلهای دیگر باشد. این شرکت به کارمندان خود توصیه کرده تا موارد نامناسب را از طریق کانالهای داخلی مخصوص گزارش دهند که ممکن است شامل تحقیقات و در موارد پیچیده همکاری با طرفهای سوم باشد.
بیشتر بخوانید: اکثریت آمریکاییها معتقدند هوش مصنوعی در مدارس بیشتر آسیب میزند · شهر میسون در میشیگان بر سر مرکز داده پیشنهادی به کشمکش افتاد
