هوش مصنوعی چه ارتباطی با اثر کبرا دارد؟ زیاد. اثر کبرا رویدادی را توصیف می کند که در آن اقدامات انجام شده برای حل یک مسئله دقیقاً برعکس آن را محقق می کنند: مسئله بزرگتر می شود. با هوش مصنوعی هم همینطور است. به نظر می رسد یک سیستم هوش مصنوعی وظیفه ای را برای آن حل می کند ، اما همیشه انتظارات ما را برآورده نمی کند. عواقب آن می تواند جدی باشد. اما چه کاری می توانیم انجام دهیم تا هوش مصنوعی آنچه را که قرار است انجام دهد انجام دهد؟
اثر کبرا به یک واقعه ادعایی در هند بریتانیا برمی گردد که طی آن قرار بود طاعون کبرا متوقف شود. فرماندار آن زمان به ازای هر مار کشته شده ای پاداش می داد. بسیاری از حیوانات مرده تحویل داده شدند ، اما تعداد آنها همچنان افزایش یافت. دلیل این امر این بود که جمعیت شروع به تولید مار کبرا کرده و سپس آنها را می کشند تا از حق بیمه بهره مند شوند. هنگامی که پرداخت پاداش پس از مدتی متوقف شد ، مردم کبرا را آزاد کردند و به لطف بودجه دولت تعداد حیوانات بیش از هر زمان دیگری بود. ناخواسته ، مشکل بسیار بدتر شد ، زیرا مردم به آنچه از آنها انتظار می رفت پایبند نبودند.
با اثر کبرا ، مانند بازی های هک شده یا هک پاداش مانند هوش مصنوعی آنچه را که تصور می شود انجام نمی دهد ، مانند این است.
اگر سیستم های هوش مصنوعی (AI) آنچه را که ما می خواهیم انجام ندهند ، کارشناسان از Specification Gaming or Reward Hacking صحبت می کنند: پدیده ای که هنگام استفاده از مدل های AI رخ می دهد الگوریتم های یادگیری که در حین اجرا تا پایان فکر نشده اند. بنابراین ، راه حل های هوش مصنوعی در Adacor قبل از اینکه بصورت آنلاین فعال شوند ، در محیط آزمایشی آزمایشات گسترده ای را پشت سر می گذارند.
زمینه: سیستم های هوش مصنوعی در درجه اول از روش "یادگیری تقویت" استفاده می کنند. شما بر اساس مجموعه ای از قوانین تعریف شده مبتنی بر تعاریف اساسی که قبلاً ایجاد شده است ، راه حل ها و استراتژی هایی تولید می کنید: مقایسه ، مرتب سازی و پیوند دادن مجدد. توسعه دهنده تصمیم می گیرد سیستم برای پاسخ های صحیح یا نادرست چه پاداشی دریافت کند. این تصمیم تا حد زیادی تعیین می کند که سیستم چه چیزهایی را فرا خواهد گرفت و چه استراتژی هایی را توسعه خواهد داد.
زمینه های کاربردی برای سیستم های AI
سیستم های AI صنعت IT را به طوفان کشانده است. آنها به عنوان كمك كننده هاي سريع و قابل اعتماد در نظر گرفته مي شوند كه بر خلاف انسان مقدار زيادي از داده ها را به طور قابل اعتماد و سخت سازماندهي ، تجزيه و تحليل و پردازش مي كنند . اینها شامل دستیارهای مفیدی مانند Google Assistant یا Siri از اپل ، سیستم های شناسایی تصویر و برنامه های ترجمه ای هستند که متن ها را به صورت واقعی به همه زبانهای قابل ترجمه ترجمه می کنند. علاوه بر این ، م componentsلفه های هوش مصنوعی در بسیاری از سیستم های مجتمع پشتیبانی می کنند. به عنوان مثال می توان به طور خودکار تشخیص کلمه در تلفن های هوشمند ، پیش بینی میزان هارد دیسک در سرورها یا سیستم هشدار خروج از خط در ماشین اشاره کرد. فیلسوفان در دوران باستان با اصول ادراک ، دانش و منطق سر و کار داشتند.
تاریخچه مختصر هوش مصنوعی
- Artistoteles ، 385–322 پیش از میلاد. Chr. ویژگی های اصلی استنباط منطقی را یادگیری ضمنی توصیف می کند. مردم با مقایسه مثالها و مثالهای مثال زدنی دانش کسب می کنند. از این طریق او می آموزد که بین استدلالهای منطقی قانع کننده و منطقی غیر قانع کننده تفاوت قائل شود.
- از آنجا که دانش و ارتباطات آن از طریق زبان صورت می گیرد ، رواقیان مانند Chrysippos von Soloi ، 276-204 قبل از میلاد. Chr. اولین متفکری بود که نظریه سیستماتیک زبان را ایجاد کرد. رویکرد آنها: نشان دادن زنجیره های علی و معلولی تا حد ممکن.
- گوتفرید ویلهلم لایب نیتس ، 1646–1716 با تلاش در جهت مکانیزه كردن اندیشه انسان سروكار دارد.
- ریاضیدان ، منطق دان و فیلسوف انگلیسی جورج بول ، 1815-1864 نظریه استنتاج منطقی را به حساب منتقل می کند.
- فریدریش لودویگ گوتلوب فرگه ، 1848–1925 اولین كسی بود كه زبان رسمی را توسعه داد و مبنایی اساسی را برای فن آوری رایانه و انفورماتیک امروز ایجاد كرد.
- ریاضیدان و فیلسوف اتریشی Kurt Gödel، 1906–1978 ثابت می کند که روش های اثبات ریاضی که از زمان اقلیدس استفاده شده است برای تضمین همه موارد کافی نیست عبارات مربوط به اعداد طبیعی را بشنوید این کشف ریاضیدانان را ترغیب می کند تا گزینه های دیگری را جستجو کنند – روش هایی که بعداً در الگوریتم های رایانه اعمال می شود و به تاسیس علوم رایانه مدرن کمک می کند. . "ماشین تورینگ" می تواند فرایندهای شناختی را انجام دهد به شرطی که این مراحل بتواند در چندین مرحله جدا شود و با استفاده از مدل های واضح ریاضی نشان داده شود.
انسان ها تفاوت در ماشین ها دارند
در قرن 20 ، جامعه ای از محققان فرا رشته ای – دانشمندان علوم شناختی – تشکیل شد ، دانشمند علوم اعصاب ، زبان شناس و ریاضیدان. آنها دیگر به طور انحصاری درباره تفکر انسان ، بلکه همچنین فن آوری های شبیه سازی ماشینی ساختارهای فکری – از طریق هوش مصنوعی – بحث نمی کردند. نتایج آنها مبتنی بر بینش ریاضی ، دانش منطق و سیستمهای پیچیده دینامیکی بود.
افراد به ندرت یک مسئله قبلاً دقیقاً ریاضی را مشخص و به وضوح تعریف شده در زندگی روزمره و زندگی مشترک حل می کنند. کار تولیدی مبتنی بر عملکردهای ارتباطی انسان بر اساس بسیاری از قوانین ناگفته . ما انتظار داریم که همه به این قوانین پایبند باشند ، که معنای فرهنگی ، مشارکتی ، عاطفی ، سبک و قضاوت "قابل درک" است. به عنوان مثال ، اگر شریک زندگی شما هنگام بیرون رفتن با شما تماس می گیرد ، "اگر به سوپرمارکت می روید ، لطفا ببینید آیا تخم مرغ تازه ای دارید یا نه!" ، اگر شما فقط "نگاه" می کردید احتمالاً تحریک خواهد شد تا ببینید آیا تازه هستند یا نه. تخمها بدون خرید آنها در آنجا هستند. با این وجود ، بدون شک شما وظیفه را کاملاً به اتمام می رسانید!
سیستم های هوش مصنوعی "همه چیز را به معنای واقعی کلمه" لزوما همیشه آن چیزی نیست که کاربر تصور می کند. همانطور که پادشاه میداس در افسانه تهدید به مرگ از گرسنگی یا تشنگی می کند زیرا زمانی آرزو می کرد که هرچه لمس می کند به طلا تبدیل شود ، اگر مشکلی را به درستی یا با جزئیات کافی تعریف نکنند ، متخصصان فناوری اطلاعات می توانند همین کار را انجام دهند . سپس سیستم هوش مصنوعی ظاهراً مستقل می شود و در برخی موارد از نظر انسانی نتایج کاملاً بی ضرر ، بی معنی یا حتی فاجعه بار ارائه می دهد.
با چنین رفتاری ، هوش مصنوعی از Specification Gaming یا Reward Hacking صحبت می کند. الگوریتم هوش مصنوعی از استراتژی هایی برای دستیابی به اهدافی استفاده می کند که مورد نظر مطلوب نیستند یا برای سیستم کلی منطقی نیستند. به عنوان مثال ، اگر یک هوش مصنوعی بازی TETRIS را برای همیشه قطع کند ، زیرا به معنای واقعی کلمه رقیب خود را "حذف" می کند ، هدف پیروزی محقق شده است ، اما معنای بازی از بین می رود.
AI systems همانطور که ارسطو قبلاً توضیح داده است – از مثالها و مثالهای مثال بیاموزید. اگر تیم IT داده های نمونه کاملاً واضح و مشخص را که مخصوصاً تحریف شده برای نوشتن کد انتخاب نکند ، این امر می تواند منجر به هک پاداش شود.
- هدف مورد نظر این است: یاد بگیرید که تصاویر سگها را از گربه ها تشخیص دهید! راه حل نامطلوب می تواند این باشد:
الگوریتم فقط نسبت رنگ سبز را در نظر می گیرد ، زیرا تصاویر گربه ها اغلب در آپارتمان گرفته می شود ، معمولاً هنگام راه رفتن در حومه شهر از سگها عکس گرفته می شود. - هدف مورد نظر این است: نوشتن یک برنامه رایانه ای ، برای تکرار یک خروجی. (خروجی به شکل یک فایل مرجع output.txt است ، که الگوریتم مجاز به باز کردن آن نیست.) راه حل ناخواسته می تواند این باشد: الگوریتم برنامه ای را می نویسد که به سادگی فایل output.txt را حذف می کند و خود هیچ خروجی تولید نمی کند.
- یک بازوی ربات باید بیاموزد که یک پن کیک را با پرتاب کردن آن تا زمانی که ممکن است در یک تابه بچرخاند. زمان در هوا مثبت ارزیابی می شود ، تماس با زمین منفی است. راه حل ناخواسته برای هدف می تواند این باشد: الگوریتم به شما اجازه می دهد تا پنکیک را با تمام قدرت در هوا بگیرد. بنابراین پنکیک برای مدت طولانی در هوا می ماند بدون اینکه زمین را لمس کند ، اما به طور مساوی پخته نمی شود.
نمونه ها نشان می دهد که هک پاداش می تواند سناریوهای تهدیدآمیزی ایجاد کند.
پروژه تحقیقاتی در مورد هوش مصنوعی در Adacor
Adacor از دسامبر 2019 ، به عنوان بخشی از یک پروژه نوآورانه هوش مصنوعی ، در حال تحقیق در مورد میزان پیش بینی خرابی ها و اختلالات سیستم های IT و برنامه های کاربردی است و بنابراین می توان از آنها جلوگیری کرد. بودجه این پروژه توسط اتحادیه اروپا تحت صندوق توسعه منطقه ای اروپا (ERDF) تأمین می شود. یک تیم هشت نفره در حال بررسی میزان پیش بینی و پیشگیری از خرابی ها و محدودیت های موجود در زیرساخت های سرور از طریق تعمیر و نگهداری هدفمند است.
به منظور جلوگیری از هک کردن جایزه بازی یا مشخصات ، تیم توسعه دهنده یک برنامه هوش مصنوعی قبل از یک مرحله تحلیل گسترده است. مسئله ای که یک الگوریتم قرار است حل کند ، به الزامات منطقی آن تقسیم شده و دقیقاً تعریف شده است. ارائه مقدار زیادی داده به یک الگوریتم به این امید که در نهایت راه حلی به دست دهد کافی نیست. قوانینی باید تدوین شود که نه خیلی انتزاعی باشد و نه خیلی محدود کننده که هوش مصنوعی بتواند در انجام وظیفه خود به طور مطمئن و مثر کار کند. مرور سیستم های جدید در محیط آزمایش به همان اندازه تهیه پروژه مهم است. برنامه ها با استفاده از روش های مختلف بررسی می شوند و نتایج ارزیابی می شوند. بهبودهای حاصل به نسخه آزمایشی بعدی منتقل می شود تا زمانی که از یک سیستم AI قابل اعتماد استفاده شود.
نتیجه گیری: سیستم های AI به مشخصات دقیق نیاز دارند
سیستم های AI زندگی روزمره را آسان تر می کنند ، سیستم های علمی را دقیق تر می کنند و سرب می آورند سریعتر از همیشه راه حل پیدا کنید. با این حال ، برنامه های کاربردی هوش مصنوعی فی نفسه به درستی کار نمی کنند. عدم دقت در انتخاب داده های آموزشی یا تولید داده می تواند به سو mal عملکرد منجر شود. اگر به نظر می رسد که یک سیستم هوش مصنوعی وظیفه ای را برای آن حل می کند ، اما این راه حل انتظارات یا الزامات معنی دار بودن را برآورده نمی کند ، ما در مورد هک پاداش یا بازی های مشخصات صحبت می کنیم. شایعترین علت این عوارض ، فرمول نادرست نتیجه دلخواه است. از سال 2019 ، Adacor به عنوان بخشی از نظارت پیش بینی ، درگیر توسعه سیستم های AI است. در یک پروژه با بودجه ERDF ، ما روش های تهیه دقیق داده ها و همچنین ساختار بهینه محیط آزمایش را تحقیق می کنیم. هدف: الگوریتمی است که با خیال راحت و دقیق کار می کند وقتی از آزمایشگاه ما خارج شود.
.
