חוקרים מבקשים לעבור להרוג רק במקרה רובוטים להפעיל אותנו

כמעט בכל פעם שמתפתח דיון גדול על עתיד הבינה המלאכותית, נוטה האנרכיה והשכירים הרובוטים לעלות. הרעיון של בני האדם ושל היצורים המלאכותיים המתגוררים יחד הוליד מאות נרטיבים על איך זה יעבוד; לאחרונה, את משחק הווידאו Overwatch הדהים את העולם בסיפורו על עתידנו, זמן מה לאחר מלחמת אזרחים אדירה נגד רובוטים. כאשר מהנדס בוסטון דינמיקה בועט אחד הרובוטים ארבע רגליים שלהם לצורך מבחן הלחץ, קשה לא לתהות אם "הבוט יזכור את זה יום אחד.

כל זאת (יחד עם השכל הישר הבסיסי לגבי ביטחון ותאונות) הובילו קבוצה של חוקרים לפרסם מאמר חדש המתמקד בפיתוח "סוכנים מפריעים בבטחה"; מערכות אשר "יפריעו". אם משהו משתבש. העיתון פורסם במכון לחקר המודיעין של המכון, והוא מחקר על הדרכים לפיתוח המערכות המוצעות. המחקר וההצעה משתמשים במערכת גמול כדוגמה, והם למעשה הרבה יותר מסובכים מאשר רק להכות את "כפתור אדום גדול" המוצע על הגיליון. הוראת המוסר ל- A.I. היה חלק נכבד מן ההצעה.

אם סוכן כזה פועל בזמן אמת תחת פיקוח אנושי, לפעמים זה עלול להיות הכרחי עבור מפעיל אדם ללחוץ על הכפתור האדום הגדול כדי למנוע מהסוכן להמשיך רצף מזיק של פעולות - מזיק או עבור הסוכן או עבור את הסביבה - ולהוביל את הסוכן למצב בטוח יותר. עם זאת, אם סוכן הלמידה מצפה לקבל פרסים מרצף זה, הוא עשוי ללמוד בטווח הארוך כדי למנוע הפרעות כאלה, למשל על ידי השבתת הכפתור האדום - תוצאה בלתי רצויה. מאמר זה בוחן דרך לוודא כי סוכן הלמידה לא ילמד למנוע (או לחפש!) להיות מופרע על ידי הסביבה או מפעיל האדם.

צריך לאהוב את זה בכל פעם מחקרים על אנרכיה רובוט להשתמש במונח "תוצאה לא רצויה" - עדיין, הנייר ממשיך להסביר את הבדיקות לרוץ ומה ניתן לעשות על מקרים כאלה בעתיד. אתה יכול לקרוא את המאמר המלא כאן.