רמקולים חכמים ניתן לפרוץ על ידי קול, אומרים החוקרים כדי לעצור את זה

מה אם היינו אומרים לך כי האקר יכול לתת את הד אמזון פקודה בלי לשים לב אפילו - או אפילו צורך לעשות פריצה כמו שאנחנו בדרך כלל חושב על זה?

מוסטפה אלזנט, דוקטור למדעי המחשב. המועמד מאוניברסיטת קליפורניה, לוס אנג'לס אומר שזה אפשרי מבחינה תיאורטית עבור שחקן זדוני לשלוח צליל מסוים או אות כי בדרך כלל לא נעלמו מעיניהם של בני האדם, אך לגרום לאלגוריתם הלמידה העמוק של א.

"דוגמה אחת של התקפה תשלוט על מכשיר הבית שלך, מבלי שתדע מה קורה", מספר אלזנטוט הפוך. "אם אתה מנגן מוזיקה ברדיו ויש לך אקו יושב בחדר שלך. אם שחקן זדוני מסוגל לשדר אות בעל מבנה או אות מוסיקה, כך שההד יפרש אותו כפקודה, הדבר יאפשר לתוקף לומר, לפתוח דלת או לרכוש משהו ".

זוהי התקפה הידועה כדוגמה של יריבים, וזה מה שאלזנטוט ושאר חברי הקבוצה שלו מתכוונים לעצור, כפי שתואר במאמרם שהוצג לאחרונה בסדנת NIPS 2017 Machine Deception.

A.I. אינה שונה מהאינטליגנציה האנושית שיצרה אותה מלכתחילה: יש לה פגמים. חוקרי מדעי המחשב הבחינו דרכים לגמרי טיפש מערכות אלה על ידי שינוי מעט פיקסלים בתמונה או הוספת רעשים חלשים קבצי אודיו. אלה tweaks דקה הם בלתי ניתנים לגילוי לחלוטין על ידי בני אדם, אבל לגמרי משנה מה א. שומע או רואה.

"אלגוריתמי תיזות נועדו לנסות לסווג את מה שנאמר כדי שיוכלו לפעול על פיו", אומר מני סריאסטאווה, מדען מחשבים באוניברסיטת קליפורניה. הפוך. "אנחנו מנסים לחתור תחת התהליך על ידי מניפולציה של קלט באופן שאדם בקרבת מקום שומע 'לא' אבל המכונה שומעת 'כן'. אז אתה יכול לאלץ את האלגוריתם לפרש את הפקודה אחרת ממה שנאמר ".

הדוגמאות הנפוצות ביותר הן אלה הקשורות לסימפטומים של סיווג תמונה, או tweaking תמונה של כלב כל כך מעט כדי להפוך את A.I. חושב שזה משהו אחר לגמרי. מחקרים של אלזנטוט וסריאסטאווה הצביעו על כך שאלגוריתמים לזיהוי דיבור רגישים גם לסוגי התקפות אלה.

בעיתון, הקבוצה השתמשה מערכת סיווג דיבור רגיל למצוא ספריית קוד פתוח של גוגל, TensorFlow. המערכת שלהם הוטל לסווג פקודות של מילה אחת, כך שהוא יקשיב לקובץ שמע וינסה לתייג אותו במילה שנאמרה בקובץ.

לאחר מכן הם קידדו אלגוריתם אחר כדי לנסות ולהערים על מערכת TensorFlow באמצעות דוגמאות של יריבים. מערכת זו הצליחה לשטות בסיווג הדיבור א. 87 אחוז מהזמן באמצעות מה שמכונה התקפת קופסה שחורה, שבה האלגוריתם אפילו לא צריך לדעת שום דבר על העיצוב של מה היא תוקפת.

"יש שתי דרכים לעלות על זה סוג של התקפות", מסביר Srivastava. "אחד הוא, כאשר אני יודע את היריב הכל על המערכת המקבלת, אז אני יכול עכשיו להמציא אסטרטגיה לנצל את הידע הזה, זה מתקפה קופסה לבנה. האלגוריתם שלנו אינו דורש לדעת את הארכיטקטורה של המודל הקורבן, מה שהופך אותו להתקפה קופסה שחורה."

ברור שחור ההתקפות תיבת הם פחות יעילים, אבל הם גם מה יהיה סביר להשתמש בהתקפה בחיים האמיתיים. קבוצת UCLA הצליחה להשיג שיעור הצלחה כה גבוה של 87% גם כאשר הם לא התאימו את ההתקפה שלהם כדי לנצל חולשות במודלים שלהם. התקפת קופסה לבנה תהיה יעילה יותר בהתעסקות בסוג זה של א. עם זאת, עוזרי וירטואלי כמו Alexa של אמזון אינם הדברים היחידים שניתן לנצל באמצעות דוגמאות adversarial.

"מכונות אשר מסתמכים על ביצוע איזשהו מסקנה מן הקול יכול להיות שולל," אמר Srivastava. "ברור, אמזון הד כזה הוא דוגמה אחת, אבל יש הרבה דברים אחרים שבהם קול משמש כדי להסיק על העולם. יש לך חיישנים המקושרים למערכות אזעקה שמשמיעות צליל ".

ההכרה שמערכות בינה מלאכותית, המופיעות ברמזים של אודיו, חשופות גם לדוגמאות של יריבים, היא צעד נוסף בהבנת עוצמת ההתקפות הללו. בעוד שהקבוצה לא הצליחה לשלוף מתקפה משודרת כמו זו שתיאר אלזנטו, עבודתם העתידית תסתובב סביב ראיית ההישג.

למרות שמחקר זה בדק רק פקודות קוליות מצומצמות וצורות של התקפות, הוא הדגיש נטייה אפשרית בחלק גדול של הטכנולוגיה הצרכנית. זה פועל כקרש קפיצה למחקרים נוספים בהגנה מפני דוגמאות של יריבים והוראה. איך להבדיל ביניהם.