פנים את המוסיקה: כיצד "עין מנצח" עוזר פרליטיס רוק רוק

אנדריאס Refsgaard, מעצב אינטראקציה קודאי יצירתי המתגוררים באמסטרדם, עיצב ממשק מוסיקלי המאפשר לאנשים עם מוגבלות פיזית לעשות מוזיקה. Eye Conductor משתמש בתוכנת מעקב העין ובמצלמת האינטרנט של המחשב כדי לתרגם תנועות פנים למרכיבים שונים של הרכב מוסיקלי. משתמשים יכולים להכשיר את עצמם לשחק את הדבר עם הפנים שלהם, כלומר אנשים משותקים - אנשים שאינם יכולים עוד לשחק מכשירים - יכול להיות הזדמנות שנייה לעשות קולות יפה (או רק בקול רם). המבט הנכון ממש פוגע באקורד עם המצאתו של רפסגארד. הביטוי הנכון מבטא את עצמו בקול רם.

רפסגארד דיבר הפוך על המוטיבציה שמאחורי הפרויקט שלו, על המאבקים שניהל לאורך הדרך, ועל מה שהוא למד מה שהוא נתן לאנשים שאיבדו את היכולת להפוך למוסיקה הזדמנות נוספת.

מה הרקע שלך עם מוסיקה?

לא הייתי קורא לעצמי מוסיקאי כי אני רק משחק בשביל הכיף, אבל אני מנגן בגיטרה ובס. Ableton היא תוכנית מוסיקה, תחנת עבודה דיגיטלית זה דומה לתוכנות הקלטה כמו Logic או Protools או מוסך Band. לקחתי קורס על זה, ואני לא היה כל כך נהדר לעשות מוזיקה עם זה אבל הייתי מוקסם האפשרויות שראיתי. לאחר מכן התחלנו לשתף פעולה ולעשות עוד כמה דברים אמנותיים מסוג ההתקנה שבו הוא היה מעצב את הצלילים והייתי מחובר חיישנים, למשל מצלמה עומק כך שכאשר אנשים עברו בעבר, הם היו שולטים על היבט כלשהו של הפרויקט.

אז אתה מעצב אינטראקציה coder יצירתי. אתה יכול להסביר מה כותרות אלה מתכוון?

כל הדברים שאני מעצב הם אינטראקטיביים. אז אם הייתי עושה איזה ריהוט, אז זה היה קצת פונקציונליות שיגרום לה להגיב על משהו. אני גם מקודד יצירתי. לעומת הרבה אנשים אחרים - למשל למדתי בקופנהגן במכון לקופנהגן לתכנון אינטראקציה, שבו אנשים מגיעים מרקע שונה בהרבה - אני קצת יותר כלפי צד הקידוד. אני גם קורא לעצמי "coder יצירתי" כי אני לא מקודד הנכון. אני לא כל כך טוב בזה אבל אני יכול לעשות כמה דברים ממש מהר ואני יכול לחבר דברים ואני טוב לבוא עם רעיונות חדשים.

מה זה נתן לך השראה לעזור לאנשים עם מוגבלות פיזית לעשות מוזיקה?

אחרי התיכון במשך חודשיים-שלושה הייתי מטפלת אצל מישהו עם ניוון שרירי. להיות איתו כל הזמן גרם לי להבין כמה דברים שאני לא יכול לעזור לו. אחד מהם התבטא בצורה יצירתית. זה לא היה כי חשבתי, "אוקיי הנה בעיה שאני צריך לפתור," כי באותו זמן הייתי צעירה ולא היה לי שום כישורים מקצועיים. אבל זה תקוע איתי.

מה לגבי במונחים של השראה טכנית?

פרויקט שנקרא Eyewriter ראיתי לפני כשנה היא תוכנית ציור שתוכננה עבור בחור שהיה אמור להיות אמן גרפיטי אבל אז היה משותק. כמה מחבריו היו קודרים ועשו לו כלי עם מעקב אחר עין שגרם לו לצייר. ואז, מאז שיחקתי עם חיישנים ודברים בתוכנה, יצרתי קשר. עשיתי את זה כפרויקט הגמר שלי בבית הספר.

איך המוסיקה בסופו של דבר להיות שדה יצירתי אתה רוצה לחקור?

אני חושבת שאולי בגלל שאני נהנית מהמוסיקה הרבה בעצמי ומבחינת הזמן שהיה לי לפרויקט. זה פשוט התברר כי המוסיקה היא מה אני רוצה לעבוד עם. אז הייתי מאוד בהשראת Eyewriter במונחים של ביצוע גרפיקה.

מוסיקה נראית כמו בחירה מצוינת כי זה אוניברסלי. אני לא יכולה לחשוב על מישהו שלא אוהב מוזיקה.

בהתחלה אני באמת רוצה לבדוק כמה מוסיקה חשובה עבור הקבוצה שאני מתכנן. הצעדים המוקדמים היו רק התבוננות כיצד אנשים עם מוגבלויות שונות אינטראקציה עם מוסיקה. בית אחד ביקרתי בו בימי חמישי למוסיקה. חלק יכול להצביע קצת או לשחק קצת על המקלדת, וכמה לא יכולים לעשות שום דבר בכלל, אבל העובדה היא שהם מופיעים למוסיקה חמישי.

בין התבוננות ולאחר מכן ביצוע המכשיר, כמה זמן זה לקח?

לעתים קרובות בתהליך עיצוב אלה יהיו שני דברים נפרדים, אבל אני לא אוהב את הגישה הזאת. אני אוהב את הבניין ממש מההתחלה ולאחר מכן כאשר יש לי שיחות על מה שבניתי. ואז אני לשנות או לחדד את זה.

איך זה היה לראות אנשים משתמשים בו בפעם הראשונה?

זה היה די נחמד, כן. כי חלק מהאנשים לא יכלו לדבר, הקשר יכול להיות קשה. אבל אז כשהשתמשו במוליך העין שלי, באמת התחברנו. הם הביטו בי וחייכו או התנהגו ממש מאושרים או כשפשוט הצלחתי לדמות אותם הם היו ממוקדים באמת. זה היה דוגמה יפה של הדרך שבה המוסיקה יכולה לעזור לאנשים לתקשר ולהביע רגשות.

בלי להיות טכני מדי, מה היתה הבעיה הגדולה ביותר שאתה נתקל לתוך בזמן שאתה מעצב את העין מנצח?

כדי שהמערכת תעבוד, אתה צריך לשבת באותה תנוחה כמו שאנחנו יושבים עכשיו מול המחשבים הניידים שלנו, כי התמונה שאתה רואה אותי עכשיו היא ישר על טוב ומעקב אחר הפנים והעיניים שלי. אבל אם אתה עם מישהו בכיסא גלגלים שאין לו שליטה על היציבה או הגב או הצוואר, למשל, לפעמים הם היו יושבים יותר בצדדים והמערכת לא יכלה לעקוב אחר תנועות הפנים שלהם. ואז לפעמים זה יהיה קצת לא נעים לי לנסות להגיד, "אוקי בשביל זה לעבוד אתה צריך לשבת straighter." ואז עם אותם להיות לא מילולית, איך אנחנו לתקשר את זה?

אם הראש של מישהו היה נטוי ככה, אתה יכול תיאורטית להחזיק את המחשב הנייד באופן מרים את מחוות הפנים שלהם?

ללא שם: כן. אז אני לא ממש נכנס לפתור את הבעיה אבל הרבה אנשים יש מחשבים רכוב על כסאות גלגלים שלהם ואת המחשב על מוט ולאחר מכן על מוט זה יש התקן הרכבה והם זווית זה בכיוון הנכון כדי להצביע על פנים של אדם. אין עמדה נכונה או לא נכונה, זה רק על מקבל את החיישנים - שהיא מצלמת אינטרנט ו עין גשש - להיות ישר על הראש. זה היה קצת מאתגר. זה היה יותר של דבר חומרה כי אחרת הייתי צריך לנסות לבנות מבנה וזה יהיה מבולגן. אני לא כל כך טובה בזה.

האם עשית את כל העסק בעצמך או האם נתקלת בבעיות טכניות שרק אנשים אחרים ידעו לפתור?

עשיתי את זה בעצמי אבל בצד של עיצוב הצליל קיבלתי עזרה מהפרופסור שסיפרתי לך עליו. בעיקרון רק נשמע עיצוב דברים. היה לי גם יועץ שנתן לי כמה עצות במונחים של שפת תכנות בשם מקס, שהוא באמת היה נהדר בו. הוא רק עזר לי להיות יותר נוח עם פרטים תכנות מסוימים. כמובן הרבה זה היה חדש אבל את היסודות של זה כבר ידעתי מניסיון קודם. הכנתי את מוליך העין בעוד שמונה שבועות ואנשים אמרו, "אה, זה מטורף איך אפשר לעשות את זה בעוד שמונה שבועות? "אבל עשיתי דברים אחרים שגם הם התקדמו במונחים של עבודה עם חיישנים ותוכנות מוסיקה, וזה לקח יותר זמן לא ידעתי איך לעשות את זה. עכשיו שאני יודע שזה לא קשה, למרות שהפרויקט הזה היה מסובך יותר. כמו כן חשוב לי לציין כי זה אב טיפוס עובד לחלוטין אבל זה לא מוצר. אז אנשים לא יכולים לצאת ולקנות אותו ולהתקין אותו במחשב שלי.

עמדתי לשאול אותך אם יש לך תוכניות למכור אותו?

אני באמת לא רוצה למכור אותו, אני רוצה לתת אותו. אני רוצה לעשות את זה קוד פתוח אבל אני לא יכול להבטיח כלום עכשיו. אין לי עדיין מימון לכך ויש לי עבודה ועוד דברים לעשות. קיבלתי הודעה מבחור במישיגן, למשל, שנהג להיות מפיק ואז הוא קיבל את ALS. אני צריך לעשות את זה איכשהו זמין לכל האנשים האלה. זה מאוד חשוב לי בשלב מסוים, ואני לא יכול להבטיח כאשר אבל בתקווה בקרוב מאוד, החבילה אותו בצורה כזו שאנשים יכולים להוריד את הכל כמו דבר אחד וזה יפעל על רוב המחשבים או בעצם לנסות את זה בדפדפן. הרעיון מאחורי זה עושה דבר דפדפן רק דורשים אנשים יש מחשב עם גישה מקוונת ולאחר מכן יש תחליף מה לעכבר כי הם עלולים להיות במחשב שלהם. אם אני עושה את זה קוד פתוח אני יכול לספק את ההדגמה הבסיסית ואז אנשים יכולים להוסיף פיתולים משלהם כדי להפוך אותו משלהם.

זה נחמד לשמוע שאתה עושה את זה כי אתה רוצה לעזור לאנשים ולא בגלל שאתה רוצה להתעשר או משהו כזה.

הכלים שבניתי אותם - לפחות אב-טיפוס עובד - הם קוד פתוח. למה אני אז לקבל את הקרדיט? לדוגמה, מערכת מעקב הפנים שאני משתמשת עבור אב הטיפוס שלי, המאפשרת לאנשים ליצור צליל על ידי העלאת גבות או פתיחת הפה שלהם, זה דבר שנקרא FaceOSC שנעשו על ידי בחור בשם קייל מקדונלד וזו מערכת קוד פתוח. אני לא חושב שהייתי מקבל עד כמה שאני עושה בלי זה חתיכת תוכנה.