בתוך מציאות מוגברת של פינסקרין מציאות מוגברת ו CGI

מציאות מוגברת וחילופי פנים נראים מועמדים חמים עבור היישומים הניידים הבאים; רק להסתכל על הרכישה של פייסבוק של MSQRD או רכישה של Snapchat של Looksery. אבל סטארט-אפ אחד בשם פינסקרין, המגובה כיום בהיקף של 1.8 מיליון דולר מקרן לוקס קפיטל וקרן קולופל, מחפש לעשות דברים אחרים בתחום זה. הפוך דיבר בלעדי מייסד פינסקרין האו לי על מה יכול להיות קדימה עבור חברה זו סוד.

אולי לא שמעת על האו לי, אבל אתה כנראה ראית את זה מחקר USC עוזר פרופסור בפעולה בכמה סרטים שובר קופות. תוך כדי עבודה על אפקטים חזותיים סטודיו תעשייתי אור & קסם, לי עזר לפתח כמה כלים שאיפשרו בזמן אמת ללכוד ביצועים. הרעיון היה ששחקן יכול לשבת מול מחשב עם מצלמת אינטרנט, לפעול מחוץ לסצנה, ואז הביצועים יתורגמו - בזמן אמת - לדמות CG.

לי ביצעה מחקר נרחב בתחומים אחרים מדי, כולל עיצוב מודלים 3D של אנשים אמיתיים בזמן אמת, לכידת חלקים חשובים של הדמיון שלהם, במיוחד פרצופים ושיער. לאחרונה, לי הראה את המחקר כי הוא ואחרים ביצעו ללכוד ביצועים מאדם עם רק מצלמה אחת, ולתרגם את זה לאופי דיגיטלי.

בהתחלה זה לא נשמע כל כך חדש. יש כבר מספר פתרונות מעקב פנים בפיתוח, הן עבור יישומים ניידים ומערכות מתוחכמות הרבה יותר כגון Faceshift (שנרכשו על ידי אפל בשנת 2015). אבל רבים מהם מסתמכים על חיישני עומק, אשר הטכנולוגיה של לי לא דורש. הגישה הזאת, הוא אומר, שונה מאוד.

"אם יש לך חיישן עומק, כל מה שאתה צריך הוא לייעל את הפרמטרים של מודל הפנים, כך המודל מתאים קלט 3D קרוב ככל האפשר", מסביר לי. "אבל במקרה של קלט RGB טהור, העולם כולו מוקרן על תמונה דו מימדי ללא פרמטרים מצלמה ידועים כגון אורך מוקד. אז מודל מדויק 3D הפנים צריך להיות מוסק מן התמונה המוקרנת ולהיות מסוגלים להתמודד עם מגוון רחב של תנאי תאורה, כמו גם הופעות של נושאים שונים.

מכאן החשיבות של המחקר של לי על 3D avatars. כאשר מיפוי הפנים של האדם, הרבה תוכניות מיפוי יש בעיה להתמודד עם מכשולים חזותיים כמו שיער וכוסות. כדי להימנע מהבעיה, פינסקרין "בנה רשת עצבית עוויתית עמוקה שיכולה ללמוד כיצד לפלח אזור פנים בתמונה לא מאופקת לחלוטין".

אז, מה זה Pinscreen באמצעות טכנולוגיה זו משוגע מתקדם, בכל זאת?

"אנחנו נהיה סוג חדש של מדיה חברתית / פלטפורמת תקשורת עם כמה יכולות מעניינות AR", אומר לי. "זה לא הולך להיות יישום כמו עדשות Snapchat או MSQRD, אשר עבור רוב האנשים רק מעניין במשך כמה דקות."

אז, זה לא הרבה יותר מאשר buzzwords לעת עתה. אבל, מסתכל עמוק יותר, העבודה הקודמת שלו מציע כי הם מקווים לפתח את היכולת לעקוב אחר פרצוף של מישהו למרות כל השיער, משקפיים או חפצים אחרים אשר חוסמים את הנוף של המצלמה אחת. הוסף במציאות מוגברת, והשמים הם הגבול לסרטים, מדיה חברתית ומשחקים.

זה נשמע די פורץ, אבל חשוב לציין כי לי וצוותו הם לא היחידים לחקור בתחום זה. דיסני הציגה לאחרונה את ההתייחסות שלה ללכידת ביצועי פנים בזמן אמת, וכך גם חוקרים אחרים עם כלי שנקרא Face2Face. תרס גם את Faceshift הנ"ל, יחד עם פייסבוק ו Snapchat, אשר החלו גם להפגין את מרכולתם.

אז מה עושה את הטכנולוגיה של פינסקרין שונה? לי אומר שהפתרון של החברה שלו הוא "הרבה יותר חזק ויכול להסיק מודלים תלת ממדיים מדויקים יותר, שכן אנו מטפלים במפורש בסתימות".

"החידוש החשוב ביותר שלנו הוא טכנולוגיה המאפשרת לנו לבנות מודל תלת-ממדי מלא כולל שיער מכל תמונה באופן אוטומטי", הוא אומר. "סוג זה של משימה באופן מסורתי דורש מודל CG מיומן ו rigger לייצר, אבל אנחנו יכולים להפיק את זה באופן אוטומטי לחלוטין. את המסמכים האחרונים שהוצגו ב SIGGRAPH (גרפיקה ממוחשבת מובילה וטכניקות אינטראקטיביות בכנס) גם דורש מספר קלט תמונות כקלט - אנו מתמקדים הפתרון עם דרישת קלט מינימלי, תמונה אחת דו מימדית.

כמובן, עד שאנשים יראו ולהשתמש בכל יישום מ Pinscreen, המושבעים יישארו על היכולות שלה. ההבדל כאן, אם כי, הוא כי לי בהחלט יש היסטוריה מוצקה של מחקר וחדשנות מאחוריו, במיוחד crafting של אווטרים דיגיטליים.

לי בטוח בבירור באפשרויות של פינסקרין במרחב המדיה החברתית. "כמו הטכנולוגיות שלנו יהיה דמוקרטיזציה של הדור 3D avatars, זה יהיה יישומים ברורים משחקים, VR / AR יישומים תקשורת immersive, או סוכני AI," הוא אומר, "אבל אני חושב שאנחנו ניצור את היישום הכי מגניב עצמנו, וזה הפלטפורמה החברתית המדיאלית שאנו מפתחים.

"והכי חשוב", הוא מוסיף, "אנחנו רוצים לבנות משהו שמאפשר לאנשים ליצור תוכן מעניין באמת, ללא צורך בצינור VFX יקר היום ויכולים להשתמש בתוכן AR מהנה מאוד כדי להתחבר זה לזה".

זה נשמע כאילו פינסקרין יכלול את טווח הטכנולוגיות לי וצוותו עובדים על. אבל, הוא אומר, זה רק חלק מהתוכנית. "הדגמה הטכנית היא רק תכונה של מה שאנחנו מתכננים להשתמש", הוא מציין. "פינסקרין יהיה משהו הרבה יותר גדול והטכנולוגיה תהיה תכונה מעניינת בהתחלה. אנחנו גם יהיה שונה למדי מאשר פלטפורמת מדיה חברתית אחרת."

לעת עתה, פינסקרין הוא עדיין קצת מסתורין וזה נראה כאילו אנחנו פשוט צריכים לחכות כדי לראות מה יש להם בחנות.