הרצאה על Video AI בכנס Microsoft Build 2017

12 במאי 2017

תגיות: , , ,
תגובה אחת

בחרתי בהרצאה הזו, במקום זו שתכננתי ללכת אליה בתכנית המקורית שלי, בעיקר בגלל מה שראיתי על הנושא הזה בהרצאת המליאה. הנושא של ניתוח דינמי של AI לסרט וידאו בזמן אמת הוא נושא מרתק, עם המון משמעויות מעניינות. בדרך כלל סרט וידאו נחשב כקופסה שחורה שכל מה שאתה יודע עליו זה אורך, רזולוציה, נפח ותיוגים שנעשו בדרך כלל על ידי בן אנוש. עם ה AI אתה יכול להיכנס ממש לתוך הסרט ולהוציא ממנו תובנות סופר מעניינות באופן אוטומטי. זה חשוב, כי זו עבודה שצורת המון זמן ומשאבים של מפעיל אנושי שגם חשוף לטעויות אנוש וזה לא משהו שאתה יכול לעשות לנפח גדול של מידע זורם בזמן אמת כי כמות האנשים הנדרשת לפעולה הזו פשוט לא סבירה מבחינה תקציבית.

p07יש הרבה אופקים שנפתחים לפניך ברגע שאתה יודע בזמן אמת מה מתרחש בסרט. אתה יכול למקד פרסומות ספציפית למה שמתרחש בסרט כרגע, לאתר פעילויות שאנשים עושים בסרט, לזהות את האנשים שמופיעים בסרט, לזהות תבניות התנהגותיות שלהם, לזהות עבירות תנועה שרכב מבצע בזמן אמת, לזהות שקרו תאונות ולהזעיק עזרה אוטומטית, לזהות חפצים, לזהות כלי עבודה, לזהות מה המצב רוח של האנשים בסרט ועוד המון דברים נוספים שהיו עד לא לפני הרבה זמן על סף הבלתי אפשרי.

ההרצאה הועברה על ידי Milan Gada ו Ohad Jassin. את ההרצאה פתח Milan וציין ש Azure Media Analytics כבר שנה על הכביש. נותן יכולות לייצר Script מ Audio, זיהוי פנים, ייצוב תמונה, OCR, מחיקת פרצופים (של קטינים או אנשים שלא רלוונטיים לארוע), זיהוי תמונה, זהוי הבעות פנים, הכנת תקציר של מה שקורה בסרט, צנזורה של קטעים בסרט שיש בהם בעיה וזיהוי עצמים. למי שלא ברור, מדובר בביצוע כל הפעולות האלה באופן אוטומטי וללא מעורבות אנושית.

p08Ohad הציג באמצעות Demo מאד מפורט את הנושא החדש של Video Indexer. כלי שלוקח סרט וידאו ועושה לו Indexing. כלומר מוציא ממנו Meta data מלא שכולל מי האנשים שמופיעים, על מה הם מדברים, מה מופיע במצגות שלהם, איך הם מרגישים, מילות מפתח, עם תג זמן מדויק לנקודה בסרט שבה הדברים מוזכרים או מופיעים כך שאתה יכול לקפוץ ישירות לנקודה המתאימה ממש כמו שאתה ניגש לעמוד המתאים מתוך ה Index שבסוף הספר.

מאחר וכל התוצרים של ה Index זמינים דיגיטלית, אתה יכול לעשות על המידע הזה שאילתות, כמו למשל מתי בסרט (נקודות זמן מדויקת ואורך) אדם מסויים, מדבר על נושא מסויים, באופן שלילי (זהוי סנטימנט). על מנת להסיר ספק, חשוב להבהיר שזה עובד לא רק לגבי דיבור, אלא גם אם זה הופיע כמילה במצגת או אוביקט שהוצג על המסך.

השרות הזה ניתן בשלב הזה לניסיון חינם עם Quota מוגבלת, ומי שהנושא מעניין אותו מוזמן להכנס ל vi.microsoft.com ולנסות בעצמו. ניתן לשלב את התוצרים של התהליך כ URL בדף ה HTML שמלווה את הסרט כך שלצופה יש גישה חופשית לתובנות והוא יכול לקפוץ ישירות לנקודות הרלוונטיות בסרט וגם לשאול שאילתות.

מעניין שהשרות הזה התחיל מפרויקט גראז' עצמאי שמקרא במקור Video Breakdown, שלאחר שהוכח שהוא עובד וגם מפיק תוצרים הוא הפך למוצר רשמי. למי שלא יודע מיקרוסופט מעודדת עובדים שיש להם רעיונות לפתח אותם בסגנון גראז’ In House (מתוך השיקול הברור שעדיף שיעשו את זה בפנים מאשר שיעשו את זה בחוץ ויברחו לה למקום אחר).

p09אני לא יודע מה קופץ לכם לראש שמדברים על ארוחת צהריים בכנס יוקרתי של מיקרוסופט כמו Build. אז החלטתי לצלם לכם מה קיבלנו לאכול בצהריים, בכנס ששילמת מעל 2,000 דולר + טיסה + שבוע אי עבודה כדי להשתתף בו.  בכוס יש כמה חתיכות בשר על מצע אורז וקצת רוטב ובשקית יש כלי אכילה חד פעמיים, עוגיות ועוד משהו.

p10

אני לא רוצה לקטר אבל אבל כבר הרבה זמן שמיקרוסופט לא מחלקת מתנות משמעותיות בכנסים שלה, עברו הימים שקיבלת מחשב או טלפון או משהו מדליק אחר. מצד שני, במקביל לכנס יש תערוכת שותפים, ואספתי שם כמה חולצות T. חשוב לציין שהמדד היחידי שעל פיו אני קובע את התועלת שקיבלתי מכנס, הוא כמות חולצות ה T שהצלחתי לאסוף. כך שמבחינתי הכנס די מוצלח ואין לי טענות.

הוסף תגובה
facebook linkedin twitter email

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

תגובה אחת

  1. יזהר עזתי16 במאי 2017 ב 7:43

    אם מהנסיעה הארוכה והיקרה נשארה רק שקית אוכל; עצוב על מיקרוסופט.

    הגב