AI's Dirty Secret: Why Even Perfect Algorithms Fail Users!

בטח, אז אני, כמו שאמרת, אני עדי, אני עובדת ב-A-Doc כבר שנה, באתי באמת מעולמות קצת אחרים מ-A-Doc, אנחנו נדבר יותר כך על מה-A-Doc עושה, אבל באתי מעולמות יותר של מוצרי דאטה. A-Doc באמת חברה, רגע אני אגיד למי שלא מכיר בעולם ה-health care, אבל מבחינת מה-A-Doc עושה, זה... בואו תחשוב רגע על איזה קרוב משפחה, דוד, סבא, סבתא, מגיעים לחדר מיון, רוב הסיכויים שהם יעברו איזושהי סריקה. ואז הם בעצם מתחילים באיזשהו מסע באמת בבתי החולים, שנתקלים בכמה בעיות עיקריות. דבר ראשון הם עוברים סריקה, ובסוף רדיולוג צריך לקרוא את הסריקה הזאת. הרדיולוג יש לו באמת איזושהי רשימה מאוד ארוכה, ובסוף אותו בן אדם... נניח סבתא שלך נמצאת בסוף הרשימה עם אנשים שגם הגיעו לחדר המינון בגלל שבר, בגלל כל מיני דברים כאלו ואנשים שמגיעים בגלל מצבים מאוד אקוטיים. אז קודם כל יש את בעיית התיעדוף, בעצם תוך כמה זמן רואים את זה. בעיה נוספת שקיימת זה בעצם בעיה של הבחנה, בעצם סריקות, נניח כמו סריקות סיטי, הן מכילות כמות מטורפת של סלייסים, באמת מאות סלייסים, שלפעמים ההבחנה המאוד ספציפית נמצאת ב... שני פיקסלים מתוך מיליארד פיקסלים ואנחנו יודעים שיש אחוז לא מבוטל גם של פספוסים, זה דבר נוסף. ודבר אחרון זה בעצם שהמסקנה הזאת תעבור לצוות שבסוף מטפל מהרדיולוג ושהם ידעו איזה טיפול ואנחנו צריכים לזכור שחדרי מיון עמוסים, משמרות מאוד ארוכות עד שמגיע הבכיר שיכול לקבל את ההחלטה ובמצבים קריטיים נניח כמו שבץ כל דקה היא קריטית בשביל להציל את הבן אדם. בעצם פה איידוק נכנסת לתמונה, איידוק בא לטפל גם בבעיות התעדוף, היכולת לזהות דברים בצורה יותר מדויקת, ואיך בסוף מתקשרים את זה לצוותים שבעצם מטפלים בחולה, בעזרת כל מיני פתרונות AI, שבעצם על זה אנחנו נדבר היום. מדהים, אז מה בעצם האתגר שכזה התמודדתם איתו?

הרדיולוגים, בוא נגיד כמות המטופלים בעולם עולה לא ביחס ישיר לכמות הרדיולוגים. ומשם התחיל כל האתגר של בעצם, אנחנו לא באים להחליף רדיולוגים, אבל השאלה היא איך אנחנו יכולים לספק להם כלים בשביל לעשות את העבודה בצורה הרבה יותר טובה ואיכותית, כשאנחנו מבינים שהם אלה שבסוף מציעים את החיים, לא אנחנו. ובאמת התחלנו מכלים שקשורים באמת ל-computer vision על סריקות, בשביל גם ענייני תיעדוף וגם עניינים של באמת לזהות כל מיני פתולוגיות. ומשם באמת הקושי והאתגר שהתמודדנו איתו זה איך אנחנו גורמים להם להשתמש בזה. שגם אם יש לך אלגוריתם מדהים ככל שיהיה, ביצועים מדהימים, בסוף אנחנו מדברים פה על הצלת חיים, כאילו טעות ובניית אמון ואיך אנחנו זה, זה משהו מאוד מאוד משמעותי. זאת אומרת שבאמת הרגע אנחנו יודעים בתוך נקודת ההתחלה, המודל עובד טוב, אבל הסיטואציה ביום-יום שלהם כל כך מטורפת. שאילך אנחנו לוקחים את התוצאות הטובות האלה ובאמת עוזרים, כמו שאת אומרת, להם להציל חיים. בדיוק. אוקיי, בא לי לאתגר אותך, אבל למה זה רלוונטי לעוד מנהלי ומנהלות מוצר?

כי אני חושבת שבסוף אנחנו רואים הרבה מאוד, בעיקר היום, אני אגיד ש-AIDOC קיימת כבר הרבה לפני כל העניין הצ'אטים וזה, אבל היום אנחנו רואים עוד ועוד חברות AI, והמון פעמים אני אגיד שאני שומעת המון על ביצועים, על ביצוע אלגוריתמים, שבאמת יש ביצועים מדהימים בחלק מהדברים ומשקיעים בזה המון המון אפורט. אבל אז מה עושים עם זה? ואני אגיד שאנחנו גם שומעים על חברות שבסוף לא מצליחות, ואתה אומר, רגע, אבל היה להם ביצועים מעולים, כאילו איפה זה נפל? ואתה רואה שכשאתה לא מצליח להבין את שורש הבעיה של הלקוח, את הכאבים שלו, איפה זה פוגש אותו, זה בכל תעשייה, זה רלוונטי בכל תעשייה. כי בסוף, גם אם עכשיו אני, אני יכולה לתת לך דוגמה רגע מעולם אחר, לי יש, אני עברתי מרכב בן עשר לרכב חדש. מברוק? תודה, זה הגיע, וברכב שלי לא היה את כל המערכות של מה שנקרא סטייה מהנתיב, דברים כאלה, בסוף היה רכב בן עשר, ויש לי את זה שזה מצפצף אם אתה סוטה עם את הזה. אחלה, יכול להיות שהאלגוריתם שלהם מצוין, זה לא מתאים לי ביום יום עם השיפוצים בתל אביב, שהנתיבים, הקשר בינם לבין המציאות הוא זה. אני מכבה את זה, ואני חושבת שזה בדיוק זה, זה קיים בכל מקום, כי אם בסוף אני, כאילו לא יתאימו את זה לחיים שלי, אני פשוט מכבד את האלגוריתם מה שנקרא כאילו ולכן אני חושבת שזה יכול להיות בהרבה מאוד תעשיות שונות. אני חושב שבאמת תוצאה מעולה בקונטקסט הלא נכון היא לא תוצאה מעולה. בדיוק. ואני חושב שבדיוק על זה נדבר ובא לי שכזה ניקח את זה דרך דוגמה קונקרטית של משהו שאתם התמודדתם איתו אז אולי בואי תיתני לנו קצת צבע וניקח דוגמה ונתחיל לפרק אותה לפי רגע תוצאה מעולה בעולם האמיתי.

סגור. בעצם רופא יכול לגלות במשמרת ויכול להיות. לא במשמרת, כשיש תוצאת AI הרופא מקבל נוטיפיקציה, שעל פניו זה באמת הדבר הנכון לעשות, יש פה איזשהו ממצא אחרשות, אני רוצה להתריע לו, ואני אגיד שאני מצפה לראות שהוא מקבל נוטיפיקציה, לוחץ עליה, קורא את התוכן, את הדבר הרלוונטי, ואנחנו רואים שזה לא עובד. עכשיו, אני חושבת שהרבה פעמים דבר ראשון שאתה רץ לעשות זה לבוא ולהגיד, אוקיי, אולי יש בעיה באלגוריתם, כאילו אולי יש לו בעיות אמון עם המערכת, אולי, לא יודעת, אולי אנחנו כאילו מתריעים על משהו שמבלבל, אולי התוכן לא הגיוני. כאילו האינטואיציה אומרת, רגע, אולי אנחנו מייצרים פולס פוזיטיב, ואז זה הסיבה שהם לא צוחקים, כי הם לא סומכים עלינו. בדיוק, כי בסוף, שוב, באמת צריך להבין שבעולם הרפואה, כל טעות היא טעות. כאילו, לבוא ולהגיד למישהו משהו, מאוד מאוד משמעותי ולבנות את המערכות האמון האלה, באמת העולם של לעשות איזשהו Change Management הוא מורכב בעולם הרפואה. כן. וכשאנחנו הולכים ומסתכלים על האגוריתם, אנחנו רואים שאין שם בעיה. כאילו, אנחנו לא, זה לא פולס פוזיטיב, זה באמת, יש לנו צוותים של רדיולוגים שבודקים את הדברים, כי אנחנו, זה, איפה, מה, למה אתה לא עובד? כאילו, למה אתה לא אוהב את זה?

המודל היה עובד, כאילו, וגם, אתה יודע, כשעשינו את ה-Discovery, בסוף הם רצו נוטיפיקציה. אז אני אומרת, אוקיי, אבל יש נוטיפיקציה, יש מודל, מה לא עובד? ואנחנו אומרים, אוקיי, אולי יש טכניות, באמת, זה הדבר הראשון שאני מתחילה לחשוב עליו, אולי אני לא מודיעה על המטופל הרלוונטי, כאילו, אולי, לא יודעת, אולי הנוטיפיקציות בכלל היו כבויות, כי בדיפולט אנחנו מדליקים אותן. אז אתה מתחיל לרדת להרמון רזולציות של מה, כאילו, אתה אומר, סי דיסקאברי, שהוא רוצה נוטיפיקציה, אז הוא ילחץ עליה, כאילו, איפה הדבר הזה נופל? וכשהתחלנו ככה לחקור יותר לעומק, הגענו לכל העולם של נוטיפיקיישן פתיג, שאני חושבת שאגב הוא נכון לא רק בעולם הרפואה. ממש. בעיניי כל מערכת שיש לה נוטיפיקציות, אני יכולה לתת דוגמה מאלי אקספרס, שאני רק לאחרונה, לא נעים לי להגיד, גיליתי שאפשר לכבות את זה, אני הייתי מקבלת מאלי אקספרס באמת על כל חבילה שלי 80 אימיילים, זה יצא מהמחסן, זה עבר למחסן ההוא, זה עבר לזה, ואני כזה יואו, זה בלתי נסבל, בסדר שתגיד לי כשזה הגיע לארץ? וגם הכל גם בסמס, גם בנוטיפיקציה, גם באימייל, אז אני חושבת שזה באמת רלוונטי בהכל, ופתאום כשאתה מביא את זה, אתה אומר אוקיי, כמו שאני התעצבנתי על אלי אקספרס, אז גם הם זה מפסיס, הם לא מדברים במטופל אחד, ועל כל אחד אני מתריעה ומתריעה ומתריעה, ואולי כאילו העולם בעצם של נוטיפיקציות בהקשרי AI, אני חושבת שיכול להיות לך... כאילו false positive כאילו אוקיי טעית לחלוטין יכול להיות לך אוקיי משהו שאני מבין ויכול להיות לך את הדבר השלישי שפה אני חושבת שאנחנו באמת למדנו מזה. אתה מתריע על משהו אבל לא בקונטקסט הרלוונטי ואז זה כפול המאמץ של היוזר שלך להבין את הקונטקסט הוא לפעמים אומר יאללה עזבו אותי כאילו אני אגלה כשיהיה קוד שבץ אני אטפל בקוד שבץ. ואני חושבת שפה עשינו המון מחקר להבין מה זה הקונטקסט הרלוונטי.

אני חושבת שאת נגעת בנקודה מצוינת של בעצם המכפלה של ה"אני מודיעה", כפול המכפלה של כמה קונטקסט הוא יצטרך כדי להבין מה הדבר הזה. אני אגיד גם שכיסינו באמת את העולם הזה של הנוטיפיקציות מאוד מאוד בהרחבה בפרק עם ענבל הורן שעשינו, על באמת על המסע של איך מורידים נוטיפיקיישן פתיק גם במאנדיי, ואני חושב שהנקודה שאת מעלה פה על המכפלה הזאת היא סופר מעניינת, כאילו מעניין אותי שרגע ניכנס אליה אולי טיפה יותר לעומק אפילו. אז אני חושבת שבסוף, אם אנחנו מדברים ספציפית על המקרה הזה, על הדוגמה הזאת, בשביל שהוא יבין אם זה רלוונטי לבוא לו, הוא צריך להסתכל על הנוטיפיקציה, עכשיו בגלל שמדובר פה על מידע רפואי, יש גם דברים שמותר לי להראות בנוטיפיקציה לעומת מערכת שהיא נעולה וכזה, אז הוא חייב להיכנס לנוטיפיקציה בתכלס, נכנס, הוא מסתכל על הסריקה, הוא צריך להבין, רגע, זה קרה, זה לא קרה, מי המטופל, מה המטופל, מה זה, זה רלוונטי אליי בכלל, זה הצוות, אני הצוות שמטפל במטופל הזה, אני, כאילו, יש המון המון פרטי מידע, וזאת בכלל בלי שאני מדברת, אני אכל פולו-אפים, אוקיי, הוא בא רק לביקורת, רגע, זה מקרה אקוטי או שהוא בכלל, או שהוא איזה מטופל שחזר לבית חולים לעשות איזושהי ביקורת, אני צריך לקפוץ מזה או שידעתי שזה המצב שלו, יש המון המון פיסות מידע. שהיוזר צריך לאסוף בראש בשביל להבין האם זה רלוונטי לי עכשיו, בכאן ועכשיו, אני כבן אדם, אני כצוות, אני בזמן הזה, האם זה דחוף באותה מידה. והדברים האלה ביחד הם מאוד מורכבים בסביבה שבו כולנו ניזכר כולנו מתי שבטח היינו בחדר מיון, איך האירוע הזה נראה גם ככה. איך זיהיתם את זה? שזה מה שהעניין הוא שקונטקסט בעצם.

גם באמת דיברנו עם יוזרים, גם אחד הדברים שבאמת עשו באידוק, הקימו צוות שנקרא סולושן סקסס, זה צוות שכולו אנשים שהם קלינים, הם היו רובם אחים ואחיות, זה צוות אמריקאי כרוב הלקוחות של האידוק בארה״ב, שהם מה שנקרא היו יוזרים בסופו של דבר, והם אנשים שנמצאים בשטח עם ה... אם היוזרים שלנו הם עושים הדרכות על המוצר, הם עושים זה, אז הרבה פעמים גם שומעים את הפידבק בצורה מאוד גולמית. אני כבר בתור פרודקט, הרבה פעמים הדברים אצלי מעורבבים בראש, ואנחנו עשינו המון המון יוזר טסטינג, גם עם הצוותים שלנו, גם עם יוזרים אמיתיים, ברמה של איזה שאלות אתה שואל אותם. כי אם תשאל אותם למה אתה לוחץ על הנוטיפיקציה, אוקיי, זה לפעמים, הרבה פעמים אני אישית מעדיפה לשאול שאלות יותר פתוחות, כאילו מה היית מצפה לקבל, מה חסר פה. מה היה עוזר לך להבין אם זה רלוונטי לך או לא, לא ישע לבוא ולהגיד למה אתה לא לוחץ כי זה גם מכווין אותם באיזושהי צורה. אז אני חושבת שעשינו הרבה עבודה כזאת והוספנו גם הרבה עבודה של דאטה, בסופו של דבר להבין רגע, האם אני מסתכלת על סוגי לקוחות שונים, האם אצלם אני רואה distribution אחר ואז לנסות להבין מה הסגמנט הזה שזה עובד לעומת הסגמנט שזה לא עובד, אולי בסגמנט שזה עובד. יש לי בית חולים הרבה יותר קטן, כמות המטופלים היא הרבה יותר קטנה, או שיש לי צוות הרבה יותר קטן, או שהיוזר שיש לי שם הוא ראש המחלקה, הוא רוצה לדעת הכל גם ככה, אז הוא דווקא שמח מהאירוע. ובאמת לרדת כאילו גם בדאטה לרזולוציות של, בסוף אתה יודע, גם תראה, אוקיי, 50% זחצו, אוקיי, נחמד, אבל אני צריכה לרדת יותר לבשר, יותר לעומק, הרבה פעמים... אני חושבת שדאטה יכול לספר לך מיליון סיפורים אם אתה בא מאוד עם מיינדסט ספציפי, לעומת, כאילו אם תגידי אוקיי תמצאי מסקנה כזאת, אני כנראה סטטיסטית אצליח לאתר את האירוע. אבל אם אני באה, רגע בואו ננסה לעשות סגמנטציה, בואו ננסה לאפיין את הבעיה מכל מיני זוויות, בואו ננסה לתת את זה ליועצים שלנו עם כל מיני שינויים ונראה אם הם חווים משהו אחר. אני חושבת שעשינו המון המון תהליך כזה מאוד מאוד איטרטיבי. והמון למידה על תהליכי עבודה בבתי חולים. בסוף אנחנו לא האפליקציה היחידה שיש להם, אנחנו לא האפליקציה היחידה ששולחת נוטיפיקציות, לטוב ולרע אגב, אני חושבת שזה מוסיף לנו נוטיפיקיישן פתיק, זה שמקבלים עוד נוטיפיקציות על עוד דברים, ולהבין בעצם מה עבד, מה לא עבד. אם הם אומרים לי את האפליקציה הזאת, אני מאוד אוהב. אני אפילו לא מדברת על נוטיפיקציות, את הנוטיפיקציות לא אהבתי. מה, מה אתה אוהב בה? מה אתה מתחבר? והרי שם הרזולוציות האלה, ואתה פתאום מגלה שהליבה זה בכלל לא אלגוריתם. האלגוריתם אין להם בעיה, הם לא אמרו הוא לא מדויק, אני לא מאמין בו. הליבה זה תודיע לי כשזה רוויינטי לי, בזמן המתאים לי, עם המידע שאני רוצה לראות.

אוקיי, אז אנחנו מתחילים רגע באיזושהי נקודת התחלה שבו אנחנו אומרים. יש לנו נוטיפיקציות, אנחנו מתריעים על באמת מקרים חשובים שצריך להתריע עליהם, ואז אנחנו רואים שלא משתמשים, והדבר האינסטינקט הראשון הוא להאשים את עצמנו, להגיד אוקיי, משהו במוצר שבור, בודקים את המודל, המודל פרפקט, בודקים את החלק הטכני, החלק הטכני פרפקט, אוקיי, בוא נצלול רגע לעולם החיצוני, ואז אנחנו הולכים בשני צירים, ציר א', להבין את הקונטקסט של המשתמשים, איפה הם נמצאים, ובאמת לשאול אותם באמת. יותר דברים שהם יותר נקודתיים לקונטקסט של רעש של בית חולים. והדבר השני בדאטה זה לא להסתפק במי לוחץ, מי לא לוחץ, אלא להתחיל לעשות סגמנטציות קצת יותר עמוקות כדי לנסות ולזהות אזורים שיכולים להעיד לנו על הדבר הזה. לגמרי. הדבר השלישי שנגעת זה שהמוצר שלנו אף פעם הוא לא המוצר היחיד בשימוש של המשתמשים שלנו. תמיד הם משתמשים בעוד דברים והמוצרים השונים משפיעים אחד על השני וזה שאין לנו גישה לדאטה זה לא אומר שהוא לא קיים במובן הזה. חד משמעית. אני חושבת שהרבה פעמים אנחנו, אתה יודע, אנחנו מתמודדים עם כל מיני בעיות. אני יכולה לתת לך דוגמה אחרת באקו סיסטם של הלדקייר, שיש קונספט שנקרא share devices. זה בסוף, יש טלפון של התורן, שהוא מסתובב איתו בבית חולים, במשמרת שלו, ויש כל מיני עניינים של עם איזה יוזר הוא אמור להתחבר ל-share device, מה הוא אמור לראות, מה זה. ולא תמיד אתה צריך להמציא את הגלגל. אנחנו התחלנו ב-אוקיי, הם רוצים פתרון סקיילבילי. אז שנייה לפני שאני מתחילה להמציא את הגלגל לעשות את כל ה-discovery, יש שם עוד אפליקציות. נכון. כאילו, אנחנו לא האפליקציה היחידה שהם משתמשים בה. אני ממש שואלת אותם, מה עוד מותקן? יש משהו שאתה אוהב את החוויה שלו? יש משהו שאתה גם לא אוהב את החוויה שלו? כאילו, לפני שאני מתחילה להמציא ולחשוב ורגולטורית וליגה ותהליך שלהם, לבוא ולהגיד, שנייה, גם אחר כך אני צריכה לדבר עם ה-IT של בית החולים, שכנע אותם שמה שעשיתי הוא בטוח מספיק. אם אני רגע מבינה מהיוזר בכלל, באמת כמו שאמרת, אנחנו לא חיים בחלל ריק, ואני לא מכירה אף אחד מאיתנו שמשתמש רק במשהו אחד, ואני חושבת שהרבה פעמים אם משלבים את הדבר הזה בעבודת הדיסקאברי, יכול להיות שיהיו דברים שבכלל לא תחשוב עליהם אחרת. זו נקודה ממש חשובה להדגיש, כי הרבה פעמים כשאנחנו בונים את המוצר, אז אנחנו אומרים, אוקיי, בוא נסתכל על המתחרים שלנו, ואנחנו מסתכל על המתחרים שמשחקים באותה קטגוריה. אבל המתחרים שלנו הם attention, כאילו מול מי אני מסתכל ואז דווקא הקונטקסט יכול לבוא מזאת אפליקציה שדווקא אני ממש אוהב שהיא ל-use case אחר לגמרי אבל אותו פרסונה ופתאום זה פותח לנו את הראש לדרכים אחרות לפתור את הדברים או לבעיות אחרות שיצופו. אוקיי אז אנחנו עושים רגע את התהליך הזה, אנחנו מדברים איתם על מוצרים אחרים שהם אוהבים, מוצרים אחרים שהם לא אוהבים, מה אתם רואים בניתוח הזה?

אני חושבת שבסוף אתה מבין שיש הרבה משמעות ללהבין איך נראה היום יום של המשתמש. לצורך העניין, יש לי תחילת משמרת, יש לי סוף משמרת, יש לי יוזרים שהם נמצאים ב-on call בכלל בבית, הם צריכים להיות במה שנקרא דקת קריאה, אבל זה לא באמת דקה, אז הם צריכים להיות איקס זמן בבית החולים, אבל הם עדיין נחשבים שהם עובדים. יש לי אנשים שעובדים יותר במחשב, ויש לי אנשים שעובדים יותר בטלפון נייד. ואני פתאום מבינה שעולם הבעיה שלי הוא יותר מורכב קודם כל, ואיפה אני תופסת אותם, ומה רלוונטי, זה אגב יכול להיות גם רלוונטי, נניח יש אנשים שנמצאים בסביבה שקטה, ויש אנשים בסביבה רועשת, אם הם נמצאים עכשיו בחדר מיון, ויש אנשים שהנוטיפיקציה צריכה להעיר אותם בלילה, כי הם בכלל בבית, וזה צריך להעיר אותם, כלומר אפילו הסאונד שלי צריכה לחשוב על הדבר הזה, זה לא מספיק הסאונד של הטלפון, מה שנקרא כמו, כולנו מכירים את פיקוד העורף וההתרעות שלו, לטוב ולרע, אבל התעוררנו מהם בלילה. זה זכיר, זה זכיר בדיוק, אז אני אומרת שאפילו להבין את העולם הזה של כאילו הם מקבלים נוטיפיקציה באיזה וולטים זה צריך להיות, באיזה שלב זה צריך להיות, אני יכולה להגיד שאפילו חלק מהדיסקאברי גילינו שיש כאלה שהטלפון שלהם נזרוק איפשהו והם רוצים שזה יתחבר להם לשעון החכם, זה מבחינתם ההיילייט כאילו שהם רוצים שזה, אז אתה ממש מתחיל לאפיין. מה האירוע? ואני חושבת שאחד הדברים שבאמת הגענו אליו זה באמת העולם של מתי הם עובדים? כאילו, אני לא רוצה לקבל כשאני לא עובד, שזה אמירה מאוד הגיונית, אני חושבת שהרבה מאיתנו ישמחו להתנתק, לא יודעת, מהסלאק והאימייל שלהם כשהם לא עובדים, ועל אחת כמה וכמה אם אני אגיד, תחשבו רגע שהצליל הוא צליל של פיקוד העורף ומקפיץ אותך, אז פתאום אתה נמצא בחוף איפשהו ופתאום שומע סירנה, זה לא ה... חוויה הכי נעימה.

אבל כשאתם אומרים את המשלמים עם משתמשים, אני לא רוצה לקבל את זה כשאני לא עובד. את אומרת, יש פה דרגות שונות של עובד, מה זה עובד? אתה עובד עכשיו בחדר מיון, או שאתה עובד עכשיו במרכאות מהבית, או שאתה, לא יודע, אתה באמת בחופש ואתה לא עובד, ואני חושב שכשאני חושב על זה, אני אומר, הרבה פעמים אני מתייחס לקונטקסט של המשתמשים קצת כמו מזג אוויר. זה שם אבל את מביאה פה זווית שאומרת רגע אולי אולי כן אפשר לזהות את הקונטקסט הזה ולעזור להם אחרת. לגמרי אז אני חושבת שפתאום אני זוכרת כאילו שיחות שהיו לי עם לקוחות שאני אומרת להם איך יודעים שאתה עובד כי בסוף זה לא המצאה שלנו כי אם עכשיו צריכים להקפיץ מישהו יש להם איזושהי מערכת שאני צריך להקפיץ אז כאילו איך יודעים שאתה עובד. כאילו זה בקובץ אקסל, הם זוכרים אותך, יכול להיות שיש בן אדם אחד כזה בבית חולים, שוב אנחנו מדברים על ארה״ב, יש הרבה מאוד רמות של בתי חולים, איך בכלל הם יודעים את זה? ואז בבתי חולים הרבה פעמים יש באמת איזושהי מערכת סקייג'ול, בסוף משלמים להם לפי כמה שהם עובדים, משלמים בחופש, אם הם עושים החלפה, יש החלפות במשמרות, יש דברים כאלה. זה גם דיאמי, כאילו זה קורה.

בדיוק. זה דינמי, זה לוזים אחרים, כלומר בסוף המשמרות בחדר מיון לעומת משמרות בחדר ניתוח, הם לא אותו דבר. וכשהגענו ככה יותר לעומק, הבנו שהרבה מאוד דברים מסתמכים על זה שיש מערכת סקדואלינג, ותתחברו איתה, כאילו בואו תבינו, כאילו אומרים, מבחינתי זה ההגדרה של עובד, אתכם לא צריך לעניין אם אני במסעדה, אם אני בבית חולים, אם אני אשן. אני, אם כתוב שם שאני עובד, אני עובד, אין לי בעיה שיתקשרו אליי, אין לי בעיה שיתריעו לי. ואני חושבת שפה התחילה הרבה אקספלורציה גם ברמה הטכנית של מה זה אומר בכלל להתממשק איתם. כי אגב, יש שם הרבה יותר מידע ממה שאני צריכה. יש שם מידע על כמה מיטות ביחס לכמה עובדים, ביחס ל... לא יודעת, האם אני מגדירה את... סתם, נדבר על איכילוב כאיכילוב, או אני מגדירה את איכילוב כ... דנה לילדים, ליס לנשים, סורסקי, גם פה, מה זה עובד? הוא עובד פה או הוא עובד בכל איכילוב? כי גם פה על מה אני מתריעה. אז ממש נכנסנו לרזולוציות של מערכות סקייג'ואלינג, איזה אינפורמציה יש שם, מה רלוונטי לי בשביל להבין את הקונטקסט הרלוונטי ליוזר, כלומר יש שם המון פיסות מידע שאתה לפעמים, יכול להיות שבדיוק תלך הפוך, אני אתן לו משהו יותר מדי ספציפי, הוא בכלל יפספס, ותפסת מרובה או תפסת אם אני אתן לו יותר, כאילו, ובתוך זה באמת הבנו, הגדרנו ממש גיידליין, של במה אנחנו תומכים ובמה אנחנו לא תומכים. כי בכל אינטגרציה, אני חושבת, אתה יכול להפוך אותה לסופר מורכבת ולממש פשוטה, אבל ה-value הוא איפשהו בין לבין, וצריך לדעת, במערכות שהן סקיילד, אני לא הולכת להתאים את זה לכל הכוח. יש לי בסוף גיידליין, אז עשינו המון גם שיחות אקספלורציה עם המערכות של, עם החברות שמכרות סקיילד'ולינג. עם היוזרים שלנו, עם אנשי IT שבסוף עושים את הסטאפים האלה, איזה מידע מותר לי לקבל, איזה מידע אסור לי לקבל, ובסופו של דבר התוצאה של זה הייתה זה שאני אגיד מכל הסיפור הזה שבסוף הם מקבלים התראה כשזה רלוונטי, וזה ממש אנחנו ראינו בכל המטריקות שלנו שזה שינה, שינה איזה פלאים, גם את השביעות רצון. גם את הבקשות של הלקוחות, גם את השימושיות שלהם. ואם, אתה יודע, התחלתי בכלל מהעולם של, אה, הטעות אצלנו בתוך האלגוריתם לא בסדר, או יש לי בעיה טכנית, זה בכלל לא היה עניין. האלגוריתם, ועל זה, לא נגענו בהם.

ואם הייתי מחזיר אותך כזה רגע אחורה לתחילת התהליך, ולהתחלה של ה-Notification Fatigue ומה שחוויתם, מה הדברים שכזה תובנות מרכזיות שלך, או דברים שאת רוצה שהמאזינים שלנו יחזיקו בראש כשהם שומעים את הפרק הזה? אני חושבת ש-AI זה מגניב וזה כיף וזה מטורף, אבל לא לשכוח להשקיע הרבה זמן ביוזרים עצמם, במי שהולך להשתמש בזה, שזה אגב לאו דווקא הלקוח שלך, הלקוח שלך יכול לטען עליו, אבל ממש להבין את היוזר, לשמוע ממנו, להגדיר מה מבחינתי, איזה מערכת זה צריך להזיז. ואיך אני מתממש, נניח היה לכם תמיד את האלגוריתם הכי טוב, איפה זה היה תופס את היוזר, איפה היית מתממשק בכלל בעולם שלו. ואני חושבת שברגע שאתה חי את העולם של היוזר, אתה יכול לגרום לו לייצר אמונים עם האלגוריתם ושימוש בצורה הרבה יותר טובה ואיכותית.

מעולה, מה שאני ככה לוקח מהשיחה שלנו, זה קודם כל הנושא הזה של בנוטיפיקציה, או בכלל כשאנחנו מדברים עם המשתמשים, יש לנו את המכפלה של... הדיוק כפול הקונטקסט וקל לנו ממש ליפול אם זה לא עובד זה בגלל הדיוק אבל לפעמים זה בגלל הקונטקסט זה הדבר הראשון. הדבר השני זה שאנחנו חושבים על איך לשפר את המוצר שלנו אנחנו עושים כבר מחקר מתחרים ואנחנו מסתכלים על מתחרים בקטגוריה שלנו ולא מסתכלים על מי מתחרה על הקונטקסט מי מתחרה על האטנשן של המשתמשים. והדבר האחרון אני עד השיחה הזאת התייחסתי לקונטקסט של המשתמשים בתור מזג אוויר אוקיי זה המצב. ומה שאני לוקח מהשיחה איתנו זה של בוא ננסה להסתכל על המערכות ששולטות על הקונטקסט. במקרה שלכם זה היה מערכות הסקדג'ולינג ובוא נתחבר למערכות ששולטות על קונטקסט קצת כמו להתחבר למה הולכת להיות התחזית ואז לדעת אם אני צריך להביא מטריה. אז עם זה אנחנו ככה נסיים את הפרק ורגע לפני אני אגיד שאם אתם רוצים לדעת בכל פעם שיוצא פרק חדש בתוכנית שלנו אתם זמנים לעקוב אחרינו בכל אחת מהאפליקציות ולתת לנו דירוג חמישה כוכבים. ושוב המון המון תודה עדי, תודה רבה, ותודה לכם שהאזנתם.