AI ארגוני: למה 94% מה-POCs נכשלים ואיך לנצח את הסטטיסטיקה!

שלום לכולם, אני ערן ארז ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות על בעיות מוצריות שהם נתקלו בהן, איך הם ניגשו לפתור אותן ומה השיעורים שהם למדו בדרך. ובפרק של היום נדבר על הבעיה המוצרית הבאה, איך בונים מוצרי AI לאנטרפרייז ב-2025. ומי שיספר לנו על ההתמודדות שלו עם האתגר הזה הוא אורד אגן, Product וStrategy Officer ב-AI 21. היי אור. אהלן, מה קורה? מצוין, מה שלומך? בסדר גמור, תודה שאתם מארחים אותי. אנחנו ממש שמחים שאתה פה, וככה לפני שאנחנו צוללים לתוכן, אולי תספר לנו קצת עליך וקצת על AI 21. בטח, אז AI 21 אנחנו אחת, אפשר להגיד אחת מחברות ה-AI המובילות בעולם, מעבדות ה-AI, בין הבודדות שמייצרות מודלי שפה מאפס, היחידה בישראל למעשה. ואנחנו בונים פתרונות AI, מערכות AI מורכבות לארגונים, לאנטרפרייזס בעיקר, קיימים מ-2017, וכן, זה החברה. אני שם גם די מההתחלה, היום מוביל את כל קבוצת המוצר, התחלתי כמפתח וגדלתי עם החברה. מטורף, ומה האתגר שאנחנו הולכים ככה לדבר עליו היום?

אז אני חושב שאמרת בצדק איך עושים, איך בונים מוצרי AI לאנטרפרייז ב-2025, ואני חושב שזו שאלה מעניינת, כי יש בה שני היבטים, בעיניי שהם אולי שונים מהדברים הרגילים. אחד, מוצרי AI, וספציפית מה שאנחנו עושים, שזה גם לא מוצרי AI ורטיקליים, אלא מעין טכנולוגיה אוריזונטלית כזאת לארגונים, אז זה כבר דבר לא טריוויאלי. סוג אחר של ניהול מוצר, סוג אחר של מוצר באופן כללי, ואנחנו גם מכירים אותו לאורך כל התקופה של החברה, גם התעסקנו ב-B2C, וורטיון, וגם יש לנו היום B2B, אז זה דבר אחד שהוא כבר אולי שונה מהרגיל, והדבר השני שהוא שונה מהרגיל, אני חושב שהשנה, ובתחום הזה של AI, עבודה מול אנטרפרייז היא מאוד שונה מאשר במוצרים אחרים או בעבר. סל סייקס נראים שונה, מה שהם באים ומנסים להשיג נראה שונה, אז אני חושב ששני האתגרים האלה דורשים מאיתנו בהרבה אזורים לא לעבוד לפי הפלייבוק הרגיל, וללמוד בדרך מה צריך לעשות אחרת כדי להצליח בשוק המטורף הזה, בתחרות המטורפת הזאת, ועם הדרישות המאוד משתנות של הלקוחות. אז הייתי שמח שניקח רגע את הפריזמה הזאת, ובוא ננסה לחשוב רגע על בניית מוצר לאנטרפרייז היום ב-2025. ובואו ננסה לקחת את זה רגע דרך כל השלבים מלפני שיש מוצר ומכירה ועד הרגע שבו זה טמנו וכולם מרוצים. אז מעניין אותי לשמוע רגע את הטייק שלך, בוא נתחיל רגע עם ההתחלה בעצם.

אני חושב שאצלנו, אם אני דקה אתן טייק לעולם טיפה יותר דיפ טקי טכנולוגי, השרשרת מתחילה הרבה פעמים עם... עם איזשהו ריסרצ' טכנולוגי בכלל, ונראה לי שזה מאוד שונה מניהול מוצר רגיל, כי הרבה פעמים זה לא בעיה שתגיע מאיזה לקוח, אלא פיתוח טכנולוגי, או איזה מחקר שעושים בצוותי האלגוריתמיקה והריסרצ', שפותח איזה פתח למשהו חדש. ועכשיו, חלק מהאתגר... של מנהל המוצר זה להצליח ליישב את זה ואת מה שאפשר לעשות עם הדבר הזה, אם איזשהו צורך קיים היום, אם איזושהי בעיה קיימת היום, כי מה את הקלישאה של פתרון שמחפש בעיה? אמרו שאלה לא פתרונות עדיין, זה הקטע, הם חתיכות טכנולוגיות. אנחנו אוהבים להגיד, אנחנו לפעמים צוחקים על זה, שמודלי השפה יצאו מהמעבדה מהר מדי, כי... כי באמת בצורה הגולמית שלהם, הם דבר לא מספיק יציב, לא מספיק שימושי, אבל בדיוק מלא אנשים יצירתיים ומנהלי מוצר ובאופן כללי אנשים בתעשייה, הצליחו ליצור מהם צ'טבוטים והצליחו ליצור מהם כל מיני חוויות וסוג של to tame them לתוך מה שהם צריכים, אבל כשהם הסתכלו על מודל צפה בהתחלה והם ראו... חתיכת קופסה שמנחשת את המילה הבאה כל פעם, היה צריך לעשות את האתגר המחשבתי הזה. איך הדבר הזה עוזר לי באיזשהו ביזנס use case ביום-יום. אוקיי, אבל נגיד לי יושבים מנהלי מוצר בבית ומתגרדים מהמחשבה שטכנולוגיה שמחפשת בעיה. מעניין אותי לראות, כאילו, דווקא אתה בתור כובע המוצרי פה, איך אתה מסתכל על זה.

אבל אני חושב שזה העולם שאנחנו חיים בו. אני דווקא, א', בתור מישהו שמגיע גם מאולי צד יותר טכני, ואני חושב שזה גם אולי מה שאנחנו... שאני מחפש גם באנשים שעובדים אצלנו, אני חושב שזה גם תנאי, מפתח לניהול מוצר ספציפית בעולם שלנו. צריך לאהוב את הטכנולוגיה ולהכיר את הטכנולוגיה ולדעת לדבר אותה. בסוף, כדי להבין מה אפשר ומה אי אפשר, וכדי לתת גם added value לצוותים הטכנולוגיים שעובדים איתם, חייבים להיות בעומק הזה. וזה אומר גם לקרוא מאמרים, וזה אומר ממש לדבר על ה... על התוכן הכי הכי ספציפי ולהיות סוג של הנציגות, שזה אגב מנהל מוצר תמיד עושה בכל מקום, הנציגות של הלקוח בחברה ומול הטכנולוגיה. ההבדל פה שאולי צריך להחזיק מניפה רחבה יותר בראש של עולם הבעיות של הלקוח, אני חושב שחלק מהדרך שבה אנחנו עושים את זה היום וזה גם תודות לדינמיקה היום, כי כולם רוצים היום AI בארגונים וזה, אז... יש המון שיחות עם לקוחות כל הזמן, והם בארגונים שלהם עושים תהליכי דיסקאברים מאוד מאוד גדולים, ומנסים לעשות סורסינג לעוד ולעוד use cases, אז אני חושב שאנחנו כמנהלי מוצר בחברה מסתובבים עם איזה תיק על הגב, של המון דברים שהמון לקוחות רוצים להגשים, ואז כשאנחנו נתקלים באיזה חתיכת תכנון חדשה, אנחנו יודעים לעשות את החיבור הזה לאיפה זה יכול לפגוש לקוח, איפה זה יכול לשנות את הבעיות שיש להם היום. זה צריך להסתובב עם זה על הגב כל הזמן. אני חושב שהרבה פעמים אנחנו בניהול מוצר מדברים על דיסקאברי מתכנס, שבעצם אנחנו אומרים, אוקיי, יש לנו איזשהו עץ היפותזות ולאט לאט אנחנו מתכנסים, ופה זה דיסקאברי שהוא קצת מתבדר בכוונה, זאת אומרת, אנחנו עדיין לא בשלב של לסגור, אם אנחנו חושבים על מתודולוגיות כמו דאבל דיימנד או מתודולוגיות אחרות, שיש את ההתכנסות, פה אנחנו עדיין בשלב של בוא נפתח, בוא נפתח, בוא נפתח, ואז היכולת הזאת להסתכל על רגע, כמו שקראת לזה, פיסות טכנולוגיה, יכול לפתוח רגע את הראש, אבל בלי הבנה טכנית נורא נורא קשה לעשות את התקפי.

נכון, תראה, אני חושב שעוד אתגר בהקשר הזה בין הפתיחה לסגירה, קשור נגיד למה זה ניהול מוצר של מודל שפה. ניקח את ג'מבה, זה המודל שפה שלנו, הוצאנו אותו בשנה שעברה, ולאחרונה הוצאנו עוד איזו גרסה, והוא מיועד באמת, ארגונים שרוצים להשתמש ב-API במודל שפה, או לקחת את זה אליהם גם לפריביט דיפלוימנט, יכולים להשתמש בו. כשבונים מודל שפה, אני חושב שהרושם של כולנו ממודלי שפה באופן כללי זה שהם יודעים לעשות הכל. נכון, זה גם חלק מהקסם או חלק מהפרומיס שלהם זה שהם מאוד גנרים וגנרליסטים במהות שלהם. אבל זה לא קורה בקסם. ויש כמה אלמנטים בתהליכי האימון של מודל כזה. ובפרויקט של לייצר מודל שפה, שבהם צריך להחליט במה רוצים להיות טובים ובמה לא רוצים להיות טובים. זה הרבה פעמים מיטשטש לנו כשאנחנו משחקים עם, לא יודע, עם ChatGPT, ואנחנו שומעים את השאלות, זה מרגיש שהוא יודע הכל, אבל מי שמשחק הרבה עם המוצרים האלה, יכול להתחיל לזהות טמפלייטים מסוימים בהתנהגות. נכון, נגיד קומפריסון, כאילו, טוב. כן, אתה רואה פתאום איכשהו, איכשהו זה תמיד נראה אותו דבר, ואז אתה מבין שישב שם מנהל מוצר מאחורה. שאמר, אוקיי, כשישאלו אותי על קומפריסון, אני רוצה שזה ייראה ככה, מגדיר את העולם, נותן את זה לצוות האלגוריתמי שמכין דאטה רלוונטי ומאמן על זה. הדברים האלה הם לא קסם, הם עבודה. והרבה פעמים אנחנו מציגים את יצירת מודלי השפה כקסם, יש שם עבודה, יש שם מחשבה. אז פה בדיוק יכול להיכנס מנהל מוצר, שא', צריך להגיד במה אנחנו רוצים להיות יותר טובים, נגיד עם ג'מבה. ברור שהמודל צריך להיות יחסית גנרליסטי ולהצליח. כזה קצת מהכל וזה, אולי כמו איזה מנהל מוצר, אבל אולי אנחנו עושים ניתוח של השוק שאנחנו רוצים להתמקד בו, אנחנו מדברים על לקוחות שהם מבינים שלהם מאוד חשוב סוגיית האלוסינציות נגיד, והם עובדים בעיקר במידע ארגוני, והם רוצים שכשאתה שואל שאלה על מידע ארגוני, חשוב להם שתהיה תשובה נכונה, והם מוכנים להתפשר על דברים אחרים בדרך. אז יכול להיות שאנחנו נדאג שג'מבה יהיה הרבה יותר טוב בזה. על חשבון, לא יודע, תכנון חופשה ביוון, משהו שאולי בצ'אט ג'יפיטי מאוד חשוב, ולנו, לקוחות שלנו, לא חשוב. אז הטרייד-אופים האלה, שאנחנו מנהלים בכל מוצר, גם מנהלים פה, האתגר פה שזה כאילו, לפעמים מדברים על זה, to boil the ocean, כי זה כאילו הכל, זה כל סוגי הדברים שכל האנשים יכולים לבקש, ופה צריך לנהל, פה צריכים להבין את הטכנולוגיה ולנהל סיכונים בצורה חכמה כזאת, ולנסות לעשות מהם... מיפוי של העולם ולהגיד אוקיי באיזה קטגוריות מספיק לי משהו די גס, אני עושה איזה טמפלייט נאיבי, משהו, פגישה פשוטה ובאיזה מקומות שהם ה-added value שלי, אני נכנס לרזולציה מאוד מאוד גבוהה ופותר שם את הבעיות, משקיע את רוב האנרגיה שלי שם.

כן, אני חושב שזה משהו שאנחנו צריכים להבין שגם במוצרים האלה שאנחנו בעצם מספקים פלטפורמה שהיא רלוונטית להרבה use cases באנטרפרייז. עדיין יש פה משקולות עדיין יש פה טרייד אופים שאנחנו לוקחים בתוך המוצר ואני גם חושב שפה זה מאוד משפיע על כזה מחיר הפדיחה כאילו אני חושב נגיד על גוגל כאילו אם הם היו עושים משהו זה המחיר הפדיחה מאוד גדול כי הם ברנד קונסיומרי הוא ברמה אחרת אני חושב שזה גם נקודה. אוקיי אז אנחנו נמצאים רגע בדיסקאבר אם אני שנייה רגע כן חוזר רגע לטרק אז אחרי שעשינו בעצם דיסקאבר ובנינו משהו ראשון לוולידציה כמו שאתה אמרת כבר מקודם. עכשיו יש המון המון המון הייפ והרבה לקוחות רוצים לדבר על AI, אז אולי ככה ניגע באמת במה שונה בתהליך המכירה או בתהליך ההכנסה לפני שזה בכלל הופך להיות מוטמע בארגון. אז אני חושב שפה אולי חלק מהיופי שאנחנו בכזה דומיין חדש שמתפוצץ ומשתנה, כל שנה נראית אחרת. ואם הייתי שואל את זה שנה לפני חצי שנה הייתי אומר לך משהו אחר. ואם התחלנו, ואם, לא יודע, 2023 ו-2024, אז היה הייפ מאוד גדול, ואני חושב שאולי 2024 הייתה שנה של המון POCs, המון כזה התפזרות והתבדרות, וארגונים רק רוצים, ומנכ"לים שאומרים לאנשים שלהם, שמים איזה Head of AI ו Chief AI Officer ותקציבים, ותביא לי משהו, חייבים לעשות משהו, חייבים את ה-GPT הזה אצלנו בתוך הארגון. אנחנו רואים איזושהי התפקסות בארגונים. אני חושב שהם הבינו באנטרפרייזס שהריצה אחרי עוד POC ועוד POC לא מספיק הוכיחה את עצמה. היה לא מזמן נתונים של AWS, רק 6% מהניסיונות באנטרפרייזס, POCs וכולי, רק 6% מגיעים לפרודקשן. זה מטורף. עכשיו, אנחנו רואים ממש מגמה שונה מה-B2C או מ... או מסטארט-אפים, כי אני חושב ש... ודיברת על מחיר הטעות, ב-B2C אני חושב שקל מאוד לייצר היום מוצרי AI, יש אדופשן מאוד גדול, המוכנות לספוג טעות וגם מהן לסמוך בעיוורון במרכאות על AI, זה כבר קרה, ChatGPT כאילו עשו את הזה ואנחנו ראינו את זה אגב בתוך חברה שהייתה שם עוד עם וורטיון. חוותה את המעבר הזה, אני זוכר שלפני ChatGPT, האתגרים הכי גדולים בוורטיון, היו לגרום ליוזרים to trust AI, ברמה שכשהיינו עושים טסטים במרקטינג, להשתמש ב-AI פגע בביצועים, וכל הזמן התעסקנו באיך לייצר את ה-trust הזה, וChatGPT כחוויה כזאת אוניברסלית שכולם התחילו לדבר עליה, הפך את זה ב-180 מעלות, היום קונסיומרס... מבחינתם לא רוצים לבדוק ואם פעם כאילו חלק מהvalue שבוא נצא מזה כאילו בוא תקרא קודם תראה שזה באמת זה זה היום הם לא רוצים הם סומכים בעיניים תן לי תחסוך לי את העבודה חצינו שם איזשהו גשר בטח נכון ודיברת על מחיר טוב אז גם סטארטאפים גם אם הם בונים לבי טו בי הם יכולים לעשות לעצמם הרבה יותר גליצ'ים ופדיחות במוצר שלהם כי הם סטארטאפ קטן וזה מה שקורה בכל מוצר. אבל אנטרפרייזס שרוצים עכשיו להחליף את תהליך הפרוקיורמנט שלהם בתוך הארגון, רוצים שכל הניהול חשבוניות שלהם ייראה אחרת, רוצים שכל הספורט שלהם יהיה אוטומטי, מלא מלא דברים כאלה, זה מתחיל להיות מורכב. נכון. אתה אולי מחליף אנשים ואז אתה מתחיל לעשות בדיקות יותר קפדניות, אתה מוציא אולי דברים מוקדם מדי לפרודקשן ומקבל בקלאש ולקוחות עוזבים ויש לך פתאום, לא יודע, רווחים יורדים, דברים כאלה, מתקשים למדוד מיד את האימפקט, מנסים לעשות איבלואציות, האיבלואציות זה אתגר מטורף, כי צריך לייצר דאטה רלוונטי, וצריך לדעת לעשות את זה בצורה, מה שנקרא, אקדמית, נכונה, למדוד וכולי, חלק מהאפקט של כל המודלים האלה שהם כאילו great bullshitters, וכאילו במבט ראשוני ומהיר, נראה שהם עושים עבודה טובה.

בדיוק, זה הנקודה המרכזית שב-POC, אתה אומר, אה, הכל נראה מדהים, זה נראה מדהים והוואו פקטור הזה שהיית רגיל מפיוסים במוצרים אחרים שאם הוואו פקטור ככה זה גם באמת ישתקף במוצר, בדיוק, פתאום אתה לא מבין כמה ההבדל בין העומק לרמה שטחית, בדיוק, ואז בסוף רק 6% מגיעים לשלב הבא כי אני חושב שאנחנו קוראים לזה הרבה prompt and pray, זה עולם הפיוסיס והאקתונים וזה עובד מדהים. כל, גם אג'נטס וגם מודלים לבדם להאקתון או ל-PoC, באמת בפרומפט אחד אתה מביא משהו שעובד כזה 50-60% מהזמן, שזה כל מה שאתה צריך בשביל דמו בהאקתון. בדיוק. וזה נראה מדהים, וזה מרשים, וזה עובד, ואתה אומר, וואו, השקעתי בזה שעה. ואז הם מתחילים לעשות איוולואציה. והם אומרים, אוקיי, 60 זה יפה, עכשיו רק ניקח את זה ל-80-90 אחוז. ואנחנו, והכול בסדר. וזה מאבק קשה, זה מאבק קשה, כי אני חושב שמגלים, כשמתחילים לעשות את זה, מגלים את המורכבות בעבודה עם מודלים ועם מוצרי AI, את הקושי בלשלוט בהם, ובטח בשבילה של פרומפטים, ומה שאנחנו רואים שמעשית קורה בארגונים בשלב הזה, שהם נאלצים להפעיל, מה זה נאלצים? נאלצים זאת מילה זה, אבל הם צריכים להפעיל פרקטיקות רגילות של software development, לקחת את הבאז ולהתחיל לפרק אותה. ומפרומפט אחד נהיה לך איזשהו צ'יין די מורכב, ומי שמבין שככה צריך לפעול, ועושים ולידציות, ועושים מלא קריאות למודלים, ועושים רנקינג, ומכניסים עוד דברים פנימה, בסוף הקריאה עצמה למודל נהיית חלק קטן מתוך כל הפתרון, כמו שצריך להיות, אבל בדרך משקיעים הרבה מאוד R&D אפורטס, והרבה מאוד אפורטס לאבלואציה, ומנסים פתאום למדוד מה הROI של זה, ואז קורה שהרבה POCs נופלים בדרך. אנשים אומרים עזוב אז אני כבר אשאר במה שאני גם ככה יודע לעשות, מי שכן ממשיך וזה אז בסוף כאילו מצליח ואז גם נתקל בבעיית הסקייל כי פתאום קריאות למודלים בסקייל מאוד גדול ולייטנסי וזה, לא טריוויאלי, לא טריוויאלי, אז אני חושב שזו המגמה עכשיו של 2025, ריאליזציה בארגונים האלה שהם צריכים פתרונות. שהם Enterprise Grade, שהם צריכים להתעסק באיוולואציה, אז הם רוצים פתרונות או שכבר עוזרים להם לעשות איוולואציה, או שבאים עם כזה Proven Data Sheets שמסבירים למה זה טוב, הם מבינים שהם צריכים לבנות את הסקילסט הפנימי שלהם הרבה יותר. אז ברוב האירועים שאנחנו עובדים איתם, שהם ארגונים גדולים, הם בונים צוותים פנימיים כאלה, שזה מה שהם עושים, הם מגייסים משם אנשים חזקים, ואם ב-2024, אתה יודע, הם רצו מפיוסי לפיוסי, אחרי אומרים, רגע, רגע, רגע, אני רוצה... לעבוד דקה לאקספרטיז שלי בתוך הארגון, אז אני לא רוצה לחפש 70 ונדורים, אני רוצה ונדור אחד, שניים, בסוף כל המודלים הם אומרים, זה כבר די קומודיטי, מה ההבדל? תביא לי ג'מבה, תביא לי זה, תביא לי זה, בסדר, ההבדלים הם קטנים, הם מבינים שאולי יהיה להם יותר אימפקט מלחזק את השריר אצלם בארגון, ואז מי שהם צריכים זה אולי לא את המודל שהיום, כי זה כל יום משתנה, או מקום ראשון באיזשהו ונצ'מרק, אלא מודל שעובר איזשהו רף. ופרטנר טוב לעבוד איתו, שיכול להחזיק להם את היד בדרך וללמד אותם ואקספרטיז, וזה מה שבעיקר אנחנו מנסים לתת ללקוחות שלנו.

אני חושב שבאמת, דווקא בגלל שנורא נורא קל להגיע ל-50-60 ב-POC, זה מייצר את אפקט העצלנות, כי אחר כך כשאתה מבין באמת כמה אפורט, אז אתה אומר, רגע, רגע, רגע, רגע, כאילו בגלל שהתלהבת כל כך בהתחלה, זה דווקא מוריד לך אחר כך, ובניגוד למקומות שבהם ה-POC היה הטיפוס על R, אבל ברגע שהגעת ל-POC זה פרודקטיזציה של משהו שכבר הוכחת את ה-value, ואז אתה אומר אוקיי סבבה אז ייקח עוד זמן אבל אני יודע להגיע לזה פתאום פה בגלל אפקט העצלנות הזה אני חושב שזה מאתגר הרבה הרבה יותר ארגונים וכמו שאמרת הפרטנר פה זה המשחק הזה זה לבוא ולהגיד אוקיי נכון יש לי POC שעובד עברתי רף מסוים אבל עכשיו אני יודע גם לעזור לכם להטמיע את זה זה נראה לי מפתח מאוד מעניין. נכון אני חושב שבהרבה ארגונים שמוכרים לאנטרפרייז. הפרטנרשיפ הזה זה חלק מהקונספט, נכון? זאת אומרת, יש לך צוותי סולושן, שולחים ומטמיעים יחד עם הלקוח, זה חלק מתהליך העבודה. אצלנו, בגלל הדבר הזה, באמת צוות הסולושן שלנו הוא צוות חזק, עם רקע אלגוריתמי, ולפעמים גם ה-R&D צריך להיכנס פנימה, אנחנו מערבים את צוותי האבלואציה שלנו בתהליכים האלה, כמובן אנשי המוצר, בדיוק בגלל הסיבה הזאת, כי הליווי פה הוא לא מעין הטמעה טכנית של מוצר בדף, אלא זה כמעט כל לקוח להבין את הבעיה שלו, להתמודד עם האתגרים, להסביר לו איך עושים איבלואציה ל-use case הזה ולהסתכל על הפרומפטים שלו, זה המון handholding עדיין, כי עם כל הבאז, האקספרטיז הוא עדיין מצומצם, אנחנו רואים כמה יש צמא לזה אצל הלקוחות וזה הסיבה שלהם אולי ללכת עם, לא יודע, חברה כמונו שהיא גם כאילו מעבדה ומבינה בזה מאוד לעומת איזשהו כזה Services Company שיודעת לעשות רק את האינטגרציה בצורה.

אני חושב שגם בכלל ה-Sale Cycle קצת... ה-Sale Cycle נראה אחרת לגמרי, חד משמעית. אני חושב שדיברת על המתח של ה-PoCs, אז הוא מגיע משני הצדדים. מצד אחד, אנשים אצלנו במכירות שרגילים למכור לאנטרפרייז, אז נראה לי תמיד יש את המתח הזה בין מוצר ו-R&D לאנשי מכירות, שהאנשי מכירות רצים קדימה ורוצים למכור כזה דברים של העתיד. ותראה את הרואוד ונמכור כבר את הדבר של עוד זה, אז הם כזה באים ואומרים, אנחנו יודעים, עשינו אנטרפרייז, אנחנו מוכרים להם את זה, אני יודע שזה לא מוכן, יש לך חצי שנה, הכל בסדר. אבל לצערנו זה לא, כאילו לצערנו או לטובתנו, זה לא המצב היום ב-AI, כי בגלל גם הלחץ מלמעלה, אבל גם הפרומפט אנד פריי ומה שקורה ב-B2C, הסלסייקל הוא, הם רוצים בפגישה השנייה לראות דמו עובד, הם רוצים מיד את הגישה ל-API, הם רוצים לנסות, אין להם זמן, ומצד שני חלק הרבה יותר משמעותי בסל סייקל זה אולי העבודה המשותפת על היוז קייס שלהם, אין איזה שלב כזה של טק איבלואיישן והערכה כזה של איך יהיה הבעיה ואיך נפתור אותה ביחד ולעזור להם באבלואציה, אנחנו כאילו לפעמים צריכים לעשות הרבה יותר מבסל סייקל רגיל, אז כן הוא עדיין ארוך, הוא עדיין ייקח את הכמה חודשים כמו עם כל אנטרפרייז כי יש שלבים שתמיד קורים. אבל אנחנו כאילו פוגשים את הערך הרבה יותר מוקדם. אני חושב שזה נקודה נראה לי מאוד מעניינת למנהלי מוצר, ההבנה הזאת של מצד אחד אני צריך לבוא ולהיות מסוגל להראות איך אני לוקח את זה מ-PoC מרשים להטמעה אמיתית, בין אם זה על ידי לספק דאטה שיטס, לספק בעצם את היכולת להגיד, עשינו את זה, לא רק עשינו את ה-PoC המדהים, אלא עשינו גם את ההטמעה בארגון אנטרפרייז, כי אמרנו, רק 6% מתמיעים זה מספר מטורף. הדבר השני בתור מנהל מוצר זה להבין שבעצם זה לא שאנחנו צריכים להיות הכי חדשנים במשהו אחד, אנחנו צריכים להיות מאוד מאוד טובים, אבל אנחנו צריכים להיות מסוגלים לספק את השרשרת, והדבר השלישי זה להבין שהsale cycle שלנו השתנה ואין לנו פתאום את הבריבינג רום שאולי אנחנו רגילים להגיד בסדר, יש לנו עוד שני רבעונים, אנחנו נגיע לזה, זה עכשיו, זה המאני טיים, אבל אנחנו מרוויחים בוולידציה, כי אנחנו מקבלים את הוולידציה הרבה יותר מוקדם בעצם. אני חושב שיש עוד נקודה שכדי לשים לב אליה זה ש... זה פותח לנו צוהר לדבר עם צוותים אחרים בארגון בצורה שבסיילסיילקל הרגיל של B2B לא היינו מגיעים אליהם עד אחרי הרבה מאוד זמן, אני חושב שזה נקודה מאוד משמעותית בהקשר הזה. נכון, וזה גם מתח מתמיד, זאת אומרת צוות המוצר פה יותר, בטח הרבה יותר מאיך זה היה בעולמות ה-B2C כשעשינו וורטיון, אבל נראה לי גם יותר מ-B2B רגיל, הוא כל היום... קרוע או נמצא במכבש לחצים הזה בוא נגיד בין R&D בצד אחד לבין האנשי מכירות והביזנס כי יש המון demand ותמיד צריך לתעדף בין השורט היום ללונג טרם פה אפשר לעשות משהו לאיזשהו לקוח ואנחנו רוצים לבנות גם את המוצר קדימה R&D לפעמים צריך את הזמן שלו לעשות ריסרט ולעשות זה מתח. בלתי פוסק. אוקיי, אז עברנו עד עכשיו, דיברנו רגע על Discovery ואיך ה-Discovery משתנה, ודיברנו רגע איך נראה השלב הראשוני של ולידציה מול לקוחות ו-PUC ו-Sale Cycle, והתחלנו לגעת רגע ב-Adoption, אבל הייתי שמח שבואו נדבר רגע על האתגרים של באמת פרודקטיזציה, באמת Adoption בארגון הזה, מה אנטרפרייזים רוצים, מה הדברים שחשובים להם בעולמות האלה של AI שאתם רואים?

אני אגיד אולי את המובן מאליו, אני חושב שקודם כל מוצרי AI נמדדים על Quality שלהם. בנצ'מרקים על זה שהם מספיק טובים לבעיה שהם באים לפתור, וזה איזשהו רף שצריך לעמוד בו, אני חושב שזה ברור. אני חושב שהדבר הבא הוא באמת הפרטנרשיפ. מה החבילה שהם מקבלים במובן של סולושיאנס וספורט וליווי של R&D, גישה לטאלנט וגישה לידע ולאקספרטיז, דיברנו על זה קודם, זה ממש חלק מהחבילה וחלק מההחלטה. הראשונים, אחר כך זה כבר קצת תלוי בלקוח ובעולם שהוא עובד בו. יש מגמה באופן כללי מאוד גדולה שנקראת Private AI, מדברים עליה גם כזה, אתה יודע, בגרטנר ודלויד וכאלה ובדוחות, שבהם הרבה ארגונים עכשיו רוצים להחזיק בידיים את המודלים אצלם, וזה יכול לקרות מכל מיני סיבות. חלקם זה עולמות של רגולציה, Data Privacy. הם חייבים, כאילו תעשיות ביטחוניות נגיד, או כל מיני, רפואה, כל מיני מקומות כאלה שהם לא רוצים לשלוח over API, מלא דאטה רגיש לשרתים של OpenAI, אבל בחלק מהמקומות זה גם אולי תפיסה כזה של total cost of ownership, ובכלל ownership, כמה אני רוצה להיות reliant on one API call של איזשהו ונדור חיצוני, כשזה נהיה רכיב כל כך משמעותי במוצר שלי, זה פתאום נהיה בדיוק, זה לא איזה משהו קטן שאני מחליף בקלות. אנחנו יודעים גם מחיר העלות היום בלהחליף בין מודלים הוא גדול כי הפרומפט כבר מותאם למשהו ואתה צריך לעשות שוב איבלואציה ודיברנו על כמה זה כואב והכל אז פתאום לסמוך על איזה ונדור אחד והוא יחליף לי מודלים או לא יחליף לי מודלים שום דבר לא מבטיח שבמודל הבא זה יהיה אותה התנהגות אז רוצים להביא אליהם הביתה היה גם ערוץ חימוש כזה של gpu וחומרה אז יש להם כבר את ה gpu אצלם הם קנו מה, הם ישלחו החוצה, שיריצו אצלם מודלים? בקיצור, הרבה מאוד סיבות שגורמות לחברות לרצות להחזיק את זה אצלם, ואז גם פה, חלק מהזה זה מה ה-Deployment Options, חלק מהסיבה להחליט, האם זה ב-VPC, האם זה On-Prem, Virtual Private Cloud, זאת אומרת, בחלק של ה-Cloud, נגיד אני ב-Cloud, אני ב-GCP או ב-WS או ב-Azure, אבל... יש לי מעין private cloud שלי, אזור שלי, שאם אני קונה מאיזשהו ונדור, הוא צריך להביא לי וזה חי בתוך הסביבה שלי, לי אין אחר כך AI21, גישה לדאטה שיש שם והכל, זה לא יוצא, אז הרבה פעמים מטעמי דאטה privacy זה מספיק טוב ללקוחות. אז האם אתה ב-VPC, האם אתה on-prem, האם אתה מתחבר למערכות הארגוניות שלי? אני עובד עם Salesforce. אני עובד עם Notion, אני עובד עם NetSuite, לא יודע, כל אחד והאינטגרציות שלו מאוד מעסיק גם את האנטרפרייזס. כן, נראה לי אלה דברים גדולים, במידה מסוימת לא הזכרתי מחיר. אני חושב שזה לא הדבר המרכזי בקהילות היום, את זה אפשר לפתור. אני חושב שבאמת, נגעת פה בנקודה הזאת של בעצם פרייבט איי-אפ, אני חושב שזה סגווי מצוין לדבר רגע על האתגרים שאנחנו נתקלים בהם היום בעולמות האלה, אז כאילו, זה מציג עוד level של מורכבות חוץ מהדברים שכבר דיברנו, איזה אתגרים אתם חווים בעולמות האלה?

אחד הדברים הכי מעניינים לגבי private AI בעיניי, זה אנחנו חוזרים במרכאות אחורה מעולם הסאס, לעולם הלייסנס, לגמרי, שזה דבר שאנחנו לא רגילים לעשות, הקליטורים, כן, לא רגילים לעשות כמנהלי מוצר, זאת אומרת יש, אני מניח, הרבה... כי יש הרבה חברות שעובדות במוד הזה ומכירות את זה, אבל נראה לי הרוב, בטח פה בתעשייה שלנו, רגיל לסאס וקלאוד, ופתאום זה סט אחר לגמרי של אתגרים, החל מאיך עושים את ההונבורנינג, איך ניגשים לארגון, עושים אצלו את ההטמעה, איך מעבירים מודל ששוקל המוני ג'יגה בייטס, איך מעבירים את הדברים האלה, איך עושים הטמעות, איך מתמחרים דבר כזה, מה המחיר של license, בהנחה שבסוף הלקוח משלם אחר כך על החומרה ומשלם על הכל, העלויות הן אצלו, אז איך אתה מתמחר דבר כזה, ואיך בונים נגיד, בטח בעולם המודלים גם שהזכרנו קודם, שכל יום יוצא מודל חדש והאפדייטס הם דבר מאוד משמעותי, איך מייצרים אפדייטס, איך דוחפים גרסה חדשה, איך מקבלים פידמק, איך עושים מדידה כאיש מוצר, עושים מדידה בשימוש, וואו. לאדופשן, אין לי מטריקות, אין לי, אני לא יודע מה קורה, משתמשים, לא משתמשים, מה קורה שם. אז המון אתגרים שמי שמתעסק בהון פרם מכיר, ואנחנו עכשיו מתעסקים איתם ונחשפים אליהם, ואני חושב שהם יותר גדולים כי זה דורש חומרה אחרת אצל הלקוחות, זה דבר שגם הם לא יודעים לעשות, זאת אומרת, גם הלקוחות שהם רגילים להון פרם, לא יודע, תעשייה ביטחונית שכל החיים שלה עושה הון פרם וכל הוונדורים שלהם ככה. זה פעם ראשונה שהם צריכים פתאום, רגע, אתם צריכים כך וכך GPU, אתם צריכים כך וכך מכונות, ואז הם צריכים לעשות הזמנה, וזה יהיה גירקות כך וכך זמן, כאילו, התהליך הוא יותר מורכב, הוא יותר מורכב.

אז דיברנו בעצם על כמה אתגרים שעלו פה. היה לנו רגע את אתגר הקודם כל פרייסינג, בכלל, איך אני מתמחר את הדבר הזה כשאני מביא. היה לנו אתגר איך אני מעדכן כשיוצאת גרסה ואנחנו רואים את הקצב שינוי, זה כבר לא כל כמה שנים, זה עכשיו קורה כל הזמן. והדבר השלישי, דיברת על דאטה, אבל דאטה פה, יש פה שני דברים באספקט הזה, גם כאילו הדאטה של הלקוח, אבל גם הסקסס מטריקס. ומעניין אותי לשמוע אם יש לך איזשהו טייק שיכול לעזור למנהל מוצר שמתמודדים עם זה, ברור שלא כל המנהלים במוצר אנחנו שם עדיין, אבל זה יהיה האתגר הבא, זה יהיה המדרגה הבאה, אז איך אתם חושבים על זה קצת ב-AI 21? אז האמת שיש לי שני דברים להגיד על זה, גם קודם כל עוד לא בעולם של ה-Private AI, גם בעולם הרגיל. מי שמשתמש בנו בסאס ואחר כך גם בפריביט איי איי. אז אני חושב שבניהול מוצר אפשר להסתכל על הרבה מטריקות והרבה מטא דאטה כדי לדעת איך המוצר מתנהג ו-retention ו-adoption והרבה מטריקות של שימוש נגיד בכל מיני פיצ'רים ודברים כאלה. ואני חושב שאולי אחד האתגרים שיש לנו עם מודלי שפה זה שאם אני אסתכל רק על הטראפיק למודל. ועל הכמות שלו עלה, ירד, איזשהו retention של שימוש. אני אפספס את התמונה האמיתית של איך הלקוח שלי חווה את זה, כי אני לא רואה את ה-quality, כי יכול להיות שהוא מנסה והכל לא טוב, וכל התוצאות המודל אמר, אני לא יודע, כאילו, ואז צריך לצלול לתוכן, אבל שם יש תוכן רגיש של הלקוח, אז אני חושב שזה... אתגר מאוד משמעותי לאיך דרך העבודה יחד עם הלקוחות או דרך אמצעים של אנונימיזציה של הדאטה ואז איזשהו ניתוח כזה יותר כללי או כל מיני מטה דאטה אולי שאפשר לחלץ אבל שנוגע לתוכן ולא שולף את התוכן החוצה בזמן הריצות איך אנחנו מייצרים לעצמנו כל מיני מנגנונים כאלה כדי להבין מה הבריאות. של המוצר שלנו כרגע בפרודקשן כי רק המטה דאטה שלשים הוא שהוא לא מספיק הדוכן הוא קריטי פה בדיוק אני חושב שהיוסג' פה זה לא הפקטור כאילו גם אנחנו אומרים מישהו שמשתמש הרבה זה לא אומר שהוא מקבל הרבה ערך וגם מישהו שמשתמש מעט לא מקבל מעט. אני אוהב לחשוב על זה כמו קצת להתקשר לשירות לקוחות זה שהחזקת הרבה זמן בשיחה לא אומר שקיבלת ערך יכול להיות שבשנייה הם פתרו. ואני חושב שבנקודה הזאת זה באמת חשוב להסתכל אולי על דברים שהם באמת כמו שאתה אומר אנונימיים כמו למשל סנטימנט ולא מה התוכן. ספציפי וחשוב באמת הכרה אינטימית עם מה זה value עבור הלקוח. נכון, ומה ה-use case שלו, ואיך מזהים שינויים בין גרסאות של מודלים, ואם עדיין התוכן הוא טוב באותה מידה, כי אתה תחליף לו מודל מתחת למנוע, אז כמובן זה יהיה מזעזע, ואולי אתה תקריא אותו דבר, אבל התוצאות ישתנו לגמרי. בדיוק. אז קודם כל יש את הסוגיה הזאת של איך בכלל עושים איוולואציה לתוכן, וזה בסקייל גדול וזה על המון use cases, אז זה מאוד מאתגר. זה גם בסאס, בפריביט איי זה נהיה אפילו עוד יותר מאתגר כי אין לך גם את זה, הכל קורה אצלו, אתה לא יודע אפילו אם משתמשים, לא משתמשים, ואז פה צריך באמת לתחזק קשר מאוד טוב עם הלקוח ולעשות קסטומר סקסס ולעבוד איתם, לראות איך הם מתקדמים, איך הם מתרחבים לעוד יוז קייסים, אני חושב שפה... ההתרחבות היא באמת לעוד ועוד use cases בארגון, כי הארגונים רוצים להטמיע המון דברים, אז אנחנו רוצים לעזור להם בזה, וזה גם שומר את הקשר חי, כי אם אנחנו נותנים את האקספרטיז שלנו ואת הספורט ואת הליווי, אז הם ידברו איתנו על הדבר הבא, ואז נדע גם מה קורה עם הדבר הנוכחי, ונראה שהוא ממשיך להיות רלוונטי, אז זה, אבל שם בפרייבט היה צריך לחלץ את זה מהם. לגמרי. צריך כאילו כל הזמן לבקש ולשאול, ואיך זה נראה ותגידו לנו ואנחנו רוצים לדעת גרסה הבאה של ג'מבה, מה הייתם רוצים לראות בגרסה הבאה, אז אני חושב שזה סוג העבודה שאנחנו צריכים להחזיק מול לקוח את הקשר הזה, מאוד אינטימי וקרוב זה ממש חשוב. אני חושב שזה בדיוק הפרוקסים שאנחנו מחפשים שהם עכשיו נהיים קצת יותר רחותנים, זה באמת ההתרחבות לעוד יוסקייס, כאילו לקוחות שעשו את היוסקייס השני איתנו, אומר שהם קיבלו ואליו כנראה מהיוסקייס הראשון, ואני חושב שזו נקודה מצוינת. כאילו רגע לשים על זה את הפוקוס. אז באמת דיברנו רגע, אם אני סוקר רגע את כל מה שדיברנו עליו, דיברנו החל מתהליך ה-discovery המתבדר, דרך ה-sale cycle, דרך ההטמעה, דרך האתגרים שאנחנו רואים עכשיו, ודרך באמת הדבר החדש הזה שנקרא ה-private AI. יש איזה דברים שלא עובדים או איזה דברים שמאוד חשוב שבתור מנהלי מוצר נשים לבלם?

אני חושב שא', יש הרבה דברים שלא עובדים, מן הסתם. אני חושב, אם אני אצביע על כמה אזורים שהם קשים, אחד, הזכרתי קצת, אני חושב שהמעבר בין גרסאות של מודלים ואיך משמרים איכות בין גרסאות, האם יש breaking changes, הוא מאוד מאתגר בעולם AI, כי זה איזשהו black box הזה שאתה לא באמת יודע מה קורה בפנים. ואז אני חושב שכל מי שבונה מוצר AI, הביטחון שלו בכך שהוא כשהוא הוסיף פיצ'ר חדש או שינה גרסה, כל מה שעבד עד היום עובד באותה מידה, הביטחון הזה כמעט ולא קיים. מה שיש לנו בקלאסיק סופטרו דבלופנט, יש טסטים למהלך, יודעים ששאר הפיצ'רים לא נשברו, אין שום ודאות כזאת. רואים את זה אגב גם עם הרליסס האחרונים של אפילו OpenAI, GPT 4.1, נשברו המון התנהגויות שהיו ב-4-0 והמעבר מאוד קשה. איזה שמיכה קצרה, אתה מאמן את המודל פה, משהו פה בורח, אתה משנה את הפרומפט לטובת עוד פיצ'ר של האייג'נט שבנית והוא שכח משהו אחר, מאוד מאוד קשה לשלוט בזה. אז זו בעיה אחת, אני חושב שיש בעיה שקשורה לזה, בעיה משמעותית בעולמות האיוולואציה, זה אתגר מטורף שדורש גם כוח אדם. שיהיה פנוי לזה, שיעשה את זה, לפעמים צריך לקרוא המון המון דאטה ולעשות לו אנוטציות וזה time consuming קודם כל, בית, צריך אקספרטיז לאיך עושים איבלואציה כמו שצריך, כמו שכשאנחנו עושים AB-Test על דאטה, כאילו על מטה דאטה או על דאטה של שימוש, אנחנו צריכים לעשות את זה בצורה נכונה וסטטיסטית שמשקפת את הדבר הזה. אז אותו דבר צריך לעשות גם בוולואציה תוכנית, ושם בטח כשמעורבים בני אדם זה עוד יותר מאתגר, כי יש biases, יש תהליכים של איך צריך להציג לבני אדם את הדברים, כדי שהם לא תמיד, כל מיני הטעיות, תמיד יבחרו בראשון, תמיד זה כאילו מלא דברים, מלא confounders שצריך כזה איכשהו להתמודד איתם, אז זה נגיד אקספרטיז שלהרבה חברות גם שיש להם אנשים שמאוד מומחים בדאטה, מאוד מומחים באקספרמנטציה. את זה אין להם, את האקספרטיז הזה של ללכת לנהל ניסויים זה יותר בכלל מעולמות הבלשנות והפסיכולוגיה, וזה כאילו פתאום כל האנשים מהמקצועות האלה, הידע שהם עושים כשהם עושים ניסויים בפסיכולוגיה באוניברסיטה, זה סוג הניסויים שאנחנו עושים פה. אז זה ידע מאוד שיש עליו מאוד, המון המון צמא, אני רואה בארגונים, בטח גם למול העובדה שיש. שפע מטורף של בנצ'מרקים ואבלואציות וכזה לך תדע על מה לסמוך מה משקף את המוצר שלי מה לא פה יש איזה דאטה סינתטי שמשקף איזה בעיה אולי זה כלי נהדר למי שבנה את המודל כדי לראות שהוא מתקדם אבל זה לא מייצג בשום צורה את ה-use case שלי בחברה שלי ושם יש התנהגות אחרת לגמרי אז אתגר האבלואציה הוא מטורף גם אגב לנו פנימית הוא קשה ובטח ובטח למי שזה. כאילו זה לא ה-day to day שלו, ואני בטוח שגם שם אנחנו נראה הרבה מוצרים שכזה פורצים לשוק בקרוב, אני חושב שאם השנים הקודמות היו חברות שעשו באמת כזה Human Evaluation עבור, לא יודע, מעבדות או עבור חברות גדולות שמוכנות לשלם הרבה כסף, אני מאמין שאנחנו נראה יותר ויותר מוצרים שמנגישים את זה גם לסטארט-אפ קטן שרוצה להוציא מוצר וצריך איכשהו לעשות איוולואציה למוצר איי שלו, לפרומפט שלו, לזה. ולסמוך עליו

שהוא באיכות מספיק טובה. מדהים, אני חושב שמה שאני לוקח מהפרק הזה זה קודם כל באמת מה שאמרת על הנושא הזה של חסם ה-Trust ירד, ואם עד עכשיו באמת היה עניין של Trust ב-AI, פתאום זה כבר ירד, וגם הציפייה של לקוחות האנטרפרייז, כי הם גם משתמשי B2C במוצרים האלה, כבר ירד הנושא הזה של Trust, הם סומכים על הדבר הזה. מצד שני, אם עד עכשיו היינו רגילים ש-PoC זה הוכחת ההיתכנות של הערך, אז אנחנו במוצרי AI, פתאום POC זה רק תחילת הוכחת היתכנות של הערך, והמעבר הזה מ... אפס לשישים אמנם קורה יותר מהר אבל משישים לשמונים פתאום נהיה מאבק ופה המפתח הוא באמת פרטנרשיפ. ואני חושב שהנקודה הזאת של באמת להיות מסוגלים להגיד איך אני מודד וש-usage זה לא מספיק כדי למדוד אלא גם באמת צריך להסתכל על התוכן מבלי לקרוא את התוכן הוא מאוד מאתגר והעולמות האלה של private ai שעכשיו הולכים להיכנס להרבה יותר משמעותיים הם מצד אחד אתגר מאוד משמעותי כי אנחנו חוזרים לעולם הלייסנסים. מצד שני יש פה באמת הזדמנות לייצר מוט מאוד משמעותי למי שיצליח לפצח את זה. אז אור, המון המון תודה. תודה, היה כיף. היה לי ממש מעניין, ואם גם אתם נהניתם ואתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. אז שוב, תודה רבה אור. תודה, תודה. היה כיף. תודה לכם שהאזנתם.