Blank Page Problem? AI Boosted Our Onboarding 8X!

פרודקטיבי, פודקאסט למוצר של סטארט-אפ פור סטארט-אפ. שלום לכולם, אני רן ארז ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות על בעיות מוצריות שהם נתקלו בהן, איך הם ניגשו לפתור אותן ומה השיעורים שהם נולדו בדרך. ובפרק של היום נדבר על הבעיה המוצרית הבאה, איך עוזרים למשתמשים להתחיל להשתמש במוצר שלנו או כמו שאנחנו קוראים לזה בעיית הדף הלבן. ומי שיספר לנו על ההתמודדות שלו עם האתגר הזה הוא רזי איינהורן, פרודקט בפקאן AI. היי רזי. אהלן רן, כיף להיות פה. ממש כיף שאתה פה, ואולי כזה לפני שנתחיל לספר כזה קצת עליך ועל פקאן. כן, אז עליי קצת, אני בן 41, אני בפקאן כמעט שלוש שנים, בהיסטוריה שלי כמנהל מוצר יצא לי לעבור בין כל מיני חברות, אני התחלתי בכלל בעולם של ה-Defense ועברתי לסייבר סקיוריטי. משם קפצתי לאנטרפרייז סאס ופקאן זה התחנה הנוכחית שלי של גם B2B סאס וגם מוצר פרודקט, מוצר דאטה, סליחה. אולי באמת ניתן גם כמה מילים על פקאן לפני שאנחנו צוללים?

כן, בהחלט. אז בעצם מה שאנחנו מנסים לעשות בפקאן, פקאן הוקמה כבר ב-2018 והמטרה שלנו היא בעצם לעזור לארגונים להשיג את המטרות העסקיות שלהם בעזרת AI. ההתמחות שלנו היא בעולם שנקרא Predictive Analytics, שזה בעצם עולם בעיה שמגדיר בעיות עסקיות על פני ציר זמן. דוגמאות מאוד מאוד פופולריות לזה הן למשל יכולת חיזוי נטישה של משתמשים, יכולת חיזוי כמה כסף המשתמש שלי ייצר עבורי כעסק על פני תקופת זמן וכולי וכולי. עכשיו, העולם של Predictive Analytics יש כל מיני גישות, יש גישות של יוריסטיקה, כל מיני רולים ומסתבר שכשהבעיה מוגדרת היטב, כשהדאטה הוא דאטה שבנוי נכון ושנבחרים המודלים המתאימים, אז גם AI יכול לתת פה תוצאות מאוד מאוד יפות. אז אוקיי, אז מה, אז בוא נספר רגע על הבעיה שהתמודדתם איתה.

כן, אז בעצם הסיפור שלנו מתחיל לפני קצת יותר משנה וחצי. אנחנו, Pekani בעצם כאמור פלטפורמה שעוזרת לאנליסטים. לבוא החל משלב הבעיה העסקית שיש להם בראש, עד לשלב שבו יש להם, שהם דרך עיצוב של הדאטה, בנייה של מודלי AI ושימוש שלהם בארגון. ובעצם בגדול, כדי לסבר את האוזן, המוצר שלנו היה בנוי בזמנו מאיזשהו, משהו שנראה כמו SQL Console, מוצרים כמו DB-Var או כמו Data Grip, מוצרים שבהם יש איזשהו חלון שאתה כותב בו שאילתת SQL, תמיריץ ומקבל תוצאות. ובעצם בכל מה שקשור למה אנחנו עושים עם המשתמשים כשהם מתחילים לעבוד בתוך פקאן, אז פקאן תמיד הייתה כזה על הספקטרום בין להיות מאוד גנריים לבין מאוד להיות use case ספציפיק, והצורה שבעצם בחרנו להתמודד עם הדבר הזה, ובעצם עם מה אני עושה עם המשתמש כשהוא מגיע, זה טמפלייטים. בזמנו זה היה מאוד מאוד פופולרי, מאוד מאוד פופולרית, בעצם משתמש היה נכנס, היה מדמיין את הבעיה שלו, הוא בא כבר עם הבעיה בראש, היה מסתכל על הטמפלייטים, מזדהה עם אחד הטמפלייטים ומתחיל משם. ובעצם מה שראינו, שבאמת ראינו פה בעיה, ראינו שזה לא מספיק למשתמשים שלנו, וכשהתחלנו לחקור את זה, אז בעצם גילינו שהמרחק בין... איפה שהמשתמש שלנו נמצא בראש כשהוא מתחיל לעבוד בפקאן, לבין הפתרון הזה של טמפלייטים, היה מאוד מאוד רחוק. אוקיי, איך בעצם המשתמשים מגלים אתכם, איך הם מוצאים אתכם? אז בזמנו מה שעשינו, פקאן היא מוצר B2B, אנחנו בזמנו עשינו מהלך אסטרטגי של לפתוח את הפלטפורמה למשתמשים, היית יכול להיכנס לאתר של פקאן, לעשות סיין-אפ, כאילו PLG קלאסי. כן, PLG קלאסי, ובעצם היו לנו באמת כמויות מאוד מאוד יפות של משתמשים שהיו נכנסים לפלטפורמה, והיו לנו כמויות יפות של משתמשים שבאמת היו target audience, שראינו שהם מנסים לפתור את הבעיות העסקיות.

אוקיי, אני חושב שזה באמת רלוונטי לעוד מנהלי ומנהלות מוצר, כי בסוף כולנו מתחילים בהתחלה באיזשהו מקום. הרבה מהמשתמשים מגיעים, צריכים להתחיל להשתמש במוצר, ויש מקומות שמלווים אותם, נותנים להם, הולכים יד ביד, אבל הרבה מהמוצרים שלנו, אנחנו לא מלווים את כל המשתמשים מן הסתם בהתחלה, וכאילו בתור פרודקט זה כאילו מן הפתרון הזה של... בוא ניתן להם טמפלטים, הוא כאילו ה-go-to של הרבה מאוד מנהלי ומנהלות מוצר, ואתה אומר, אוקיי, לנו היה כבר טמפלטים, בעצם היה לנו יוזרים שמצטרפים, הם הגיעו לטמפלטים, מה קורה ברגע הזה? בעצם ברגע הזה אנחנו רואים שהם נתקעים, הם לא מצליחים, מה שאנחנו עשינו כצוות מוצר, אנחנו לקחנו אונר שבעצם על תהליך האונבורדינג, גם היה לנו אדם שהיה, ישב ייעודי והתעסק רק עם התקשורת עם היוזרים, וגם אנחנו בעצם כצוות מוצר היינו קופצים, בכמה מקומות במוצר את היכולת לקבוע איתנו שיחה, לקבוע איתנו פגישה, ובעצם היינו קופצים לשיחות זום והיינו מנסים לעזור ליוזרים שלנו, ודרך זה בעצם הבנו כמה רחוק מה שהיוזר מדמיין או מה שהלקוח הפוטנציאלי מדמיין לבין מה שאנחנו מנסים להביא אותו. אוקיי, בעצם סיגנל איכותני שבעצם הייתם שמים, אתם כאילו עזרתם לעשות את האונבורדינג ודרך זה למדתם שזה היה גם שיטה מצוינת. היה לכם גם משהו בדאטה שראיתם שכאילו שזה לא זה או שזה הכל היה אנקדוטלי מבחינת רגע דברים? אז באמת אולי הסיגנל הדאטאי הכי מובהק היה זה שפשוט הסתכלנו על כמות המשתמשים שמצליחים לאמן מודל והכמות הזאת הייתה בהחלט לא מספקת בעינינו. וכמובן שכשהסתכלנו בדרך אז ראינו שאחד כשאתה מסתכל על השלבים בתהליך ועל הדאטה שמופק ממנו אז אתה רואה ש... יוזרים נכנסים, יוזרים עוברים את ההונבורדינג בהצלחה אגב, שזה גם לא תמיד טריגלי, ואז הם נכנסים ומתחילים להסתכל על הטמפלייטים, ומשהו שם נתקע, הם לא מצליחים להתקדם. אוקיי, זאת אומרת, הם עברו איזשהו הונבורדינג בסיסי, מילאו את הפרטים שלהם, אבל דווקא הדרופ המרכזי הוא בטמפלייטים, מה שאתם רואים? כן, זה מה שאנחנו, זה מה שראינו, וגם אלה שהצליחו איכשהו לדמיין, כי לפעמים הם דמיינו משהו, לפעמים אגב זה לא היה נכון. לפעמים היו כמה אפשרויות שזה היה מאוד מעניין לראות כי באמת מה שגילינו זה שהווריאטי של הבעיות העסקיות הוא הרבה יותר ממה שחשבנו. לקוחות, אני סתם אתן דוגמה להמחשה, כשאנחנו מדברים על בעיית נטישה של יוזרים או נטישה של לקוחות, אז בגדול יש לנו אותה תמונה בראש, אבל כשאתה נכנס לזה ואתה מסתכל על לקוחות, כשהסתכלנו על הלקוחות שלנו, אז בעצם כל אחד מגדיר את זה בצורה שונה. יש כאלה ש... מסתכלים על חוסר פעילות במערכת שלהם כ-churn למשך זמן מסוים. יש כאלה שיש להם event מובהק שהם אומרים, נגיד, close the account או delete the account, ויש כאלה שזה אף פעם לא churn עד שה-CRM לא אומר שיש churn, נכון? אז באמת ראינו שיש שונות מאוד מאוד גדולה, ולבוא ולבנות טמפלייטים שמתאימים באמת לכל אחד מה... מהקומבינציות האלה, זה כנראה משימה שהיא מאוד מאוד גדולה. אוקיי, אז בעצם אנחנו נמצאים עכשיו בתור צוות מוצר, יש לנו סיינאפים, אנשים עוברים את האונבורדינג, השתמשנו כבר בקלף החזק שלנו של טמפלטים, ואנחנו תקועים, זה לא עובד. נכון. מה עושים מכאן?

אז בעצם אנחנו עשינו כמה דברים. קודם כל, באמת עוברים למוד של ללוות את המשתמשים שלנו, כדי באמת להעמיק ולתפוס את הבעיה הזאת בצורה הכי טובה שאפשר. כמובן מתנסים ומסתכלים על העולם ובודקים מה קורה. ובאותה תקופה, הפלא ופלא, קורה משהו מאוד משמעותי בעולם, שזה כל העולם של LLM'ים, של מודלי ג'נרטיב טקסט, ואנחנו מתחילים להסתכל על הדבר הזה, אבל זה עדיין לא היה מספיק לנו. כלומר, בשלב הזה בעצם אנחנו באים ואומרים... הסתכלנו מן הסתם על המודלים האלה כמו הרבה חברות אחרות שהיו אז, אבל עדיין משהו לא, האסימון עדיין לא נפל. מה שכן, אנחנו במקביל, הזכרתי כאמור שהממשק שהצענו בזמנו היה ממשק של SQL Console כזה, ובמקביל אנחנו בעצם בודקים את האפשרות לשנות את הממשק לממשק של מחברת דאטה, מחברת דאטה אינטראקטיבי, למי שמכיר מוצרים כמו ג'ופיטר. קולבורטורי, הקס, דיפ נוט, זה בעצם ממשק שהוא מורכב מתאים, שבתאים האלה אתה יכול או להריץ קוד, או לשים טקסט כמרקדאון, גרפים וכו', ודיאגרמות וכו' וכו'. ואז בעצם תוך כדי אנחנו מתחילים לבשל את הרעיון הזה, במקביל מתבשל הרעיון של ה-LLM, ופתאום נופל לנו האסימון שאנחנו יכולים לא רק להשתמש ב-LLM, כאיזשהו צ'אט או כאיזשהו פופ-אפ שקופץ ועוזר ליוזר, אלא אנחנו בעצם יכולים ליצור חוויה שה-LLM ייצר עבור המשתמש את כל המחברת, את כל המרכיבים של המחברת, ואז נוצרת פה בעצם הזדמנות לעשות משהו מאוד מאוד משמעותי, שהוא גם משלב את ה-LLM בצורה מאוד אינטגרלית. בתוך המוצר, זה כבר לא עוד איזשהו צ'אט צידי, כי הרי מאוד מאוד קל לבוא ופשוט לזרוק איזשהו צ'אט. לעטוף מוצר בצ'אט. בדיוק, ועושים את זה מלא, ובזמנו באמת המון חברות עשו את זה, כי זה מה שהכרנו. אנחנו איכשהו הרגשנו שזה לא מספיק, ורק כשהבנו שאנחנו יכולים בעזרת LLM לעשות יותר מאשר סתם צ'אט, אלא לשלב את זה ביצירה של אובייקטים משמעותיים בתוך המערכת, להלן השאילתות וההסברים, מעצבת את הדאטה של הלקוח, בעצם הבנו שיש לנו פה משהו שיכול לעבוד, ו-fast forward קדימה זה באמת הוכיח את עצמו. אוקיי, אבל לפני ה-fast forward קדימה, בואו נעשה רגע rewind, אתם בעצם מקבלים פה שתי החלטות, אחד, אוקיי, יש טרנד חיצוני שקורה, ואתם אומרים, אוקיי, יש פה משהו מעניין להעמיק בו ולבדוק, ואתם עושים את האינטרפרטציה שלכם, אבל מעניין אותי רגע לגעת בשיניתם גם UI, שיניתם גם חוויה, כאילו, מה הייתה ההיפותזה פה?

ההיפותזה הייתה בעצם שאותו ממשק קיים הוא ממשק שהוא לא מספר את הסיפור. כשאנחנו בעצם באים ומסתכלים על התהליך הלוגי שמתחיל בשאלה שהמשתמש שואל את עצמו, שאלה עסקית, אני רוצה לחזות את הנטישה של המשתמשים שלי, או צוות המרקטינג רוצה לדעת באיזה קמפיינים להשקיע עכשיו, איזה קמפיינים הם הכי מוצלחים. התהליך שעובר בראש זה תהליך ראשון של בעצם structuring, הבנייה של השאלה שלו במה שאנחנו קוראים שאלה פרדיקטיבית, בעצם בצורה שהיא צעד אחד בדרך למדל את הדאטה שלו בצורה שמתאימה לאימון של מודלי machine learning. צעד לאחר מכן, אחרי שאנחנו עושים את זה, הצעד הבא הוא להשתמש בניסוח הזה כדי לבנות בעצם שרשרת של שאילתות שלוקחות את הדאטה של הלקוח, אגב, לא רק לפעמים ממקור אחד, אבל לפעמים גם מכמה מקורות, ולעצב אותו עד שהוא מגיע לשלב שיש לו טריינינג סט ביד. שטריינינג סט זה אומר שאני יכול עכשיו לקחת תהליך של אימון מודלים, להשתמש בטריינינג סט הזה שהוא ייעודי עבור אותו לקוח. כדי לאמן מודל ולבנות את המודל בהתאם למה שהלקוח צריך. את כל השרשרת הלוגית הזאת, בצורה שבה עבדנו עם ממשק של איזשהו חלון שאתה מריץ בו שאילתות ואז היו משולבים שם כל מיני טאבים, אנחנו הרגשנו שהדבר הזה לא מספר מספיק טוב את הסיפור, ובעצם המעבר לממשק של מחברת עשה שני דברים. הוא עשה בעצם כמה דברים, הוא גם עזר לנו לספר את הסיפור בגלל שהוא בנוי בצורה לינארית, יכולנו... לעשות את זה, יכולנו לשלב הסברים בתוך חלק מהשאילתות, יכולנו לשלב דיאגרמות וכאמור יכולנו גם לג'נרט את זה בעזרת LLM, כמו שראינו בעצם שאנחנו מסוגלים לעשות. כן, אני חושב שיש פה פיצוח שהוא שני עוד דברים, אחד זה להבין רגע מה המשימה שהמשתמש מנסה להשיג, זאת אומרת במצב של קונסול או במצב של טאבים זה באמת, כל משימה היא בדידה בעולם, היא כזה, בניתי את השאילתה, קיבלתי תוצאה. זהו, סיימתי את היחידת עבודה הזאת, ודווקא הסיפור הזה הוא בדיוק הרגע לקחת את התהליך הלוגי שעובר לאנליסט בראש, ולייצר לו מודל UI, שזה בדרך שהוא חושב, אוקיי, בוא נתחיל רגע בלנקות את הנתונים, אחר כך נעשה את השלב הבא, אחר כך נעשה את השלב הבא, והסיפור הזה הופך את זה ליותר זה, ואני חושב שעוד נקודה היא שבעצם זה איזשהו פאטרן מוכר מהעולם, כאילו בעולם של אנליסטים, הם מכירים את הפאטרן הזה. נכון. אני חושב שזה נקודה ראשונה רגע שאנחנו מדברים על רגע בעיית הדף הלבן, אוקיי, ניסינו טמפלטים, הדבר הבא שאנחנו ננסה זה לשאול את עצמנו אם אנחנו עובדים במודל מנטלי מוכר למשתמשים שלנו. לסגמנט של אנליסטים, מודל של מחברת דאטה היא הפאטרן המוכר לשימוש.

נכון מאוד, ואני חושב שגם מעבר לזה, מה שבאמת עבד מאוד חזק זה הנושא של, זה באמת שראינו שה... האינטרפייס הזה תופס תאוצה בעולם, והוא הפך להיות מאוד טרנדי, והאמת היא שגם הייתה תקופה של כמה שבועות, עד שבאמת בנינו את האינטרפייס עצמו, אנחנו הלכנו למוצר מתחרה, לקחנו את אחד המוצרים, אני לא זוכר אם זה היה, אני חושב שזה היה האקס, ופשוט עשינו usability עם משתמשים על גבי המוצר ההוא. וזה מאוד מאוד עזר לנו גם לקבל אינדיקציות ראשוניות וגם באמת להבין. כמה דברים שבאותו מוצר הפריעו להם שכבר ידענו בזמן אמת לתקן תוך כדי שאנחנו בונים את המשק שלנו. האמת שזו נקודה מעולה, יש לי ממש הרצאה ל-competitive user research, איך אנחנו עושים מחקר משתמשים על המוצר של המתחרים, וזה בדיוק זה, זה בדיוק להבין את התובנות, כי בעצם על המוצר שלנו לפעמים חסר לנו קונטקסט, והיכולת רגע לראות איך הם מתנהגים על מוצר של מתחרים, פתאום פותח המון המון תובנות, ונורא קל לנו להתייחס לפיצ'רים של מתחרים בסיילו. אבל תכלס הם חווים את כל המוצר אין תואנת ואני חושב שזה פיצוח ממש ממש ממש טוב לבוא ולהגיד בוא נעשה מחקר משתמשים על המוצר של המתחרים במקום שנבנה את זה ואז נראה מה קורה. אז אוקיי, אז פיצחתם את הדבר הזה, אנחנו מחזיקים עכשיו משהו שיש לנו תובנות שהמודל המנטלי הזה עובד ושה-UI הזה עובד, עכשיו איך LLM נכנס לתמונה פה.

אנחנו מתבשלים עוד יותר עם ה-LLM'ים ובאמת נופל לנו אסימון ש... מאחורי הקלעים הרי ממשק של מחברת הוא טקסטואלי ואנחנו מבינים שטכנולוגית אנחנו מצליחים לייצר את זה על ידי פרומפטים מתאימים ל-LLM. ואז בעצם אנחנו, אני זוכר שהיה לנו כזה אירוע שבו אנחנו, הפיתוח הדגימו לנו את הדבר הזה, מה שאנחנו רואים זה שבעזרת ה-LLM אנחנו יכולים לעזור ליוזר בלי שאנחנו נהיה מעורבים, להגיע ממה שיש לו בראש, מהמחשבה המעורפלת, LLM יכול לעזור לו, לנסח את השאלות שלו בצורה הנכונה, גם לתת פידבק למשתמש על האם השאלה שלו היא מנוסחת היטב או לא מנוסחת היטב, לנסח את זה בשבילו, ואז בהינתן שהיוזר מאשר ואומר כן, זה הניסוח, אני מסכים עם הניסוח הזה, מאותו רגע LLM יכול לקחת את התוצר. ויכול עכשיו, בעזרת הדאטה, יחד עם הדאטה של המשתמש, ליצור את כל המחברת עם כל המידול של הדאטה שלו, בהתאם לשאלה שהוא שאל. אוקיי, אז אני רוצה אבל לדייק את זה פה, כי אני חושב שזה נקודה, זה ניואנס מאוד מאוד חשוב. בעצם, הצ'אט בהתחלה, הוא לא נועד כדי שהיוזר יספר מה הוא רוצה, כי אנחנו עדיין באותה בעיית דף לבן, אלא אתם בעצם החלפתם בעזרת הצ'אט את השיחה שלכם. את הלקחת את זה יד ביד ולשאול אותו רגע בוא נשאל אותך את השאלות הנכונות כדי שאם אני אשאל אותך את השאלות הנכונות אני אקבל בסוף output שאני צריך ואני חושב שזה ניואנס מאוד מאוד מאוד חשוב כי אחרת אתם פשוט בבעיית הדף הלבן עם LLM מה אני כותב לצ'אט ואנחנו רואים את זה בהמון מוצרים שהם צ'אט בייסט עכשיו של לא פתרתם לי את הבעיה כי אני עדיין לא יודע מה לכתוב. נכון מאוד זו נקודה מאוד מאוד מאוד חשובה כי באמת זו הייתה החלטה מוצרית להתמקד. במשתמשים שבאים ויודעים מה הם רוצים. וממש עשינו עבודה כדי לתייג וכדי להתמקד באותם משתמשים. אנחנו רצינו לראות שמשתמש שבא עם, אפילו עם המשהו הוויגי הזה בראש, שהצ'אט יוכל לקחת אותו מהנקודה שבה יש לו את הבעיה, לנקודה שהוא יכול ממש לבנות מודל על בסיס הבעיה הראשונית הזאת. אוקיי, איך עשיתם לזה ולידציה? אז אנחנו בעצם, אנחנו התחלנו מטמפלטים, ראינו שיש לנו בעיה, יוזרים לא מתקנברטים. עשיתם את הדבר הזה, איך אתם עושים לזה ולידציה? מה אתם רואים?

אנחנו, קודם כל אנחנו קיבלנו החלטה שאנחנו בונים את זה, אפילו כמשהו שהוא מאוד רואו, כלומר לא התחלנו מלטייב את החוויית שימוש בצורה הכי מושלמת, והמרכיב באמת המשמעותי שעשינו היה להשתמש בפייד אינטרוויוז, אנחנו שילמנו לאנשים כדי שיעשו סיין-אפ, אנשים שהם הטארגט אודיינס שלנו, שיעשו סיין-אפ לפלטפורמה. ורצינו לראות את כל התהליך, איך הם נכנסים לצ'אט, מה הם מדברים עם הצ'אט, ואיך הם, האם הם מצליחים באמת להגיע למשהו שהוא קוהרנטי ולמודל, ולאמן מודל. יש לך איזושהי המלצה למנהלי מלונות, מוצלח לגייס באמת את ה-payneint of yourse, למה אתם עשיתם להגיד כדי למצוא את ה-target audience, כי זו שאלה שאני שומע אותה המון המון. אז למזלנו, היה לנו את ה... באמת, היה לי את הכבוד לעבוד עם מייקל מרגוליס מגוגל ונצ'רס, הוא לאחרונה התראיין אצל... לני, בפודקאסט של כמעט שעה וחצי, שאני מאוד ממליץ לכל מנהל מוצר שרוצה להתחיל לעשות paid interviews להקשיב לזה. אז זה בעצם תהליך, זה תהליך שאולי החלק הכי חשוב בו זה דווקא המיקוד, זה לדעת באיזה יוזרים אני מתמקד ואיך אני מוצא את היוזרים האלה. כמובן יש את החלק של למצוא את הפלטפורמה, ויש פלטפורמות שונות, יש userinterviews.com, יש את respondent.io, וכל אחת מהפלטפורמות האלה יש לה את ה... את היתרונות והחסרונות שלה גם מבחינת גיוס של משתמשים ואז בעצם יש תהליך שבו אנחנו, תהליך מתמשך שבו אנחנו מגדירים את ה target user שלנו, אנחנו מגדירים אותו בתוך אותה פלטפורמה, אנחנו מקבלים רשימה של מועמדים, סורקים אותם, מנסים להבין אם הם באמת ה target audience שלנו, עושים תיוב, עשינו מספר תיובים לדבר הזה עד שהגענו למשהו שאנחנו מרוצים ממנו ואז כאמור לראיון, ל-usability test, לתקשר להם מה הולך לקרות. במקרה שלנו, למשל, היינו צריכים לבקש מהיוזרים שלנו שיעבירו את הדאטה שלהם, יבואו עם בעיות כבר משלהם, אז היינו צריכים לא רק למצוא אנליסטים שהם נמצאים במוקד בין בעיות עסקיות לבין ידע על הדאטה שלהם, אלא גם היינו צריכים לוודא שיש להם איזושהי בעיה שעכשיו יושבת להם ושיש להם דאטה רלוונטית. וזה אכן מאוד מורכב וזה מאוד מצמצם את האפשרויות, אבל כן הגענו למצב שאנחנו עושים כמות לא מבוטלת, אני מדבר על כמה עשרות של רעיונות, ולמדנו מזה המון. מדהים, אז באמת כאילו, אתם השקעתם בפרונטנט כדי למצוא את האנשים הנכונים, אבל אז ייצרתם לכם פייפליין מאוד מאוד חזק מהטארגט אודיינס דרך זה. לחלוטין, והדבר הזה, אגב, הוא היה מאמץ שהשתלם לנו בצורה... שעד היום אנחנו משתמשים באותם תוצרים. כלומר, ברגע שהגדרת לעצמך בצורה טובה את היוזר שלך, אחר כך מאוד קל כזה לטייב ולשנות קצת, וזה גם, אני חושב שזה מאוד מחדד את הדיון בתוך הצוות, על באמת את מי אנחנו מנסים להביא. מי היוזר, נכון? בדיוק, זה מי היוזר. זאת שאלה של מי היוזר, וזאת שאלה קצת יותר מתחכמת, כי זה לא רק מי היוזר שלי, אלא גם אם היה לעצם העניין, אם הייתי יכול לשאול אותו שאלות, איך הייתי יודע אם זה היוזר שלי או לא? מה הקוליפיקציה שלו בכלל? בדיוק, בדיוק. אוקיי, אז אני רוצה רגע לחזור רגע בעצם לסיפור, אנחנו בעצם גם הכנסנו שינוי UI וגם הכנסנו שינוי של LLM ביחד בסוף. קודם כל, מה הייתה התוצאה? מה קרה בשטח?

אוקיי, אז כדי להבין שנייה את נקודת ההתחלה שלנו, אנחנו מדברים על זה שמתוך אותם יוזרים שהם באמת המשתמשים, ה-Target Audience שלנו, היינו ב-Conversion Rate של בערך באזור ה-5%. פסט פורוד כמה חודשים אחר כך, בערך חצי שנה אחר כך, כמובן אנחנו עושים כל מיני תיובים וכולי וכולי, אנחנו מגיעים ל-40% של קונברז'ן, ואנחנו גם מגיעים, אבסולוטית המספר של המשתמשים עלה. ואני ממש זוכר שבאיזשהו שלב אנחנו ממש מדברים על זה שיש פה איזושהי פריצת דרך. הצלחנו להבקיע פה, שזה היה משהו, זה היה אחד ההיפותזות המרכזיות בפקאן והצלחנו להוכיח אותה וזה היה... איזה הרגשה טובה זה בתור מנהל מוצר שזה גם זז בבית המטריקה. כצוות זה היה באמת משהו מדהים. מדהים,

אבל באמת אנחנו הוקמו כולנו מנהלי מוצר וגם הצלחות אבל גם כישלונות. אתה יכול לספר קצת על טרייד אופים שהיו בדרך או דברים שנגעתם שחשבתם ובסוף ויתרתם? בוודאי, בסוף מה שרצינו לאפתם זה, אני מזכיר, זה לאמן את המודל הראשון, זה היה הפוקוס הראשון שלנו. ואנחנו בשם המאמץ לעשות את זה, אנחנו הגענו למצב שבעצם יוזר, תיארתי את התהליך, יוזר נכנס, פותח צ'אט, מתחיל לעבוד עם הצ'אט, באיזשהו שלב הוא עובר למחברת, הוא כמעט לא היה צריך להיכנס ולהעמיק בתוך המחברת, הוא כל מה שהוא היה צריך זה ללחוץ על טריין מודל, ובהרבה מקרים זה פשוט עבד. וזה היה הטרייד אוף שאנחנו נדבר תכף על איפה זה פגש אותנו בהמשך. זה היה trade-off שבאותה נקודה עבד לנו, ידענו שזה משהו שאנחנו עושים שהוא יכול אולי להיות סיכון, ובאמת, תכף נדבר על איך זה התממש. אז מה באמת הסיכון פה? בוא נגדיר אותו במצב מדויק. אוקיי, אז בעצם הסיכון היה, האם במקום שבו אתה בעצם רוצה, המטרה שלנו היא הרי לא רק שהמשתמשים שלנו יבצעו את העבודה, אלא אנחנו גם רוצים to empower our users, אנחנו רוצים לקחת אנליסטים, אנשי דאטה, שהם לא data scientists, ואנחנו רוצים לעזור להם להגיע למצב שהם מאמנים מודלים ושהם עובדים עם AI, וזה משהו מדהים בפני עצמו. אבל בתוך הדבר הזה, וגם כדי שהם יוכלו להמשיך ולעבוד באזורים האלה, להמשיך ולטייב את המודלים שלהם, אולי לחשוב על use cases חדשים, אתה רוצה שהם יבינו מה הם עשו. ובעצם זה המודל המנטלי. אז בעצם מה שעשינו, אנחנו עשינו הרבה עבודת אבסטרקציה כדי... שנוכל להגיע ל-completion, אבל הסיכון היה שבדבר הזה אנשים שלא מעמיקים לא יבינו את זה עד הסוף. זאת אומרת, חוויה קלה מדי באיזשהו אופן. באיזשהו אופן. נוקח ב-one click, הם קיבלו את כל מה שהם רוצים, אבל ללכת לערוך את זה עכשיו, אין להם סיכוי להבין מה קרה. נכון, ואיפה אנחנו מגלים את זה, וזה היה מדהים, ה-customer success שלנו יושבים עם אותם אנשים שממשיכים לטייב את המודלים. והם חוזרים אלינו אחרי הפגישות, והם אומרים, תקשיבו, הבן אדם הזה, הוא אמנם עשה ארבעה מודלים, אבל הוא לא באמת הבין מה הוא עשה. וזו הייתה תובנה מאוד כזה שנפלה ממש כבום, פתאום אנחנו מבינים שהסיכון הזה התממש, ועכשיו האחריות שלנו היא לא רק לגרום לזה שהם יסיימו, משימה שהיא מורכבת בפני עצמה, אנחנו גם צריכים לוודא שהם מבינים מה הם עשו. אני חושב שזה נקודה מעולה, כי בדאטה מה שאנחנו נראה זה שאנשים יוצרים יותר מודלים, ונגיד וואו מדהים, במטריקה ה-North Star מטריק שלנו זה אז יפה, אבל אז אנחנו מדברים איתם ואנחנו מבינים שבגלל שהם לא יודעים לעשות אדיט, הם עושים את התהליך מההתחלה שוב, והם מצאו את עצמם עם ארבעה מודלים שהם מהלכת ימינה מהלכת שמאלה, אבל זה אותו דבר, כי הם לא הבינו, ואם אנחנו נסתכל רק על הדאטה זה ייראה מדהים, כן? הגרף מטורף, אבל אנחנו... יש פה פריקשן שלא נתפוס אותו בצורה שהיא דטאית אלא רק רק דרך קואל. אוקיי, אז מה באמת עדיין לא עובד או מה עוד

יש לנו לעשות? אז באמת מה שעבד בזמנו, מה שבאמת ראינו שזה לא עבד, זה קרה באמת לפני סדר גודל של חצי שנה בערך שראינו את זה. ואנחנו יושבים וחושבים מה לעשות, איך אנחנו מגיעים למצב, מצד אחד אנחנו רוצים להקל על המשתמשים, מצד שני אנחנו צריכים שהם יבינו איפה שאנחנו צריכים להעביר אותם בתוך המסלול הזה. באותה תקופה אנחנו מסתכלים החוצה ואנחנו בדיוק יש את הפריחה של כלי קו פיילוט. הדבר הראשון שכזה היה הסנונית זה היה כשקלוד הוציאו את פיצ'ר הארטיפקט שלהם. בעצם זו הייתה פעם ראשונה שיש עבודה של בן אדם עם צ'אט על איזשהו תוצר משותף שהוא לא כזה על הדרך בתוך הצ'אט. וקלוד התחילו עם זה וקרסר המשיכו עם זה וכמובן לאביבל. ובולט וכל המוצרים הנפלאים שיש לנו היום. בייס 44, אגב, אם ישראלים אנחנו רוצים להמליץ. נכון, מאור, נכון, גם מוצר שהוא מוצר מדהים באזור הזה, ואנחנו מבינים ש... אז זה דבר אחד שאנחנו רואים בחוץ. אנחנו במקביל גם מעמיקים בבעיה, אנחנו מראיינים כמה משתמשים, ממשיכים עם ה-paid interviews, ואנחנו בעצם מגלים ש... במקביל למה שאמרתי, אנחנו מגלים... שבעצם היום, אנחנו בזמנו שמנו, השיטה שלנו כדי לחנך יוזרים הייתה שה-LLM ג'ינרט גם הסברים בתוך המחברת, ממש תאים עם טקסט. והיו מחשבות, האם הטקסט הזה הוא יותר מדי או פחות מדי, היו כל מיני מחשבות אולי להוסיף דיאגרמות, אבל מה שבאמת ראינו זה שהיוזרים שלנו כל... יוזרים שונים בעצם לומדים בצורה שונה, וזה היה גם תובנה שהייתה מאוד משמעותית עבורנו. בוא נרחיב את זה רגע. כן, אז באמת, מה קורה? אנחנו יושבים באינטריו, ב-usability test, על פני, לא יודע, חמישה יוזרים, ואתה רואה יוזר אחד שבאמת בא ומתחיל לקרוא את המחברת ומתעמק ומנסה להבין. אתה עובר לרעיון שני, פתאום אתה רואה מישהו שמתחיל לקפץ. אתה רואה אותו גם בעיניים. וגם כזה אתה רואה אותו גולל ואתה שואל אותו בוא תתאר לי מה אתה עושה, אחד אגב הדברים החשובים באינטריוויוז, והוא אומר אני כאילו ככה אני לומד, אני קופץ, פחות מעניין אותי הטקסט, אני רוצה, העוגן שלי בראש זה השאילתות, יש כאלה שהם מתעמקים בכלל לא בשאילתות עצמם אלא בתוצר, רק בטבלאות. הישראלים. לא, האמת שלא דווקא הישראלים, אבל זה היה באמת מאוד משמעותי, כי הבנו שיוזרים שונים לומדים בצורה שונה. כן. אנחנו בעצם מבינים את זה, נכון? חינוך לנער על פי דרכו, אבל בקונטקסט שלנו אנחנו פתאום מבינים את זה, וזה אומר שאם היה לנו והיו לנו על השולחן כל מיני אפשרויות לטייב את הטקסט, להוסיף דיאגרמות וכל מיני, אנחנו מבינים ש... זה לא משנה איזה פתרון נבחר, זה לא יעזור, זה יהיה איזשהו מקסימום אולי לוקאלי, אבל זה לא יפתור לנו את הבעיה. כי אנשים לומדים שונה, אז אם אתה תשפר את הדיאגרמות, אבל אנשים בכלל, יש לך סגמנט שקורא רק את התוצאה הסופית, אילו להם זה לא מעניין בכלל. זה לא מעניין, זה אגב, זה יכול לפגוע בהם, כי אם יש המון המון טקסט, הם פתאום יכולים לקבל ממש, היו כאלה, אלה שבאמת מסתמכים רק על התוצאות, הם העידו שיש להם איזושהי תחושה של שוק, של overreaming. בגלל שהם פתאום רואים איזה משהו מאוד מאוד עמוס בעיניים. ממש מעניין. אז אני רוצה רגע לקחת אותך, באמת עברתם פה תהליך מטורף, גם פיצוח של המטריקה וגם השילוב הזה בין קוואלד דאטה, שבעיניי הוא מרתק וממש ממש מעניין. מה כזה התובנות המרכזיות שלך? או אם עכשיו יושבת איזה מנהלת מוצר בבית וחושבת רגע להטמיע את הדבר הזה, מה כזה אנחנו יכולים לעזור לה? אז

הדבר הראשון אולי שהכי חשוב זה שיפיט. כלומר, אנחנו ממש נלחמנו. כדי להוציא את הדבר הזה, אנחנו עשינו המון המון ויתורים כדי בעצם לאפתם גם למידה. אנחנו הבנו שככל שאנחנו נמתין יותר, תמיד יש שאלות, תמיד יש דברים לא ברורים, בטח ובטח בעולמות של ה-LLM. העולם הזה מתקדם בקצב מטורף, גם UX patterns וכל מיני ממשקים חדשים נולדים כל יום, ואם אנחנו לא נצא, אז אנחנו אף פעם לא נצא. אז קודם כל לצאת כמה שיותר מהר כדי לאבטם את הלמידה, גם אם זה אומר אגב חוויה שהיא טיפה שבורה, גם אם זה אומר חוויה לא מלאה לחלוטין, זה עדיין ילמד המון ולשמחתנו היום מוצרי תוכנה אפשר לתקן מאוד מאוד מהר. אז זו הייתה תובנה אחת, תובנה שנייה לשימור נקרא לזה, זה באמת שהpaid interviews היו invaluable בשבילנו, הם אפשרו לנו גם מצד אחד הדאטה. נתן לנו את התמונה הקוואנטיטטיב והרעיונות נתנו לנו את היכולת להעמיק בעצם ולהיות מסוגלים בצורה נינוחה לשאול את השאלות וזה היה מדהים לראות איך אנחנו נעים בין להסתכל על פאנלים, היינו מסתכלים על פאנלים ממש ברמה שבועית, לבין לקפוץ לרעיונות משתמשים ולומר אוקיי, ברעיון הבא אנחנו צריכים לשאול אותם א', ב', ג', ד'. אז בעצם הטמעתם עכשיו חוויית קו-פיילוט שזה משהו שהוא גם מאוד מאוד מאוד חם על זה ורוצים כזה insights, אז כזה מה הinsights שלכם מרגע מה הדבר הזה, מה אתם מבינים, מה למדתם? כן, אז

קודם כל, כמו באמת שאמרנו מקודם, להטמיע סתם co-pilot זה מאוד מאוד קל, אבל צריך באמת לחשוב האם הדבר הזה מתאים למודל המנטלי שלנו, למה שאנחנו מנסים להשיג או לא. במקרה שלנו למשל, אני יכול לתת כמה הבדלים שלנו היו, במוצרי co-pilot שהם כותבים קודם. אז בעצם העבודה היא גם בתוך החלון של עריכת הקוד, הוא מאוד מאוד משמעותי והצ'אט הוא כזה מלווה. אצלנו מה שראינו זה שהמשתמשים מאוד נוטים לעבוד עם הצ'אט, עד לרמה שהם היו, אני זוכר שזה היה באחד ה-usability שעשינו, זה היה כל כך משמעותי שהבנו שהיוזרים, אצלנו ה-co-pilot נמצא בצד שמאל של המסך, הבנו שכפתורים שנמצאים בצד ימין של המסך, היוזרים פשוט לא שמו לב אליהם. וואו. שזה היה מאוד מאוד מדהים, ואז בעצם, אתה יודע, ההחלטה המתבקשת היא, בוא נשים עוד דברים בתוך ה-chat, בוא נשים שם עוד ממשק, ובעצם, אם היוזר שלנו נמצא בצד שמאל ומסתכל עם העיניים בצד שמאל של המסך, בוא נשים שם גם את הכפתורים ואת מה שצריך, זה בסדר להשאיר אותם בצד ימין, אבל כדאי שזה יהיה לו מול העיניים, אם אנחנו רוצים שזה יהיה מול העיניים, זה צריך להיות לו במקום שהוא מסתכל. בעצם זה להבין שזה לא קואופרט, זה הפיילוט. כן, זה ממש... נכון, אז זה דבר אחד, דבר שני, צריך כאילו, שוב, משהו שאנחנו למדנו, למשתמשים היום יש המון המון ציפיות מהקו-פיילוט, הוא כבר לא יכול רק להיות צ'אט, הוא צריך להיות באמת משולב בצורה מאוד מאוד טובה עם האובייקטים, ואם זה לא קורה, אז למשתמשים יש חוויה של ממש של ניתוק, הם מרגישים שזה שני מוצרים שונים. אז במקרה שלנו נגיד, הקו-פיילוט שלנו יודע גם, לחולל שאילתות, הוא יודע גם לתקן שאילתות, הוא יודע גם אם יוזר שואל אותו שאלה שהיא צדדית, שהיא לא קשורה אגב לפקאן, שאלה ביאיית בכלל. הוא אומר, אני רוצה, תראה לי שנייה את ההיסטוגרמה, את הפיזור של המשתמשים שלי על פני זמן, הקופיילוט גם יודע לג'נרט לו דבר כזה, ובאמת להפוך את הצ'אט למשהו שהיוזר מרגיש שהוא וליוובל, שבאמת יחסוך לו זמן. כי אם לא אז באמת זה פשוט תחושת ניתוק ודיסוננס בין המוצרים. וואו, סופר משמעותי, ממש. אני חושב שמה שאני לוקח רגע מבחינת השיחה הזאת, תובנות של לינה פלום, זה אחד, כמה חשוב שהחוויה תהיה לפי המודל המנטלי, אבל של ה-Target Audience. יש המון המון מודלים מנטליים והמון המון Product Pattern שאנחנו רואים בחוץ, אבל כמה חשוב להתאים בין הדבר הזה לבין באמת מי ה-Target Audience. דבר שני לגבי באמת אולי זה קצת לוקאלי על ההטמעה של צ'אטים וזה, ההבנה שזה שנשים צ'אטבוקס בהתחלה זה לא יפתור את בעיית הדף הלבן, דווקא העובדה הזאת של רגע לשאול ולעזור עם האינפוט היא דרמטית כדי באמת להתחיל את השיחה ולא לצפות שהיוזר יבין מה הוא צריך להכניס בצ'אטבוקס, זה נראה לי דבר משמעותי. משהו אחד מעניין שכזה אף פעם לא חשבתי עליו, אבל שיכול להיות חוויה קלה מדי, כאילו אתם ממש רציתם לעשות עם פאוור ליוזרס, ואם עושים את החוויה קלה מדי, אז יכול להיות שהם מהר מאוד יעשו מודלים, אבל הם לא באמת יבינו לעומק מה הם עשו. והתובנה הזאת גורמת לי להבין שלפעמים, גם כשאנחנו רואים שהנורסטאר שלנו עולה, נגיד פה זה יצירת מודלים, עלה משמעותית, זה עדיין לא אומר שאין בעיה, כי יכול להיות שיצרנו חוויה קלה מדי, ועכשיו במקום לעשות אדיט למודל הקיים, הם לא הבינו איך עושים את זה, הם פשוט מתחילים מחדש. אז בעיניי זה היה ממש ממש מרתק, ותודה רבה רזי על השיתוף. תודה לכם. ורגע לפני שנסיים, אם אתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה רבה רזי. תודה. ותודה לכם שהאזנתם.