ExplAInable

אפשר לשלוח כמעט כל דבר לקלוד ולקוות לטוב, חוץ ממפעל. בפרק הזה של Explainable מתארח פרופ' נדב כהן, מי שהנחה באוניברסיטת תל אביב את המפגש עם סם אלטמן ואיליה סוצקבר מול אולם עם כשלושת אלפים איש, ואנחנו הולכים איתו הרבה יותר עמוק: מהמתמטיקה שמסבירה למה עומק ברשתות נוירונים בכלל עובד, ועד לשאלה מה קורה כשמודל שולט על תשתית קריטית והתולרנטיות לטעויות היא אפס.מה בפרק• איך הגיע מקורס טייס ליחידה טכנולוגית, ומשם לאלגוריתמים על מערכות פיזיות• ההרצאה של אמנון שעשוע שאחריה שלח מייל ועבר לאוניברסיטה העברית• המאמר מ-2016: למה עומק נותן יתרון אקספוננציאלי, ומה זה אומר בפועל• למה ההשפעה של תיאוריה על התעשייה עוברת הרבה פעמים דרך אינרציה• ההבדל בין לבנות AI לבין להשתמש ב-AI וכמה הוא גדול• למה מספר הנרשמים למדעי המחשב יורד, ואיך המחלקות מגיבות• פרודוקטיביות: איפה זה 1000X ואיפה זה כמעט לא נמדד• אימיוביט: טייס אוטומטי למפעלים של ייצור רציף נפט, מלט, כימיקלים, מזון ופרמה• דטרמיניזם ואקספלנביליות, וארכיטקטורות שבנויות להיות אקספלנביליות מראש• מה זה מודל עולם, ובמה הוא שונה ממודל שפה• למה הניסיון להעביר ידע ממפעל למפעל נכשל שוב ושוב• אקדמיה מול תעשייה שלוש שנים אחרי הבמה עם אלטמן וסוצקבר• ולסיום: מה הוא ממליץ לבני 16-17 שרוצים קריירה מרשימהפרקים0:00 פרופסור וגם סלב: מי זה נדב כהן2:23 מקורס טייס ליחידה טכנולוגית5:49 ההרצאה של אמנון שעשוע ששינתה כיוון10:17 למה עומק נותן יתרון אקספוננציאלי14:55 כדאי עוד ללמוד מדעי המחשב?16:37 לבנות AI מול להשתמש ב-AI24:19 אימיוביט: טייס אוטומטי למפעל27:06 פיזיקל AI: כשהמחיר של טעות גבוה29:43 מה זה בעצם מודל עולם35:30 למה הטרנספר בין מפעלים נכשל37:38 אקדמיה מול תעשייה, שלוש שנים אחרי41:52 עצה לבני 16 ומסיבת קלודעל האורחפרופ' נדב כהן התגייס לקורס טייס, ואחרי שנתיים חתם ויתור ועבר ליחידה הטכנולוגית מצו״ב, שם התחיל לעסוק באלגוריתמים מתמטיים על מערכות פיזיות. אחרי השחרור הקים יחד עם אחיו גוף ייעוץ בתחום האירוספייס והדיפנס, שהפך לימים לחברה שנמכרה למלנוקס — היום NVIDIA. למד הנדסת חשמל ומתמטיקה בטכניון במסלול מצטיינים, ואחרי הרצאה של אמנון שעשוע עבר לאוניברסיטה העברית לתואר שני ולדוקטורט במסלול ישיר, שם פרסם סדרת מאמרים על השקילות בין רשתות נוירונים לפירוקי טנזורים. אחרי הדוקטורט עבר לפרינסטון, והקים עם שותפים את אימיוביט (Imubit), שבונה אופטימיזציה לייצור במפעלים של ייצור רציף. כיום פרופסור, מלמד קורסים מתקדמים ומנחה דוקטורנטים.

המודלים של היום מייצרים תמונות כמעט מושלמות, ודווקא בגלל זה הבעיה נעשתה קשה יותר. בפרסום תמונה יפה היא לא בהכרח תמונה נכונה: צריך את הלוגו המדויק, את המוצר הנכון, את צבעי המותג, את הגופן ואת הטקסט שחייב להופיע על הבאנר. בפרק הזה שחף מספר על ויז'ואל הרנס, כלומר כל השכבה שעוטפת את מודל הג'נרציה ומוודאת שמה שיוצא לאוויר באמת עומד באילוצים של המותג, של המוצר ושל הפאבלישר.מה בפרק- למה הבעיה עברה מלג'נרט תמונה טובה לג'נרט תמונה שעובדת ונכונה לעסק- אייפון במקום סמסונג, צבעי מותג, גופן והיררכיה: מה משתבש גם כשכתוב בפרומפט- אילוצים קשיחים שההחלטה עליהם בינארית מול אילוצים רכים שהם כיוון מועדף- למה StyleGAN ו-ControlNet נותנים שליטה חלקית בלבד כשהאילוצים משתנים כל הזמן- איפה בכלל מתועדים הכללים העיצוביים, ואיך מודל עוזר לנסח אותם מדוגמאות חיוביות ושליליות- מה ההבדל בין הרנס של קוד, כמו קלוד קוד וקודקס, לבין הרנס חזותי: הטסטים והסביבה- איך חוסכים כסף בבדיקות: OCR לזיהוי טקסט, מיקום וגודל, ושתילת לוגו דרך הקוד- ג'נרציה בשכבות: Adobe Firefly, מודלים בקוד פתוח שמייצרים SVG, ומה עדיין בגדר מחקר- מה אומר המאמר Mirror in the Model (MIMO): סוכני יצירה, סוכני ולידציה ולופ של וריאציות- האם בכלל צריך Multi-Agent, או שאפשר סוכן אחד עם תלות דטרמיניסטית בין השלבים- ה-Bitter Lesson של ריצ'רד סאטן: האם המודלים פשוט יפתרו את הבעיה בעצמם- למה עולם הפרסום עשיר במיוחד באילוצים: רגולציה, מתחרים, פאבלישרים ודיסקלאמרים- איך בונים ויז'ואל הרנס מאפס, ואיפה נכנס אדם בלופפרקים0:00 ויז'ואל הרנס: פתיחה והצגת האורח1:14 אייפון במקום סמסונג: מה משתבש בפרומפט2:33 הסיגריה של סבתא והמודל שהחליט לבד3:07 אילוצים קשיחים מול אילוצים רכים4:09 StyleGAN ו-ControlNet: שליטה חלקית בלבד6:03 איפה כתובים האילוצים ואיך מודל מנסח אותם8:55 הרנס של קוד מול הרנס חזותי: הטסטים10:07 OCR, לוגו דרך הקוד וחיסכון בעלויות13:34 המאמר Mirror in the Model: סוכנים ולופ17:54 Bitter Lesson: האם האתגר כבר נפתר21:16 לבנות ויז'ואל הרנס מאפס, ואדם בלופ25:36 מה כדאי לקרוא והטיפ לסיוםעל האורחשחף, בוגר תואר ראשון ושני בהנדסת תעשייה וניהול מאוניברסיטת בן גוריון בהתמחות Data Science, עובד כשנה בתחום הפרסום ובונה ויז'ואל הרנס לג'נרציית קרייטיב. הוא גם זמין לשאלות, רק לא כולם ביחד.קישוריםהמאמר Mirror in the Model (MIMO): https://arxiv.org/abs/2507.03326ריפו הקוד הפתוח שמרכז כללים עיצוביים ודוגמאות מחברות אמיתיות:https://github.com/nexu-io/open-design ה-Bitter Lesson של ריצ'רד סאטן: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdfלהאזנה לפרק בספוטיפיי: https://open.spotify.com/show/54gAppYYCFoKNP2GqL6coFאקספליינבל, הפודקאסט המוביל בישראל לכל מה שמעניין ב-AI, דאטה סיינס ולמידת מכונה.

הפודקאסט המוביל בישראל לדאטהסיינס ולמידת מכונה ExplAInable! ️ ד"ר מייק ארליכסון ושמעון מויאל מארחים את גלעד לוי, מייסד הסטארט-אפ Manifold מניפולד.גלעד הוא לא אורח רגיל בגיל 3 הוא כבר חישב חזקות בראש, ובגיל 17 סיים תואר ראשון במדעי המחשב בטכניון. בגיל 18 הוא כבר העביר את הקורס הראשון בארץ על טרנספורמרים. בשיחה מרתקת זו, אנחנו צוללים לתוך הבעיות המבניות של מודלי השפה של היום, ומדוע גלעד בחר לוותר על מסלול של דוקטורט באקדמיה לטובת הקמת חברה שתפתור את אחת הבעיות הגדולות בתחום: Learning Continual למידה רציפה.נושאים מרכזיים שדיברנו עליהם בפרק:● הדרך הלא שגרתית של גלעד: ממתמטיקה בגיל 3 ועד תואר בטכניון לפני גיל .18● למה אקדמיה היא כבר לא המקום לחקר מודלי שפה ענקיים )LLMs): הפער בין המשאביםבתעשייה למשאבים באוניברסיטאות.● המוח האנושי לעומת AI: בני אדם זוכרים מידע מטראומה או התרגשות קלה לנצח, בעוד מודליםזקוקים לכמויות דאטה עצומות וסובלים מ"שכחה" )forgetting Catastrophic).● מהי למידה רציפה )Learning Continual ?)החזון של Manifold להפוך מודלים לכאלה שלומדיםומתעדכנים כל הזמן, מבלי לאמן אותם מחדש מאפס.● מרוץ החימוש של חברות הענק: למה המרדף אחרי מודלים גדולים יותר ובנצ'מרקים לא בהכרחבונה "חפיר" )Moat )טכנולוגי אמיתי למוצר.● הזווית הציונית: למה להקים חברת חזית-AI דווקא בישראל ולהילחם על בריחת המוחות לסיליקוןואלי ולונדון.אל תשכחו לעשות לייק, להירשם לערוץ וללחוץ על הפעמון כדי לא לפספס את הפרקים הבאים!

ברוכים הבאים לעוד פרק של "אקספליינבל", הפודקאסט המוביל בישראל לדאטה סיינס ולמידת מכונה. בפרק הזה, ד"ר מייק ארליכסון מארח את שמעון מויאל לשיחה שכל איש טכנולוגיה, פיתוח ודאטה חייב לשמוע.

כולם מדברים על "סוכני AI" (Agents) שיעשו במקומנו את כל העבודה ויאפשרו לנו לשבת כל היום בים, אבל האם זה באמת המצב? צללנו אל מאחורי הקלעים של מהפכת הסוכנים, וגילינו מציאות מורכבת, יקרה ולפעמים גם קצת מסוכנת.

האמת הכואבת על הכסף: מתברר שלהריץ סוכני AI זה עסק יקר בטירוף. דיברנו על כך שהרצת מאה סוכנים במקביל עלולה לעלות מיליון דולר בחודש, ושהקמת מערכת "מולטי-אייג'נט" בארגון יכולה להגיע לחצי מיליון דולר. האם חברות ה-AI מסבסדות אותנו והחגיגה עומדת להיגמר?

סוכני כאוס ואנטרופיה: מודלים של שפה הם סטטיסטיים והסתברותיים, מה שאומר שהם עלולים לעשות טעויות ולהכניס "בלאגן" (אנטרופיה) למערכות תוכנה מורכבות. שמעון משתף סיפור מטורף על סוכן AI שיצר פאניקה ברשת כשהעלה Pull Request של מיליון שורות קוד בניסיון להמיר פרויקט משפה אחת לאחרת, ללא שום פיקוח אנושי.

מרד הסוכנים - סכנות האבטחה וה-Jailbreak: מה קורה כשנותנים ל-AI לנהל מכונת משקאות, ולקוחות מתוחכמים מצליחים לשכנע אותו לחלק פחיות בחינם או ב-99% הנחה? למה חייבים גורם אנושי שיפקח על הסוכנים האלו בזמן אמת?

הפרדוקס הכלכלי של ההייטק: חצי מתעשיית ההייטק מוכרת מוצרים (כמו ג'ירה, סלאק ואופיס) לחצי השני. אם הסוכנים יחליפו את כל העובדים האנושיים ותהיה אבטלה, מי בדיוק ישתמש בתוכנות האלו וישלם עליהן?

הסוף של Vendor Lock-in? הפחד של ארגונים להסתמך רק על חברות ענק כמו OpenAI או אנטרופיק (שיכולות לשנות מודלים או לחסום גישה פתאום), והמעבר לשימוש במודלים מקומיים או פתרונות ניתוב

טיפ הזהב שלנו למתכנתים: אל תישארו מאחור. מי שישרוד הוא לא מי שרק כותב קוד, אלא מי שיודע להסתגל, להבין איך סוכנים עובדים, ולהפוך למנצח שמנצח על התזמורת הזו.

האזנה חובה לכל מי שרוצה להבין לאן התעשייה שלנו באמת צועדת.

שתפו את הפרק עם החברים שלכם שעדיין חושבים שה-AI ייקח להם את העבודה מחר בבוקר!

בפרק זה אירחנו את אמיר לבנטל ורון אליאס לסיכום כנס "Berlin Buzzwords" ה-17, המתמקד בעולמות החיפוש, הדאטה סטרימינג והתשתיות בקוד פתוח.

אבולוציית החיפוש: סקירה מהחיפוש הלקסיקלי הבסיסי, דרך אמבדינגים ו-BM-25, ועד לשילוב ה-LLM והחיפוש ההיברידי של ימינו.

- ה-Agentic Search: דיון מרתק על האופן שבו סוכנים (Agents) משנים את תהליך החיפוש מפעולה דטרמיניסטית לתהליך איטרטיבי (ReAct), והמשמעות של "זכרון סוכן"

- ה-(Agentic Memory) לשיפור התאמת התוצאות לצרכי המשתמש.- טרנדים טכנולוגיים: נגענו במושגים כמו ColBert, RRF, MMR, ו-Worm-hole vector

- דיברנו על האתגרים בביצועים ובאיכות בחיפוש מונחה סוכנים.

"הציעו לי להיות אחד מ-20 העובדים הראשונים של וויקס. אמרתי לא... אותו דבר קרה לי עם מאנדיי."

כולנו אוהבים לדבר על ההצלחות שלנו, אבל בפרק החדש של Explainable החלטנו לשים את הפילטרים שללינקדאין בצד ולדבר על המציאות.

אירחנו את שחר פולק (Imagen- VP R&D, ולשעבר אקזיט לגוגל עם Breezometer) לשיחה כנה על הקריירה שלו, הטעויות בדרך, ואיך בונים את הפודקאסט הכי מואזן בהייטק הישראלי ("מפתחים מחוץ לקופסה").על מה דיברנו?

- הליינאפ, חוקי העריכה הנוקשים ("ציון מתחת ל-75 לא עולה לאוויר"), והסודות מאחורי ניהול קהילה של אלפי מפתחים.

- למה הוא מלצר בזמן שהיה פאונדר של סטארטאפ, ואיך מנטור אחד שינה לו את כל התפיסה העסקית.

- התפיסה שלו לגבי Work-Life Balance ("תנור עם 4 להבות שאי אפשר להדליק את כולן על המקסימום").

ולמה הכלל הכי חשוב בקריירה שלו הוא תמיד להיכנס לחדר בגישה של "ג'וניור".

האזינו עכשיו לפרק המלא בתגובה הראשונה!

מאחורי הקלעים של תעשיית הבינה המלכותית והדברים שחברות הענק מעדיפות שלא נדבר עליהם: עם אלכס פלג

מה מחכה לכם בפרק?

הדרמה של אנטרופיק: מה בדיוק קרה סביב "מיתוס ופייבל", ולמה האירוע הזה משנה את כל מה שחשבנו על פיתוח ושחרור של מודלי שפה?

פרדוקס הגישה: למה דווקא הגבלת הגישה למודלים מתקדמים (Closed Source) עלולה לייצר בעיות אבטחה חמורות הרבה יותר מהסכנות של מודלים פתוחים.

מלחמת ארה״ב-סין: איך המרוץ ל-AGI משפיע על הגיאופוליטיקה העולמית, מה תפקידה של הרגולציה הממשלתית, ומי באמת מוביל בקרב המוחות הזה.

האקינג ובטיחות מודלים: איך נראות מתקפות סייבר על מודלים של בינה מלאכותית כיום, ואיפה נקודות התורפה שהתעשייה עדיין לא פתרה.

בפרק מיוחד ומרתק אנחנו מארחים את רועי שנברג, איש Data Science ו-Machine Learning עם מעל 10 שנות ניסיון (ומפתח הפרויקט PUMBEE להקראת טקסט בעברית), לשיחה עמוקה על הצלחתו לשבור שלושה שיאי מהירות בתחרות ה-NanoGPT.

תחרות ה-Speedrun, שהתפתחה בעקבות סדרת Zero to Hero של אנדריי קרפתי (ממייסדי OpenAI), מאתגרת מפתחים לאמן מודל שפה שווה ערך ל-GPT-2 על דאטה-סט FineWeb2 בזמן הקצר ביותר, על גבי תשתית של 8 מעבדי H100. רועי משתף אותנו בכל שלבי הדרך – מהרעיונות הטכניים האמיצים ועד למשברים שכמעט גרמו לו לוותר

איך לוקחים שפה מורכבת ועשירה כמו עברית ומלמדים מודל בינה מלאכותית לדבר אותה שוטף? ולמה דווקא המודל של אינבידיה הוא זה שניצח את Llama ואת המודלים של IBM במבחן העלות-תועלת?

בפרק החדש של אקספלינבל, מייק מארח את שארל ויינברגר (מוביל פיתוח ב-AI Next של PWC) ונעם קייזר (מפתח בצוות) לשיחת עומק על מאחורי הקלעים של פרויקט אימון מודל השפה בעברית: פרויקט ששבר את הרשת עם 30,000 הורדות ו-4 שחרורי גרסאות בשבוע אחד בלבד.

בפרק נדבר על:

1. אתגר השפה העברית: למה המורפולוגיה העברית עושה צרות לטוקנייזרים הסטנדרטיים, ואיך מנצחים את זה.
2. מלחמת המודלים: למה הצוות בחר דווקא ב-"נימטרון" (Nemotron) של Nvidia, ולמה מודלים פופולריים כמו Aya, Llama וגרנית נשארו על רצפת חדר העריכה בגלל יחסי דחיסה גרועים.
3. משבר "אפקט הלוס": הרגע המלחיץ שבו מדדי השגיאה ירדו, אבל גם הביצועים צללו ואיך הגדלת ה-Batch ל-16.5 מיליון טוקנים הצילה את הפרויקט.
4. בנצ'מרק מול המציאות: למה ניצחון במבחנים סינתטיים הוא לא תמיד מה שהמשתמשים מחפשים, והתובנות ממבחן הקהל (Arena).
5. תשתיות של אלופים: איך המעבר ממעבדי H200 ל-Blackwell 300 החדשים של AWS חתך את זמני האימון פי 7 והוזיל את העלויות לעשרות אלפי דולרים בודדים.
6. איך נכנסים לתחום? הטיפים של ישראל ונועם למי שרוצה לפתח קריירה באימון מודלים למה מיינדסט מחקרי ושליטה בתשתיות (Docker, Sharding, AWS) חשובים לא פחות מאלגוריתמיקה.

בפרק 156, תמיר מייק והילה מתכנסים לענות על השאלה הבוערת: איך נוכל לעודד בני-נוער ללמוד את מקצועות ה STEAM. האם רובוטי גרוטאות בעיצוב אישי, או קיצורי דרך מתמטיים בטיקטוק יכולים לעזור לנערות ונערים להיכנס לתחום? נדבר על שלוש סוגי המניעים ללמידה: סקרנות, חשיבות היסודות, והערך העצמי, ונתהה האם תוספת ה- A למקצועות ה-STEAM היא שתחולל את המהפך. האם נצטרך מתמטיקאים עוד 50 שנה? האם GenAI גורמת לנערות ונערים להתקרב יותר או פחות לקוד? ומתי נזכה לראות שיעור של תמיר בלייב? כל זאת - בפרק!

הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה.

היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכות הטקסט שהם מייצרים, ואין כרגע מודלי דיפוזיה גדולים מאוד מאות מילאירדי פרמטרים שמסוגלים להפגין ביצועי ברי השוואה עם LLMs בגדלים שונים

מה הקשר בין הרעלת training data להורדת הסבירות ל- end of text token?

בפרק 153 של אקספליינבל, אורי ומייק מארחים את ד״ר רז לפיד ואילון מזרחי לשיחה על למידה אדוורסריאלית. לא זו מארכיטקטורת GAN, אלא כזו שגורמת למודלי LLM לצטט את החוקה האמריקאית ולבזבז יותר מדי טוקנים. בפרק למדנו על תקיפות שמתחילות בwhitebox עם מודל opensource ונודדות למודלים סגורים, תקיפות פיזיות על מערכות סגורות שאומנו לזיהוי בני אדם, ואיך אפשר להתמודד עם מתקפה שמורידה את הסבירות שמודל שפה יוצא end of text token. אז האם אייג׳נטים שמשתמשים במודל סגור יותר בטוחים מכאלו שמשתמשים במשקולות מhugging face? איך תוקפים מרעילים תוצאות כשכל מה שיש להם הוא גישה ל training data? האם אורי ורז יפתחו עסק צדדי של הדפסת חולצות שיגרמו לנו להיות בלתי נראים?

ה scholar של קרליני: https://scholar.google.com/citations?user=q4qDvAoAAAAJ&hl=en

הגנה "לא מפוקחת" שהתקבלה ל ICCV: 

https://openaccess.thecvf.com/content/ICCV2025W/SafeMM-AI/html/Mizrahi_Pulling_Back_the_Curtain_Unsupervised_Adversarial_Detection_via_Contrastive_Auxiliary_ICCVW_2025_paper.html

התקפת black box על object detectors שהתקבלה ל - ECML: 

https://arxiv.org/abs/2303.04238

מה הקשר בין התפלגות פוסטריורית של בדיקות גנטיות לבריאן ג׳ונסון? 

השבוע באקספליינבל, אורי פותח מצלמה ומספר על ביו-האקינג מנקודת מבט קצת אחרת (ספוילר: בלי האקרים). ננסה להבין מה קורה כשמנסים לתשאל ריצוף גנום עם SQL, ואיך רופאים מגיבים לגישה "דאטאית" לבריאות. מה אפשר ללמוד (ומה פחות) מהשגרה הקיצונית של בריאן ג׳ונסון, למה ניסויים בלי קבוצת ביקורת הם בעייתיים יותר ממה שנדמה. ואפילו - האם בדיקה של 300$ יכולה להסביר למה צריך יותר חומר הרדמה אצל רופא שיניים?

השבוע באקספליינבל אנחנו עוברים למתכונת רימוט ומארחים את ד״ר שמואל חיון, חוקר AI בכיר בהירונדו, שיספר לנו על העקבות שתיוג לא נכון משאיר לנו בזמן אימון המודל. הבנו איך טעות סיווג בהקלטה עם קשר טמפורלי קשורה לקלסיפיקציה של חתולים, ומתי סטטיסטיקות על פיצ׳רים כבר לא יכולות לעזור לנו במציאת טעויות סיווג (רמז: תמונות). העמקנו בהשפעה של דוגמא עם סיווג לא-נכון על loss של דוגמא אחרת, ואיך מודאליות שונה תשתמש אחרת באותה ליבה אלגוריתמית למציאת הרעשים.

המאמרים שהוזכרו בפרק:

שערוך יעיל של data influence למציאת שגיאות תיוג

סקירת מגוון שיטות לחישוב מקורב של data influence

00:00 היי שמואל, חוקר AI בכיר בהירונדו

02:40 חשיבות איכות הדאטה וכלב שמסווג כחתון

07:35 מבדיקה ידנית ועד קרבה סמנטית: איך להתמודד עם רעשי סיווג

13:33 מודאליות ותיוגים: איפה אנחנו הכי פגיעים

18:45 שגיאות תיוג נפוצות

22:44 איך לומדים ביחד ולחוד עבור מודאליות שונה

32:29 תוצאות בשטח

35:48 איך ללמוד עוד

דאטה סיינטיסטים יספרו לנו בהתלהבות על איך הם פותרים class imbalance, אך מה לגבי imbalance של משתנים דמוגרפיים?

השבוע באקספליינבל, אירחנו בשנית את נורית כהן אינגר כדי להבין האם מודל שאינו הוגן יכול להיות מדויק. נזכרנו בסקנדל של מודל COMPAS לחיזוי פשיעה חוזרת של עצורים בארה״ב, שחזה false positives פי 2 בקרב אוכלוסיה אפרו-אמריקנית.

עמדנו על ההבדלים בין הוגנות קבוצתית לבין הוגנות אינדיבידואלית, ואיך לעצב מודל הוגן יותר בשלב הדאטה, האימון, והריצה. אז מודדים היום הוגנות של מודלי שפה? האם פייריות היא פיצ׳ר או מטריקה? ואיך מייק והילה הצליחו להשמיץ שוב את שיטת SMOTE? כל זאת ועוד - בפרק!

בשבוע האחרון של שנת 2025 אנחנו ממשיכים את מסורת סיכום השנה שלנו. אורי והילה תהו אם חזרנו להיות סטטיסטיקאים, למה code generation נהיה מעולה אבל פילטר הספאם של גוגל עובד פחות טוב, ומה הקשר בין הבייסליין החדש בכתיבת אימיילים לעריכת וידאו.

הכרזנו על השנה כשנת ה-consolidation, תהינו מה התרומה שלנו כ- Data Scientists להנדסת AI, והאם בשנת 2026 נתחיל לפגוש ביוזרים סינתטיים. כל זאת ועוד - בפרק!

השבוע בexplAInable, אירחנו את שי אלון, אוונגליסט סטארט-אפים בגוגל קלאוד ושמענו על הכלים השונים למדיה גנרטיבית (בעיקר תמונות ווידאו) מבית היוצר של גוגל. ניסינו להבין מה הקשר בין אורך ה-Context Window לסרט הוליוודי באורך מלא, איך ההתחלה מייצור ה-ending frame מעלה את איכות הסרטונים, מה גרם ל Notebook LM להפוך ממוצר נסיוני להצלחה מסחררת, וגם איך נוכל להשתמש בכלים האלו בעצמנו.

הקורס של שי: https://cloudonair.withgoogle.com/events/startup-school-ai-q4-2025?utm_source=podcast&utm_medium=shaialon

הלינקדאין של שי: https://www.linkedin.com/in/shaialon/

00:00 היי שי!

01:13 מה בתפקיד evangelist בגוגל קלאוד

02:30 מדיה גנרטיבית בגוגל

05:22 האתגרים וההזדמנויות בג׳נרוט של וידאו

15:25 על Notebook LM- מסטארט-אפ פנימי לפודקאסט ששמועים ברכב

23:21 על deep research של גוגל

27:00 הקורס של שי על מדיה גנרטיבית

השבוע ב-explAInable, ניסינו להבין האם ל-LLM יש בינה אמיתית, יחד עם ד״ר אלישע רוזנצוויג, חוקר בדיקטה ומנחה הפודקאסט ״אלישע והזוויות״.

ניסינו להבין אם מבחן טיורינג הוא פרוקסי רע למדידת בינה מלאכותית, איך רלטיביות של ייצוגי embeddings קשורים למעגליות בהגדרות מילוניות, ואיך חוק גודהארט על תבניות סטטיסטיות חזה את זה ש- LLMs ידעו לשקר לנו בצורה מהימנה יותר.

האם ה-LLMs שאנחנו מכירים היום יצליחו לקדם אותנו לעבר AGI? האם מולטי-מודאליות יעזרו לנו להגיע לבינה אמיתית? ואיך רבנים יכולים להשתמש כבר היום במערכות RAG על פסיקות קודמות? כל זאת ועוד- בפרק!

השבוע ב-explAInable, אירחנו את ירון חביב וזכינו להצצה נדירה לתפקידו כ Technology Lead במקינזי.

ניסינו להבין מה עומד מאחורי הקשיים על חברות ענק לדחוף פרוייקטים GenAI בארגון, והאם יש מקרים חוץ מ-Copilot ו-data extraction שעובדים ללקוחות שלהם. בדקנו מהם ארבעת החלקים של LLM Ops, והאם הם שונים מ-MLOps קלאסי. האם אנחנו בעיצומה של מהפכה כלכלית? או רק שינוי הדרגתי? כל זאת ועוד- בפרק!

השבוע ב explAInable, אלכסיי ספוזניקוב הגיע לספר לנו על ה-Disruption שמודלי LLM הביאו לעולם הסטארט אפים. דיברנו על השינוי בעולם הגיוסים בעידן בו ה time to market הרבה יותר מהיר, השיפט הטקטוני בשלב הפרה-סיד של סטארטאפים ואבטחת מידע בעידן ה- GenAI. אז האם יש מקום לסטארטאפים בעולם של ענקיות? כל זאת ועוד בפרק!

בפרק הזה מייק ריאיין את תמיר שסיפר על האפליקציה שהחברה maik-education.com שלו מפתחת. מדובר באפליקצייה וובית ייחודית שהינה סביבת Reinforcement Learning הניתן להפעלה באופן פיסי עם רובוטים אמיתיים שכל אחד יכול ליצור בבית או במשרד. בסביבה ניתן ליצור סוכנים, להגדיר להם התנהגויות בקוד או במודל דיפ אותו ניתן לאמן למיקסום פונקצית תגמול כלשהיא. לאחר שהפרויקט רץ ועובד וירטואלית ניתן לחבר כל סוכן לרובוט בבלוטוס (יש גם ערכות לזה) ויש לייצב מצלמה שתתפוס את זירת הרובוטים ואז כל מה שתיכנתנו או אימנו בסימולציה יקרה בעולם הפיסי. בפרק תמיר הראה פרויקטים כמו רובוטים שיודעים להסתדר בצורה של משולש, רובוט (פוטבול) המנסה להגיע לקו בעוד רובוט אחר המנסה לחסום אותו (AI vs AI), רובוט המגיע לנקודת יעד מבלי להתנגש במכשול או לחילופין כך שיעבור דרך נקודה שתזכה אותו בתגמול חלקי, ועוד. הסביבה מאפשרת לכל אחד ליצור פרויקט רובוטים יצירתי כלשהוא למטרות למידה וכף.

בפרק זה, ד״ר בוריס גורליק — חוקר נתונים, מרצה ורוקח בעברו — מציג היפותזה מרתקת שלפיה מודלי שפה גדולים מפגינים התנהגות אנושית יותר מכפי שמצופה מהם. מכאן השיחה גלשה לפסים פילוסופיים על טיב התבונה, משמעות החיים, והאם אלגוריתמים ישנים כמו SVM עשויים לשוב ולתפוס מקום מרכזי בעולם ה-AI.

המאמר של בוריס בו הוא מציג את ההיפותזה : https://www.mdpi.com/2076-3417/15/15/8469

ויש לו גם פודקאסט על המזרח התיכון https://anchor.fm/hashavua

בפרק הזה שמחנו לארח את שוקי כהן מ AI21 - החברה הישראלית המובילה בעולם בפיתוח בינה מלאכותית. בשיחה עם שוקי למדנו מניסיונו העשיר וצללנו לנבכי פיתוח בינה מלאכותית: מפיתוח מודל היברידי Jamba, דרך וורדטיון ועד למוצר הדגל שלהם, מאסטרו. ניסינו להבין איך נוצר האקלים היחודי שגרם ל AI לחדור לכל סלון בעולם המערבי תוך חודשים ספורים, ומאידך דנו בשאלה מדוע פרויקטי AI נכשלים ולא מגיעים לפרודקשן. חקרנו את הסוגיות שמעסיקות את כולנו, אבל הפעם ממקור ראשון - מחברה שמפתחת בעצמה את טכנולוגיית הקצה הזו שמשנה את החיים של כולנו. 

סערת טוויטר אחרונה דיברה על evals לאייג׳נטים וLLM באופן כללי - האם מדובר בכלי נדרש או בקידום עצמי של בעלי עניין?

אלמוג, מוביל קהילת GenAi, איתנו לדבר על החשיבות והמגבלות של evals - ולמה הם ממש לא פתרון קסם.

נדבר על פרקטיקות נפוצות לאיסוף פידבק, וביצוע error analysis ליצירה של agent שיודע להשתפר לאורך זמן.

ראיון עם עם פרופ’ נעם קניגשטיין מאוניבריסטת תל אביב, מומחה למערכות המלצה וחוקר לשעבר המוביל של XBox recommendation במיקרוסופט.

מהחלוקה הקלאסית בין מערכות collaborative filtering ו-content based ועד ל-hybrid והמעבר ל-embeddings ו-matrix factorization. נעם יסביר את התפתחות האלגוריתמים, את ההבדלים בין explicit ל-implicit feedback, ואת האתגרים בבחירת ממד המודל. בנוסף נעם מדגיש את הפער בין ביצועים ב-offline test set לבין ביצועים אמיתיים בשטח, ואת הצורך להבין סיבתיות ולא רק קורלציות.

דיברנו על ההבדלים בין אלגוריתמים כמו bandits, שימוש ב-organic feedback, והקושי ב-off policy evaluation תוך איזון בין bias ל-variance.

פרופ׳ קניגשטיין מספר על יישומים אמיתיים במוזיקה ובסרטים, על ההבדלים ביניהם, ועל החשיבות של הסברים (XAI) כדי להתמודד עם בעיות כמו filter bubbles. לבסוף, הוא מצביע על חזון לקדם את קהילת מערכות ההמלצה בישראל ולחבר בין האקדמיה לתעשייה.

כולם מדברים היום על קידוד עם AI, בין אם זה עם כלי עזר כמו co-pilot או cursor, השלמה אוטמטית. או כתיבה של תוכניות שלמות עם vibe coding עם כלים כמו lovable או base44.

בפרק זה נארח את גילי נחום, לענות על שאלות על עתיד עולם התוכנה והכלים האחרונים.

נדבר על שימוש נכון בMCP, על חלוקה של הכלים לדורות וההיררכיה שלהם.

ונתן עצות מה המקומות הנכונים לשלב כלים כמו claude code לעומת כלים אחריםץ

אימון מודלים זה דבר מורכב, הכולל בחירה חכמה של גודל הבאצ׳ים, ובחירה נכונה של דאטא איכותי ונקי.

בפרק זה נדבר עם עידן משיח, סטודנט לתואר שני בתחום על אלטרנטיבה או השלמה ללמידה בבאצ׳ - למידה בהמשכים.

נדבר על האתגרים של ״שכחה״ catastrophic forgetting כשחושפים מודל לדאטא חדש.

עידן ישטח בפנינו את שלושת האלטרנטיבות ללמידה הדרגתית, הכוללים שינוי של מבנה הדגימה, עדכון המודל ושינויים בפונקציית האופטימיזציה.

נשווה בין למידה ישירה ללמידה בהמשכים ונמליץ על טיפים פרקטיים לכל מי שמאמן מודלים על דאטא גדול.

AI מעולם לא היה זמין יותר, ולמרות זאת חברות רבות מתקשות במחקר ופיתוח מוצרים/פיצ'רים מבוססי GenAI. מה הן מפספסות? מדוע זה שונה כל כך מפיתוח תוכנה "קלאסי"? 
בפרק זה אירחנו את עוז ליבנה, יועץ וארכיטקט GenAI, לשתף מנסיונו ולהסביר על שינוי הפרדיגמה העמוק הדרוש להצלחה במחקר ופיתוח GenAI, ועל ההבדלים המהותיים מפיתוח תוכנה קלאסי - ברמת החשיבה, התכנון, התמודדות עם אתגרים, צורת ההתקדמות, POCs, ומטריקות

בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.

חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?

תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.

נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.

דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.

והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.

סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.

זה נראה שרוב הפוקוס הנוכחי הוא על הכנסת דאטא עדכני לדאטאסט של אימון של מודל, ושמירת המודל עדכני.

אבל הצד השני של המטבע הזו, הוא לגרום למודל לשכוח נתונים שאינם עדכניים.

בין אם מדובר בחוקי מס שהשתנו או בביאסים של הדאטא (כמו דעות קדומות) שהיינו רוצים לשנות, שיכחה היא דבר חשוב.

פרופסור עודד שמואלי מהטכניון ידבר איתנו על המורכבות של ״עריכת״ מידע של מודלים, החל ממודלי קלאסיפיקציה פשוטים ועד מודלים מורכבים שפועלים על מספר מודאליות

בפרק זה אירחנו את אלן ארזי, מהכותבים של TabStar (יחד עם עילם שפירא ופרופ. רועי רייכארט) - מודל דיפ לרנינג המיועד למידע טבלאי.
בניגוד לתמונה, קול וטקסט - במידע טבלאי מודלי דיפ לרנינג הם לא הגישה הרווחת.
האתגר הגדול בעולמות הטבלה היא חוסר האחידות, טבלאות יכולות לתאר מגוון רחב של נתונים בלי מכנה משותף ביניהם - ולכן קשה למצוא ״מודל בסיס״ כמו בעולמות התמונה.

בטאב סטאר, הכותבים לקחו גישה שמערכת מודלי שפה (ובפרט טרנספורמרים) והשתמשו בשמות העמודות ובתיאור הטקסטואלי של הקטגוריות בשביל לתת למודל קונטקסט.

השיטה מראה ביצועים עדיפים על XGBoost כאשר יש מגוון של עמודות טקסטואליות במשימות קלאסיפיקציה.

אלן סיפר לנו על האתגרים באיסוף מידע לאימון ועל הצפוי לנו בעתיד בעולמות המידע הטבלאי.

רביד זיו, לשעבר מהמעבדה של יאן לקון, היום פרופסור בNYU וחוקר פורה בדיפ לרנינג ידבר איתנו על דחיסה ולמידה.

בעוד דחיסה מזכיר לחלקנו זיפ, או jpeg - רביד ירחיב על איך רשתות דוחסות מידע בצורה יעילה.

נדבר על שיטות כגון next token prediction שמסתבר שמאלצות מודלים ללמוד דחיסה יעילה יותר מאשר masking כמו בBERT.

נדבר על חשיבות האוגמנטציה בתהליך האימון - או יותר נכון, חוסר החשיבות כפי שנראה.

ונעמיק על הקשר שבין דחיסת מודלים, דחיסת אינפורמציה והמשימות אליהן רוצים לעשות אופטימיזציה

מתי מריאנסקי, מוביל קהילת עליית המכונות הפופולארית, אמן ומשתמש נלהב בAI ידבר איתנו על נסיונו.

נדבר על המגבלות והדפוסים שנראה שAI נופל אליהם, האם מודל בינה יוכל לייצר את סגנון הקוביזם החדש?

ונדבר על ההשלכות של פילטרי הבטיחות על איכות המודלים.

לסיום, נדון האם יש טעם ללמוד היום עיצוב גרפי, והאם התחום בדרך לאוטומציה מלאה.

היום בעידן מודלי השפה הגדולים כשתרגום סימולטני מתאפשר בלייב, זה נראה כאילו מאז ומתמיד ChatGPT ידע לדבר עברית.

עד לא מזמן היתה צניחה משמעותית בביצועים של מודלי שפה על שפות שאינן אנגלית.

בפרק זה גיא רוטמן, חוקר אקדמי בתחום ובתעשייה ב gong.io ידבר איתנו על אתגרי העבר והווה באימון מודלי שפה רב שפתיים.

נדבר על טיפים עכשוויים להתמודדות עם שפות כגון עברית, ועל אתגרי הדאטא.

יוצא לנו הרבה לדבר על אייג׳נטים, על מודלי שפה, ועל איך הם עובדים.

בפרק זה אנחנו נדבר עם מיכאל קיסילנקו - היזם מאחורי GenDesk, שמגיע שיטתית למליוני חשיפות בלינקדין בעזרת שימוש בAI.

מיכאל פיתח מומחיות רבה, ולמד את האלגוריתם של לינקדין מכל הצדדים.
פרק מלא תובנות שאסור לפספס

היום כשמודלי שפה נהיו כ״כ חזקים, אנחנו לוקחים כמובן מאליו את יכולות הבנת התמונה.
בפרק זה פרופ. עידן שוורץ מאוניברסיטת בר אילן יספר לנו על ההיסטוריה של התפתחות התחום, על ביאסים בתשובות ואיך מתמודדים איתם ומה הם האתגרים העכשוויים בתחום.
ריבוי מודאליות גורם גם לבעיות מסדר שני, כגון ישור הקלטים, מציאת מרחב משותף מייצג, וכמובן מה עושים כאשר יש קונפליקט בין המימד החזותי לטקסטואלי למשל.

ב28 למאי ייערץ יום עיון בבר אילן, שם עידן ומיטב המוחות בתחום יציגו את העבודות שלהם.

קישורים לעיון:
https://biu365-my.sharepoint.com/:f:/g/personal/schwari9_biu_ac_il/Eus14HAcXQBBuS_GhknGbh4Bevs1VixlLgPO0yCgLReY2w?e=GZJDnO

אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה.
נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי.

ועל גישות
LLM as a judge
הרווחת לאיבליואציה של חיפוש והמלצה