פרופ' עדו רול, הטכניון

 

למבחני פיז״ה (PISA) של ה־OECD חשיבות רבה במספר תחומים. מבחינה פוליטית, הם כלי רב עוצמה לשינוי או לשימור של מערכות חינוכיות. מבחינה ציבורית, הם משמשים מנוע שמעודד השקעה ותשומת לב. מבחינת מערכות חינוך, הם מהווים נייר לקמוס שבודק את ביצועי התלמידים, כמו גם תמריץ להגדרת תחומי הדעת הרלוונטיים. נוסף על כך, עבור אנשי הערכה, המבחנים מהווים מעבדה עולמית של מדידה, שבה נבחנים עקרונות יסוד של הערכה, גישות שונות למדידה והגדרה מושגית.

 

לשמחתי הייתי חלק מצוות המומחים שהגדיר את הנושאים המיוחדים במתווה של מבחני פיז״ה בשנת 2022 (חשיבה יצירתית, Creative Thinking) ובשנת 2025 (למידה בעידן הדיגיטלי, Learning in the digital age). נוסף על כך, אני חלק מצוות החדשנות והמחקר של ה־OECD בנושא פיז״ה (Research and Innovation Group). בטור זה אשתף מעט מתהליך הפיתוח של מבחנים אלו, בדגש על הנושאים המיוחדים, ובהסתמך על הניסיון שלי בשני הסבבים האלה. 

 

פיז״ה 2025 – למידה בעידן הדיגיטלי

במובנים רבים, זהו אחד התחומים המאתגרים ביותר שנמדדו עד כה: המטרה שלנו היא לא להעריך ידע אלא להעריך למידה. כיצד ניתן למדוד יכולת למידה? התשובה שלנו הייתה לתת לנבחנים מטלות הדורשות למידה במהלך הבחינה עצמה. כמו תמיד, האתגר התחיל בשלב המסגרת התאורטית: כיצד אנחנו מגדירים למידה בעידן הדיגיטלי? 

 

המסגרת התאורטית: פירוק אוריינות לרכיבים 
העבודה על כל מחזור של פיז״ה מתחילה שנים מראש, עם גיבוש המסגרת התאורטית (framework) – מסמך המגדיר בדיוק מה ואיך מודדים. על המסגרת הזו עובדים צוותי מומחים מצומצמים (5–8 חברים), המגיעים מתחומי הפסיכומטריקה, מדעי הלמידה וטכנולוגיות למידה, תוך הקפדה על איזון מגדרי וגיוון גאוגרפי. החשיבות והיסודיות של מסמך המסגרת התאורטית הפתיעו אותי לטובה. גם אם אני שותף לחלק מהביקורת על המבחנים עצמם, אני מאוד מעריך את מסמכי הגדרת הידע של פיז״ה, בעיקר אלו שעליהם לא אני עבדתי (שפה, מתמטיקה, אנגלית). הדגש בכל המסמכים האלה הוא על אוריינות, כלומר פחות על הידע עצמו או על שאלות סינתטיות ויותר על היכולת להשתמש בידע כדי לקבל החלטות ולפתור בעיות מורכבות ואותנטיות. אנו רואים שהגדרות אלו של אוריינות משפיעות על המחקר ועל המעשה החינוכי בעולם. 

 

במקרה של פיז״ה 2025, המסגרת ביקשה להגדיר מחדש מהי למידה בעידן הדיגיטלי. בחרנו להתמקד בתחום של חשיבה מדעית, שכן זוהי בחינה חדשנית, ולכן היה לנו חשוב להתמקד בתחום מוכר יחסית ו״פתור״. הגדרנו שורה של כישורים משמעותיים בדגש על מכוונוּת עצמית בלמידה. בעצם הבחינה שולחת מסר משמעותי: יכולת למידה היא יכולת פתרון בעיות ופיתוח ידע באופן איטרטיבי תוך שימוש בכלים. הגדרה זו קדמה לעידן הבינה המלאכותית היוצרת, ולשמחתי נותרה רלוונטית כשהייתה. תהליך למידה משמעותי הוא תהליך הנעזר בכלים. עוד על המסגרת התאורטית ניתן לקרוא במסמך הרלוונטי [1].

 

לצורך המבחנים עצמם פיתחנו 9 יחידות, כאשר כל נבחן מקבל 2 מתוכן. כל היחידות מדגישות שימוש בכלים כגון עזרה, התייעצות עם מומחים, הזדמנות למשוב וכן הלאה. עוד על סוגי הכלים, והאופן שבו הם משמשים להערכה, ניתן לקרוא בפרק שפרסמנו בנושא [2]. דוגמות ליחידות אלו נמצאות באתר הבחינה.

 

אחת ההתפתחויות המשמעותיות בפיז״ה 2025 היא השימוש המורחב באנליטיקות למידה (learning analytics). כיוון שהמבחנים ממוחשבים, ניתן לאסוף נתוני תהליך (process data). איסוף נתונים אלה אִפשר לנו שינוי מהותי בבחינה עצמה: אנחנו לא בודקים כמה אנשים לומדים, אלא איך אנשים לומדים. התהליך כולל זיהוי רצפים רלוונטיים ושיוך דפוסי התנהגות לקבוצות רלוונטיות. יתרון נוסף של הגישה הזו הוא הימנעות משיפוטיות. יש הרבה דרכים ללמוד – השימוש באנליטיקות למידה מעביר אותנו ממדידה מעריכה למדידה תיאורית (from evaluative to descriptive). עדיין נדווח על מטריקות מסורתיות, אבל נוסיף את ממד תיאור הלמידה. מבחינה מחקרית, השימוש באנליטיקות למידה מאפשר לנו להבין לא רק מי הצליח, אלא איך – מהן האסטרטגיות שהובילו להצלחה, מה מאפיין לומדים יעילים, ואיך נראית התנהגות חקרנית לעומת התנהגות אינטואיטיבית. עם זאת, זהו גם אתגר מתודולוגי: איך מפרשים נתוני תהליך באופן תקף ומהימן? מתי זמן תגובה ארוך מעיד על חשיבה מעמיקה, ומתי על בלבול? אלו שאלות שעדיין נבחנות אמפירית, והן מרחיבות את גבולות עולם המדידה המסורתי. 

 

אחד האתגרים המשמעותיים, לדוגמה, הוא להצליח להעריך למידה מעבר למטלה ספציפית. האם התנהגות של אדם במטלה א׳ דומה להתנהגות של אותו אדם במטלה ב׳, עם אפשורים (affordances) שונים? חובה לשמור על עקביות, שכן אחרת אנחנו מעריכים הקשר ולא יכולת. תוצאות ראשוניות שהצגנו השנה ב־AI in Education מראות על כיוון חיובי [3]. 

 

אתגר משמעותי אחר שהתמודדנו איתו הוא ידע תחומי.  גם בעולם רווי מידע, למידה אינה מתרחשת בוואקום. כדי להבין ולפרש מידע דיגיטלי נדרש בסיס ידע תחומי. בוודאי שהדבר נכון עבור מכוונוּת עצמית בלמידה ושימוש במקורות דיגיטליים – האופן שבו אני משתמש במקורות תלוי בידע שלי באותו תחום. לכן, אף שפיז״ה מדגיש "אוריינות" ולא "ידע", היה לנו אתגר גדול בהתמודדות עם ידע מוקדם שונה של תלמידים. בחלק מהמקרים בחרנו להמציא עולמות, בחלק הסתמכנו על ידע שיחסית נפוץ אצל רוב התרבויות, ובכל מקרה מדדנו את הידע בראשית כל יחידה.

 

פיז״ה 2022 – חשיבה יצירתית

פיז״ה, אולי יותר מכל הערכה אחרת, מתנהל בזירה פוליטית לא פחות ממדידה. מאחר שהמבחן משפיע על תדמית מערכות חינוך של מדינות שלמות, כמעט כל הגדרה הופכת למושא לדיון. כך למשל, בעבודה על מסגרת חשיבה יצירתית למחזור 2022, אחת המדינות המשתתפות טענה שהמבחן שלנו אינו מודד "יצירתיות", אלא "אלתור" – משום שבתרבות שלה יצירתיות נתפסת כמתוכננת, תהליך מובנה ולא ספונטני. הדוגמה הזו ממחישה עד כמה קשה לנסח מסגרת מושגית אוניברסלית. כל מונח טעון תרבותית, וכל פריט עלול לשאת משמעויות שונות בהקשרים שונים. היבט זה מחריף כאשר בוחנים משימות שמתייחסות לעולם האמיתי. בבחינה זו, לדוגמה, נכתב פריט שהתייחס להתחממות הים. אלא שבמדינות שאין להן גישה לים, הנושא היה מופשט מדי. באזורים אחרים, דוגמות על בקבוקים חד־פעמיים לא היו רלוונטיות משום שמערכות המחזור אינן קיימות כלל. גם עולם הדימויים התרבותיים – הוויזואליים והמילוליים – עלול להוביל להבדלי משמעות. למשל, ראינו הבדלים גדולים מאוד בעולם הדימויים בין בתי ספר דתיים לאלו ללא שיוך דתי במדינות שונות. סמל גרפי, צבע או מונח שפה יכולים לעורר אסוציאציות שונות בתכלית.

 

איך בכל זאת מוודאים שהבחינות הוגנות? אין פתרון אחד, אבל יש כמה מנגנונים שעוזרים: ייעוץ מתמשך עם מומחים מקומיים במדינות המשתתפות; משוב מנציגי המדינות בשלבי הפיתוח והפיילוט; ובדיקה סטטיסטית של התנהגות הפריטים כדי לוודא שאין דפוסים לא מוסברים בין מדינות.

 

בחינות החשיבה היצירתית הדגימו עבורי את הפער בין מסמך המסגרת התאורטית ובין הבחינה עצמה. בעוד שלדעתי המסמך מספק הגדרה מצוינת של התהליך היצירתי, המבחן עצמו בסיסי הרבה יותר ומפשט את התהליך יתר על המידה. הסיבה ברורה – תשומת הלב הגדולה שהמבחנים מקבלים מקשה על חדשנות. לדוגמה, היה לנו קשה לעודד בחינה שאפשר לבצע רק בצורה מקוונת, שכן היו עדיין מדינות שנבחנו בנייר. אני מודה מאוד למאל״ו על מענק מחקר שאִפשר לנו לנסות לבחון דרכים נוספות למדוד חשיבה יצירתית. עבודה זו, בשיתוף פעולה עם ד״ר צור קרליץ, אפשרה לנו ליישם עקרונות של הערכה דינמית עם מקורות גם בתחום החשיבה היצירתית [4].

 

מבט קדימה 

פיז״ה 2022 ו־2025 הם לדעתי ציוני דרך בהתפתחות החשיבה על מדידה חינוכית. מהערכה של תוצרים, דרך ניתוח של יכולות ועד ניסיון להבין תהליכי למידה בזמן אמת – מדובר במעבר ממדידת "ידע" למדידת "למידה". בעידן שבו הבינה המלאכותית יכולה לספק תשובות נכונות כמעט לכל שאלה, השאלה החשובה באמת היא לא מה תלמידים יודעים – אלא איך הם לומדים, איך הם מעריכים מידע ואיך הם בונים הבנה משמעותית בעולם רווי נתונים. 

 

המעבר למדידה של אוריינות עם מטלות מורכבות, לרוב מבוססות תרחיש או סיפור, מדגיש מספר דילמות שהיו קיימות עוד קודם. למשל, כיצד מתגברים על התלות הגדולה בקריאה, שנצפית בכל מחזור פיז״ה? כיצד ניתן ליישם מדידה אדפטיבית, ובהיעדרה, כיצד ניתן למדוד ביעילות קשת גדולה של יכולות? כיצד ניתן להתאים את הקריטריונים הנדרשים להערכה איכותית וסוגים שונים של תוקף לשימוש עם אנליטיקות למידה? כיצד אפשר לייצר בחינה שיכולה להראות פערים בין אנשים ועדיין שתהיה הוגנת כלפי אוכלוסיות? כיצד ניתן להשתמש במבחני פיז״ה כדי לסגור את המעגל ולתת מידע רלוונטי למורים וקובעי מדיניות? ובעיקר, מהו ידע ומהי למידה? חלק משאלות אלה נידון בספר שהוצאנו במסגרת העבודה בצוות המחקר והחדשנות של פיז״ה [5]. פיז״ה, בכל מחזור מחדש, מזכיר לי שהאתגר האמיתי של מדידה חינוכית איננו למצוא ציון מדויק, אלא לתפוס את המורכבות של החשיבה האנושית – גם כשהיא מתרחשת על מסך דיגיטלי.

 

על הכותב

פרופ' עדו רול – חבר סגל בפקולטה לחינוך למדע וטכנולוגיה ובפקולטה למדעי הנתונים וההחלטות בטכניון. פרופ' רול משתמש בנתונים תהליכיים מסביבות למידה דיגיטליות כדי להבין, להעריך ולתמוך בתהליכי למידה מורכבים וחשיבה מסדר גבוה. לדוגמה, הוא חוקר מוכוונוּת עצמית בלמידה, חשיבה מדעית, למידה של כלים, אוריינות בינה מלאכותית וחשיבה יצירתית. מחקרו נשען על שיטות ותאוריות מתחומי החינוך, אנליטיקות למידה, מדעי הקוגניציה, בינה מלאכותית ואינטראקציית אדם–מחשב. הוא חיבר למעלה מ־100 פרסומים שצוטטו מעל 10,000 פעמים. בעבר עמד בראש הכנסים הבינלאומיים לבינה מלאכותית בחינוך (2020) וללמידה בקנה מידה רחב (Learning at Scale, ‏2016), וכן כיהן כסגן נשיא בכיר לקידום ההוראה והלמידה בטכניון. פרופ' רול היה חבר במספר ועדות במסגרת קבוצות ה־PISA של ה־OECD. סקירתו על בינה מלאכותית בחינוך היא המאמר המצוטט ביותר בעשור האחרון בכתב העת International Journal of Artificial Intelligence in Education.

 

מקורות

[1] Organization for Economic Co-operation and Development. (2023, October). PISA 2025 learning in the digital world assessment framework (Second Draft). 
[2] Roll, I., & Barhak-Rabinowitz, M. (2023). Measuring self-regulated learning using feedback and resources. Innovating assessments to measure and support complex skills. eds. N. Foster and M. Piacentini (Paris: OECD Publishing), 159-171.
[3] Drive, S., & Roll, I. (2025). Towards a Task-Agnostic Assessment of Self-regulated Learning in Modeling Activities. In International Conference on Artificial Intelligence in Education (pp. 487-500). Cham: Springer Nature Switzerland.
[4] Barhak-Rabinowitz, M., Karelitz, T. M., & Roll, I. (2026). Measuring the iterative process of creative thinking: Uncovering the interplay between divergent and convergent thinking. Learning and Individual Differences, 125, 102821.
[5] Natalie, F., & Mario, P. (Eds.). (2023). Innovating assessments to measure and support complex skills. OECD Publishing.