מדידה ומדיניות: הֲיֵלְכ֥וּ שְׁנַ֖יִם יַחְדָּ֑ו אִם־נוֹעָֽדוּ?

מאת: ד"ר גל אלון, ראמ"ה, הרשות הארצית למדידה והערכה בחינוך

 

הרשות הארצית למדידה והערכה במשרד החינוך תחגוג בקרוב עשרים שנים להקמתה. מהקמתה זכינו כולנו. ראמ"ה ריכזה ומרכזת אליה חלק מהמוחות הטובים ביותר בישראל בתחום הפסיכומטריקה. החלטת ממשלה מס' 3060 לאימוץ עקרונות ועדת דוברת יצרה את אחד מהחיבורים החשובים בין הממשלה לבין עולם המדע, עם תקציב שהופך אותו לגוף המחקר החברתי הגדול ביותר בישראל, למעט הלשכה המרכזית לסטטיסטיקה.

 

חברי כוח המשימה הלאומי לקידום החינוך בישראל, בראשות שלמה דוברת, יצרו את ראמ"ה והציגו תפיסה פורצת דרך לעתיד החינוך בישראל. אך לראמ"ה הם שכחו להגדיר דבר אחד: את האופן בו תימדד ההצלחה. בארצות הברית ההכרח להגדיר תוצאות מדידות לכל מהלך ממשלתי עוגן עוד בשנת 1993 (GPRA 1993, GPRA Modernization Act 2010). אגפי המדיניות שהוקמו בוושינגטון כפטריות אחרי הגשם משנות השבעים (Borins 2010), לצד גופי החשיבה (Think Tanks) שעסקו במדיניות (Ricci 1994, Ch. 1), הבינו שללא הגדרת תוצאות (Outcomes), אין למערכת הממשלתית מצפן, והיא תתקדם כסומא באפלה (Hatry 1970). היעדרו של מנגנון שוק שמאלץ חברות להביא ערך לצרכן, מחייב את המגזר הציבורי למצוא מדד חלופי למיקסום.

 

כיצד ניתן למדוד את המודד? ומהם מדדי התוצאה של מדדי התוצאה?

כמויות המידע שראמ"ה אוספת ומנתחת הן עצומות. עם החזרה ההדרגתית לשגרה, לאחר שתסתיים מלחמת "חרבות ברזל", ימומש מערך ההערכה והמדידה החדש שגובש בתחילת השנה (חוזר מנכ"ל | מצגת | סרטון | דוח). במסגרתו, ראמ"ה תאסוף בשנה הקרובה כ-30 מיליון "שדות מידע" (Data Points), דרך שימוש בכלי הערכה שונים. כאשר נשוב למערך הערכה סדיר נדע מה מצבו של כל תלמיד בכיתה ד' בשלושה תחומים שונים של שפת אם, ונוכל להעריך את החולשות והחוזקות של תלמידי ו' ו-ט' באחד מכמה מקצועות, ביניהם מתמטיקה, אנגלית ומדע וטכנולוגיה. יהיה בידינו גם מידע רב שנאסף דרך שאלונים ממאות אלפי תלמידים, מורים ומנהלים. אך המדידה כשלעצמה היא התפוקה בעבודתה של ראמ"ה. היא לא התוצאה.

 

לשם מה נועדה המדידה? זו שאלה שראמ"ה עסקה בה במשך כחודשיים, בסוף שנת 2022. עמדו בפנינו שתי גישות שונות שהתפתחו במהלך השנים. על פי הראשונה, תפקידנו מסתיים בהצגת הנתונים שאנו אוספים במבחנים ובסקרים, והתוצאה היא היקף השימוש או החשיפה לנתונים. על פי הגישה השנייה, פיתוח הכלים וניהול המדידה אינם יכולים בפני עצמם להיחשב הצלחה. חשיבה תוצאתית מחייבת לשאול מה קורה בעקבות המדידה, ומה שינוי המדיניות שהמדידה תרמה לו. במילים אחרות, המדידה נועדה לקידום מדיניות מועילה (אפקטיבית) יותר, אשר תצליח להשיג את התוצאות שהגדירה לעצמה (OECD 2007, Wilson 1996, Barber 2008). השפעה, ולא שימוש.

 

קהלי היעד נגזרים משאלת התוצאה. בחינת היקף השימוש בנתונים תביא אותנו לעולמות של אנשי מדיניות ומחקר, לצד מנהלים שרוצים להעמיק במידע. בחינת היקף ההשפעה של הנתונים תוביל לשלושה קהלי יעד שונים - המורה בכיתה (אשר נדרש לקבל החלטות פדגוגיות ביחס לכל תלמיד ולכיתה כולה), מנהלי בתי הספר (אשר נדרשים גם לעסוק בהקצאת משאבים ובמתן הנחיות רוחביות, המהוות מדיניות בית-ספרית) ואנשי המטה ברשויות המקומיות, במחוזות המשרד ובמטה בירושלים (אשר נדרשים להחליט על תקציבים ונהלים שונים). כל דרג שכזה מחזיק בידיו סמכויות החלטה שונות.

 

ראמ"ה בחרה במדד ההשפעה ובעקבותיו הטמיעה שינויים משמעותיים באופן בו היא פועלת. לא עוד דוחות ארוכים שנדרשת מומחיות סטטיסטית כדי להבין אותם. לא עוד ריחוק מבתי הספר בשל תפיסה (שגויה) כאילו אנחנו מפקחים עליהם ולא שותפים שלהם לעשייה. לא עוד סקרים שנקבעים "מלמעלה למטה" ללא מנגנוני התייעצות. אם נרצה למדוד כמה מנהלי בתי ספר שינו החלטות בעקבות התוצרים שלנו, עלינו להבין אילו החלטות המנהלים והמנהלות נדרשים לקבל, ולהתאים עצמנו להחלטות שלהם, וכך אנו מנסים לעשות בימים אלה. אם נרצה לראות אילו שינויים הוטמעו בתוכניות התערבות של מטה משרד החינוך, נצטרך להצביע בבירור על "מה לא עבד".

 

מתפיסה למעשה: איך נראים תוצרים מכווני השפעה?

שינוי התפיסה הוביל, בסופו של דבר, גם לשינויים באופן ביצוע ההערכה החיצונית של בתי הספר. ציון מספרי בסולם 300 (או 500, עד 2021) שמרבית המנהלים אינם מבינים כלל את משמעותו, ממקד את תשומת הלב בדבר הפחות חשוב. אם אנו רוצים שהמדידה תביא לשינוי, עלינו לשקף למנהל את החוזקות והחולשות שלו, לשקף לו את מגמות השינוי, לאפשר לו בחירה בדברים הרלוונטיים לו ולהראות לו את מצבו ביחס לדומים לו.

הציון לבדו לא עושה זאת. אם המדידה מסתכמת במספר בודד, הסיכוי שהמנהל ייעזר בה לגיבוש תוכנית פעולה קטן יחסית. במקומו, ניסינו בראמ"ה לייצר תמצית ובה בעמוד אחד מוצג שיקוף של הדברים שחשוב לדעת לתכנון (דוגמת חוזקות, חולשות ומגמת שינוי, שיאפשרו לדעת במה נכון להתמקד). לצד התמצית, גיבשנו השנה דוח בית-ספרי חדש, המאפשר לראות בשני עמודים את השורות התחתונות של תוצאות המבחנים ושל הסקרים, באופן שמאפשר העמקה בהמשך הדוח, וגיבוש של תוכנית פעולה להתמודדות עם התחומים החלשים יותר. 

 

הדוח הבית-ספרי הוא דוגמא אחת למימוש תפיסת ההשפעה. לצידו, גיבשה ראמ"ה מחדש גם את מבנה הדיווחים שלה על מבחנים בינלאומיים, כך שיהיו קצרים ותכליתיים יותר, ואת תבנית הדיווח על מחקרי הערכה, כך שתאפשר להבין באופן כמעט מיידי את "השורה התחתונה" ביחס למידת השגת מדדי התוצאה והדרך להשגתן בעתיד. בכל הקשור למאגר הכלים הפנימיים שלה, מכוונת ראמ"ה לכלים פשוטים ונגישים, דיגיטליים היכן שניתן, עם תהליך התנעה מהיר וחיבור של ממצאי ההערכה להמלצות פעולה שיכתבו גורמי המקצוע במערכת החינוך.

 

במלחמת "חרבות ברזל" התפיסה החדשה הובילה את ראמ"ה לרדת כבר בימים הראשונים אל מרכזי הקליטה של מפוני העוטף והצפון, מתוך הבנה שהיידע על הנעשה במרכזים יידרש להנהלת המשרד בתהליכי קבלת ההחלטות שלה בשבועות שלאחר מכן. אספנו מידע על היקפי המפונים בכל מרכז, על הצרכים במרכז ועל סוגי הפעילויות החינוכיות המוצעות בו, כדי לסייע להחלטות מדויקות יותר על הקצאות משאבים ונהלי עבודה במרכזים. במקביל, הפעילה ראמ"ה את מערך הסקרים שלה על מנת לבדוק מה שלומם ומה מיקומם של אלפי תלמידים באחת הערים, והשלימה בתוך שבועות יחד עם שפ"י ו-milgo פיתוח של כלי דיגיטלי פנימי חדש לבדיקת שלומם של התלמידים, הכולל המלצות פעולה אישיות לאור המיפוי.

 

מעבר לכלים ולתוצרים, משקיעה ראמ"ה גם בחידוש הערוצים דרכם היא עובדת, שהרי "The Medium is the Message" (כפי שאמר Marshall McLuhan). מכאן, שראמ"ה חייבת להיות במקום בו נמצאים המנהלים והמורים שלנו, להם אנו רוצים לייצר ערך. והם, כבר מזמן לא נמצאים בדוא"ל הארגוני. לכן נכנסה ראמ"ה באחרונה גם לרשתות החברתיות (פייסבוק, לינקדאין, טוויטר ואינסטגרם), ואנו מזמינים כל אחד לעקוב אחרינו ואחרי התוצרים שלנו גם שם.

 

אז והיום: "מדידה בשירות הלמידה"

פרופ' מיכל בלר, שייסדה את ראמ"ה, חרטה באתוס הארגוני את המשפט "מדידה בשירות הלמידה". לא היה נכון ממנו, לא אז ולא היום. אך הטלטלה שעברה המדידה בעקבות פסיקת בית המשפט העליון ב-2012 הפכה את הציון במבחני ראמ"ה לכלי שיווקי והרחיקה אותו עוד יותר מהמקום עבורו נועד. הפסקת פרסום הציונים והמעבר להערכות מילוליות נועדו לאפשר לנו לחזור למקום ממנו ראמ"ה יצאה לדרך ולממש את הנכסים המקצועיים שבנינו לטובת השפעה על מדיניות והחלטות במערכת החינוך בכל הרמות.

 

צריך לומר בכנות: זהו אתגר מורכב מאין כמותו. היכולת לפתח חשיבה תוצאתית באלפי מוסדות חינוך מחייבת להפוך את הכלים שלנו לנגישים מאוד, לתרגם את הרעיון המורכב לשפה פשוטה, ולהתאים את עצמנו לסוגים שונים של מקבלי החלטות, גם בשטח וגם במטה. עלינו לייצר דוח הערכה שיודע לסייע גם לבית ספר ש"חושב תוצאות" מזה שנים וגם לבית ספר אשר לא מכיר את המונח. עלינו לדעת להעמיד כלים להערכה פנימית גם לבתי ספר אשר אינם יכולים בקלות להדפיס את הקבצים שלנו, וגם לאלה אשר כבר לא מדפיסים ניירות כלל, והקשר שלהם עם התלמידים הוא ברובו דיגיטלי.

 

האתגר לא פחות מורכב ברמת המטה. שיח של אפקטיביות בעולם הציבורי ("Doing What Works") מחייב שילוב של בניית יכולות (אנושיות, מתודולוגיות ומקצועיות), מיסוד תהליכים ומתן תמריצים. אלא שאין לנו מספיק מוסדות אקדמיים שיניחו תשתית לחשיבה תוצאתית בעולם המדיניות הציבורית, וכוחם של הגופים המסוגלים ליצור שיח תוצאתי בממשלה ומחוצה לה הולך ונחלש. גם הדרישה הציבורית לתוצאות הולכת ומתמעטת. בתחום החינוך, זוהי משימתה של ראמ"ה: לסייע למערכת להיות אפקטיבית יותר.

 

בשורה התחתונה, אין מדיניות אפקטיבית ללא מדידה, ואין ערך ציבורי במדידה אם היא אינה יכולה לקדם מדיניות אפקטיביות. אך כדי שילכו השניים שנועדו זה לזו יחדיו, עלינו לשאול עצמנו כל הזמן מה אנחנו מעריכים, עבור מי, וכיצד אלו שעבורם אנו רוצים לייצר ערך יצרכו את המידע ויסתייעו בו להחלטות שלהם. הנכסים העצומים שצברה ראמ"ה עם השנים, לצד הגופים השותפים העובדים איתה (טלדור ומאל"ו), מאפשרים לנו כיום לבחון מחדש מה הדרך הנכונה לחבר את המדידה למדיניות. כגוף הממומן מכספי הציבור, זה האתגר הגדול איתו אנו מתמודדים.