מידעונט אפי
גיליון 3
דבר העורכת
חברות יקרות וחברים יקרים,
המידעונט של אפי הוא מידעון מקוון חדש של האגודה הפסיכומטרית הישראלית (אפי), שנועד לשמש כבמה לחילופי מידע, ידע ודעות בין כל המתעניינים והעוסקים במבחנים, במדידה ובהערכה בכלל, וחברי האגודה בפרט.
הגיליון הראשון של המידעונט התפרסם בתחילת השנה, והשני בשלהי הגל הראשון של מגיפת הקורונה (את שניהם תמצאו באתר של אפי). כעת, בעיצומו של הגל השני של המגיפה העולמית מוגש לכם הגיליון השלישי של מידעונט אפי.
מטבע הדברים גם בו מורגשות השלכות של מגפת הקורונה על היבטים שונים של העבודה המקצועית שלנו ושל אחרים; הן בעדכונים שמביא לכם צור קרליץ בפינה "דברי היו"ר", והן בפינות אחרות של הגיליון.
-
בפינה "הקורונה ואנחנו" – עסקים (לא) כרגיל – מתארת עינב אבני השלכות של המגפה על תהליכי המיון של מלש"בים בצה"ל ; ואבי אלאלוף כותב, ברוח התקופה, על הפוטנציאל של העברת מבחנים חיצוניים עתירי-סיכון בביתם של הנבחנים.
-
בפינה "חם מן התנור" - תמצאו תקציר ( ששלחה לנו אילה ולדובסקי) של מסמך על מדידה דינאמית של שיפור בית-ספרי, המסכם את עבודתה של ועדת מומחים שהוקמה במרכז למחקר וידע ("היוזמה") של המועצה הלאומית למדעים.
-
בפינה "נא להכיר" – מציגה הלנה קמרון את תחום ההערכה של מכון "אבני ראשה".
-
"מנקודת מבטי המקצועית" – גיל גולדצוויג עוסק במלחמתו של לואי גוטמן נגד השימוש, השגוי לדעתו, שעושים מדעי החברה במבחנים הסטטיסטיים.
-
ועוד ברוח התקופה (מזווית ראיה חדשה) - בפינת "המבזקים" תמצאו בין היתר הפניות לשני כנסים באבו-דאבי, שבקרוב אפשר יהיה להגיע אליה אינשאללה גם עם דרכון ישראלי : כנס אחד שמארגנת השנה באוקטובר האקדמיה המקומית שם; וכנס אחר, של IEA האירופי (International Association for the Evaluation of Educational Achievement) ביוני בשנה הבאה.
-
ולבסוף, בפינה "בצער רב" – רות בייט-מרום מספידה את רומה פלק ז"ל.
תודה לכל מי שכתבו ותרמו מפרי עיטם למידעונט. אנא קראו, העירו והגיבו על דברים המופיעים בגיליון הזה , כמו גם באלה שקדמו לו ובאלה שיבואו אחריו - ובכך תסייעו לקדם את מעמדו כבמה משמעותית לחילופי ידע ודעה בין כל המתעניינים והעוסקים בהיבטים השונים של הפסיכומטריקה.
בפנייתכם/ן (אל ritasever9@gmail.com) נא זכרו לציין שם, תואר אקדמי, השתייכות אקדמית/ארגונית , כתובת דוא"ל ומספר טלפון להתקשרות.
תודה,
ושימרו על עצמכם בבריאות טובה,
ד"ר ריטה סבר
עורכת המידעונט והיו"ר הנבחרת של אפי
"מבזקים"
הפניות למידע על כנסים, קורסים, אירועים, רשתות וכיו"ב...
כנסים בשלהי 2020
-
2020 COSTS - Conference on Test Security - הכנס השנתי פא"פ תוכנן ל-7-9.10.2020 , ובמקומו יתקיים באותם מועדים באוקטובר mini-COTS מקוון.
-
ICEMEA 3 - הכנס הבינלאומי השלישי של ECAE (מכללת Emirates College for Advanced Education) על מדידה והערכה בחינוך יתקיים באוקטובר באבו-דאבי בימים 8-9.10.2020.
כנסים ב-2021
-
הכנס השנתי של אפי יתקיים במתכונת מקוונת בימים 27-28 בינואר 2021.
-
AERA 2021 - כנס האגודה האמריקאית להערכה בחינוך אמור להתקיים באורלנדו בתאריכים 9-12 באפריל 2021.
-
SIOP 2021 - הכנס השנתי לפסיכולוגיה תעסוקתית יהיה בתאריכים 15-17 באפריל בניו אורלינס.
-
NCME 2021 – הכנס השנתי של המועצה האמריקאית למדידה בחינוך (National Council for Measurement in Education) מתוכנן ליוני 2021 בבולטימור.
-
IEA IRC 2021 – כנס המחקר הבינלאומי ה-9 של IEA (האיגוד International Association for the Evaluation of Educational Achievement) - יתקיים ביוני 2021 באבו-דאבי. הכנס יהיה בתאריכים 22-24.6.2021 , ולפניו יהיו שני ימי סדנאות על ניתוח שניוני של נתונים.
-
IMPS 2021 - כנס האגודה הבינלאומית לפסיכומטריקה יתקיים בתאריכים 19-23 ביולי 2021 במרילנד.
-
ICP 2021 – הכנס הבינלאומי ה-32 לפסיכולוגיה (International Congress of Psychology) יתקיים בתאריכים 18-23 ביולי 2021.
-
EES 2020 – הכנס הדו-שנתי (פא"פ) של אגודת ההערכה האירופית (European Evaluation Society) בקופנהאגן נדחה לתאריכים 6-10 בספטמבר 2021.
"חם מן התנור"
פרסומים חדשים של/בשביל חברי אפי
על מדידה דינאמית של שיפור בית-ספרי
תקציר מסמך מסכם1 של קבוצת עבודה2 של יוזמה – מרכז לידע ולמחקר בחינוך באקדמיה הישראלית למדעים
יוני 2020
מחבר: עודד בושריאן
בקיץ 2019 פנה משרד החינוך אל יוזמה – מרכז לידע ולמחקר בחינוך בבקשה להקים קבוצת עבודה משותפת לחוקרים ולאנשי מטה במשרד החינוך. מטרת הקבוצה הייתה ללמוד על שיטות למדידת שיפור בית ספרי ולהציע מדד שיאפשר לעקוב אחר שינויים ושיפורים בבתי ספר תיכוניים בישראל ולהציג אותם. בעוד היום מוצגת תמונת מצב סטטית ובה כל מאפיין בבית הספר מוצג בנפרד, המדד המבוקש יוכל להציג את השינוי לאורך זמן, ולהציג מאפיינים בית ספריים רבים ואת יחסי הגומלין ביניהם3.
בתום עבודתה, גיבשה קבוצת העבודה תובנות והצעות להמשך, תוך התייחסות לאתגרים המרכזיים העומדים בפני כל מי שמתכנן למדוד שיפור בתחום החינוך:
-
מערכת חינוך היא מערכת מורכבת עם קשרים פנימיים וצרכים שונים.
-
תהליך הלמידה מושפע מגורמים רבים.
-
בית הספר הוא יחידת מדידה מורכבת.
-
השיפור בתחום החינוך הוא רב ממדי.
לנוכח האתגרים הללו המליצה הקבוצה לפעול בדרכים הבאות:
על מנת להציג תמונה הוגנת ומלאה ככל האפשר של שיפור בבית ספר יש למדוד ולהציג את השיפור באופן רב־משתני ולאורך זמן. הכוונה היא לשיפור בכמה מדדים. אפשר למשל להציג שיפור בציוני הבגרות, ולצידו שיפור באקלים הבית ספרי ובמדדים של שביעות רצון הסגל החינוכי מבית הספר.
כדי להביא בחשבון את נתוני הרקע של תלמידי בית הספר ואת השינוי שחל בהם בין שתי תקופות, מציעה הקבוצה למדוד שיפור זה באמצעות מודל צמיחה בית ספרי המסתמך על ציוני עבר של תלמידי בית הספר. מודל זה מנבא את הציון שבית הספר אמור להשיג בהסתמך על נתוני התלמידים הלומדים בו ועל נתוני רקע נוספים (למשל מבנה בית הספר), ובוחן את הפער מהתחזית בשתי נקודות זמן. לפי מודל זה יִיקָבַע שיפור אם הפער מהתחזית הולך וגדל.
לנוכח השונות הרבה בין בתי הספר יש לקחת בחשבון כי שימוש במדדים אחידים לכל בתי הספר אינו יעיל גם אם לכאורה בתי הספר דומים מבחינת נתוני הרקע שלהם. יש לשקול להוסיף למדדים האחידים הקיימים מדדים נוספים, בשיתוף מנהלי בתי הספר שיבקשו זאת.
בהתבסס על הנתונים הקיימים במערכת החינוך מציעה קבוצת העבודה להציג את השיפור הרב־משתני בבתי הספר באמצעות "תרשים רדאר". הכוונה היא לתרשים רב־משתני המאפשר להציג יחד כמה מדדים שונים ולהשוות ביניהם בנקודות זמן שונות או להשוות את הנתונים לבתי ספר דומים.
קבוצת העבודה מציעה כי האגפים הרלוונטיים במשרד החינוך ייזמו תוכניות הרצה (פיילוטים) לבחינת אסטרטגיות למדידת שיפור, כולל אסטרטגיות לתיאום המשתנים הנמדדים בשיתוף דרג השטח, דרכים להעברת המידע לדרגי השטח, ודרכים לתווך מידע זה לציבור הרחב.
2 חברי קבוצת העבודה היו (לפי סדר אלפביתי): פרופ' אודרי אדי־רקח מאוניברסיטת תל אביב; ד"ר איריס בן דוד הדר מאוניברסיטת בר אילן; ד"ר רון ברצלבסקי מהרשות הארצית למדידה והערכה בחינוך; זהבית גולדמן מהאגף לחינוך על־יסודי במשרד החינוך; ד"ר שלמה גולדמן מלשכת המדען הראשי במשרד החינוך; נמרוד דגני והילה לנקרי־מיוסט מאגף בכיר אסטרטגיה ותכנון במשרד החינוך; פרופ' אדם ניר מהאוניברסיטה העברית בירושלים; דב נתן ממינהל כלכלה ותקציבים במשרד החינוך; ד"ר אודט סלע מלשכת המדען הראשי במשרד החינוך; פנחס קליין ממינהל כלכלה ותקציבים במשרד החינוך.
3 החל משנת 2018 מציג משרד החינוך תמונה חינוכית עבור כל בית ספר. בתמונה זו מוצגים השיגי בית הספר בחמש קטיגוריות: הישגים בבגרות, אקלים בית ספרי, נשירה והתמדה, הצוות החינוכי ולמידה. התמונה החינוכית הארצית באתר משרד החינוך מציגה את הממדים בכל בית ספר. חשוב לציין כי האפשרות להציג את המדדים לאורך תקופה כבר קיימת בתמונה החינוכית, אולם מוצג בה רק מדד אחד בכל פעם.
"נא להכיר"
אנשים וארגונים שעוסקים במבחנים, מדידה והערכה
הערכה במכון "אבני ראשה"
התמודדות עם הערכת אפקטיביות במערכת מורכבת
מאת: הלנה קימרון, מנהלת ההערכה
"אבני ראשה" – המכון הישראלי למנהיגות בית ספרית עוסק בהכשרה ובפיתוח מקצועי של כלל מנהלי בתי הספר והמפקחים בישראל, מתוך הכרה שמנהיגותם היא המפתח לקידום מערכת החינוך בישראל. חזונו של המכון הוא קידום מערכת החינוך בישראל ושיפור הישגיה על ידי מנהלי בתי הספר והמפקחים כקהילה מקצועית מובילה. בכדי לממש חזון זה, מכון אבני ראשה פועל ליצירת עתודה ניהולית מקצועית, לפיתוח ולהפעלת תוכניות הכשרה למנהלים, ולקידום תהליכי התפתחות ולמידה למנהלים מכהנים ולמפקחים.
המכון מפעיל מידי שנה את התהליכים מרכזיים הבאים:
-
הכשרה לניהול של כ-325 פרחי ניהול הלומדים ב-10 מוסדות ההכשרה;
-
פיתוח מקצועי למנהלים בראשית דרכם עבור כ-700 מנהלים בשנים א' וב' לניהול;
-
פיתוח מקצועי מתמשך עבור כ-280 מפקחים כוללים ב-5-6 תכניות שונות.
מטרה עיקרית של ההערכה במכון היא להעריך את האפקטיביות של המכון בכלל ושל התהליכים שהוא מוביל בפרט כדי לסייע להגברת האפקטיביות.
בשנים האחרונות אנחנו עסוקות במיוחד בשאלה כיצד להעריך את השפעת תהליכי הלמידה של המכון על הפרקטיקה של הלומדים (מנהלים ומפקחים)? מעניין אותנו: האם אפשר לזהות שינוי בפרקטיקה וכיצד הוא "נראה"? אילו פרקטיקות קונקרטיות משתכללות בעקבות פיתוח מקצועי? כיצד משתנות הפרקטיקות בהקשרים שונים? לאילו מהרכיבים בלמידה אפשר לייחס את השינויים? מהם התנאים התומכים בהשפעה ומהם - המעכבים?
מתוך עניין זה, ולצד שימוש בשיטות הקונבנציונליות לאיסוף מידע (שאלונים, ראיונות ותצפיות), אנו מפתחות ומתנסות בשיטות הערכה "חלופיות", כשאחד האתגרים המרכזיים הוא להפעיל אותן בהיקף רחב (של מאות לומדים), במגוון הקשרים ובמשאבים סבירים. להלן מספר שיטות "חלופיות" כאלה:
-
תלקיטים של פרחי ניהול, המופעלים על-ידי מוסדות ההכשרה והמשמשים אותם להערכה מעצבת (תמיכה והתפתחותו של פרח הניהול) ולהערכה מסכמת (שיקוף רמת הכשירויות של הבוגר). מדגם תלקיטים מכל מוסד הכשרה מהווה אחד מהכלים להערכת איכות ההכשרה ברמת המוסד וברמה הארצית.
-
שימוש בייצוגים מצולמים – במהלך ההשתתפות בפיתוח המקצועי, מנהלים מתעדים בצילום וידאו פרקטיקה שגרתית שלהם בנקודות זמן שונות. הם מתבוננים בייצוגים ומתארים התפתחות משמעותית עבורם בזיקה לפיתוח המקצועי, שבאה לידי ביטוי בייצוגים אלה (והתפתחות שאינה באה לידי ביטוי בייצוגים אך התרחשה בעקבות פיתוח מקצועי).
-
"סיפורי שינוי" – בהשראתה של שיטת MSC (כלומר Most Significant Change) הידועה. הלומדים (מפקחים) כותבים "סיפור שינוי משמעותי" בזיקה לתכנית בה השתתפו. ניתוח "סיפורי השינוי" מתבצע בפורומים מגוונים של הארגון (ברמות היררכיה שונות) ברמת התכנית וחוצה תכניות. בכל מהלך נבחרים סיפורים המתארים את השינוי המשמעותי ביותר בזיקה לפיתוח המקצועי.
אנו מוצאות מאפיינים משותפים וחשובים לשיטות אלה, בהשוואה לשיטות הקונבנציונליות, והם:
-
הערכה מהווה חלק אינטגרלי מהלמידה.
-
המשתתפים בתכנית מעורבים באופן פעיל בהערכה, בשאיפה שיפיקו ממנה גם למידה עבור עצמם. זאת בניגוד למשתתפים המשמשים כאינפורמנטים בלבד עבור הערכה בשיטות קונבנציאונליות.
-
הכתיבה של המשתתפים מתמקדת בשינוי/התפתחות בפרקטיקות/כשירויות ומתבססת על עדויות לפרקטיקה.
-
המידע שמופק מההערכה הוא כיצד "נראה" השינוי, המשגתו על-ידי המשתתפים בתכנית ובהקשר הייחודי שלהם והבנת משמעותיות ה"שינוי" בעיני המשתתפים. כל זאת Bottom up, בניגוד להגדרת אינדיקטורים גנריים מראש ובדיקת השגתם.
-
המעורבים בניתוח התוצאות הם משתתפי התכניות בעצמם ומגוון גורמים השותפים לתהליך כמו גם הנמענים של ההערכה. זאת בניגוד לאחריות הבלעדית של המעריכים על ניתוח התוצאות והפקת הממצאים.
השיטות שתיארנו בפרט וגישת הערכה כזו בכלל, מציבות בפנינו אתגרים לא מעטים - אתגרים תפעוליים ואתגרים הקשורים בתוקף ובמהימנות של הערכה. אנו חדורות תשוקה ללמוד להתמודד עימם ולהמשיך בפיתוח, תוך כדי ההתנסות. אנו רואות בגישה זו של הערכת האפקטיביות פוטנציאל רב לממש את המטרה המרכזית של ההערכה - לתרום להגברת האפקטיביות של התכניות המופעלות במכון ולתמוך בהתפתחות המקצועית של הלומדים. כמו כן אנו מאמינות שיש בהן כדי לתרום למטרות נוספות שהצבנו להערכה במכון. האחת, להגביר את המסוגלות (capacity) של השותפים השונים המובילים את תהליכי הלמידה (מוסדות ההכשרה, מנחים וכד') לבצע הערכה איכותית. השנייה, להעביר מסר של תפיסת הערכה לשם למידה (הל"ל) לקהלי היעד של המכון (פרחי ניהול, מנהלים ומפקחים), בשאיפה שגישה זו בכלל ושיטות כאלה בפרט ישמשו אותם בעבודתם.
"מנקודת מבטי המקצועית"
הצגת עמדה לגבי מה שקורה/נעשה בסביבתנו
על שימוש שגוי בסטטיסטיקה
מבחני מובהקות, התערבות אלוהית ולואי גוטמן ומלחמתו ב"סטטיסטיקה השוגה"
מאת גיל גולדצויג
חבר שלימד סטטיסטיקה ושיטות במחקר בפסיכולוגיה ספר לי שפעם שאל פרופסור לסטטיסטיקה שאלה על ניתוח שונות. לאחר שחשב ארוכות אמר הפרופסור שיש לו זיכרון עמום שניתוח שונות הוא מקרה פרטי של רגרסיה....האנקדוטה הזו החזירה אותי לטענה שהפסיכולוגים המציאו סטטיסטיקה מיוחדת להם המבוססת על הסקת מסקנות בעייתית על בסיס בדיקת "השערת האפס" –
NHST - Null hypothesis significance testing.
השימוש במודלים מבוססי ניתוחי שונות קבל תנופה משמעותית לאחר מלחמת העולם השנייה עקב התפתחות מואצת של הפסיכולוגיה המחקרית שעסקה יותר בהבדלי ממוצעים בין קבוצות מאשר בהבדלים בין קבוצות. הפסיכולוגים, בין השאר אולי בגלל ידע מתמטי מוגבל, פיתחו את מבחני המובהקות בעוד הסטטיסטיקאים הרחיבו, פתחו והכלילו את המודלים הסטטיסטיים הפשוטים למודלים מורכבים יותר.
ניסוח ראשון של הרעיון של מבחנים לבדיקת השערת האפס הוא כנראה של John Arbuthnot - רופא (וגם סאטיריקן) סקוטי שבשנת 1710 בחן לידות של שני המינים במשך 82 שנה והראה שיש יותר לידות של גברים מאשר של נשים, ושההסתברות לכך שונה מהסתברות מקרית. מכאן הסיק שמדובר בתוצאה של התערבות אלוהית (כלומר תוצאה של תכנון מגבוה ולא של מקריות). הוא פרסם את התוצאות במאמר:
An Argument for Divine Providence, Taken from the Constant Regularity Observ'd in the Births of Both Sexes.
בדיקת ההשערות הסטטיסטיות המקובלת כיום היא במידה רבה נגזרת של הניסוחים של פישר ושל ניימן ופירסון שהתפרסמו בין שנות ה–20 לשנות ה–50 של המאה הקודמת. בתחילת שנות ה-90 התחזקה ההבנה שמה שנכון להחלטה אילו גידולים חקלאיים לגדל באיזה חלקה (עיקר הדוגמאות של פישר) לא בהכרח ישים למחקרים בפסיכולוגיה. הדוגמא המובהקת של ביקורת כזאת היא המאמר המפורסם של ג'ייקוב כהן מ–1994: The earth is round p<0.05, שזכה למעל 5000 ציטוטים. עיקר הביקורת הופנה נגד שימוש לא נכון והסקת מסקנות שגויות על בסיס מבחני מובהקות. הביקורת עסקה בשימוש מוטעה בהנחת דגימה מקרית, חוסר התייחסות להנחות מקדימות, חוסר התייחסות להסתברות בסיס ולמידע מקדים, הצורך להכריע באופן בינארי בין שתי השערות (במקום למשל לייחס הסתברות לכל השערה) ושימוש מטועה וחוסר הבנה של המשמעות של ערכי p.
האם הביקורת הביאה לשינוי מהותי? נראה שלא. חלק מכתבי העת אמנם משלמים מס שפתיים בדרישה להציג רווח בר סמך או גודל אפקט או חישובי עוצמה, אבל לא הרבה מעבר לכך.
דוגמא מרתקת לאשליה שמובהקות היא חזות הכול, הוא מחקרה של אליזבת טארג מסוף שנות ה-90 על השפעתה של תפילה מרחוק על חולי HIV. היא בחנה זאת במערך double blind עם חלוקה מקרית לשתי קבוצות, שעבור אחת מהן נערכו תפילות ע"י אנשי דת נוצרים, יהודים ובודהיסטים, בלי שהמשתתפים ידעו שהתפללו עבורם. היא מצאה שהקבוצה שהתפללו עבורה הייתה יותר בריאה מהאחרת, והתוצאות היו מובהקות סטטיסטית.
Targ, E., Sicher, F., & Smith, H. (1998). A randomized double-blind study of the effect of distant healing in an advanced AIDS population. Psychosomatic Medicine, 60(1), 120.
במחקרה היו כשלים רבים, רובם לא קשורים לעצם השימוש במבחני מובהקות, אבל חותמת ה"מובהקות" טשטשה לחלוטין את הכשלים במערך - והיא זכתה מה–NIH - National Institute of Health האמריקאי במענק של 1.5 מיליון דולר למחקר גדול יותר על השפעת תפילה על איידס וגידולים של סרטן מוח. רצה הגורל וזמן קצר לאחר קבלת המענק נתגלה אצלה סרטן מוח ולמרות התפילות מכל העולם היא נפטרה לאחר 4 חודשים.
אז מה ניתן לעשות? אולי הגיע הזמן לחדש את המלחמה ב"סטטיסטיקה השגויה", אותה הכריז בתחילת שנות ה–80 לואי גוטמן, מפתח תורת השטחות והוגה סולם גוטמן.
הוא היה פרופסור לסוציולוגיה באוניברסיטת קורנל ויועץ במחלקת המחקר של הצבא האמריקאי; עלה לישראל ב–1947, הקים את מכון גוטמן למחקר חברתי, זכה בפרס ישראל במדעי החברה בשנות ה–70, והיה הנשיא הלא-תושב הראשון של האיגוד הפסיכומטרי בארה"ב. לואי גוטמן, שהגדיר עצמו כפרופסור ל"הערכה בפסיכולוגיה וסוציולוגיה", הקים שרות לייעוץ מחקרי באוניברסיטה העברית והחל מ–1979 הפיץ באוניברסיטה דפי "יעוץ לעיבוד נתונים" אשר עסקו בביקורת על מבחני מובהקות. דף כזה מ–1982 למשל מזהיר מפני "הסטטיסטיקה השוגה", מציין כי הסטטיסטיקה הזאת קנתה אחיזה בהוראה, במאמרים ובתוכנות מחשב. הוא מצטט את דיקן הפקולטה למדעי החברה שהמליץ על הסברה בנושא; מונה רשימה ארוכה של בעיות וטוען שהפתרון האמיתי להסקת מסקנות ממחקר במדעי החברה הוא רפליקציות.
לי נראה שהגיעה השעה לחדש את מלחמתו של לואי גוטמן.
"בצער רב"
דברי הספד על פרופ' רומה פלק ז"ל (2020-1932)
את רומה פגשתי לראשונה במחלקה לפסיכולוגיה באוניברסיטה העברית בירושלים, בה התחלתי ללמוד ב 1967. תחומי עניין משותפים קרבו אותנו זו לזו למרות הפרש הגילים בינינו. מעולם לא היינו ממש חברות אך רומה היתה עבורי מודל ממש מושלם הן מהבחינה המקצועית והן ברבות ממאפייניה האישיותיים. נדמה לי שלא אגזים אם אומר שבעבודות המחקר שלה, בכתיבתה, בהוראה, ובאישיותה רומה היתה כל כך מיוחדת וייחודית שקשה לי לראות מישהו או מישהי שייכנסו לנעליה.
בלימודיה הגבוהים למדה רומה מתמטיקה, פסיכולוגיה וסטטיסטיקה. תואר שני ושלישי סיימה במחלקה לפסיכולוגיה באוניברסיטה העברית בירושלים כשהיא משלבת בין שלושת התחומים שבהם התמקצעה, ומתמקדת בפרט בחשיבה סטטיסטית והסתברותית, בשיפוט של מקריות וצרופי מקרים ובפתרון בעיות. באותן שנים החל במחלקה לפסיכולוגיה שיתוף הפעולה הפורה בין דניאל כהנמן ועמוס טברסקי. לימים (2002), מספר שנים לאחר מותו של טברסקי, קיבל כהנמן פרס נובל לכלכלה על עבודותיהם המשותפות.
תחומי העניין שלהם התאימו כמו כפפה ליד של רומה: ההתמקדות בדרך בה אנשים מקבלים החלטות בתנאים של אי ודאות. תחום זה חייב את החוקרים לשלב שלושה היבטים: ההיבט הנורמטיבי (בעיקר מודלים מתמטיים וסטטיסטיים לפתרון בעיות שונות), ההיבט הפסיכולוגי (כיצד אנשים, הדיוטות, פותרים בפועל בעיות בתחומים שונים ומה המנגנונים הפסיכולוגים המעורבים בכך) והפער בין שניהם והיבט נוסף – פרסקרפטיבי (איך אפשר לחנך אנשים לחשיבה נכונה יותר). נראה לי שרומה השכילה, יותר מכל אחד אחר שאני מכירה, לשלב בין שלושת ההיבטים הללו בכל עיסוקיה: במחקר, בכתיבה ובהוראה.
באישיותה רומה היתה קפדנית ודקדקנית, תכונות שבאו לידי ביטוי בשלושת תחומי העשייה שלה. כל מחקר שפרסמה היה דוגמה ומופת של עשייה מחקרית: הכרות יסודית עם הספרות הרלוונטית, תכנון המחקר, ניסוח בהיר ומדוייק של ההשערות, חשיבה על כל המהמורות האפשריות, הפרכת הסברים חלופיים לתוצאות על ידי ניסויים נוספים וכתיבה עניינית תוך הקפדה על ניסוחים בהירים ומבהירים. קשה היה להתווכח עם תוצאות מחקריה של רומה.
רומה לא הסתפקה במחקר ובכתיבת מאמרים. תחומי העניין שלה הפגישו אותה עם חידות רבות שלאורך הקריירה שלה אספה וחקרה אותן. פתרון כל חידה שכזו התבסס על ידע מינימלי במתמטיקה או בסטטיסטיקה, או על היגיון בלבד, או על תפיסה חזותית. בשני ספרים "אתגרים לתאים האפורים" ו-"יש בעיה! חידות למחשבה" הציגה רומה מאות חידות. כל חידה תוארה בקצרה – בדרך כלל שתיים עד עשר שורות. החלק המעניין בשני הספרים הללו הוא חלק הפתרונות שתפס את מרבית נפח הספר. הוא עצמו כלל פתרון קצר (התשובה הנורמטיבית), הפתרון המוטעה שרבים בוחרים בו המשקף את החשיבה האינטואיטיבית והסבר מפורט מדוע קיים הפער בין שני אלו. הספרים הללו שפונים להדיוטות כמו גם למומחים נכתבו ויצאו לאור בקפדנות שאיפיינה אותה.
רומה היתה מופת ודוגמה לאתיקה ויושרה מקצועית. היא לא פרסמה את ספריה עד שלא מצאה את המקור לכל חידה באוסף החידות שלה ונתנה לממציא או למצטט את הקרדיט הראוי לו. גם כאן הוכיחה שהיא לא מעגלת פינות.
בהקדמה לאחד מספרי החידות שלה כתבה: "איך לקרוא את הספר? לאט לאט ובמינון סביר. אני מציעה להתייחס לספר זה כמו לשתיית קפה; לא יותר מדי בבת אחת ולא לפני השינה. מומלץ לחשוב על כל בעיה לפני שמציצים בפתרונה. הפתרון יהיה הרבה יותר משמעותי בעבורכם אם הגעתם אליו (או לפתרון אחר) בכוחות עצמכם או אף אם עשיתם חלק מהדרך ועמדתם על סוד הקושי והסיבוך של הבעיה". הקדמה זו מאירה את הצד הפדגוגי של רומה – רומה היתה מורה (בעיקר לסטטיסטיקה או - כפי שהיא כינתה את הקורס שלה - לחשיבה סטטיסטית) מדהימה: היא ניצלה את תחומי מחקרה לשיפור ההוראה. הבינה מה שהתלמיד לא הבין והצליחה לגשר על הפער בין תפיסותיו השגויות לבין מה שנכון. היא לימדה את הסטודנטים בגובה העיניים, חשה את קשייהם. רומה ניצלה את השכלתה הרחבה והביאה דוגמאות מהספרות ומהשירה להדגמת תופעות סטטיסטיות. בזכותן הסטטיסטיקה כבר לא נראתה לסטודנטים כל כך מנותקת מחיי היומיום.
בעודי עסוקה במחקרי הדוקטורט שלי, סיימה רומה את הדוקטורט שלה על תפיסת מקריות. החיבור שהיא כתבה שלאחריו קראתי עוד עבודות דוקטורט רבות, היה היפה ביותר שקראתי. בכוונה כתבתי "היפה ביותר". הוא לא רק היה מעניין, מדוייק, מחדש – הוא היה גם מרתק לקריאה, מלא בציטוטים משירה ומספרות עברית וזרה. נראה לי שהעניין האקדמי של רומה גרם לה למצוא בכל ספר שקראה דברים רלוונטים למחקריה. הסטטיסטיקה היבשה הפכה למשהו מרתק!
עוד שני צדדים באישיותה ובחייה הקסימו אותי: צניעותה. עם כל הצלחותיה רומה היתה ונותרה אשה מאד מאד צנועה. מעולם לא התפארה בהישגיה, לא לקחה קרדיט על דברים שלא היתה מעורבת בהם והקפידה, מאד הקפידה, לתת קרדיט לכל מי שהיה שותף לעבודותיה או עזר לה בהן. מי שתרם לה יותר מכולם היה בעלה, רפי (פרופ' רפי פלק ז"ל). רפי קרא והגיה ותמך בכל היבט של הכתיבה שלה וזה היה רק פן אחד בזוגיות שאמנם לא נחשפתי אליה מקרוב אך צפיתי בה בהתפעלות מרחוק – בעיקר בשנים האחרונות שהזקנה כבר עשתה את שלה.
כך אמשיך לזכור את רומה.
רות בייט-מרום
הקורונה ואנחנו - עסקים לא כרגיל
המיון לצה"ל מגיע למחשב של המועמדים לשירות צבאי
מאת רס"ן עינב אבני, ראש מדור מלש"ב בענף מיון בממד"ה צה"ל
רבות כבר נכתב על תקופת הקורונה שגרמה לאנושות בכלל, ולנו כאנשי מקצוע בפרט, לחשוב אחרת, לערער על מוסכמות, להיות יצירתיים, גמישים ואמיצים... התקופה הזו הביאה עימה (יחד עם הקשיים והאתגרים) הזדמנויות חד פעמיות לעשות דברים אחרת, ועל הזדמנות אחת כזו שנוצרה אספר כאן - המעבר ממיון פרונטאלי למיון מרחוק של מועמדות לגיוס לצה"ל.
ענף מיון בממד"ה הינו הסמכות המקצועית לכלל תהליכי המיון בצבא. אחת ממערכות המיון הגדולות עליהן הוא אחראי הינה יום המא"ה (מיון, איתור והשמה) שמיועדת למועמדות לגיוס לצבא. בתהליך מיון זה המועמדות עוברות תחנות רבות קבוצתיות, אישיות ומבחנים במחשב בעזרתם צה"ל מכיר את יכולותיהן התעסוקתיות טוב יותר ויודע להתאים להן תפקיד בשירות הצבאי.
יום המא"ה מתקיים לאורך כל השנה, ולכן הסגר שהוטל במרץ ועצירת כלל המיונים עלול היה לגרום לפגיעה בלתי הפיכה ברציפות תהליכי המיון, השיבוץ והגיוס בצה"ל. במטרה למנוע פגיעה זו הוחלט על פיתוח תהליך מיון חליפי מרחוק. המעבר למיון מרחוק דרש ביצוע של שינויים משמעותיים במבחנים ובתרגילים כדי להתאימם למיון מרחוק. כדי להתמודד עם האתגר שהציבה החלטה זו, בפרק זמן של פחות מחודש, במציאות של סגר מוחלט וכאוס טוטאלי החלטנו על שני צעדים עם היציאה לפרויקט:
הראשון – הגדרת עקרונות לעבודה בפרויקט המיון מרחוק, ביניהם: פרואקטיביות, פתרון מיוני מרחוק למקסימום מדדים שסופקו במיון הפרונטאלי, דמיון מקסימלי של כלי המיון מרחוק למיון הפרונטאלי, פשטות טכנולוגית, פגיעה מזערית במועמד, חשיבות החוויה החיובית של המועמד, צמצום השחיקה של כלי המיון והסיכוי לרמייה, ועוד. לפי עקרונות אלו קיבלנו החלטות בסוגיות השונות שצצו לאורך התהליך.
השני – ליווי מחקרי צמוד ותכוף בכל שלבי ההטמעה של המיון מרחוק, שכלל: קביעת נורמות במבחנים מרחוק בדומה למבחנים במיון הפרונטאלי, בחינת התפלגויות של כלי המיון מרחוק בהשוואה לכלי המיון הפרונטאלי, בחינת המהימנות בין המעריכים במיון מרחוק בהשוואה לפרונטאלי, בחינת תוקף מתכנס ותוקף מבחין בין הציונים השונים של יום המיון ומול ציונים ממערכות מיון נוספות אותן ביצעו המועמדות, וכמובן ניתוח עמדות של המועמדות והמעריכים.
לאחר כארבעה שבועות של עבודה מאומצת גובש המיון מרחוק שכולל ביצוע של מבחנים מהבית, השתתפות במשימות קבוצתיות ובאישיות במסגרת שיחת וידיאו עם מועמדות נוספות ומעריכים. כל המדדים שהוערכו ביום המא"ה הפרונטאלי מוערכים גם ביום המא"ה מרחוק (תוך הגדרת נורמות חדשות בהתאם). המשמעות היא שעבור יחידות, גורמי השיבוץ, ההשמה ומפקדים בצה"ל אין כלל שינוי, המעבר לביצוע יום המא"ה מרחוק יכול להיות שקוף מבחינתם.
מחקרים מחודשי ההפעלה הראשונים מציגים ממצאים טובים, ובמקומות שאנו עדיין לא שבעי רצון, התחלנו עבודות פיתוח כלים חדשים והתאמות כדי לדייק את מערכת המיון מרחוק. לאור הממצאים החיוביים וקצב התפשטות מגפת הקורונה נראה כי בקרוב המיון מרחוק כבר יחשב כ"עסקים כרגיל" וכי הוא יישאר עימנו עוד זמן רב.
לסיכום, אז האם אכן היתה פה הזדמנות?
בוודאי! הזדמנות לחשוב אחרת, לערער על מוסכמות, להפעיל אומץ מקצועי, גמישות ושותפויות שייצרו יחד יציבות במערכת המיון הצה"לית שנראה שתלווה אותנו שנים רבות קדימה.
על הקורונה ובחינות חיצוניות עתירות סיכון: בחינות מקוונות מהבית
אבי אללוף
מרכז ארצי לבחינות ולהערכה (מאל"ו)
משבר הקורונה גרם וגורם לשינויים מהירים, ולמעבר מפעילות בין אישית, לפעילות מרחוק. לימודים, עבודה, פגישות ועוד, עוברים לרשת ולבית. אחד התחומים המושפעים רבות מהמשבר הוא בחינות. הנחיות מערכת הבריאות בישראל ובעולם הרחב לגבי ריחוק, מסכות, היגיינה וכו' , וכמובן סגר, מונעות או מקשות מאד על העברת בחינות סטנדרטיות מסוגים שונים, כמו בחינות בגרות, בחינות במסגרת תהליכי מיון למקומות עבודה ובחינות קבלה להשכלה גבוהה. ההנחיות משתנות לעתים, ותופעה זו תורמת לקושי.
לרבים מאד יש מחשב בבית, לרוב נייד, שמחובר לרשת האינטרנט. כדי להעביר בחינה בבית, מספיק מחשב, חיבור לאינטרנט ותוכנה מתאימה. אם כך, לכאורה, ניתן לבחון אנשים מהבית, במקום להטריחם לכיתות שבהן ייבחנו (ולמצוא פתרון מתאים למעטים שאין להם את התנאים האלה) ; בחינות מהבית עומדות, כמובן, בהנחיות מערכת הבריאות. אלא שאם רוצים להעביר בחינה בבית ולשמור על טוהר הבחינות, הסיפור מורכב מאד. בבחינות עתירות סיכון טוהר הבחינות חשוב במיוחד.
מאפיינים / טכנולוגיה - הטכנולוגיה לעריכת מבחנים ממוחשבים מרחוק אינה חדשה. כדי שנוכל להעביר בחינה בבית, יש לדאוג להיבטים רבים שהעיקרים בהם הם:
-
העברה – יכולת להעביר מבחן נתון למספר גדול של נבחנים, לעתים בו זמנית, ולקלוט את תגובות הנבחנים באופן דיגיטלי.
-
זיהוי – דרך לאמת את זהות הנבחן, לרוב באמצעים ביומטריים (למשל תמונה, טביעות אצבע, דפוס הקלדה)
-
השגחה – בחירה באחת משלוש דרכים: מבחני אמון (ללא השגחה), השגחה אנושית (למשל משגיח הנמצא בזום הצופה במספר נבחנים), השגחה באמצעות מצלמות ובינה מלאכותית אשר מנטרת תנועה, רעש ושינויים בדפוסי הקלדה. מקובל להקליט את מהלך המבחן ולסמן אירועים חריגים, ולחסום גישה לרשת על יד חסימת הדפדפן. בנוסף, יש מערכות הבודקות העתקות תוכן (plagiarism).
-
תמיכה – אפשרות לתמוך במהלך המבחן במקרי תקלות חומרה, תוכנה ורשת, ולאפשר התאוששות של הבחינה אם נקטעה.
-
בדיקה של תוצרי הבחינה – יכולת לבדוק את ביצוע הנבחן באופן אוטומטי, או על ידי העברה להערכה אנושית.
פרטיות וסוגיות משפטיות - כניסה לבתי נבחנים, גם וירטואלית, מציבה שאלות פסיכולוגיות, משפטיות ואתיות. הזיהוי הביומטרי, הצפייה באדם בביתו הפרטי, חסימת התקשורת החיצונית המאפיינת חלק מהמערכות – כל אלה עלולים להקשות על הנבחנים או על חלקם, ועשויים לפגוע בהוגנות, כמו גם בדיוק ובשקילות הציונים (Langenfeld, 2020).
מי מספק את השירות? - חברות רבות מספקות כיום טכנולוגיה להעברת בחינות בבית באופן שתואר לעיל. היצע החברות גדל, ויש הבדלים בין החברות במגוון הטכנולוגיות, וכמובן בעלויות הנגזרות מרמת ההשגחה. כל החברות מנסות לשפר את הטכנולוגיה, כדי להעלות את האטרקטיביות שלהן.
בעולם - דוגמה אחת מני רבות היא ה-ETS (כלומר Educational Testing Service) בארה"ב, שמאפשר להיבחן ב-GRE וב-TOEFL מהבית. מבחנים אלו מוצעים כאופציה לנבחנים הבוחרים בכך, ובתנאי שהם עומדים בתנאים מסוימים של חומרה ואפשרות להבטיח אלמנטים של טוהר בחינות. כנסים מקצועיים בינלאומיים העוסקים במבחנים, אשר כמובן עברו לרשת, עסקו בנושא. המאמר שאוזכר למעלה נכלל בגיליון מיוחד של Educational Measurement: Issues and Practice שיצא לאור בספטמבר 2020.
בישראל - מערכת ההשכלה הגבוהה בישראל התארגנה עם מגוון טכנולוגיות, לעתים בהדרכת ארגון מיט"ל (מרכז ידע טכנולוגיות למידה), להעביר חלק מהבחינות של סמסטר ב' לבחינות מרחוק בבית הנבחן. חלק מהבחינות היו בחינות אמון ובאחרות הייתה השגחה ברמות שונות. יש עדויות לכך שגם בבחינות שבהן הייתה השגחה סטודנטים רבים לא שמרו על טוהר הבחינות, אחת הדרכים שבה נקטו המוסדות כדי להתמודד עם מקרי רמייה הייתה להעניק ציון בינארי - עובר/לא עובר – לסטודנטים, במקום ציונים בטווח הרגיל. בדומה, רוב פעילות האבחון של מכונים למיון והשמה של כח אדם בישראל מתבצעת כיום מרחוק. בצה"ל בוצעו תהליכי מיון רבים מרחוק, בין השאר במיון לקצונה: ראיונות על בסיס שיחות וידיאו, מבחנים ותרגילים אישיים וקבוצתיים. הערכה ראשונית של התהליכים העלתה שברוב המקרים, המיון מרחוק היווה אלטרנטיבה טובה למיון, לפחות עבור חלק מהתפקידים.
מאל"ו, שהצליח להעביר את הבחינה הפסיכומטרית ובחינות הידע בעברית ובאנגלית לעשרות אלפי אנשים בכיתות בחינה תוך עמידה בהנחיות מערכת הבריאות, יישם בחינות מרחוק בחלק ממרכזי ההערכה שהופעלו לצורך מיון ללימודי רפואה, והוא בודק האם וכיצד ניתן להעביר בחינות עתירות סיכון בבית הנבחן תוך שמירה על טוהר הבחינות. מרכז היזמות של אוניברסיטת תל אביב ושנקר, בתמיכת המועצה להשכלה גבוהה, קיים במאי 2020 תחרות אתגר יזמית במטרה להציג פתרון ישים לפיתוח טכנולוגיה להשגחה תוך שמירה על טוהר בחינות מרחוק בכתיבה חופשית בקנה מידה גדול (לפרטים על המיזמים הזוכים).
ומה הלאה - המשבר הבריאותי צפוי לעבור, אך לפחות חלק מהמבחנים מהבית יישארו אתנו. סביר מאד להניח שהטכנולוגיה להשגחה יעילה תבשיל בשנים הקרובות. ניתן לשער ששאלת הפרטיות תקבל מענה הולם. אם כך, אפשר לנבא שבחינה מהבית תהיה, בעתיד הקרוב או הרחוק, אופציה ריאלית אפילו לבחינות עתירות סיכון.
Langenfeld, T. (2020). Internet‐Based Proctored Assessment: Security and Fairness Issues. Educational Measurement: Issues and Practice, 39, 3, 24-27.
פינת היו"ר
שלום רב לחברי וחברות אפי!
בימים אלה אנו עובדים במרץ על תכנון כנס אפי ה-17 שיתקיים בימים 27-28.1.2021 בשעות אחר הצהריים. את הכנס יובילו במשותף הגב' אימאן עואדיה והפרופ' גילי גולדצוויג. בשל מגיפת הקורנה הכנס יערך במתכונת מקוונת, לראשונה בתולדות האגודה! לפני שהתקבלה ההחלטה על הכנס המקוון, ביקשנו מכם לחוות את דעתכם על הנושא. על הסקר ענו 113 חברים (68% מהאגודה) שהביעו העדפה ברורה לכנס מקוון: 67% אמרו שיש סיכוי גבוה שישתתפו בכנס מקוון לעומת 44% שאמרו כך לגבי כנס פיזי.
לכנס מקוון יש יתרונות וחסרונות. מצד אחד, כנס מקוון מקשה על יצירת פגישות לא פורמליות בין חברי האגודה (מרכיב חשוב בכל כנס פיזי). מצד שני, העלות של כנס מקוון היא נמוכה משמעותית מכנס פיזי, והכנס המקוון מאפשר למשתתפים לקבל תכנים מעניינים מבלי לצאת מביתם, לנסוע בכבישים ולחפש חנייה. כמו כן, כנס מקוון מתאים מאוד לתקופה הנוכחית ומאפשר השתתפות גם למי שנמצא בבידוד או באוכלוסיית סיכון.
המטרה שלנו היא להפיק כנס איכותי, מעשיר ומעניין, ובמידת האפשר לשלב בו גם הזדמנויות למפגשים לא-פורמליים. המידה בה הכנס יהיה מעניין ומגוון תלויה בתכני ההרצאות שיוגשו לכנס. אנחנו קוראים לכם להזדרז ולהגיש הצעות לפני המועד האחרון (25.10.20). פרטים נוספים אפשר למצוא כאן. אם יש לכם שאלות לגבי הכנס אתם מוזמנים לפנות ליו"רי הכנס (גיל - giligold@mta.ac.il) או ליו"ר אפי (tzur@nite.org.il). נשמח לשמוע מבעוד מועד אם אתם מתכננים לשלוח הצעה לכנס.
ובנושאים אחרים...
לאחרונה קידמנו מהלך חשוב של קבלת מספר ספק ממשרד הביטחון. מעתה, אנשים העוסקים במדידה והערכה במסגרת הצבא ומשרד הביטחון יוכלו להשתתף בכנסי אפי ולספר לנו על תהליכי המיון, האבחון והמחקר עליהם הם אמונים.
לסיום, אני רוצה לשתף אתכם בתהליך נוסף שמתקיים כעת במועצה. לפני מספר חודשים הוקמה ועדה בשם "מיהו פסיכומטריקאי?". הוועדה הוקמה במטרה לצמצם את העמימות סביב המונח "פסיכומטריקה" ובכך לחזק את הזהות המקצועית של העוסקים בתחום ולעזור בקידומו בארץ. לוועדה שתי מטרות מרכזיות:
-
מיפוי התפקידים השונים בהם עוסקים אנשים בתחום הפסיכומטריקה
-
זיהוי ההכשרה, המיומנויות והניסיון הרלוונטיים לכל תפקיד
הוועדה עובדת כעת על טיוטה ראשונה של מסמך "מיהו פסיכומטריקאי?". בקרוב נפיץ בין חברי האגודה סקר שמטרתו לספק מידע נוסף שנדרש להשלמת הכנת המסמך. נשמח אם תקדישו זמן לענות על סקר זה. כשהמסמך יהיה מוכן, נפיץ אותו בקרב חברי האגודה על מנת שתוכלו לחוות דעה על ההגדרות שהתגבשו. שיתוף הפעולה שלכם חשוב מאוד לשם יצירת הגדרות מדוייקות ושמישות.
אני מאחל לכולם שנה טובה והצלחה בכל,
נפגש (וירטואלית) בכנס הקרוב!
צור קרליץ, יו"ר אפי