"בעקבות הקורונה"

מידעונט אפי
גיליון 6

התפתחויות ושינויים שהתרחשו בהשפעת המגפה

מיון מועמדים ללימודי הוראה (מסיל"ה): מעבר ממיון פנים אל פנים למיון מרחוק
הכתבה מתבססת על מאמר שנשלח לפרסום 

מאת: ג'ודי גולדנברג, חוקרת ומפתחת מיון מסיל"ה; דורון ניב, ראש תוכנית מסיל"ה במכון מופ"ת.


מסיל"ה היא מערכת למיון מועמדים ללימודי הוראה המבוססת על מדידת תכונות אישיות. מערכת זו עומדת לצד ציוני הבגרות והמבחנים הפסיכומטריים, ומשלימה את תמונת ההערכה של המועמדים.
 

מטרת המיון באמצעות מערכת מסיל"ה היא להשביח את איכות ההון האנושי בהוראה באמצעות בחירת המועמדים המתאימים ביותר ללימודים ולעבודה כמורים, וסינון הלא מתאימים. המיון מתבצע במרכז הערכה. הוא אורך יום שלם וכולל אינטראקציות בין-אישיות במבחני מצב קבוצתיים, ראיונות אישיים וכן מבחנים ממוחשבים. כל הכלים פותחו באופן ייעודי, ותוכנם קשור במישרין לעולם המורה ולחיי בית הספר. המעריכים הלוקחים חלק ביום זה הם אנשי סגל מקצועיים שעברו הכשרה. בתום יום המיון מופק עבור כל מועמד דוח ציונים הכולל ציונים במדדים המרכזיים, ציון סופי של התאמה להוראה, וכן סיכום קצר בכתב של נקודות לשימור ולשיפור. 
 

משנת הלימודים תשע"ו ואילך השתתפו במסיל"ה יותר מ-5,000 מועמדים ללימודי הוראה, בכלל המוסדות האקדמיים. נמצאו עדויות לתוקף הניבוי ולתוספת השולית של מסיל"ה מעבר לכלי המיון הקיימים (ציוני בגרות והציון הפסיכומטרי). הקריטריונים ששימשו לצורך זה היו הצלחה בלימודים, התמדה בלימודים (עד קבלת התואר), קליטה בשדה ההוראה בבית הספר וציוני הערכה של איכות ההוראה בפועל. כמו כן הוערכו שביעות הרצון של סגלי המכללות להוראה, והתרומה הנתפסת של ציוני המיון לתהליך קבלת ההחלטות.
 

עוברים למיון מרחוק
החל ממרץ 2020, עם פרוץ מגפת הקורונה בישראל, עברה מערכת המיון למתכונת זום (להלן: מרחוק). סוללת המבחנים נותרה זהה, למעט שני הבדלים עיקריים:

  1. במיונים במתכונת פנים אל פנים הריאיון האישי והתרגילים בוצעו על ידי צמדים שונים של מעריכים, ואילו במיון מרחוק אותו צמד מעריך את סוללת המבחנים כולה (מסיבות לוגיסטיות).

  2. המיונים במתכונת פנים אל פנים כללו מבחן מצב קבוצתי, ואילו במיון מרחוק המבחנים מבוצעים כולם באופן פרטני.

 

השוואה בין מתכונת פנים-אל-פנים לבין מתכונת מרחוק
לאחר כשנה של הפעלת מערכת מסיל"ה במתכונת מרחוק השווינו בין ההערכות במתכונת זו לבין הערכות בעבר. מטרת ההשוואה הייתה לקבל אינדיקציות ראשוניות באשר לשאלה אם חל שינוי כלשהו בתוקף המיון. לשם כך בדקנו אם המעבר לפלטפורמת הזום השפיע על ממדי איכות הציון. עוד בדקנו את השפעת המעבר למיון מרחוק על התפיסה הסובייקטיבית של המועמדים והמעריכים את המיון, כפי שבאה לידי ביטוי בשאלון אנונימי שהועבר בתום תהליך המיון. את תוקף הניבוי אפשר יהיה לבדוק רק בעוד שנים אחדות, ולכן בשלב זה הסתפקנו באינדיקציות אלה.

 

השוואת הציונים נעשתה באמצעות מדגם של 860 מועמדים שנבחנו במתכונת מרחוק במהלך שנת 2020, ומדגם של 902 מועמדים שנבחנו במתכונת פנים אל פנים במהלך שנת 2019. השוואת התפיסות הסובייקטיביות של המועמדים נעשתה באמצעות מדגם של 258 מועמדים שנבחנו במתכונת מרחוק, ומדגם של 752 מועמדים שנבחנו במתכונת פנים אל פנים. עוד עמד לרשותנו מידע סובייקטיבי שנאסף מ-14 מעריכים.
 

ממצאים
מעיבוד הנתונים עלה כי בשנה הראשונה להפעלתה של מתכונת המיון מרחוק הציונים שהתקבלו היו נמוכים וממורכזים מעט בהשוואה לציוני המיון במתכונת פנים אל פנים. ההסבר לממצאים אלו הוא חוסר ביטחון של המעריכים בשימוש בכלי המיון הטכנולוגיים, ומחוויה של מחסור במידע שהם הורגלו להישען עליו, דוגמת שפת גוף. כל אלה הובילו לחשש שלהם "לחרוץ גורל" על סמך המיון מרחוק, והדבר בא לידי ביטוי בנטייה להפחית בציוני קצה, גבוהים או נמוכים. עם זאת, כשהמעריכים נשאלו אם התהליך מרחוק סיפק להם די מידע לביצוע ההערכות, הייתה הסכמה כללית שכן.


מבדיקת המתאמים בין תתי-המבחנים עלה כי הם גבוהים יותר מן העבר. ההסבר לכך קשור ככל הנראה לכך שהתרגילים השונים הוערכו על ידי אותם מעריכים, שלא כפי שהיה נהוג בעבר.


באשר לתפיסות הסובייקטיביות, נמצא כי באופן כללי ההערכות של המועמדים את המיון מרחוק היו גבוהות במרבית הממדים שנבדקו. בהשוואה לשנה קודמת, נראה כי המיון מרחוק פגע במידת מה בתחושת הביטחון של המועמדים ביכולתם להביא עצמם לידי ביטוי במהלך היום. ייתכן שממצא זה נבע מחוסר הניסיון בפלטפורמת הזום באותו הזמן, ומהיעדר הממד הקבוצתי הקיים במתכונת פנים אל פנים. אשר להיבטים הלוגיסטיים ונוחות התהליך מרחוק, המועמדים והמעריכים העניקו דירוג גבוה יותר מזה שהתקבל במתכונת פנים אל פנים. 
מסקנתנו הייתה כי המיון מרחוק אינו פוגם בתהליך ההערכה. ציון ההתאמה הכללי נותר דומה בשתי שיטות המיון, והפערים שנמצאו היו קטנים ובאופן כללי מוסברים.


לאחרונה, בתום השנה השנייה של מיון מועמדים במתכונת מרחוק, התקבלו נתונים מעודדים. ממצאים משנה זו מלמדים כי הפערים בין שתי שיטות המיון הצטמצמו, הן בציון ההתאמה הסופי של מסיל"ה הן בתפיסות המועמדים והמעריכים את איכותו של תהליך המיון. נראה כי הניסיון שהמועמדים והמעריכים צברו בזום בשנתיים האחרונות תרם לתופעה זו.


נסכם ונאמר כי בהינתן שהמיון מרחוק מונגש ונוח לרוב המועמדים והמעריכים, מאפשר מיון מאסיבי ויעיל, וכרוך בעלויות נמוכות יחסית, נראה כי הוא השימוש בו יימשך.

תרצו להגיב, להתייחס, לשתף בדעתכם? כתבו בפדלט.

 האגודה הישראלית לפסיכומטריקה (אפי)