מידעונט אפי

גיליון 3

הקורונה ואנחנו - עסקים לא כרגיל

המיון לצה"ל מגיע למחשב של המועמדים לשירות צבאי

מאת רס"ן עינב אבני, ראש מדור מלש"ב בענף מיון בממד"ה צה"ל

רבות כבר נכתב על תקופת הקורונה שגרמה לאנושות בכלל, ולנו כאנשי מקצוע בפרט, לחשוב אחרת, לערער על מוסכמות, להיות יצירתיים, גמישים ואמיצים... התקופה הזו הביאה עימה (יחד עם הקשיים והאתגרים) הזדמנויות חד פעמיות לעשות דברים אחרת, ועל הזדמנות אחת כזו שנוצרה אספר כאן - המעבר ממיון פרונטאלי למיון מרחוק של מועמדות לגיוס לצה"ל.


ענף מיון בממד"ה הינו הסמכות המקצועית לכלל תהליכי המיון בצבא. אחת ממערכות המיון הגדולות עליהן הוא אחראי הינה יום המא"ה (מיון, איתור והשמה) שמיועדת למועמדות לגיוס לצבא. בתהליך מיון זה המועמדות עוברות תחנות רבות קבוצתיות, אישיות ומבחנים במחשב בעזרתם צה"ל מכיר את יכולותיהן התעסוקתיות טוב יותר ויודע להתאים להן תפקיד בשירות הצבאי.


יום המא"ה מתקיים לאורך כל השנה, ולכן הסגר שהוטל במרץ ועצירת כלל המיונים עלול היה לגרום לפגיעה בלתי הפיכה ברציפות תהליכי המיון, השיבוץ והגיוס בצה"ל. במטרה למנוע פגיעה זו הוחלט על פיתוח תהליך מיון חליפי מרחוק. המעבר למיון מרחוק דרש ביצוע של שינויים משמעותיים במבחנים ובתרגילים כדי להתאימם למיון מרחוק. כדי להתמודד עם האתגר שהציבה החלטה זו, בפרק זמן של פחות מחודש, במציאות של סגר מוחלט וכאוס טוטאלי החלטנו על שני צעדים עם היציאה לפרויקט:


הראשון – הגדרת עקרונות לעבודה בפרויקט המיון מרחוק, ביניהם: פרואקטיביות, פתרון מיוני מרחוק למקסימום מדדים שסופקו במיון הפרונטאלי, דמיון מקסימלי של כלי המיון מרחוק למיון הפרונטאלי, פשטות טכנולוגית, פגיעה מזערית במועמד, חשיבות החוויה החיובית של המועמד, צמצום השחיקה של כלי המיון והסיכוי לרמייה, ועוד. לפי עקרונות אלו קיבלנו החלטות בסוגיות השונות שצצו לאורך התהליך.


השני – ליווי מחקרי צמוד ותכוף בכל שלבי ההטמעה של המיון מרחוק, שכלל: קביעת נורמות במבחנים מרחוק בדומה למבחנים במיון הפרונטאלי, בחינת התפלגויות של כלי המיון מרחוק בהשוואה לכלי המיון הפרונטאלי, בחינת המהימנות בין המעריכים במיון מרחוק בהשוואה לפרונטאלי, בחינת תוקף מתכנס ותוקף מבחין בין הציונים השונים של יום המיון ומול ציונים ממערכות מיון נוספות אותן ביצעו המועמדות, וכמובן ניתוח עמדות של המועמדות והמעריכים.


לאחר כארבעה שבועות של עבודה מאומצת גובש המיון מרחוק שכולל ביצוע של מבחנים מהבית, השתתפות במשימות קבוצתיות ובאישיות במסגרת שיחת וידיאו עם מועמדות נוספות ומעריכים. כל המדדים שהוערכו ביום המא"ה הפרונטאלי מוערכים גם ביום המא"ה מרחוק (תוך הגדרת נורמות חדשות בהתאם). המשמעות היא שעבור יחידות, גורמי השיבוץ, ההשמה ומפקדים בצה"ל אין כלל שינוי, המעבר לביצוע יום המא"ה מרחוק יכול להיות שקוף מבחינתם.


מחקרים מחודשי ההפעלה הראשונים מציגים ממצאים טובים, ובמקומות שאנו עדיין לא שבעי רצון, התחלנו עבודות פיתוח כלים חדשים והתאמות כדי לדייק את מערכת המיון מרחוק. לאור הממצאים החיוביים וקצב התפשטות מגפת הקורונה נראה כי בקרוב המיון מרחוק כבר יחשב כ"עסקים כרגיל" וכי הוא יישאר עימנו עוד זמן רב.


לסיכום, אז האם אכן היתה פה הזדמנות?


בוודאי! הזדמנות לחשוב אחרת, לערער על מוסכמות, להפעיל אומץ מקצועי, גמישות ושותפויות שייצרו יחד יציבות במערכת המיון הצה"לית שנראה שתלווה אותנו שנים רבות קדימה.

 

על הקורונה ובחינות חיצוניות עתירות סיכון: בחינות מקוונות מהבית

אבי אללוף
מרכז ארצי לבחינות ולהערכה (מאל"ו)

משבר הקורונה גרם וגורם לשינויים מהירים, ולמעבר מפעילות בין אישית, לפעילות מרחוק. לימודים, עבודה, פגישות ועוד, עוברים לרשת ולבית. אחד התחומים המושפעים רבות מהמשבר הוא בחינות. הנחיות מערכת הבריאות בישראל ובעולם הרחב לגבי ריחוק, מסכות, היגיינה וכו' , וכמובן סגר, מונעות או מקשות מאד על העברת בחינות סטנדרטיות מסוגים שונים, כמו בחינות בגרות, בחינות במסגרת תהליכי מיון למקומות עבודה ובחינות קבלה להשכלה גבוהה. ההנחיות משתנות לעתים, ותופעה זו תורמת לקושי.

לרבים מאד יש מחשב בבית, לרוב נייד, שמחובר לרשת האינטרנט. כדי להעביר בחינה בבית, מספיק מחשב, חיבור לאינטרנט ותוכנה מתאימה. אם כך, לכאורה, ניתן לבחון אנשים מהבית, במקום להטריחם לכיתות שבהן ייבחנו (ולמצוא פתרון מתאים למעטים שאין להם את התנאים האלה) ; בחינות מהבית עומדות, כמובן, בהנחיות מערכת הבריאות. אלא שאם רוצים להעביר בחינה בבית ולשמור על טוהר הבחינות, הסיפור מורכב מאד. בבחינות עתירות סיכון טוהר הבחינות חשוב במיוחד.

מאפיינים / טכנולוגיה - הטכנולוגיה לעריכת מבחנים ממוחשבים מרחוק אינה חדשה. כדי שנוכל להעביר בחינה בבית, יש לדאוג להיבטים רבים שהעיקרים בהם הם:

  • העברה – יכולת להעביר מבחן נתון למספר גדול של נבחנים, לעתים בו זמנית, ולקלוט את תגובות הנבחנים באופן דיגיטלי. 

  • זיהוי – דרך לאמת את זהות הנבחן, לרוב באמצעים ביומטריים (למשל תמונה, טביעות אצבע, דפוס הקלדה) 

  • השגחה – בחירה באחת משלוש דרכים: מבחני אמון (ללא השגחה), השגחה אנושית (למשל משגיח הנמצא בזום הצופה במספר נבחנים), השגחה באמצעות מצלמות ובינה מלאכותית אשר מנטרת תנועה, רעש ושינויים בדפוסי הקלדה. מקובל להקליט את מהלך המבחן ולסמן אירועים חריגים, ולחסום גישה לרשת על יד חסימת הדפדפן. בנוסף, יש מערכות הבודקות העתקות תוכן (plagiarism).

  • תמיכה – אפשרות לתמוך במהלך המבחן במקרי תקלות חומרה, תוכנה ורשת, ולאפשר התאוששות של הבחינה אם נקטעה.

  • בדיקה של תוצרי הבחינה – יכולת לבדוק את ביצוע הנבחן באופן אוטומטי, או על ידי העברה להערכה אנושית.

פרטיות וסוגיות משפטיות - כניסה לבתי נבחנים, גם וירטואלית, מציבה שאלות פסיכולוגיות, משפטיות ואתיות. הזיהוי הביומטרי, הצפייה באדם בביתו הפרטי, חסימת התקשורת החיצונית המאפיינת חלק מהמערכות – כל אלה עלולים להקשות על הנבחנים או על חלקם, ועשויים לפגוע בהוגנות, כמו גם בדיוק ובשקילות הציונים (Langenfeld, 2020).

מי מספק את השירות? - חברות רבות מספקות כיום טכנולוגיה להעברת בחינות בבית באופן שתואר לעיל. היצע החברות גדל, ויש הבדלים בין החברות במגוון הטכנולוגיות, וכמובן בעלויות הנגזרות מרמת ההשגחה. כל החברות מנסות לשפר את הטכנולוגיה, כדי להעלות את האטרקטיביות שלהן.

בעולם - דוגמה אחת מני רבות היא ה-ETS (כלומר Educational Testing Service) בארה"ב, שמאפשר להיבחן ב-GRE וב-TOEFL מהבית. מבחנים אלו מוצעים כאופציה לנבחנים הבוחרים בכך, ובתנאי שהם עומדים בתנאים מסוימים של חומרה ואפשרות להבטיח אלמנטים של טוהר בחינות. כנסים מקצועיים בינלאומיים העוסקים במבחנים, אשר כמובן עברו לרשת, עסקו בנושא. המאמר שאוזכר למעלה נכלל בגיליון מיוחד של Educational Measurement: Issues and Practice שיצא לאור בספטמבר 2020.

בישראל - מערכת ההשכלה הגבוהה בישראל התארגנה עם מגוון טכנולוגיות, לעתים בהדרכת ארגון מיט"ל (מרכז ידע טכנולוגיות למידה), להעביר חלק מהבחינות של סמסטר ב' לבחינות מרחוק בבית הנבחן. חלק מהבחינות היו בחינות אמון ובאחרות הייתה השגחה ברמות שונות. יש עדויות לכך שגם בבחינות שבהן הייתה השגחה סטודנטים רבים לא שמרו על טוהר הבחינות, אחת הדרכים שבה נקטו המוסדות כדי להתמודד עם מקרי רמייה הייתה להעניק ציון בינארי - עובר/לא עובר – לסטודנטים, במקום ציונים בטווח הרגיל. בדומה, רוב פעילות האבחון של מכונים למיון והשמה של כח אדם בישראל מתבצעת כיום מרחוק. בצה"ל בוצעו תהליכי מיון רבים מרחוק, בין השאר במיון לקצונה: ראיונות על בסיס שיחות וידיאו, מבחנים ותרגילים אישיים וקבוצתיים. הערכה ראשונית של התהליכים העלתה שברוב המקרים, המיון מרחוק היווה אלטרנטיבה טובה למיון, לפחות עבור חלק מהתפקידים.

מאל"ו, שהצליח להעביר את הבחינה הפסיכומטרית ובחינות הידע בעברית ובאנגלית לעשרות אלפי אנשים בכיתות בחינה תוך עמידה בהנחיות מערכת הבריאות, יישם בחינות מרחוק בחלק ממרכזי ההערכה שהופעלו לצורך מיון ללימודי רפואה, והוא בודק האם וכיצד ניתן להעביר בחינות עתירות סיכון בבית הנבחן תוך שמירה על טוהר הבחינות. מרכז היזמות של אוניברסיטת תל אביב ושנקר, בתמיכת המועצה להשכלה גבוהה, קיים במאי 2020 תחרות אתגר יזמית במטרה להציג פתרון ישים לפיתוח טכנולוגיה להשגחה תוך שמירה על טוהר בחינות מרחוק בכתיבה חופשית בקנה מידה גדול (לפרטים על המיזמים הזוכים).

ומה הלאה - המשבר הבריאותי צפוי לעבור, אך לפחות חלק מהמבחנים מהבית יישארו אתנו. סביר מאד להניח שהטכנולוגיה להשגחה יעילה תבשיל בשנים הקרובות. ניתן לשער ששאלת הפרטיות תקבל מענה הולם. אם כך, אפשר לנבא שבחינה מהבית תהיה, בעתיד הקרוב או הרחוק, אופציה ריאלית אפילו לבחינות עתירות סיכון.

Langenfeld, T. (2020). Internet‐Based Proctored Assessment: Security and Fairness Issues. Educational Measurement: Issues and Practice, 39, 3, 24-27.

 

 האגודה הישראלית לפסיכומטריקה (אפי)

אפי - אגודה ישראלית לפסיכומטריקה

  • Facebook