דף הבית >> המהפכה שבוששה לבוא
 
בלוגומטרי1 24.5.15
אורח: ד"ר יואל רפ
מנחה: ד"ר ליאת בסיס

המהפכה שבוששה לבוא

בתחילת שנות ה-2000 הייתי שותפה לצוות מחשוב מבדקי קצונה. אז כל תחנת המבד"ק היתה מופעלת באמצעות נייר ועפרון. הרבה מורכבויות וחסמים ניצבו בפנינו. היה ברור שהטכנולוגיה כבר כאן ושצריך להשתמש בה כדי לשכלל את תהליכי המיון שלנו, לאפשר גמישות, מחקר, שיפור מתמיד וסוגים מגוונים של מבחנים. לקח כעשור עד למחשוב מלא
של התחנה. בסוף זה קרה וזה ממשיך להשתכלל גם היום. ומי גרם לי להעלות את הזיכרונות הללו מן האוב?


אני שמחה להציג בפניכם את האורח שלי לבלוגומטרי הראשון:
ד"ר יואל רפ!
שלוש עובדות על יואל. 
  1. לפני עשרים שנה יואל עבד במחלקת CAT במרכז הארצי לבחינות היה שותף לפיתוח המבחן הפסיכומטרי הראשון הממוחשב - הקומפיומטרי - מבית היוצר של המרכז הארצי לבחינות שהיה מבוסס על יישום תיאוריית ה-IRT, מבחן אדפטיבי מלא.
  2. מזה כתשע שנים הוא עומד בראש אגף בחינות של ראמה (הרשות הארצית לבחינות והערכה), אחראי על פיתוח מבחנים רחבי היקף במערכת החינוך. 
  3. הוא יושב הראש של האגודה הישראלית לפסיכומטריקה, שאת הבלוג הזה אני מנחה במסגרתה. 

יואל שלום! על מה נדבר היום?
אני רוצה לדבר על מהפכה שמדברים עליה כבר הרבה זמן, שמורגשת בתחומי חיים אחרים אך לא מספיק בתחום שלנו. מזה כשלושים שנה עולם הפסיכומטריקה מחכה למהפכה הדיגיטלית. המעבר ממבחנים בנייר ועפרון (מבחנים רחבי היקף) למבחנים רחבי היקף ממוחשבים או מתוקשבים (ממוחשבים המועברים באמצעות רשת האינטרנט בזמן אמיתי). 


מבחנים ממוחשבים (לרוב לא מתוקשבים) קיימים במערכת החינוך וההשכלה הגבוהה, במבחני הכניסה לצה"ל
ובחברות השמה ומכוני מיון. מה אתה רוצה לבשר בהקשר הזה?

המהפכה הטכנולוגית בתחום שלנו מתרחשת בקצב הרבה יותר איטי מכפי שציפינו לפני 20 שנה ומכפי שרואים בתחומי חיים אחרים, כמו קריאה אלקטרונית או דואר או מסחר אלקטרוני, אנחנו מצויים הרחק מאחור לעומת המהפכה שקרתה שם. 


בתחום של קבלה לעבודה יש לפעמים מבחנים מתוקשבים משוכללים ואף שימוש בסימולציות מורכבות ובטכנולוגיות גיימינג - משחוק (כלומר השימוש בפלטפורמות של משחק בהקשר של תיאום ציפיות ובדיקת יכולתם של הנבחנים
לפתור בעיות). למשל, בחברת דואר צרפתית הייתה נשירה של 25% מהדוורים. החברה פיתחה מבחן מיון למועמדים לתפקיד דוור בצורת משחק שדימה שבוע טיפוסי של דוור
(http://formaposte-iledefrance.fr/jeu-facteur-academy/) . מטרת המשחק היתה לתאם ציפיות מול האתגרים שמולם ניצב הדוור ולאחריו ירדה הנשירה ל-8%. ובכל זאת נדמה שזו טיפה בים ועדיין לא רואים הרבה מבחנים כאלו. אז... 
למה דווקא בתחום שלנו המהפכה מבוששת לבוא?


אני יכול למנות מספר סיבות לכך ובעיקר:
  1. חוסר תשתית להעברת מבחנים המוניים ובטיחות הבחינות – כיום במערכת החינוך, ירידה לשטח מגלה, כי בבתי ספר רבים התנאים עדיין לא בשלים להעברה סימולטנית של מבחנים לאלפי נבחנים.  גם בבחינה הפסיכומטרית
    אין די אולמות בעלי תשתיות מחשב שיאפשרו בחינה פסיכומטרית סימולטנית לאלפים. כל עוד החלופה היחידה לכך היא מבחנים באופן לא סימולטני (בכל פעם בחינה לקבוצה קטנה יחסית של נבחנים ובמועדים שונים) או היבחנות הנשענת על המחשבים בביתם של הנבחנים, אזי כאשר מדובר במבחנים רחבי היקף שהם עתירי-סיכון עדיין לא נפתרו בעיות בטיחות הבחינות מצד אחד, ואימות זהות הנבחנים (במבחנים מתוקשבים שנערכים מביתם של הנבחנים) מצד שני. כלומר, בחינה שאינה מתבצעת במקביל לכל הנבחנים במועד מסוים, תביא למצב שהנבחנים הראשונים ידליפו את המבחן לנבחנים הבאים אחריהם. במבחנים שנערכים בביתו של הנבחן, קשה להבטיח את זהותו של הנבחן וכי הוא מבצע את המבחן לגמרי לבדו. 

     
  2. מורכבות ועלויות – אחת ההבטחות במעבר למבחנים ממוחשבים, אשר הצדיקה את המאמץ לעשות את המעבר, הייתה הגברת התוקף שלהם באמצעות מטלות ודרכי תגובה חדשניות אשר מדמות בצורה טובה יותר את המציאות. לדוגמא משימות חקר לתלמידים במערכת החינוך או מבחני דילמות למועמד לעבודה. בנוסף הובטח כי המבחן יוכל לאפשר התחקות אחר תהליכי החשיבה וההשבה של הנבחן ולא רק יספקו את תשובתו הסופית (למשל , באילו מסכים ביקר,
    כמה זמן לקח לו, ומה היה תהליך החקר שערך טרם מתן התשובה וכו'). ההבטחות הללו לא התממשו כי כדי לבנות
    משימות כאלו נדרשים משאבים רבים, ראשית נדרש צוות של כמה אנשי מקצוע – מתכנתים, פסיכומטריקאים ואנשי חינוך (במבחנים של מערכת החינוך) כמובן אך גם , פסיכולוגים קוגניטיביים, ולעיתים אף אנשי מדעי המוח. נדרש מאמץ אדיר בבניית המשימות, ולאחר מכן בניתוח. כמו כן עוד לא התפתח הידע המתקף את תהליכי החשיבה וההשבה כחלק מהמדידה עצמה. בעניין זה ישנו מלכוד . לדוגמא נמצא שמי שמשיב מהר יותר (במבחנים לחוצי-זמן),  הביצועים שלו נוטים להיות טובים יותר במבחן. אולם אם נבחנים ידעו שזמן התגובה נחשב בחישוב הציון (ולמען השקיפות אכן נכון שידעו כיצד מחושב הציון), דרכי התגובה שלהם עשויות להשתנות , למשל, מה שעשוי לקרות הוא שהם יזדרזו להשיב והדבר יפגע בביצועים. 

     
  3. ממתינים למהפכה הדיגיטלית בחינוך תחילה - בהקשר של מערכת החינוך, חשובה ההלימה בין דרכי הבחינה לדרכי הלמידה. אם לא לימדת באמצעות מחשב לא הגון לבחון את הידע באמצעות מחשב. תלמידים מצפים שיבחנו אותם על מה שהם למדו ובאופן בו הם למדו. במעגל של הוראה-למידה-הערכה, כל עוד ההוראה ולמידה לא נעשות באמצעות מחשב, זה מעכב את המעבר למבחנים ממוחשבים. אמנם נכון כי לעיתים העמדתם של מבחנים ממוחשבים עשויה להשפיע על ההוראה ולזרז את המעבר לפדגוגיה ממוחשבת אך הכיוון הנכון הוא להתחיל בפדגוגיה ממוחשבת ולהתאים לכך את המבחנים. זה כמובן פחות רלבנטי למבחני מיון והשמה בצבא ובמקומות עבודה מאחר ושם הבחינה מתרחשת  בדרך כלל לפני התהליך עצמו, ולגיטימי לנסות לנבא את ההצלחה בסביבה בה מחשבים הם חלק אינהרנטי. 


מה עשוי לגרום לזה לקרות בעשור הקרוב? האם יש מקום לאופטימיות?
הנה כמה נקודות שעשויות לפנות מקום לתקווה. 
  1. עלייה באיכות המחשבים ובתקשורת באמצעות  עננים יביאו להפחתת התלות במערכות החומרה והתוכנה (במחשבים בתחנות הקצה) ולהגבר  את הביטחון שהמבחנים (עתירי הסיכון) יעברו ללא תקלות. 
     
  2. המבחנים הבינלאומיים הופכים להיות ממוחשבים, המבחנים בפיזה החל מ-2015 ממוחשבים לגמרי  http://cms.education.gov.il/EducationCMS/Units/Rama/MivchanimBenLeumiyim/PISA_2015.htm 
    וב-2016, מתווסף חלק ממוחשב למבחן ה-PIRLS  (מבחני קריאה בכיתה ד') ההשפעה של המבחנים הבינלאומיים רבה. הם מסמנים את הכיוון שאליו הולך העולם ולמדינות מאוד חשוב להפגין הצלחה במבחנים האלו. לפיכך, צפוי כי מדינות יתחילו יותר ויותר להשקיע במעבר לפדגוגיה דיגיטלית (או אולי רק במבחנים ממוחשבים). 

     
  3. התוקף הנראה של המבחנים גבוה יותר, תלמידים יותר אוהבים ומשתפים פעולה, זה יותר דומה לדברים אחרים שהם עושים בחיים (משחקים, גלישה באינטרנט וכו'). יש יותר אפשרויות בבחינת תלמידים בעלי צרכים מיוחדים וסטנדרטיזציה של התנאים המותאמים שהם מקבלים במבחנים.
     
  4. ההדלפה של השאלות מהמבחנים עתירי-הסיכון מטרידה היום הרבה יותר את הציבור ואת המערכת. בניגוד לעבר, שבו קרוב לודאי שגם היו הדלפות, הרי שהיום, בגלל הטלפונים הניידים והקבוצות החברתיות, כל הדלפה לוקאלית של חומרי מבחן מגיעה בתוך שניות לכל ילדי ישראל וכך "נשרפים" נוסחי בחינה יקרים. כפי שקרה לאחרונה עם מספר בחינות בגרות (http://www.ynet.co.il/articles/0,7340,L-4656091,00.html). אנו מאמינים כי במבחנים הממוחשבים אשר משוגרים לכל הנבחנים ברגע נתון יש פחות סכנת דליפה כיון שנמנע הצורך משינוע המבחנים
    למקום המבחן. בשעת המבחן, כל אחד רואה רק את המבחן שלו (יש מספר גרסאות רב יותר) וקשה יותר להעתיק.  

     
  5. טכנולוגיות של ניתוח תוכן הולכות ומשתכללות, אם בעבר שאלות פתוחות היו חייבות להיבדק על ידי בוחן אנושי, דבר שכמעט אילץ להימנע משימוש בהן במבחנים ממוחשבים שבהם היה רצון לחשב את הציון מיד בתום המבחן, הרי שכיום מתפתחות מערכות של בדיקה אוטומטית של תכנים פתוחים. למשל, המערכת של המרכז הארצי לבחינת חיבורים, פותחת פתח לבחון את התלמידים ולתת להם ציון מיד בתום הבחינה. ככל שאלה יתפתחו ויהפכו להיות יותר זמינות ופחות יקרות יינתן עוד בוסט למהפכה. 

לאור כל זאת בעשור הקרוב אולי אנחנו עומדים כנראה לחזות בשינוי. בכל מקרה הצפי שלי הוא לתהליך אבולוציוני ולא רבולוציוני. הדבר לא יקרה בן לילה ונרגיש בשינויים בהדרגה. 



הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. 
מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים. liat@basisle.co.il
 
 
 
+ הוסף תגובה חדשה
תגובות: (צפה ב-  תגובות בעמוד זה)
Loading בטעינה...
אפי - אגודה ישראלית לפסיכומטריקה, ע"ר 580461648 : ispaisrael@gmail.com


לייבסיטי - בניית אתרים