בתחילת שנות ה-2000 הייתי שותפה לצוות מחשוב מבדקי קצונה. אז כל תחנת המבד"ק היתה מופעלת באמצעות נייר ועפרון. הרבה מורכבויות וחסמים ניצבו בפנינו. היה ברור שהטכנולוגיה כבר כאן ושצריך להשתמש בה כדי לשכלל את תהליכי המיון שלנו, לאפשר גמישות, מחקר, שיפור מתמיד וסוגים מגוונים של מבחנים.
לקח כעשור עד למחשוב מלא של התחנה. בסוף זה קרה וזה ממשיך להשתכלל גם היום. ומי גרם לי להעלות את הזיכרונות הללו מן האוב?
אני שמחה להציג בפניכם את האורח שלי לבלוגומטרי הראשון: ד"ר יואל רפ!
שלוש עובדות על יואל.
1. לפני עשרים שנה יואל עבד במחלקת CAT במרכז הארצי לבחינות היה שותף לפיתוח המבחן הפסיכומטרי הראשון הממוחשב - הקומפיומטרי - מבית היוצר של המרכז הארצי לבחינות שהיה מבוסס על יישום תיאוריית ה-IRT, מבחן אדפטיבי מלא.
2. מזה כתשע שנים הוא עומד בראש אגף בחינות של ראמה (הרשות הארצית לבחינות והערכה), אחראי על פיתוח מבחנים רחבי היקף במערכת החינוך.
3. הוא יושב הראש של האגודה הישראלית לפסיכומטריקה, שאת הבלוג הזה אני מנחה במסגרתה.
יואל שלום! על מה נדבר היום?
אני רוצה לדבר על מהפכה שמדברים עליה כבר הרבה זמן, שמורגשת בתחומי חיים אחרים אך לא מספיק בתחום שלנו. מזה כשלושים שנה עולם הפסיכומטריקה מחכה למהפכה הדיגיטלית. המעבר ממבחנים בנייר ועפרון (מבחנים רחבי היקף) למבחנים רחבי היקף ממוחשבים או מתוקשבים (ממוחשבים המועברים באמצעות רשת האינטרנט בזמן אמיתי).
מבחנים ממוחשבים (לרוב לא מתוקשבים) קיימים במערכת החינוך וההשכלה הגבוהה, במבחני הכניסה לצה"ל ובחברות השמה ומכוני מיון. מה אתה רוצה לבשר בהקשר הזה?
המהפכה הטכנולוגית בתחום שלנו מתרחשת בקצב הרבה יותר איטי מכפי שציפינו לפני 20 שנה ומכפי שרואים בתחומי חיים אחרים, כמו קריאה אלקטרונית או דואר או מסחר אלקטרוני, אנחנו מצויים הרחק מאחור לעומת המהפכה שקרתה שם.
בתחום של קבלה לעבודה יש לפעמים מבחנים מתוקשבים משוכללים ואף שימוש בסימולציות מורכבות ובטכנולוגיות גיימינג - משחוק (כלומר השימוש בפלטפורמות של משחק בהקשר של תיאום ציפיות ובדיקת יכולתם של הנבחנים לפתור בעיות). למשל, בחברת דואר צרפתית הייתה נשירה של 25% מהדוורים. החברה פיתחה מבחן מיון למועמדים לתפקיד דוור בצורת משחק שדימה שבוע טיפוסי של דוור (http://formaposte-iledefrance.fr/jeu-facteur-academy) . מטרת המשחק היתה לתאם ציפיות מול האתגרים שמולם ניצב הדוור ולאחריו ירדה הנשירה ל-8%. ובכל זאת נדמה שזו טיפה בים ועדיין לא רואים הרבה מבחנים כאלו. אז...
למה דווקא בתחום שלנו המהפכה מבוששת לבוא?
אני יכול למנות מספר סיבות לכך ובעיקר:
1. חוסר תשתית להעברת מבחנים המוניים ובטיחות הבחינות – כיום במערכת החינוך, ירידה לשטח מגלה, כי בבתי ספר רבים התנאים עדיין לא בשלים להעברה סימולטנית של מבחנים לאלפי נבחנים. גם בבחינה הפסיכומטרית אין די אולמות בעלי תשתיות מחשב שיאפשרו בחינה פסיכומטרית סימולטנית לאלפים. כל עוד החלופה היחידה לכך היא מבחנים באופן לא סימולטני (בכל פעם בחינה לקבוצה קטנה יחסית של נבחנים ובמועדים שונים) או היבחנות הנשענת על המחשבים בביתם של הנבחנים, אזי כאשר מדובר במבחנים רחבי היקף שהם עתירי-סיכון עדיין לא נפתרו בעיות בטיחות הבחינות מצד אחד, ואימות זהות הנבחנים (במבחנים מתוקשבים שנערכים מביתם של הנבחנים) מצד שני. כלומר, בחינה שאינה מתבצעת במקביל לכל הנבחנים במועד מסוים, תביא למצב שהנבחנים הראשונים ידליפו את המבחן לנבחנים הבאים אחריהם. במבחנים שנערכים בביתו של הנבחן, קשה להבטיח את זהותו של הנבחן וכי הוא מבצע את המבחן לגמרי לבדו.
2. מורכבות ועלויות – אחת ההבטחות במעבר למבחנים ממוחשבים, אשר הצדיקה את המאמץ לעשות את המעבר, הייתה הגברת התוקף שלהם באמצעות מטלות ודרכי תגובה חדשניות אשר מדמות בצורה טובה יותר את המציאות. לדוגמא משימות חקר לתלמידים במערכת החינוך או מבחני דילמות למועמד לעבודה. בנוסף הובטח כי המבחן יוכל לאפשר התחקות אחר תהליכי החשיבה וההשבה של הנבחן ולא רק יספקו את תשובתו הסופית (למשל , באילו מסכים ביקר, כמה זמן לקח לו, ומה היה תהליך החקר שערך טרם מתן התשובה וכו'). ההבטחות הללו לא התממשו כי כדי לבנות משימות כאלו נדרשים משאבים רבים, ראשית נדרש צוות של כמה אנשי מקצוע – מתכנתים, פסיכומטריקאים ואנשי חינוך (במבחנים של מערכת החינוך) כמובן אך גם , פסיכולוגים קוגניטיביים, ולעיתים אף אנשי מדעי המוח. נדרש מאמץ אדיר בבניית המשימות, ולאחר מכן בניתוח. כמו כן עוד לא התפתח הידע המתקף את תהליכי החשיבה וההשבה כחלק מהמדידה עצמה. בעניין זה ישנו מלכוד . לדוגמא נמצא שמי שמשיב מהר יותר (במבחנים לחוצי-זמן), הביצועים שלו נוטים להיות טובים יותר במבחן. אולם אם נבחנים ידעו שזמן התגובה נחשב בחישוב הציון (ולמען השקיפות אכן נכון שידעו כיצד מחושב הציון), דרכי התגובה שלהם עשויות להשתנות , למשל, מה שעשוי לקרות הוא שהם יזדרזו להשיב והדבר יפגע בביצועים.
3. ממתינים למהפכה הדיגיטלית בחינוך תחילה - בהקשר של מערכת החינוך, חשובה ההלימה בין דרכי הבחינה לדרכי הלמידה. אם לא לימדת באמצעות מחשב לא הגון לבחון את הידע באמצעות מחשב. תלמידים מצפים שיבחנו אותם על מה שהם למדו ובאופן בו הם למדו. במעגל של הוראה-למידה-הערכה, כל עוד ההוראה ולמידה לא נעשות באמצעות מחשב, זה מעכב את המעבר למבחנים ממוחשבים. אמנם נכון כי לעיתים העמדתם של מבחנים ממוחשבים עשויה להשפיע על ההוראה ולזרז את המעבר לפדגוגיה ממוחשבת אך הכיוון הנכון הוא להתחיל בפדגוגיה ממוחשבת ולהתאים לכך את המבחנים. זה כמובן פחות רלבנטי למבחני מיון והשמה בצבא ובמקומות עבודה מאחר ושם הבחינה מתרחשת בדרך כלל לפני התהליך עצמו, ולגיטימי לנסות לנבא את ההצלחה בסביבה בה מחשבים הם חלק אינהרנטי.
מה עשוי לגרום לזה לקרות בעשור הקרוב? האם יש מקום לאופטימיות? הנה כמה נקודות שעשויות לפנות מקום לתקווה.
1. עלייה באיכות המחשבים ובתקשורת באמצעות עננים יביאו להפחתת התלות במערכות החומרה והתוכנה (במחשבים בתחנות הקצה) ולהגבר את הביטחון שהמבחנים (עתירי הסיכון) יעברו ללא תקלות. המבחנים הבינלאומיים הופכים להיות ממוחשבים, המבחנים בפיזה החל מ-2015 ממוחשבים לגמרי http://cms.education.gov.il/EducationCMS/Units/Rama/MivchanimBenLeumiyim/PISA_2015.htm וב-2016, מתווסף חלק ממוחשב למבחן ה-PIRLS (מבחני קריאה בכיתה ד') ההשפעה של המבחנים הבינלאומיים רבה. הם מסמנים את הכיוון שאליו הולך העולם ולמדינות מאוד חשוב להפגין הצלחה במבחנים האלו. לפיכך, צפוי כי מדינות יתחילו יותר ויותר להשקיע במעבר לפדגוגיה דיגיטלית (או אולי רק במבחנים ממוחשבים).
2. התוקף הנראה של המבחנים גבוה יותר, תלמידים יותר אוהבים ומשתפים פעולה, זה יותר דומה לדברים אחרים שהם עושים בחיים (משחקים, גלישה באינטרנט וכו'). יש יותר אפשרויות בבחינת תלמידים בעלי צרכים מיוחדים וסטנדרטיזציה של התנאים המותאמים שהם מקבלים במבחנים.
3. ההדלפה של השאלות מהמבחנים עתירי-הסיכון מטרידה היום הרבה יותר את הציבור ואת המערכת. בניגוד לעבר, שבו קרוב לודאי שגם היו הדלפות, הרי שהיום, בגלל הטלפונים הניידים והקבוצות החברתיות, כל הדלפה לוקאלית של חומרי מבחן מגיעה בתוך שניות לכל ילדי ישראל וכך "נשרפים" נוסחי בחינה יקרים. כפי שקרה לאחרונה עם מספר בחינות בגרות (http://www.ynet.co.il/articles/0,7340,L-4656091,00.html). אנו מאמינים כי במבחנים הממוחשבים אשר משוגרים לכל הנבחנים ברגע נתון יש פחות סכנת דליפה כיון שנמנע הצורך משינוע המבחנים למקום המבחן. בשעת המבחן, כל אחד רואה רק את המבחן שלו (יש מספר גרסאות רב יותר) וקשה יותר להעתיק.
4. טכנולוגיות של ניתוח תוכן הולכות ומשתכללות, אם בעבר שאלות פתוחות היו חייבות להיבדק על ידי בוחן אנושי, דבר שכמעט אילץ להימנע משימוש בהן במבחנים ממוחשבים שבהם היה רצון לחשב את הציון מיד בתום המבחן, הרי שכיום מתפתחות מערכות של בדיקה אוטומטית של תכנים פתוחים. למשל, המערכת של המרכז הארצי לבחינת חיבורים, פותחת פתח לבחון את התלמידים ולתת להם ציון מיד בתום הבחינה. ככל שאלה יתפתחו ויהפכו להיות יותר זמינות ופחות יקרות יינתן עוד בוסט למהפכה.
לאור כל זאת בעשור הקרוב אולי אנחנו עומדים כנראה לחזות בשינוי. בכל מקרה הצפי שלי הוא לתהליך אבולוציוני ולא רבולוציוני. הדבר לא יקרה בן לילה ונרגיש בשינויים בהדרגה.
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
תגובות
11. שתי נקודות נוספות בועז רוזנבאום (ראמ"ה) (13/07/2015)
לבד מהקשיים שיואל העלה, ישנן שתי שאלות נוספות איתן אנו מתמודדים במעבר להערכה מבוססת מחשב, והן:
א. מה הערך המוסף של מבחן מבוסס מחשב על מבחן מודפס? ב. האם אוכלוסיית המטרה בקיאה מספיק במיומנויות מחשב הנדרשות על מנת להשתמש בתוכנת המבחן?
התשובה לסעיף א' מתחלקת לשתי קטגוריות: הראשונה היא לוגיסטית; מבחן ממוחשב חוסך את עלויות הדפוס, האריזה, ההפצה והשינוע של חומרי המבחן, ובכך עולה על אחיו המודפס. הקטגוריה השניה היא מתחום עולם המדידה, ובכל מעבר להערכה מבוססת מחשב יש לשאול את השאלה הזו שוב. הנחת העבודה שלנו בראמ"ה היא שיתרון לוגיסטי אינו מספיק, ושמבחנים מבוססי מחשב צריכים להביא איתם בשורה ושינוי אמיתי באופן שבו תלמידים מתנהגים בסביבת המבחן, ובאופן שבו ההתנהגות הזאת מעידה על הישגיהם, כשהדגש הוא על הן על תהליך העבודה והן על התוצר.
לגבי סעיף ב', ניסיוננו מראה, בין השאר מתוך מעורבות ישראל במחקרים בינ"ל העושים שימוש במבחנים מבוססים מחשב, שישנה שונות רבה באוכלוסיית התלמידים בישראל מבחינת רמת הבקיאות במיומנויות המחשב. בהקשר הזה, אני מניח שגם אם הקטר יסחוב את הרכבת או שהרכבת תסחוב את הקטר, מתישהו הקו הזה חייב יהיה להתיישר.
10. תודה למגיבים ןבקשה יואל רפ (12/07/2015)
תודה לכל המגיבים, מעניין לקרוא על ההתפתחויות , שלשמחתנו קורות, גם אל לא בבת אחת. אשמח אם מי שמגיב ומתאר תהליכים במקום העבודה יציין מה הוא אותו מקום. כדי שנוכל לייחס את דבריו לארגון עליו הוא מכוון.
9. סטארט-אפ ניישן?! ליאת בסיס (28/06/2015)
השאלה היא האם ההקפדה שלנו על הדיוק המירבי אינה מגבילה את רוח היזמות והחדשנות הנדרשות כדי לעזור למהפכה לבוא. אילו מחירים אנו והתחום שאנו מייצגים משלמים על הזחילה שאיתה אנו מגיעים לנושא. מחד ברורה לי ההקפדה על ההקפדה ומאידך יש בה אלמנט מובנה שמאט מאוד את הקצב.
אוסיף הדגשה להתייחסות של אפרת על הרלבנטיות של המבחנים למציאות שלא מחכה לנו.
שמחתי לקרוא על היוזמות שמתוארות כאן כמי שכן קורות.
תמשיכו לחלוק ולחזור מדי פעם לתגובות המתווספות, שנדע בתכיפות גבוהה יותר מה ואיך קורה. דוגמאות יעזרו גם.
חודש טוב ובלוג טרי בקרוב!
8. לאט... אבל זה קורה אסטלה מלמד (20/06/2015)
החסמים הקיימים במערכת החינוך, כפי שיואל מתאר אותם, מהווים אתגר לא פשוט. עם זאת, כדאי לציין שבזירת מבחני הבגרות, דווקא, המהפכה כבר החלה. אנו במטח - המרכז לטכנולוגיה חינוכית - מפתחים ומעבירים מזה מספר שנים בחינות בגרות מתוקשבות במספר מקצועות. ישנם אפילו מקצועות שבהם בחינת הבגרות מתקיימת אך ורק במתכונת מתוקשבת (כלומר, אין אופציה של מבחן נייר ועיפרון): מבחן המעבדה בביוטכנולוגיה הוא דוגמה לבחינת בגרות כזו, והיא כוללת עריכת ניסוי במעבדה, ולאחר מכן עיבוד תוצאות הניסוי במחשב באמצעות אקסל, ומענה ממוחשב על סדרת שאלות הקשורות לתהליך החקר שהתלמיד ביצע.
גם בביולוגיה מפותחת אצלנו בחינה מתוקשבת, שבה התלמיד נחשף לתופעות שונות על ידי צפייה באנימציות, או על ידי הפעלה של סימולציות וביצוע שינוי בפרמטרים שונים, כדי לחקור את אופן השפעתם. התלמיד נדרש לענות באופן ממוחשב על שאלות העוסקות בתופעות שהוא חקר ובניתוח הנתונים שהוא קיבל, וליישם את התובנות שהגיע אליהן בדרכים שונות על מצבים שונים. אגב - בבחינה בביואינפורמטיקה, יש גם שימוש באתרי אינטרנט מקצועיים אליהם התלמיד יכול לגלוש תוך כדי בחינה.
עוד מהפכה, ממש לא שקטה, נוגעת להיבחנותם של תלמידים לקויי למידה בבחינות בגרות מתוקשבות, המאפשרות להם להאזין לשאלות המבחן ולהשיב עליהן בהקלדה או בהקלטה, תלוי בסוג התאמת ההיבחנות שלה הם זכאים. עדויות למהפכה זאת אפשר למצוא בבחינת הבגרות באנגלית במאי 2015, שבה השתתפו כ-10,000 תלמידים, מתוכם כ-6,300 שהשתמשו בבחינה המתוקשבת לשמיעת ההקראה.
(על מבחני הבגרות המתוקשבים אפשר לקרוא בבלוג: "חידושים ומדידות: על מדידה, הערכה, טכנולוגיה... ומה שביניהן").
7. טכנולוגיה בשירות האבחון אפרת ברקאי גורל (14/06/2015)
ראשית ברכות על הבלוג ועל הראיון המעניין עם יואל שנית, פילת כבר מתקדמת מאד ומשתמשת במבחנים ממוחשבים, בתהליכי מיון ואבחון טכנולוגיים ואף בוחנת במקרים מסוימים מהבית. העתיד כבר כאן וחשוב שיהיה בכל מערכות המיון באשר הן. זהו דור מאד טכנולוגי ואם נבחן אותו בכלים המוכרים לו נהיה גם תקפים יותר.
6. התקשוב בשירות הערכת תכניות ענת קדם (12/06/2015)
ראשית שאפו לליאת על היוזמה ומימושה! שנית רציתי להטיל זרקור גם על התועלת שמביאה הטכנולוגיה לשדה של הערכת תכניות ולציין כמה יישומים/יתרונות שאנחנו נהנים מהם ביחידה להערכת תכניות במטח: 1. האפשרות לבצע סקרים בקרב קהלים שקשה לרכזם לסקר פנים מול פנים, זאת באמצעות סקרים מתוקשבים 2. האפשרות לבצע סקרי ציבור באמצעות פאנלים אינטרנטיים (לאור הקושי המתפתח בנושא של סקרים טלפוניים) 3. יישום כלים להערכה עצמית, שמאפשרים לגוף המוערך לקבל משוב מיידי על ביצועיו והישגיו 4. טכנולוגיות של דוחות מתוכנתים שמאפשרים הפקה סדרתית להיקפים גדולים של גופים מוערכים 5. שיגור מיידי של ממצאי תצפיות או ראיונות המתבצעים בשדה, ע"ג פלטפורמה מתוקשבת שמספקת בה בעת קטגוריות ניתוח וכד' יתרונות: 1. נגישות 2. מידיות 3. משוב 4. דיוק 5. חסכון תפעולי
5. דווקא אנחנו בוחנים מהבית מירב חמי (11/06/2015)
ברכות לבלוג שלנו! עכשיו גם אנחנו מגניבים (אפרופו הצטרפות למאה ה-21 ... : )
אנחנו דווקא בוחנים מהבית וזה מוצלח מאוד. וללא פתרונות ביומטריים (למרות ששקלנו זאת) עוזרים לארגונים במיון עובדים מהבית
4. יפה ומעניין - מחשבות נוספות.. לירון ענבר (10/06/2015)
ברכות לבלוגומטרי ולפוסט הראשון! מצטרף למחשבה של שירן לגבי בחינה מרחוק - לדעתי כיום זיהוי מרחוק הוא כמעט בלתי אפשרי. לוודא שממלאי המבחנים הם אכן המועמדים, שהם לבדם, שהם לא נעזרים בחומרי עזר.. מאתגר. רציתי להוסיף שלדעתי אחד היתרונות הבולטים והמשמעותיים הוא הקלות בה ניתן לבצע ניתוחים בדיעבד על תוצאות המבחנים ועל מדדים שונים, וכן לעדכן תוצאות ניתוחים אלו בזמן אמת ובאופן שוטף - רגרסיות, התפלגויות, ניתוחי גורמים ועוד.. דבר שישכלל משמעותית את איכות המבחנים, התוקף והמקצועיות. נחזיק אצבעות למהפכה .. ;)
3. שתי מחשבות שעלו לי תוך כדי קריאה: שירן דנוך (09/06/2015)
1. האם הטכנולוגיה הביומטרית לא מסייעת כבר כיום לזיהוי מועמדים מרחוק? נשמע כמו משהו שצריך להיות אפשרי 2. איך מכוני המיון טרם נכנסו לזירה הזו שמאפשרת להם לספק מוצר חדשני ללקוחות ולהוות עבורם יתרון תחרותי?
2. אספקט נוסף של מחשבים והערכה צור קרליץ (09/06/2015)
מזה למעלה משני עשורים שבארה"ב מפתחים מערכות חכמות להוראה (intelligent tutoring systems). מערכות כאלו משתמשות במודלים של הערכה על מנת לאבחן את החוזקות והחולשות של התלמיד ולהתאים לו את תוכנית הלימודים. היישום במערכת החינוך הוא דל בינתיים אבל במערכות אחרות (צבא וארגונים גדולים) היישום נרחב יותר. בהקשר זה פותחו גם מערכות שמבצעות הערכה של התלמיד באופן נסתר (stealth assessment), אשר נועד להפוך את אלמנט הבחינה לחלק אינטגרלי מתהליך הלמידה באופן שהתלמיד לא יוכל להבחין מהו מרכיב ההוראה ומהו מרכיב ההערכה. כל הפיתוחים האלו נמצאים עדיין בשלבים ראשונים של יישום והטמעה בשטח, בעיקר מסיבות של עלות ומחסור בתשתית.
1. אבולוציה ורבולוציה אייל גמליאל (08/06/2015)
ברכות לליאת על העלאת הגרסה הבלוגית של העלון. תודה לליאת וליואל על העלאת נושא שרלוונטי מאוד לעוסקים במדידה והערכה - כיצד נצליח לנצל יותר את החידושים הטכנולוגיים. ליאת ויואל דיברו על המהפכה המבוששת לבוא בתחום המבחנים המתוקשבים, ואכן נראה שהשינוי יהיה הדרגתי. כשלב ביניים אבולוציוני כזה, נראה שיהיה קל יותר ליישם מבחנים ממוחשבים לא מתוקשבים. במוסדות חינוך מועברים מבחני ניר ועיפרון לקבוצות נבחנים קטנות יחסית באופן שוטף, כך שניתן להתגבר על האתגרים והמגבלות שיואל ציין. אשמח ללמוד מהחברים אם הם מכירים יישומים מוצלחים של מבחנים ממוחשבים במערכות חינוך.