מידעונט אפי
גיליון 8
דבר העורכת
שלום לכל הקוראים והקוראות היקרים,
כן, כן, גם אני קיימתי שיחה עם ידידנו מר צ'ט GPT. האם הוא מכיר את אפי (האגודה הישראלית לפסיכומטריקה), שאלתי בליבי ואז גם אותו. נחשו מה השיב לי...
מהי אפי? שאלתי. ללא השתהות או הרהור, קיבלתי פירוט מרשים על פועלה של האגודה ועל תפקידיה. אפי הוקמה, לדבריו, בשנת 1955 ותפקידה לקדם מחקר, חינוך ופיתוח מקצועי בתחום של הערכה פסיכולוגית ומבחנים. באחריותה לפתח מבחנים כדוגמת המבחן הפסיכומטרי ומבחנים נוספים. נוסף על אלו, אפי מכשירה ונותנת הסמכה בתחום הפסיכומטריקה.
למרות שאהבתי מאוד את הרעיונות שלו החלטתי לאמת אותו עם המציאות, והוא מצידו "הרגיש" מבויש והתנצל מעומק בינתו המלאכותית. היו לו עוד המצאות אופטימיות, כמו, למשל, שאפי מונה מעל 500 חברים. הלוואי...חשבתי לעצמי ופתאום התערערתי... אולי הוא צודק ואני לא מעודכנת? שאלתי מה מקור המידע ממנו דלה את המספר ופה היה טוויסט בעלילה (דמיינו מוסיקת רקע דרמטית), אדון GPT הציג לי את כתובת האתר הנכונה: https://www.ispa.org.il. האמת, באותו הרגע לא רק שהופתעתי אלא שלמבוכתי אפילו התרגשתי.
המשכתי לשאול שאלות על הכנס השנתי ועל המידעונט. שוב ושוב זכיתי לתשובות מומצאות, שכולן הזיה חיננית אחת גדולה (AI hallucinations). ככל שהמשכתי לדרוש, כך פרטי מידע נוספים התווספו והגיעו. למשל, נודע לי כי משרדנו ממוקמים ברחוב הזיתים 1, קומה 2, בניין האקדמיה למדעים ברחובות (יש כתובת כזו?). יו"ר אפי היא חברת סגל ממכללה בצפון (אני סקרנית לדעת אם שמעה על קיומנו). לבסוף, קיבלתי רשימה מרשימה של גופים בישראל העוסקים בפסיכומטריקה, שהיו יכולים לפרנס לא מעט פסיכומטריקאים.
בשלב מסוים החלטתי להפסיק "להטריד" את מר צ'ט GPT, בכל זאת הוא היה מנומס וחביב אלי. נפרדתי ממנו לשלום ורוויתי מעט נחת מן המחשבה (או שמא האשליה המתוקה הרגעית) כי "מותר האדם מן המכונה"😊.
אין בתיאור שיחה משעשעת זו כדי להפחית מהמהפכה העצומה והבשורה שמביא עמו עולם ה- AI בתחומים השונים ובכללם גם לעולם הפסיכומטריקה.
בנושא זה בדיוק יעשיר אותנו ד"ר אלון מהרשק ממאל"ו, במאמר שדן במקומה של הבינה המלאכותית בעולם הפסיכומטריקה: המצב כיום וההתפתחויות הנחוצות. להזכירכם, במידעונט 7 הוצגו שני מאמרים נוספים בנושא ואתם מוזמנים לעיין בהם שוב: האחד מאת ד"ר יואל רפ והאחר מאת טניה נזרצקי, ד״ר מוריה אריאלי, ד"ר גיורא אלכסנדרון.
בפינתנו "נעים להכיר", דפנה חיימוביץ' מספרת על "מגדל אור", מרכז שתומך ומסייע בקידום אנשים עם לקויות ראייה או עיוורון ועל האבחון תעסוקתי המונגש שנערך בו.
ד"ר שם שמי משתף במסמך חשוב שכתב בנושא גיל האיתור המומלץ של ילדים מחוננים. במסמך הוא בוחן את השאלה ממספר פרספקטיבות מחקריות ומנמק את המלצתו שלא לערוך איתור לפני כיתה ג'. בנוסף, הוא מתאר מבחנים מקובלים בתחום ותכנים נוספים רלוונטיים. המסמך נכתב לבקשת האגף למחוננים ומצטיינים ולשכת המדענית הראשית במשרד החינוך.
בפינת "חם מן התנור" ד"ר רועי זמיר והילה שורק-פוזס מממד"ה במשטרת ישראל מתארים פיתוח של מדד "פוטנציאל המועמד" לניבוי רמת ההצלחה של מועמדים במרכז הערכה, מתוך שורה של מבחנים והערכות. המדד אומץ ומשמש כאמצעי לקיצור משך הליכי המיון במשטרה.
מאמר מרתק נוסף הוא של סרן לימור רייז מממד"ה בצה"ל. במאמר היא מציגה בפירוט את תהליך הפיתוח הרב-שלבי של מבחן הדפ"ר האדפטיבי על אתגריו השונים, לצד סוגיות בהטמעה בצבא של שינוי בסדר גודל כזה.
תודה גדולה לכל הכותבים מהגופים השונים שטרחו והשקיעו ותיארו את פועלם, על מנת לשתף את הקהילה כולה. תודה לגופים הביטחוניים שנתנו אישור להציץ לנעשה בהם.
לבסוף, אני מבקשת לנצל במה זו כדי לברך, בשמי ובשם כל קהילת אפי, את ד"ר ענת בן סימון המופלאה שבקרוב תסיים את תפקידה כמנכ"לית מאל"ו. לענת תרומה עצומה בקידום תחום הפסיכומטריקה בישראל ובכלל זה גם לאפי כיו"ר (בשנים 2012–2013), כחברת מועצה פעילה וכדמות משמעותית בכינוסים השנתיים.
אחד המאפיינים של ענת הוא השילוב המנצח של מומחיות רבה, מקצועיות וכשרון רב עם אנושיות מיוחדת במינה והתייחסות בכבוד ו"בגובה העיניים" לכל אדם. תודה רבה ענת ובהצלחה. זהו זמן להנות ולממש חלומות. מקווים כי נמשיך להיפגש בכינוסים...
וכמובן, נברך את חברנו היקר, ד"ר יואל רפ, שנכנס לנעליים המכובדות של מנכ"ל מאל"ו.
בהצלחה רבה!
מקווה שתהנו מהקריאה בגיליון זה, לפחות כמוני. מוזמנים לכתוב לנו בכל עת ולשלוח כתבות.
בברכה,
עינת נוטע-קורן
עורכת המידעונט והיו"רית הנבחרת הבאה לאפי
einat.notea@gmail.com
"מבזקים"
2023 מעבר לים
International Association for the Evaluation of Educational Achievement (IEA)
תאריכים: 28–30 ביוני 2023, דבלין, אירלנד
Psychometric Society (IMPS)
תאריכים: יולי 2023, אוניברסיטת מרילנד. תאריכים מדויקים יפורסמו במהלך החורף.
הכנס יהיה במתכונת של פגישות אישיות.
International Association for Educational Assessment (IAEA)
תאריכים: 24–29 בספטמבר 2023, קינגסטון, ג'מייקה
Association for Educational Assessment – Europe
תאריכים: 1–4 בנובמבר 2023, מלטה
כשבינה מלאכותית פוגשת את הפסיכומטריקה
העתיד של הפסיכומטריקה כבר כאן – פסיכומטריקה ממוחשבת ובינה מלאכותית
מאת: ד"ר אלון מהרשק, היחידה למבחנים ממוחשבים, המרכז הארצי לבחינות והערכה
פרטי קשר להתייחסות: alonm@nite.org.il
מהו התיאור המתאים ביותר להשפעה העתידית של הבינה המלאכותית על פסיכומטריקה?
א. הבינה המלאכותית תחליף באופן מלא את תחום הפסיכומטריקה.
ב. הבינה המלאכותית תעצים ותשפר באופן משמעותי את כלי הפסיכומטריקה.
ג. הבינה המלאכותית לא תשפיע כלל על הפסיכומטריקה.
ד. הבינה המלאכותית תעכב באופן משמעותי את התפתחות הפסיכומטריקה.
השילוב בין עולמות הטכנולוגיה לבין עולם הפסיכומטריקה, המבחנים וההערכה קיים כבר עשרות שנים. מבחנים ממוחשבים וכלי מדידה והערכה טכנולוגיים מפותחים ומיושמים בתחומי החינוך, התעסוקה ואפילו בתחומי הביטחון וקשרי לקוחות במסגרת KYC - דע את הלקוח. כמו כן, שיעור השימוש בהם הולך ועולה. אולם, קצב ההתפתחות הטכנולוגי בעולם המבחנים וההערכה איטי לעומת הצפי שניתן בעבר, ואיטי מאוד יחסית לקצב ההתפתחות הטכנולוגית בתחומים אחרים כמו: מסחר, פיננסים, תקשורת וכו'. במבט קדימה ניתן לזהות מספר מגמות רלבנטיות שיציבו אתגרים בפני הפסיכומטריקאים ומפתחי המבחנים וכלי ההערכה בישראל.
ראשית, מגמת עלייה בכמות הנבחנים. קיימת מגמת עלייה מתמשכת בכמות מוסדות ההשכלה והסטודנטים הלומדים בהם, והצפי הוא שמגמה זו תמשיך, הן לאור הריבוי הטבעי במדינת ישראל והן לאור הפוטנציאל הקיים של כניסת אוכלוסיות חדשות לשוק ההשכלה והתעסוקה. המשמעות היא בעלייה בצורך בפיתוח פריטים ומבחנים והעברתם לצורכי מיון במוסדות השכלה ובמקצועות שונים.
שנית, אופי הנבחנים והמוערכים. המגמה היא של הפיכת "הילידים הדיגיטליים" לרוב בקרב אוכלוסיית הנבחנים. ההתפתחות הטכנולוגית הביאה לקביעת נקודות זמן שונות, שמהן ואילך מוגדרים ילידים דיגיטליים ולפניהם היו "מהגרים" דיגיטליים. בכל מקרה ברור כי הנבחנים כיום ובעתיד הם נבחנים אשר ברובם נולדו לתוך עולם טכנולוגי, ושזו סביבת המחיה הטבעית שלהם. כלומר, הם אינם מסתגלים, מסתייעים או לומדים "טכנולוגיה ומחשבים" אלא חיים אותם.
להתפתחות הטכנולוגית המואצת בתחומי תוכן שונים השפעה נרחבת על דרך החיים של כלל האוכלוסייה ובפרט של הילידים הדיגיטליים, בייחוד בהיבטים של קיצור זמן המענה ופרסונליזציה של המוצרים והשירותים. היבטים אלו מייצרים סטנדרט חדש עבור הלקוח ויכולת להגדלת הרווח עבור הספק. אופי העברת המבחנים כיום אינו תואם את התנהגות הנבחנים בתחומי החיים השונים והפער צפוי להתרחב. אל מול הנבחן היליד הדיגיטלי אשר הסביבה הטכנולוגית היא חלק אינטגרלי מחייו – עומדים כיום מבחנים אשר ברובם מושתתים על תפיסה אנלוגית וליניארית, ארוכים, מחייבים הגעה למקום פיזי מסוים, בעלי סטנדרט קבוע וחווית משתמש נמוכה ומיושנת.
שלישית, תחרות וחדשנות – ההתפתחות הטכנולוגית שזורה בהתפתחות כלכלית ומייצרת תחרות תוססת בין חברות חדשות וותיקות בניסיון להמציא ולחדש באופן שיתאים ללקוחות ויקדם את החברה. התחרות אמנם עלולה לייצר "רעש" וחוסר מקצועיות אבל גם כר פורה לרעיונות יצירתיים ופורצי דרך. התחרות והחדשנות מגיעות גם לעולם המבחנים וכבר כיום ניתן לראות ארגונים וחברות העוסקים בכך. יש לשער, בסבירות גבוהה, כי בשנים הקרובות הפיתוח יתעצם, כלי המדידה וההערכה יספקו מענה מהיר, חדשני ומותאם אישית. יתכן כי חלק ניכר מהם לא יהיה ברמה מקצועית מספקת, אבל כמו בתחומים אחרים עלייה בתחרות ובכמות המוצרים והחידושים תביא לתוצרים ברמה טובה שיספקו את השוק.
ההתפתחויות שנסקרו מעלות את הצורך בהשקעת משאבים לטובת יצירת תשתיות של פיתוח מבחנים וכלי הערכה בשני היבטים מרכזיים:
-
תשתית טכנולוגית – בניית תשתית לניהול הנתונים, המבחנים ותפעולם, לרבות קיום מבחנים במכשירי קצה שונים וכלי אבטחה שונים של המבחן ושל הנבחן.
-
בניית פריטים, מבחנים וכלי הערכה – הצורך במבחנים רבים ונבחנים רבים מחייבים יצור מאסיבי של פריטים ובפרק זמן קצר.
כעת אתמקד בהיבט של בניית הפריטים.
עד לשנים האחרונות הכלי הטכנולוגי המרכזי ששימש לבניית פריטים ומבחנים היה מחולל פריטים אוטומטי (AIG automatic item generation). התהליך התבסס על שני מודלים משלימים: המודל הקוגניטיבי והמודל הפסיכומטרי.
קיימות כיום מספר מערכות מחשביות המסייעות בפיתוח פריטים אוטומטי כמו: IGOR ,CAFELAB, ו-Imak ו–MazeGen המותקנות ב-R. המערכות קולטות את המידע הרלבנטי על הפריט מבחינה קוגניטיבית, תוכנית, מבנית ופסיכומטרית ומייצרות בהתאם פריטים.
בשנים האחרונות עלו אפשרויות חדשות בתחום ייצור מבחנים ופריטים המבוססות על התפתחויות בתחומי הבינה המלאכותית (AI) ולמידת מכונה (ML). הפסיכומטריקאית Alina Von Davier הציגה את המושג פסיכומטריקה חישובית (computational psychometrics) המתאר מיזוג של תיאוריות וגישות ממדע הנתונים, מדעי המחשב ופסיכומטריקה במטרה לסייע בניתוח נתונים מורכבים. העיקרון הבסיסי הוא יכולת מחשבית ללמוד מתוך נתוני העתק הקיימים והידע האדיר שנצבר על מנת לפתח ולבחון פריטים, מבחנים וכלי מדידה והערכה. השימוש בטכניקות חדשניות מתחומים אלו פותח אפשרויות אדירות ושינויים בקנה מידה שונה ממה שהכרנו. הטכניקות האלו מאפשרות פיתוח פריטים אוטומטי ברמה גבוהה, בקנה מידה גדול, עם פחות מגבלות על סוג הפריטים ואף ללא צורך בפירוט המודל הקוגניטיבי.
בשנת 2020 יצאה לאור מערכת GPT- 3 של חברת OPENAI. המערכת היוותה קפיצת מדרגה משמעותית בתחום הבינה המלאכותית. חברת Duolingo לדוגמה ביצעה בעזרת מערכת זו תהליך של ייצור פריטים אוטומטי במשימת קריאה. המודל ייצר טקסטים שונים, שאלות ומסיחים. תהליך הפיתוח כלל בקרה אנושית בנושאי איכות, הטיות והוגנות. בקרות אלו נכנסו למודל וכך המודל משפר את עצמו בעקבות המשוב ופחות פריטים נפסלים.
החברה ביצעה מחקר, שבמסגרתו יוצרו אלפי קטעי קריאה ושאלות אשר הוכיחו יכולת מרשימה לייצור אוטומטי איכותי. בעקבות כך החברה מבצעת זאת כיום באופן תפעולי, נוסף על משימות אחרות שפותחו באמצעות בינה מלאכותית (כמו משימה אינטראקטיבית של הערכת תקשורת בינאישית).
אחד האתגרים המרכזיים בשימוש במודלים ובכלים של בינה מלאכותית היה הצורך בתיווך ובתרגום בין מומחי התוכן לבין מומחי המודלים של הבינה המלאכותית. בשנים האחרונות עבדתי בחברות סטארט אפ אשר ייצרה פרופיל התנהגותי תוך שילוב של פסיכומטריקה עם כלים של בינה מלאכותית ולמידת מכונה. השיח בחברות אלו בין הפסיכומטריקאים לבין אנשי הבינה המלאכותית היה שוטף אך מאתגר ושני הצדדים ניסו להבין ולתרגם אחד את השני, לא תמיד בהצלחה.
ב-30 נובמבר 2022 השיקה חברת OPENAI את הכלי החדש שלה CHATGPT המבוסס על מערכת 5.GPT- 3 ועוררה סערה בעולם. לפתע מילים מורכבות ומסובכות כמו למידת מכונה ובינה מלאכותית הפכו למשהו ממשי, וכל אחד ואחת קיבלו גישה ישירה לכלי ללא תיווך מקצועי. המכונה כמו "מנורת הקסמים" של אלאדין ענתה על משאלות העונים וסיפקה מאמרים, כתבות, מצגות, תקצירים, מבחנים, תשובות, קורות חיים, מכתבי פניה, קודים ועוד בתחומי תוכן שונים ומגוונים.
במסגרת "שיחותיי" עם מערכת CHATGPT ביקשתי ממנה לחבר שאלת רב ברירה לגבי השפעת הבינה המלאכותית על הפסיכומטריקה. השאלה מופיעה בתחילת המאמר והתשובה הנכונה בה אגב, לפי המערכת היא ב'. כלומר, הבינה המלאכותית תעצים ותשפר באופן משמעותי את הפסיכומטריקה. בהמשך השיחה המערכת סיפקה לבקשתי שאלות ותגובות נוספות בנושא בהיבטים של השפעת הבינה המלאכותית על מהימנות ותוקף, סוגיות אתיות והפרשנות האנושית לתוצאות המבחן.
לשאלתי כמה פריטים או שאלות בנושא של הקשר בין בינה מלאכותית לפסיכומטריקה יכול הכלי לייצר ענה לי CHATGPT שניתן לייצר מספר אינסופי של שאלות לאור מגוון ההיבטים של הנושא. אמנם, אפשר לדון על האיכות הנוכחית של CHATGPT ועל מגבלותיו, אבל יחד עם זאת הוא מדגים את היכולת לספק תוצרים קוהרנטיים באופן המוני על בסיס בינה מלאכותית.
בכנות, שעות לפני ההשקה מעט מאוד אנשים האמינו שיכולת כזו אפשרית כבר עכשיו ברמה המעשית ובהיקף כה נרחב. יש לזכור כי CHATGPT אינו רק כלי אלא טכנולוגיה שהשימוש בה יהפוך ליומיומי. האיכות של התוצרים העתידיים על בסיס טכנולוגיה זו תיקבע על בסיס שלושה גורמים: ראשית, איכות הנתונים אשר יוכנסו למכונה, שנית, היכולת החישובית – בהקשר זה ראוי לציין כי תוך כדי כתיבת טקסט זה, במרץ 2023, 4 חודשים בלבד לאחר הפצת 3 GPT הופץ GPT 4 אשר מגדיל באופן משמעותי מאוד את היכולת החישובית הקודמת וניתן להניח כי בזמן הקרוב היכולת הזו תלך ותתעצם. הגורם השלישי הוא היכולת לנהל שיחה ולשאול שאלות רלבנטיות.
לסיכום בעולם של התפתחות טכנולוגית מתמדת ושל ריבוי מבחנים ונבחנים עם ערוצי תקשורת כה רבים, העתיד של הפסיכומטריקה בשילוב טכנולוגיה מתקדמת הוא ברור. בכל תחומי החיים הטכנולוגיה כבר אינה כלי עזר אלא חלק אינטגרלי, לשון, "אם אתה לא שם אתה לא קיים". שילוב הטכנולוגיה בפסיכומטריקה כיום איטי יחסית אבל אין סיבה להניח שההתפתחות הטכנולוגית והכלכלית תפסח על עולם המבחנים וההערכה.
תהליך ייצור הפריטים האוטומטי שהחל בתהליכי שיבוט המבוססים על תיאוריות חלשות של למידה התנהגותית התפתח ונשען כיום על כלים ושיטות של למידת מכונה ובינה מלאכותית. למרות שקיימות כיום מערכות תיאורטיות ומושגיות, מאגרי ידע ובסיסי נתונים רחבי היקף, מערכות מחשביות תומכות, ובסיסי ידע מבוזר בתחומים הרלבנטיים, עדיין התחום של פסיכומטריקה ממוחשבת מצוי מחוץ לזרם המרכזי של פיתוח פריטים. הסיבות הן בעיקר קושי אנושי וארגוני להתמודד עם שינוי כה משמעותי והצורך בהשקעה ראשונית גדולה יחסית.
ההתפתחויות הטכנולוגיות והתרבותיות ותחילת העיסוק בתחומים משיקים על ידי חברות פרטיות, בעולם ובישראל, מהוות אינדיקציה שפריצת הדרך בתחום קרובה מאוד. על כן, על מפתחי המבחנים בישראל לבנות תכנית מחקר ופיתוח מעשית על מנת לעמוד באתגר. לשם כך עלינו לייצר כוח משולב של מומחים בתחומי הפסיכומטריקה, בינה מלאכותית, למידת מכונה וייצור אוטומטי, מדע הלמידה ופסיכולוגיה קוגניטיבית אשר יבנו את העתיד ולמעשה את ההווה של הפסיכומטריקה.
מקורות קריאה עיקריים
-
Attali Y, Runge A, LaFlair GT, Yancey K, Goodwin S, Park Y, von Davier A. The interactive reading task: Transformer-based automatic item generation. Front Artif Intell. 2022 Jul 22; 5:903077. doi: 10.3389/frai.2022.903077. PMID: 35937141; PMCID: PMC9354894.
-
Haladyna, T.M, M.J (ed) (2012). Automatic Item Generation: Theory and Practice, Routledge.
-
Luecht, R.M (2013). Assessment Engineering Task Model Maps, Task Models and Templates as a New Way to Develop and Implement Test Specification. Journal of Applied Testing Technology, JATT, Volume 14, published by the Association of Test Publishers, April 2013.
-
Von Davier, A., Mislevy, R.J., Jiangang, H. (ED) (2021). Computational Psychometrics: New Methodologies for a New Generation of Digital Learning and Assessment. Springer.
"נעים להכיר"
אנשים, ארגונים, מיזמים ותוכניות שעוסקים במבחנים, מדידה והערכה
אבחון תעסוקתי מונגש לאנשים עם לקויות ראייה או עם עיוורון
מאת: דפנה חיימוביץ', פסיכולוגית תעסוקתית מומחית ומדריכה, אחראית אבחון במגדל אור.
פרטי קשר להתייחסות: Dafnav@migdalor.org.il
הקדמה
פיתוח של טכנולוגיות וכלי הערכה לאנשים עם מגבלות ראייה או עם עיוורון (אבלר"ע) הוא עדיין בגדר אתגר. אף שההתנהלות המקובלת כיום כוללת שימוש בכלים קיימים אשר פותחו להערכת אנשים רואים, ניתן לשער כי כלים שפותחו ונורמלו במיוחד עבור אנשים עם עיוורון או עם לקות ראייה יהיו יעילים יותר בהערכת התפקוד הקוגניטיבי של אוכלוסייה זו. ואולם, נכון להיום, קיימים בעולם יחסית מעט כלים כאלה עבור מבוגרים (Paul, Jack & Arthur, 2002).
סוגיית הנגשת מבחנים לאבלר"ע הינה מורכבת ביותר, והאתגר נובע ממספר גורמים. ראשית, קיים מספר מצומצם של גופים מקצועיים בעלי ידע ועניין בתחום של אבלר"ע. גופים אלו עוסקים לרוב בשיקום תפקודי, נפשי ותעסוקתי, ואין להם די משאבים, פניות וידע מקצועי בפיתוח מבחנים. לעומת זאת, לארגונים להם משאבים וניסיון רב יותר בתחום פיתוח המבחנים יש אינטרס נמוך להשקיע משאבים וכוח אדם בפיתוח כלים לאוכלוסייה כה מצומצמת. שנית, העברה של חלק גדול מן המבחנים המותאמים לאבלר"ע דורשת הכשרה מעמיקה וארוכה של אנשי המקצוע, וההעברה עצמה היא לא פעם ממושכת וצורכת זמן יקר.
בנוסף, פיתוח המבחן עצמו הוא תהליך מורכב, היות ונדרשות גרסאות שונות עבור אנשים עם לקויות ראייה שונות- מבחנים מוגדלים, קוליים, מתורגמים לברייל, עם קונטרסטים שונים, ונדרש ידע ספציפי כדי לדעת כיצד להתאים את הגרסה המתאימה לנבחן הספציפי. גם שאלת ההתאמה של מבחן קיים לאופני העברה שונים טעונה בדיקה. כך, קיימות אינדיקציות לכך, שהעברה של מבחן לברייל, למשל, משנה את תוקפו (Reid, 1997), הנגשת מבחן ממוחשב אמריקאי לפורמט קולי טעונה שינוי מבנה המבחן בשל סוגיות של זיכרון עבודה וקשב סביב נושא המסיחים ועוד. בנוסף, לאור צמצום האוכלוסייה של אבלר"ע, קיים קושי להגיע למדגמים מייצגים ובכך לבסס נורמות מסודרות.
עולה גם שאלה האם נכון בכלל לבסס נורמות ייחודיות, לאור העובדה כי בסופו של דבר אבלר"ע נדרשים להשתלב בלימודים ועבודה עם האוכלוסייה הכללית. בד בבד ניתן לראות כי קיימת שונות בציונים במדדים השונים בין אבלר"ע לבין האוכלוסייה הכללית ואף לבין אוכלוסייה הפונים לייעוץ תעסוקתי, כפי שיתואר בהמשך.
מגדל אור
בישראל קיימים כ-24,000 אנשים בעלי תעודת עיוור, המהווים כ-10% מכלל האנשים עם מוגבלות המוכרים על ידי אגף השיקום במשרד הרווחה, 27% מהם בגילאי העבודה.
מגדל אור הוא מרכז שיקום תפקודי ותעסוקתי המתמחה באנשים עם לקויות ראייה ועיוורון. הפונים למרכז מגיעים כדי לגבש תכנית שיקום לימודית-תעסוקתית, שמסייעת להם בסופו של דבר להשתלב בעולם העבודה. בדומה למסגרות שיקומיות אחרות, הפונים עוברים בתחילה אבחון תעסוקתי שמאפשר לקבל תמונה מקיפה על יכולותיהם, נטיותיהם ואישיותם. זאת, בכדי לגבש תכנית שיקום לימודית-תעסוקתית המתכללת את כל אלו, ומביאה בחשבון את מגבלות הראייה והעזרים הטכנולוגיים המצויים בשימוש. לאור זאת, פותח במגדל אור מודל ייחודי של אבחון תעסוקתי מונגש. כחלק מכך, קיים במגדל אור תהליך רציף של הנגשה ופיתוח של כלי אבחון שונים לאוכלוסיית האבלר"ע.
לאור המאפיינים הייחודים של לקות הראייה, לא ניתן לקבל תמונה מלאה ולסייע באופן אפקטיבי בגיבוש תכנית לימודית-תעסוקתית הולמת, בהיעדר התייחסות מקיפה למאפיינים התפקודיים של האדם. לפיכך, האבחון התעסוקתי במגדל אור מהווה אינטגרציה של שני החלקים: אבחון לימודי-תעסוקתי הכולל הערכה של כישורים, נטיות תעסוקתיות והערכה אישיותית, ואבחון תפקודי הכולל מבדק ראייה, מבדק טכנולוגי (שמטרתו להעריך את היכולת האוריינית, התאמת עזרים ממוחשבים וגיבוש המלצות לעזרים טכנולוגיים) ומבדק ניידות וכישורי חיים (שמטרתו להעריך את תפקודי הניידות וכישורי חיים יומיומיים).
באבחון התעסוקתי-לימודי קיימים שלושה מוקדים עיקריים להערכה: אבחון כישורים ויכולות; אבחון נטיות וצרכים תעסוקתיים; הערכה אישיותית ובינאישית. להלן יפורטו הכלים הייחודיים המשמשים להערכת יכולות וכישורים ולהערכה אישיותית.
1. הערכת כישורים ויכולות
א. תהליך הערכת הכישורים במגדל אור משלב מבחנים בהקראה מן החלק המילולי של מבחן הווכסלר ומבחנים פסיכוטכניים ממוחשבים של חברת טופ שיא, המועברים באופן מונגש. עבור אנשים עם לקויות ראייה המסוגלים לעבוד עם הגדלה במחשב, מועברים המבחנים תוך שימוש בהגדלה המובנית של Windows או בתוכנת הגדלה חיצונית. לעומת זאת, עבור מאובחנים עם עיוורון מלא או לקויות ראייה קשות, אשר אינם מסוגלים לעבוד עם מחשב בעזרת הראייה, פותח בשיתוף חברת טופ שיא מבחן סדרות חשבוניות קולי ממוחשב, המאפשר הערכה של הפוטנציאל לחשיבה מספרית-חשבונית.
מן הנתונים שנצברו עד כה, עולה כי הציונים של הנבחנים במבחן הקולי נמוכים בסטיית תקן אחת לפחות מאלו של האוכלוסייה הכללית. ניתן להסביר זאת הן בחסכים הלימודיים אשר עימם מתמודדים אבלר"ע, במיוחד בתחום המתמטי. כמו כן, ניתן לשער כי העובדה שהמבחן הקולי מערב גם פרמטרים נוספים, כגון זיכרון שמיעתי וזיכרון עבודה, הם משפיעים על הנמכת הציון חרף תוספת הזמן.
ב. מגדל אור יצרה אבטיפוס של מבחן קוביות מישושיות, הדומה למבחן הקוביות המשמש בחלק הביצועי של מבחן הווכסלר. הכלי הוכנס לשימוש כחלק מן האבחון התעסוקתי השוטף. השימוש בקוביות המישושיות מאפשר הערכה של היכולות הביצועיות-טקטיליות, יכולות האנליזה והסינתזה והתרשמות מסגנון העבודה של מאובחנים עם לקויות ראייה קשות (כולל צמצום בשדה ראייה, עיוורון צבעים חמור או עיוורון מלא), אשר אינם יכולים להיבחן במטלת הקוביות הסטנדרטית. כרגע נאספים במגדל אור נתונים על מנת לגבש נורמות ספציפיות לאוכלוסייה הייחודית של אנשים עם לקויות ראייה ועיוורון בישראל.
ג. מטלת Do Work – מבחן אקולוגי תצפיתי דינמי, אשר פותח עבור מגדל אור על ידי חברת אשנב. מטרת המבחן היא לבנות מדגם עבודה שאינו סטטי ומונגש עבור אבלר"ע, לצורך אבחון כישורים המתאימים לעבודה אדמיניסטרטיבית. המבחן מורכב ממטלות מגוונות, כגון ביצוע שיחות טלפון, חיפוש אינטרנטי, שליחת אימיילים, תיעוד וניהול לו"ז, והוא מועבר בטכנולוגיה המותאמת לאבלר"ע (הגדלה, הקראה או כתב ברייל). המבחן קצוב בזמן ומוערך מול נורמות ספציפיות לאוכלוסייה הרלוונטית.
ד. מבחן ריי שמיעתי – מבחן המורכב מרשימות מילים המוקראות לנבחן. מטרת המבחן היא בדיקת למידה וזכירה מילולית. המבחן מאפשר מדידה של מגוון פרמטרים: זכירה מיידית, עקומת למידה, אסטרטגיות למידה (קיומן או העדרן), נטיות להפרעות זיכרון: רטרואקטיביות ופרואקטיביות. מבחן זה משמש במגדל אור במקרים של אנשים עם לקויות ראייה קשות ועיוורון, אשר קיימת לגביהם שאלה לגבי תפקודים ניהוליים, ואינם מסוגלים לעבור מבחנים אחרים המשמשים להערכת תפקודים דומים, והמועברים בעזרת הראייה.
2. הערכה אישיותית
א. שאלון BTS קולי – מגדל אור, בשיתוף חברת טופ שיא, פיתחה שאלון אישיות קולי ממוחשב על פי מודל ה- Big 5. השאלון מאפשר הערכה אישיותית נגישה של אנשים עם לקויות ראייה או עיוורון במסגרת האבחון הלימודי-תעסוקתי. התהליך של בדיקה וביסוס נורמות ייחודיות לאוכלוסיית אנשים עם לקויות ראייה ועיוורון נמצא בעיצומו. הנתונים שהצטברו עד עתה מייצגים כ-500 מקבלי שירות שנבחנו במגדל אור בין השנים 2014-2022.
ב. MAT: Music Apperception Test – כלי להערכה אישיותית, המורכב מקטעי מוזיקה שונים, עליהם מתבקשים המאובחנים להמציא סיפורים. הציינון הינו אובייקטיבי ומבוסס על מדדים של תוכן, מבנה, שטף וכו'. הכלי עבר פיילוט במגדל אור ומשולב כיום בסל הכלים האבחוניים בתהליך האבחון. בשלב זה, לאור המגבלות והאילוצים המוכתבים מסיטואציית האבחון, הוחלט על העברה איכותנית מקוצרת של הכלי. מנתונים של 10 מקבלי שירות שהצטברו עד כה עולה, כי התכנים העולים מן הסיפורים תואמים ברובם לתכנים הפופולריים המצופים מכל קטע. כמו כן, מסתמן קשר תמאטי בין התכנים העולים מן הסיפורים על הקטעים המוזיקליים לתכנים העולים מכלים השלכתיים אחרים, כגון TAT או שאלון השלמת משפטים.
סיכום
כאמור, תהליך האבחון התעסוקתי עבור אבלר"ע מחייב התאמות ופיתוח כלים ייחודיים, בכדי לאפשר להם אבחון נגיש, שישקף את יכולותיהם, כישוריהם ונטיותיהם התעסוקתיות, ויהווה בסיס להכוונה תעסוקתית-לימודית המתאימה להם. התאמת הכלים היא קריטית והמשך פיתוח כלים נוספים חיוני, אולם ישנה חשיבות רבה גם להבנה מעמיקה של הפסיכולוגים המאבחנים את לקויות הראייה השונות, השלכותיהן על התפקוד, הטכנולוגיה המסייעת הקיימת להנגשת עיסוקים ולתפקוד עצמאי.
ללא אינטגרציה בין החלקים התפקודיים, מבחנים מותאמים והבנה מעמיקה, לא ניתן לבצע אבחון מקצועי ואפקטיבי. כמו כן, נראה כי יש מקום לשקול מעורבות של גופים ממשלתיים במימון ובקידום של תהליכי פיתוח ומחקר של כלי הערכה מונגשים.
פינת היו"רית
שלום רב לכל חברות וחברי אפי!
זהו הגיליון השמיני של המידעונט המקוון של אפי, והוא הגיליון השלישי בעריכתה המוצלחת-מאד של עינת נוטע-קורן.
התייחסויות לאינטליגנציה המלאכותית ויישומיה, על יתרונותיהם ומגבלותיהם, מתחילות לתפוס מקום גם במידעונט אפי, ואני שמחה על כך.
בגיליון הזה, למשל, עינת מתארת מפגש משעשע שלה עם "מר/אדון צ'ט GPT", בנושא אפי. מהשיחה ביניהם אפשר ללמוד בין היתר על כמה מגבלות, חלקן של AI וחלקן של אגודה כמו שלנו: איכות התשובות של צ'ט GPT תלויה מצד אחד באיכות ודיוק השאלות שהוא נשאל, ומצד שני בקיומם של נתוני-עתק רלבנטיים שהוא יכול ללמוד מהם כלומר בכמות המידע הרלבנטי שעומד לרשותו ברשת על הנושא הנידון. ועם כל הכבוד, ויש כבוד, אפי היא לא בדיוק נושא מבוקש במרחבים הללו, כלומר לא כתוב עליה שם מספיק כדי שיהיה לצ'ט GPT ממה ללמוד עליה.
גם המאמר המעניין מאד של אלון מהרשק, על הפוטנציאל המלהיב של הבינה המלאכותית לתרום ל"קפיצת מדרגה" של כלי המדידה במדעי החברה, גרם לי לתהות על המשמעויות של כל זה במציאות הישראלית; אני מתכוונת למציאות של מבחנים בעברית, בערבית ובשפות נוספות שאינן אנגלית. זאת לאור התלות של AI בקיום של מידע רלבנטי על האוכלוסיות שאותם הם אמורים לבחון, וכמות ואיכות הכלים הרלבנטיים ברשת בשפות שאינן אנגלית.
הכנס השנתי שלנו
הכנס השנתי ה-19 של אפי התקיים בהצלחה רבה ב-14.2.23 במלון יערים שבמעלה החמישה, בו אפשר היה להיפגש פנים אל פנים כמו שנהגנו לעשות לפני פרוץ הקורונה.
לכנס הזה היו למעלה מ-200 נרשמים (הרשמת-שיא בתולדות כנסי אפי), מ-34 גופים וארגונים. בהם 7 אוניברסיטאות, 5 מכללות ו-22 גופים אחרים שבהם עוסקים/מתעניינים במדידה והערכה; אלה הם (לפי סדר הא"ב):
אבני ראשה, המכון למנהיגות בית ספרית; ביה"ס הריאלי בחיפה; המרכז הארצי לבחינות והערכה (מאל"ו); המרכז הארצי לסימולציה רפואית (מסר); המרכז לטכנולוגיה חינוכית (מט"ח); הרשות הארצית למדידה והערכה (ראמ"ה); רשת אמית; חברת unity; חותם; טלדור; יואל גבע ; יד הנדיב; לוגיפס; מוח 10; מוסד שמואל נאמן למחקר מדיניות לאומית; מידות; מכון אדם מילוא ; מכון הנרייטה סאלד; מרכז קהילתי מורשה, בית קנדה; משטרת ישראל; פסיפס; קידום; קנדיטק.
באסיפת החברים/ות בסיום הכנס, אושררו תוצאות הבחירות למועצה, עליהן דווחתי לכם בגיליון הקודם של המידעונט, וכן אושרה ההצעה להוסיף לתקנון אפי פיסקה שנועדה לאפשר לאפי לקיים הצבעות מקוונות בעת הצורך (כמו הצורך שעלה בתקופת הקורונה).
כפי שכבר כתבתי לכם, חשוב בעיני להגדיל את מספר חברי אפי ומעורבותם באגודה, וכן להרחיב בקרב אוכלוסיות רחבות של אנשי מקצוע, במיוחד במדעי החברה, את המודעות לידע הקיים והמצטבר בתחום הפסיכומטריקה ואת מעגל העושים בו שימוש מושכל.
ראייה אופטימית של הפוטנציאל לכך אפשר לקבל מצד אחד ממספר המצטרפים באופן שוטף לקבוצת הפייסבוק של אפי (בעת כתיבת השורות האלה רשומים בקבוצת הפייסבוק של אפי 375 חברים וחברות. רשימת חברי האגודה קצרה בהרבה); ומצד שני מההרשמה המשמעותית לכנס השנתי 2023 ממגוון רחב של גופים, ומההשתתפות הפעילה בו כמציגים: 16 מציגות/ים, 51 חתומים על המצגות; כל מצגת הייתה פרי עבודתם של 1 עד 8 כותבים; אחדים השתתפו ביותר ממצגת אחת. בנוסף, מסקר המשוב של הכנס עלה כי שליש מהמשיבים הם משתתפים חדשים – זו הפעם הראשונה או השנייה שהם משתתפים בכנס; וכרבע מהמשיבים אינם חברי אפי.
את ממצאי המשוב תוכלו לראות באתר אפי, ועיקרם הוא שרוב-רובם של המשיבים לסקר היו מרוצים כללית מהכנס, רובם גם היו מרוצים במידה רבה עד רבה מאד מהיבטי התוכן של הכנס: ממגוון ההרצאות, מאיכות ההרצאות ומהתאמת ההרצאות לתחומי העניין שלהם; שביעות רצון גורפת נרשמה מההיבטים האדמיניסטרטיביים של הכנס (שעות הכנס, מערכת ההרשמה, משך ההפסקות) ורק ממקום הכנס (מלון יערים), שביעות הרצון הייתה בינונית והרבה מההערות המילוליות התייחסו אליו בביקורתיות.
בסקר המשוב גם הועלו בין היתר בקשות לתכנים הבאים:
-
הרצאה אחת מעמיקה יותר (נניח של כ-40 דקות), של מרצה מוזמן, keynote speaker
-
חשיבה על שיתופי פעולה אפשריים
-
הרצאות העוסקות בהערכה (evaluation) שעושה שימוש בכלי מדידה
-
דיונים/שולחנות עגולים, גם להיכרות בין המשתתפים ממקומות שונים וגם בנושאים אסטרטגיים של מגמות בתחום והעתיד שלו
-
מרצים המשיקים לפסיכומטריקה מהעולם הפרטי/מסחרי
-
הרצאות על עולם המבחנים בבתי הספר
לכל זה ועוד אנו זקוקים לתשומותיכם, כיון שכידוע תוכניתו של כל כנס תלויה במידה רבה בתכנים שמגיעים אלינו מכם. אנא קחו זאת בחשבון מול הקול הקורא שנפרסם לקראת הכנס הקרוב, ושלחו לנו מגוון רחב של הצעות, כולל גם לממשקים עם הרעיונות דלעיל.
ולסיום,
אני מקווה שאתם כבר מודעים לקיומו של המידעונט כבמה לחילופי מידע, ידע ודעות בין כל המתעניינים והעוסקים במדידה ובהערכה במדעי החברה.
אתם מוזמנים מאד לבקר באתר אפי (שבו מופיעים כל הגיליונות הקודמים), לתרום כתבה למידעונט ולהצטרף ולהיות פעילים הן באגודה והן בקבוצת הפייסבוק שלנו.
בברכה חמה,
ריטה סבר, יו"ר אפי
ritasever9@gmail.com
מדידת תכונות, כישורים ומיומנויות מורכבים
מסמך מדיניות בנושא כלי מדידה לאיתור מחוננים בהקשר הגילי ומעבר לו
מאת: ד"ר שם שמי
פרטי קשר להתייחסות: shemshemy@gmail.com
מחוננות כוללת מנת משכל יוצאת דופן, חשיבה יצירתית ורמת דמיון גבוהה, ולעיתים גם תכונות אישיותיות כמו סקרנות, מוטיבציה גבוהה, סף פליאה ורגישות גבוה, ויכולת מנהיגות. איתור ילדים וילדות מחוננים מהווה משימה פסיכומטרית מורכבת מכיוון שסט היכולות, הפוטנציאל, והתכונות המרכיבות את המחוננות, ומערכי הזיקה ביניהן, הם מגוונים, עשירים ובאים לידי ביטוי שונה אצל ילדים שונים ובגילים שונים.
כמנהל היחידה לתלמידים מחוננים במכון סאלד (2020-2018), מפתח כלי מדידה וחוקר בתחום, כתבתי מסמך זה, לבקשת האגף למחוננים ומצטיינים ולשכת המדענית הראשית במשרד החינוך. מוקד המסמך עוסק בגיל שבו נכון לאתר מחוננות, על מנת שמירב הילדים והילדות המחוננים והמצטיינים יאותרו מחד, ומאידך, יצומצמו טעויות מדידה המתבטאות באיתור שגוי על השלכותיו השליליות.
חלקו הראשון של המסמך מציע מענה מנומק לשאלת גיל האיתור בישראל, וזאת על ידי בחינת 3 פרספקטיבות מחקריות משלימות העוסקות בילדים מחוננים ובאיתורם: הפרספקטיבה הפסיכומטרית-קוגניטיבית, הפרספקטיבה הנוירו-פסיכולוגית, והפרספקטיבה המבחנית-רגשית. חקר שלושת הפרספקטיבות מתכנס להמלצתי המנומקת לעבור לאיתור בכיתה ג', בהקדם האפשרי.
בחלקו השני של המסמך מוצגת סקירה של גיל ותכני האיתור של מחוננים בארצות שונות בעולם. הסקירה ממפה מגמות מעורבות, ואף סותרות, הן מבחינת הגדרת המחוננות, והן בגישה החינוכית והפסיכומטרית לאיתור מחוננים ברחבי העולם.
חלקו השלישי של המסמך עוסק בסוגיות הליבה הפסיכומטריות של איתור ילדים וילדות מחוננים:
-
הכנסת מדדי חשיבה יצירתית לסוללת האיתור.
-
הוספת פרמטר הגיל הכרונולוגי המדויק בעת האיתור.
-
סוגיית 'המחוננות המגדרית' ופיתוח כלי מדידה תקפים.
-
מבחנים חוזרים על רצף הגיל להערכה מחודשת של המחונן.
-
ביצוע מחקרי מדידה והערכה של התהליכים הפדגוגים במרכזים המחוננים.
נושאים אלו משקפים את עומק המורכבות הפסיכומטרית של התחום בכלל, ושל מערך איתור המחוננים בישראל בפרט, ומעודדים למחקר פיתוח ותיקוף של כלי מדידה ייחודים לאיתור מחוננות בעתיד.
"חם מן התנור"
המלצות לקריאה של פרסומים חדשים
מדד "פוטנציאל המועמד" לניבוי הצלחה בגיוס שוטרים למגזר הייעודי במשטרת ישראל
מאת: ד"ר רועי זמיר והילה שורק-פוזס, המחלקה למדעי ההתנהגות, מדור מחקר והערכה, משטרת ישראל.
פרטי קשר להתייחסות: roei.zamir@mail.huji.ac.il
זמיר, ר' ושורק-פוזס, ה' (2023). מדד "פוטנציאל המועמד" לניבוי הצלחה בגיוס שוטרים למגזר הייעודי במשטרת ישראל. המחלקה למדעי ההתנהגות, משטרת ישראל.
רקע
בעקבות התפשטות מגפת הקורונה בישראל, ובפרט, דרישות רשויות השלטון לריחוק חברתי (לוין, 2020), יושמו שינויים בתהליך מיון מועמדים למשטרת ישראל. בכלל זה, הליכי מיון של מועמדים המתבססים על מרכז הערכה במתכונת קבוצתית הופסקו זמנית, מה שהוביל לחוסר בנתוני מיון חשובים, כגון - ציוני הערכות עמיתים במרכז הערכה, מבחני מצב לבחינת יכולת פתרון בעיות, אסרטיביות, הפעלת כוח מבוקר, גישה שירותית ועוד. הקפאת הליכי מיון פרונטאליים, המתבססים על אינטראקציה בין מעריכים וקבוצות מוערכים, העלה צורך בפיתוח כלים "למיון מרחוק" של מועמדים לעבודה במשטרת ישראל.
מעבר למגבלות הנוגעות לדרישות "ריחוק חברתי", מגפת הקורונה מצאה את ביטויה במשבר התפטרות ובמצוקת כוח אדם במשטרת ישראל, בדומה למוסדות וארגונים אחרים רבים ברחבי העולם (Tessema, Tesfom, Faircloth, Tesfagiorgis, & Teckle, 2022). לצורך שמירה על רצף תפקודי, ושימור היקף כוח האדם המשרת במשטרת ישראל, עלה צורך בפני קובעי מדיניות ומקבלי החלטות במחלקה למדעי ההתנהגות לאמץ כלים לייעול תהליכי המיון של המשטרה, בין השאר, באמצעות הטמעת פרקטיקות מיון מבוססות נתונים. פרקטיקות מעין אלו נועדו לסייע למשטרה להגדיל את מספר המועמדים המתגייסים בתום תהליכי המיון לעבודה במשטרת ישראל.
במטרה לפתח אמצעי "מיון מרחוק", ולייעל את תהליך הגיוס למשטרה, המחקר הנוכחי ביקש לפתח מדד (שלהלן יכונה - "מדד פוטנציאל המועמד") לניבוי רמת ההצלחה של מועמדים במרכז הערכה. בעיצומה של מגפת הקורונה בישראל, מדד פוטנציאל המועמד סייע לבעלי תפקידים במחלקה למדעי ההתנהגות בזיהוי מוקדם של מועמדים אשר צפויים לעבור בהצלחה, או לחלופין, להיכשל במרכז הערכה. גם לאחר תום תקופת החירום הרפואי בישראל משמש מדד פוטנציאל המועמד כאמצעי לקיצור משך הליכי המיון במשטרה, באמצעות החלת מדיניות לפיה מועמדים להם נשקפת סבירות גבוהה מאוד לצלוח את הליך המיון לגיוס לא יידרשו להשתתף במרכז הערכה.
שיטה
מחקר זה התבסס על קובץ נתונים רחב שכלל 7,891 מועמדים לשירות במגזר הייעודי, הכולל את תפקידי שיטור הליבה במשטרת ישראל, בשנים 2015-2019. משתנה הקריטריון (התלוי) במחקר זה הינו ציון מרכז הערכה (נע בסולם של 1 עד 7). לקובץ המחקר מוזגו המנבאים הבאים: תוצאות מבחן דפ"ר; תוצאות מבחן עברית; ציון ראיון התאמה למשטרה (רמ"ה); ניסיון פיקודי / ניהולי (יש / אין); שירות קרבי בצה"ל (שירת / לא שירת); דירוג התנהגות בצה"ל; תוצאות מבחן "צבעים"; תוצאות מבחן יכולת אישית; ציוני סולמות שאלון האישיות MMPI-2; תוצאות שאלון מניעים לגיוס למשטרה ותחומי עניין; ציוני סולמות מבחן תפקידים ניהוליים; תוצאות מבחן אינטליגנציה רגשית; מספר שנות לימוד.
בשלב הראשון של ניתוח הנתונים, בהתאם לתוצאות ניתוח גורמים מגשש (Exploratory Factor Analysis) וניתוח גורמים מאשש (Confirmatory Factor Analysis), משתני המחקר שוקללו לגורמים חבויים המייצגים עולמות תוכן שונים (Osborne, 2015; Osborne, & Costello, 2009). בתהליך פיתוח המדד הם נבדקו גם בנפרד וגם כחלק מגורמי על משוקללים.
בשלב השני, פותחו והושוו ארבעה מדדים אינטגרטיביים (בלשון אחרת – אינדקסים משוקללים) לחישוב מדד פוטנציאל המועמד – (1) מדד מבוסס משקולות רגרסיה; (2) מדד מבוסס משקולות פירסון; (3) מדד מבוסס N תצפיות גבוה; (4) מדד מבוסס פשטות חישוב וקידוד. השוואת המודלים התבססה על בחינת המתאם המרובה ואחוז השונות המוסברת של המודלים, כמו גם, היבטים הנוגעים לתוקף נראה ופשטות חישוב ומחשוב המדדים במערכות המידע של המשטרה.
בשלב השלישי, משקולות המודל הנבחר חושבו באופן דיפרנציאלי עבור 3 קבוצות מועמדים: (1) אוכלוסייה כללית; (2) מועמדים שלא שירתו בצה"ל; (3) מועמדים בני קהילת יוצאי אתיופיה.
תוצאות המחקר
לוח 1 (כאן) מציג את משקולותיהם היחסיים של מנבאי המחקר בחיזוי ציון מרכז הערכה של מועמדים למשטרה, לפי ארבעה סוגי המודלים – (1) מודל מבוסס משקולות פירסון (Pearson Weights); (2) מודל מבוסס משקולות רגרסיה (Regression Weights); מודל מבוסס N משתתפים גבוה; מודל מבוסס פשטות, חישוב וקידוד.
בשלב הבא, בכדי להימנע מהטיה הטמונה ביחידות מדידה שונות של משתני המחקר (Nardo et al., 2005; Sharpe & Andrews, 2012) מנבאי המחקר תוקננו (הועברו לציוני Z). בהמשך, כל אחד מהמנבאים במודלים הוכפל במשקלו היחסי / תרומתו הייחודית (Coefficient Score) בחיזוי ציון מרכז הערכה (בהתאם למוצג בלוח 1). תוצר ההכפלה הינו ארבעה מדדים המייצגים את המתאם המרובה והשונות המוסברת של אשכולות המנבאים בחיזוי ציון מרכז הערכה. בלוח 2 (כאן) מוצג אחוז השונות המוסברת והמתאם המרובה בין ארבעת המדדים לבין ציוני מרכז הערכה של מועמדים למשטרה.
מלוח 2 עולה כי לארבעת סוגי המדדים תוקף גבוה בחיזוי ציון מרכז הערכה של מועמדים למשטרה (r=0.514-0.532, p<0.001). לצורך חישוב "מדד פוטנציאל המועמד", המודל הנבחר התבסס על N משתתפים גבוה, מכיוון שמדד זה מאזן בצורה הטובה ביותר בין שיקולים הנוגעים לתוקף אמפירי של המדד לבין שיקולים הנוגעים לתוקף הנראה של המדד, תוקף חיצוני (יכולת הכללה) ופשטות חישוב המדד ומחשובו בעתיד במערכות המידע של משטרת ישראל.
בשלב הבא, ביקשנו לבדוק את משקולות מדד פוטנציאל המועמד בחלוקה לשלוש קבוצות מועמדים: (1) אוכלוסייה כללית; (2) מועמדים שלא שירתו בצה"ל; (3) מועמדים בני קהילת יוצאי אתיופיה. תכליתו של מדד דיפרנציאלי לנבא באופן תקף ומדויק יותר את ציון מרכז הערכה של המועמדים, לפי קבוצת השתייכותם (Berry, 2015). בכלל זה, הבחנה בין שלוש הקבוצות צפויה לתרום ליצירת מודלים הרגישים לאופי הקשרים הייחודי בין מרכיבי המדד לבין הקריטריון המנובא, עבור כל קבוצת מועמדים. כתוצאה מכך, בהשוואה למודל הכללי, המודלים הדיפרנציאליים צפויים לנבא באופן מדויק יותר את ציון מרכז ההערכה של מועמדים. בתרשים 1 מוצג תוקף הניבוי והמשקולות היחסיים של מרכיבי מדד פוטנציאל המועמד בחיזוי ציון מרכז הערכה לפי סוג קבוצת המועמדים.
מתרשים 1 (כאן) עולה כי תוקף הניבוי של מדד פוטנציאל המועמד גבוה במקצת בקרב אוכלוסיית המועמדים הכללית (r=0.53, p<0.001) בהשוואה לקבוצת המועמדים שלא שירתו בצה"ל (r=0.49, p<0.001) וקבוצת המועמדים בני קהילת יוצאי אתיופיה (r=0.48, p<0.001). כמו כן, ניתן לראות כי משקולות מרכיבי המדד בחיזוי ציון מרכז הערכה של שוטרים שונים מעט בקרב שלושת קבוצות ההשתייכות של המועמדים.
בהמשך, ציוני מדד פוטנציאל המועמד עברו טרנספורמציה מציוני תקן לסולם הנע בין 1 (ציון מדד מינימלי) עד 7 (ציון מדד מקסימלי). ציון מדד גבוה מצביע על סיכוי גבוה יותר של מועמדים להצליח במרכז הערכה, ולהיפך. טרנספורמציית ציוני המדד התבססה על יצירת התפלגות נורמלית (פעמונית) של הציונים, כך שמרבית ציוני המדד של מועמדים במרכז ההתפלגות, ושיעור הולך ופוחת בקצותיה. תרשים 2 (כאן) מציג את ממוצע ציון מרכז הערכה של מועמדים לפי ציון מדד פוטנציאל המועמד.
לצורך תיקוף מדד פוטנציאל המועמד, לאחר דעיכת מגפת הקורונה וחזרה לשימוש במרכזי הערכה במתכונתם הרגילה, נבחן הקשר בין ציוני המדד לבין ציוני מרכז הערכה האמיתיים שקיבלו המועמדים לגיוס במשטרת ישראל. בדיקה זו מאפשרת לבחון את יכולת ההכללה ותוקפו האמפירי של מדד פוטנציאל המועמד במבחן המציאות. לוח 3 (כאן) מציג את תוצאות מבחן פירסון לבחינת הקשר בין מדד פוטנציאל המועמד לבין ציוני מרכז הערכה שקיבלו מועמדים לגיוס, לאחר דעיכת מגפת הקורונה.
בלוח 3 אפשר לראות שקיים קשר ליניארי חיובי, מובהק וחזק (r=0.51) בין ציון מדד פוטנציאל המועמד לבין ציוני מרכז הערכה של מועמדים לגיוס למשטרה, לאחר דעיכת מגפת הקורונה. תוצאה זו מלמדת כי למדד פוטנציאל המועמד יכולת הכללה גבוהה, ותוקף ניבוי גבוה, בחיזוי ציון מרכז הערכה של מועמדים לגיוס. בלוח 4 (כאן) מוצג שיעור המועמדים אשר עברו / נכשלו במרכז הערכה לפי ציון מדד פוטנציאל המועמד לאחר דעיכת מגפת הקורונה.
מלוח 4 עולה כי ככל שציון מדד פוטנציאל המועמד גבוה כך שיעור המועמדים שעברו בהצלחה את מרכז הערכה עולה. בפרט, מקרב מועמדים בעלי ציון מדד הנע בין קטגוריות 4.5 עד 6.0, 82.4% ומעלה עברו בהצלחה את מרכז הערכה. לעומת זאת, מקרב מועמדים בעלי ציון מדד הנע בין קטגוריות 1.5 עד 3.0, 50% ומטה עברו בהצלחה את מרכז הערכה.
סיכום והמלצות
מטרת המחקר הנוכחי הייתה לפתח כלי "למיון מרחוק" ולייעול תהליך הגיוס של מועמדים למשטרת ישראל. לצורך תכלית זו, פותח מדד פוטנציאל המועמד לזיהוי מוקדם של מועמדים אשר צפויים לצלוח, או לחלופין, להיכשל במרכז הערכה. המדד פותח באופן דיפרנציאלי עבור שלוש קבוצות מועמדים (אוכלוסייה כללית; מועמדים שלא שירתו בצה"ל; מועמדים בני קהילת יוצאי אתיופיה) ונמצא כבעל תוקף ניבוי גבוה בחיזוי ציון מרכז הערכה של מועמדים. מבחני המשך לתיקוף המדד העלו כי למדד פוטנציאל המועמד תוקף ניבוי גבוה בחיזוי ציון מרכז הערכה של מועמדים גם לאחר דעיכת מגפת הקורונה. בפרט, נמצא כי מקרב מועמדים בעלי ציון מדד הנע בין קטגוריות 4.5 עד 6.0, 82.4% ומעלה עברו בהצלחה את מרכז ההערכה. לעומת זאת, מקרב מועמדים בעלי ציון הנע בין קטגוריות 1.5 עד 3.0, 50% ומטה בלבד עברו את מרכז ההערכה בהצלחה.
בהתאם לממצאי המחקר, הומלץ למקבלי החלטות וקובעי מדיניות בארגון להסתייע ב"מדד פוטנציאל המועמד" כאמצעי תומך החלטה לקביעת מדיניות תעדוף מועמדים בתהליך הגיוס למשטרת ישראל. בנוסף, הומלץ לערוך שימוש במדד לזיהוי של מועמדים בעלי נתוני מיון גבוהים שלא יידרשו לבצע מרכז הערכה כחלק משרשרת הגיוס למשטרת ישראל, ובאופן זה, לקצר את משך הליכי המיון עבור מועמדים איכותיים בתוך שוק העבודה הדינמי. זאת ועוד, מדי עת, הומלץ לערוך מבחנים לתיקוף המדד ובהמשך אף לבחון את כושר הניבוי שלו בחיזוי קריטריונים נוספים כגון פוטנציאל התאמה לקצונה.
מקורות המידע שהוזכרו במאמר
-
לוין, ד' (2020). סוגיות של ריחוק חברתי והגבלת ניידות בצל הקורונה. המשרד לביטחון פנים, יחידת המידע והידע.
-
Berry, C. M. (2015). Differential validity and differential prediction of cognitive ability tests: Understanding test bias in the employment context. Annual Review of Organizational Psychology and Organizational Behavior, 2(1), 435-463.
-
Nardo, M., Saisana, M., Saltelli, A., & Tarantola, S. (2005). Tools for composite indicators building. European Commission, Ispra, 15(1), 19-20.
-
Osborne, J. W. (2015). What is rotating in exploratory factor analysis? Practical Assessment, Research, and Evaluation, 20(1), 2.
-
Osborne, J. W., & Costello, A. B. (2009). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Pan-Pacific Management Review 12(2), 131–146.
-
Sharpe, A., & Andrews, B. (2012). An assessment of weighting methodologies for composite indicators: The case of the index of economic well-being. Centre for the Study of Living Standards (CLS) research report, (2012-10).
-
Tessema, M. T., Tesfom, G., Faircloth, M. A., Tesfagiorgis, M., & Teckle, P. (2022). The “great resignation”: Causes, consequences, and creative HR management strategies. Journal of Human Resource and Sustainability Studies, 10(1), 161-178.
מבחנים אדפטיביים
פיתוח והטעמה של מבחן דפ"ר אדפטיבי
שלבים, אתגרים ומשמעויות בהטמעת בחינת הדפ"ר האדפטיבית – מתיאוריה למעשה
מאת: סרן לימור רייז, פסיכולוגית בהתמחות תעסוקתית (ענף 1), ענף פיתוח מערכות מיון, ממד"ה, צה"ל.
פרטי קשר להתייחסות: Limor.raiz@gmail.com
מערכת המיון של צה"ל כוללת מספר שלבי מיון מרכזיים, ביניהם: צו ראשון, יום המא"ה, מיונים פיזיים ומיוני המשך לתפקידים ספציפיים. מטרת מערכת המיון היא להכיר את היכולות של המועמדים לשירות ביטחון (מלש"בים) בכדי להתאים להם את התפקיד שבו יכולותיהם יוכלו לבוא לידי ביטוי באופן מיטבי. השלב הראשון של המיון, אותו עוברים כלל המלש"בים, הוא ה"צו הראשון" המהווה את שער הכניסה לצה"ל. לשלב זה חשיבות רבה לשיבוץ לתפקיד ולמיוני ההמשך. במסגרת הצו הראשון מבצעים המלש"בים מספר תחנות מיון, כאשר המרכזיות שבהן: ראיון אישי, בחינת הדפ"ר (דירוג פסיכוטכני ראשוני) ובדיקות רפואיות.
בחינת הדפ"ר אומדת את היכולת הקוגניטיבית הכללית של המלש"ב. בחינה זו מהווה עוגן משמעותי בתהליך המיון לצבא ולה השפעה גדולה על השיבוץ, קבלת זימונים למיוני התפקידים המאותרים, וכן על יציאה לפיקוד וקצונה בהמשך השירות. הבחינה הועברה במשך עשרות שנים במתכונת קלאסית בלשכות הגיוס וכללה ארבעה פרקים בנושאים שונים: אנלוגיות מילוליות, אנלוגיות צורניות, חשיבה כמותית והבנת הוראות. בכל פרק היו 30-25 שאלות, וציון הגלם נקבע בהתאם למספר התשובות הנכונות. על אף היותה כלי מיוני מתוקף וסטנדרטי הוחלפה בחינת הדפ"ר הקלאסית בבחינה אדפטיבית חדשה, כדי לקצר את משך הבחינה ולצמצם את פוטנציאל שחיקת השאלות.
בחינת הדפ"ר האדפטיבית כוללת את אותם ארבעה פרקים, כשבכל אחד מהם הטמענו מודל IRT (כלומר Item Response Theory) תלת-פרמטרי. במודל זה כל שאלה מאופיינת בשלושת הפרמטרים הבאים: קושי (רמת היכולת הנדרשת על מנת לענות נכון על השאלה), הבחנה (עד כמה השאלה מבחינה בין מועמדים בעלי רמת יכולת גבוהה לנמוכה) וניחוש (מה הסיכוי למועמד בעל יכולת נמוכה לענות נכונה על השאלה).
הבחינה מתחילה בשאלה בעלת רמת הבחנה בינונית ומכאן ואילך השאלות המוצגות הן אלו האופטימליות ביותר (בהתאם לפרמטרים האדפטיביים של כל שאלה) לאיתור רמת היכולת של המועמד לאור דפוסי המענה שלו עד לאותו שלב. הבחינה תמשך באופן זה עד להתכנסות, קרי עד לשלב בו האלגוריתם מזהה את רמת היכולת של המועמד ברמת ביטחון מספקת. כמות השאלות והקושי שלהן משתנה בין מועמדים שונים כתלות ביכולת ובעקביות דפוס המענה שלהם.
הבחינה האדפטיבית דורשת משאבים רבים הן לטובת פיתוח אלגוריתם אדפטיבי המתאים לצורכי הארגון והן לטובת פיתוח שאלות רבות ליצירת מאגר שאלות גדול שהכרחי בבחינה מסוג זה. אולם ההשקעה משתלמת! לבחינה האדפטיבית יתרונות משמעותיים העונים על הצרכים הארגוניים שלנו: ראשית כל, היא קצרה יותר – על פי רוב נדרשות פחות שאלות בבחינה האדפטיבית מאשר כמות השאלות בבחינה הקלאסית. שנית, שחיקת השאלות נמוכה יותר שכן כל מועמד מקבל סט אחר של שאלות בהתאם לדפוסי המענה שלו. שלישית, היא תורמת לחוויית מועמד טובה יותר, שכן בעלי יכולת נמוכה לא חווים תסכול מחשיפה לשאלות ברמה גבוהה, ולהפך.
בכתבה זו אציג את עשרת השלבים המרכזיים לפיתוח והטמעה של בחינה אדפטיבית בארגון, על בסיס הניסיון שצברנו:
-
העמקה בתורת המבחנים האדפטיביים ו-IRT – עד כה לא הועברו בצבא בחינות אדפטיביות, לכן נדרשנו לתהליך למידה והעמקה על מנת להגיע לפתרון המקצועי והמתאים ביותר לצורכי הארגון.
-
פיתוח מאגר שאלות גדול – על מנת שהבחינה האדפטיבית תהיה אפקטיבית נדרש מאגר שאלות גדול יותר באופן משמעותי מאשר בבחינה הקלאסית, לצורך כך פותחו מאות שאלות אשר הצטרפו למאגר השאלות הקיים. מאגר זה צפוי לגדול בכל שנה בשאלות רבות נוספות.
-
פיתוח אלגוריתם אדפטיבי המותאם לצרכי הארגון – ניתן למצוא בתוכנות שונות קודים רלוונטיים עבור בחינה אדפטיבית, אך על פי רוב נדרש לבצע בהם התאמות ודיוקים לצורכי הארגון. למשימה זו גויסו מתכנתים אשר למדו לעומק את האלגוריתם בו השתמשנו ואפשרו לנו לעשות את ההתאמות הנדרשות. לדוגמא, עלה צורך לאפשר בחינת דפ"ר חוזרת באופן שלא יפגע במהימנות הבחינה. לכן ביצענו התאמה באלגוריתם כך שמבצעי בחינה חוזרת לא ייבחנו באף שאלה שביצעו בבחינה הראשונה.
-
פיתוח תשתית טכנולוגית לבחינה האדפטיבית – בחינה אדפטיבית דורשת תשתית של מערכת מבחנים שונה מזו הקלאסית, שכן הפעלת הבחינה נעשית על בסיס אלגוריתם ולא הצגה לינארית של שאלות כפי שמתקיים בבחינה קלאסית.
-
פיתוח סימולטור אדפטיבי – אחד מהכלים המרכזיים לפיתוח ואחזקה של בחינה אדפטיבית הוא הסימולטור האדפטיבי. הסימולטור מאפשר הרצה של כמות גדולה של מועמדים פיקטיביים שאנחנו קובעים מראש את רמת היכולת שלהם. דפוס המענה של כל מועמד פיקטיבי הוא בהתאם להסתברות שלו לענות נכונה על כל שאלה לאור רמת היכולת האפריורית שקבענו לו ולפרמטרים האדפטיביים של השאלה. בכך אנחנו יכולים לבחון כיצד ישפיעו שינויים ועדכונים באלגוריתם או במאגר השאלות על הבחינה.
לדוגמא, לטובת בחינת ההתאמה שביצענו עבור מבחנים חוזרים (ראו סעיף 3) בחנו תחילה את האלגוריתם המעודכן בסימולטור. רק לאחר שהסימולטור הראה מהימנות מבחן חוזר גבוהה, בחנו את האלגוריתם גם בפיילוט על מלש"בים בלשכת הגיוס. ככל שהרבנו להשתמש בסימולטור מצאנו כי הממצאים שלו דומים מאד לאלו הנאספים בפיילוטים הכוללים מועמדים, דבר המחזק את האמון שלנו בסימולטור, והוא הפך להיות גורם מרכזי בתהליך הפיתוח וקבלת ההחלטות טרם ביצוע הפיילוטים עם מועמדים.
-
אמידת פרמטרים אדפטיביים – כלל השאלות עברו פיילוטים על בסיסם נאמדו פרמטרים בהתאם למודל התלת פרמטרי: קושי, הבחנה וניחוש. אציין כי על מנת שהאמידה תהיה טובה ומדויקת היא נדרשת להתבסס על נתונים ממדגמים גדולים (בבחינת הדפ"ר כל שאלה עברה פיילוט על כ- 1,000 מועמדים).
תהליך זה של תיקוף הפרמטרים הוא תהליך מתמשך שאנו מבצעים באופן שוטף לטובת הבטחת איכות הבחינה גם לאחר עלייתה לאוויר. לכן, מספר חודשים לאחר עליית הבחינה האדפטיבית לאוויר, ביצענו תהליך נוסף של תיקוף הפרמטרים האדפטיביים של כלל השאלות, ובכך שיפרנו עוד יותר את איכות השאלות וכן איתרנו שאלות שנשחקו. בימים אלו אנו בוחנים פיתוח מנגנון שיאפשר שימוש בנתונים שנאספים באופן שוטף בבחינה האדפטיבית לטובת אמידה מחודשת ואיתור שאלות שנשחקות, כך שהתהליך יתבצע באופן אוטומטי כמה שניתן.
-
מחקר לבחינת מאפייני הבחינה - במסגרת הליך הפיתוח של האלגוריתם ערכנו פיילוטים ובדיקות שונות לבחינת מאפייני הבחינה (התפלגות, מספר שאלות, משך הבחינה וכו'). בהתאם בוצעו תיקונים ודיוקים במאגר השאלות ובאלגוריתם האדפטיבי. להלן הממצאים המרכזיים:
א. משך הבחינה: הבחינה האדפטיבית נמשכת כמחצית הזמן מהבחינה הקלאסית.
ב. כמות שאלות: בחנו מהו מספר השאלות המינימלי הנדרש להתכנסות ולעצירת הבחינה. בפרק אדפטיבי ממוצע השאלות עומד על כ-12 שאלות בפרק, לעומת 30-25 בפרקים הקלאסיים.
ג. סקלת ציונים: סקלת ציוני הגלם של הבחינה האדפטיבית הרבה יותר רגישה ומדויקת מאשר בבחינה הקלאסית. כלומר בבחינה האדפטיבית ניתן להבחין בהבדלים קטנים ביכולות של מועמדים, כאלו שייתכן והיו מקבלים את אותו ציון הגלם בבחינה הקלאסית. בנוסף התפלגות הציונים בבחינה האדפטיבית קרובה יותר לנורמלית בהשוואה לזו הקלאסית.
ד. בחינת שימוש במאגר השאלות: ערכנו בדיקה של ניצול מאגר השאלות ושל אחוז החשיפה של כל שאלה. כך לדוגמא מצאנו כי הרוב המוחלט של השאלות נמצא בחשיפה אופטימלית של עד 20% מהאוכלוסייה. בנוסף, ממצאי הבדיקה סייעו בדיוק האלגוריתם כך שייעשה שימוש נרחב יותר במאגר השאלות וכן באיתור שאלות בעייתיות בפרמטרים האדפטיביים שלהם, לטובת תיקונם או הוצאתם ממאגר השאלות.
-
מחקר לבחינת מהימנות ותוקף - בטרם עליית הבחינה האדפטיבית לאוויר בוצעה בחינה מקיפה של המהימנות והתוקף שלה. לצורך כך הועברו פיילוטים על מלש"בים בלשכות הגיוס וכן על חיילים בשלב הראשוני של השירות, ואלו הממצאים העיקריים:
א. נמצאה מהימנות מבחן חוזר גבוהה באמצעות בדיקת הקשר שבין ציון הדפ"ר בבחינה הקלאסית לבין ציון בבחינה האדפטיבית בקרב חיילים שביצעו את שתי הבחינות.
ב. הקשרים בין פרקי הדפ"ר בבחינה האדפטיבית הינם בינוניים כמצופה בדומה לקשרים הקיימים בין פרקי הדפ"ר בבחינה הקלאסית.
ג. הקשרים בין ציון הדפ"ר האדפטיבי לציוני מבחנים קוגניטיביים אחרים בתהליך המיון הינם בינוניים כמצופה, והם משמרים את עוצמת הקשרים המוכרים לנו מהבחינה הקלאסית.
ד. הקשרים בין ציון הדפ"ר האדפטיבי לבין ציוני מיון נוספים שאינם קוגניטיביים (כדוגמת הריאיון ויכולות בינאישיות ביום המא"ה) הינם חלשים כמצופה, ואף חלשים יותר מהקשרים המוכרים לנו מהבחינה הקלאסית – ממצא המחזק את התוקף המבחין של הבחינה.
ממצאים אלו מעידים על כך שהבחינה האדפטיבית מתנהגת באופן דומה לבחינה הקלאסית וכן על מהימנות ותוקף של הבחינה האדפטיבית.
-
קביעת נורמות למתן הציונים – אחד האתגרים במערכת המיון הצה"לית הוא העובדה שהיא מתקיימת באופן רציף בכל השנה ומורכבת משלבי מיון רבים התלויים בנתוני המיון שקדמו להם. לכן, נדרש להעניק ציון לכל מלש"ב בסמיכות רבה לביצוע המיון. בניגוד לצורך זה, החלפת כלי מיוני מחייבת תקופה של איסוף נתונים לטובת קביעת נורמות למתן ציונים. לכן עם העלייה לאוויר הייתה "תקופת החשכה" של כשלושה חודשים במהלכם מלש"בים ביצעו את הבחינה האדפטיבית וציוני הגלם שלהם נשמרו אך לא הופק מהם ציון סופי של דפ"ר.
אציין כי מהלך זה חייב תיאום ושיתוף פעולה בין גורמים רבים בצבא, בכדי שהתהליכים הארגוניים לאחר הצו הראשון שמושפעים ממנו (כמו זימון למיון המשך בהתאם לציון הדפ"ר) לא יפגעו מ"תקופת ההחשכה".
ציוני הגלם האדפטיביים נעים על סקלה שבה מרבית הנבחנים מקבלים ציון בין (3-) ל-(3) ואותם ממירים לציון דפ"ר סופי בסקלה של תשעה ערכים, על בסיס הנורמות (התפלגות האוכלוסייה, ממוצע, וסטיית תקן) שחושבו מהנתונים שנאספו במהלך תקופת ההחשכה. תהליך זה של קביעת הנורמות והפרמטרים לא מתרחש רק לפני העלייה לאוויר בפעם הראשונה, אלא הוא מבוצע שוב ושוב באופן תקופתי.
-
הסברה - החלפת בחינת הדפ"ר הינה משמעותית הן עבור המלש"בים אשר נבחנים בבחינה בעלת מאפיינים שונים מהבחינה הקלאסית, והן עבור גורמים שונים בתוך הצבא שעושים שימוש בציוני הדפ"ר בקבלת החלטות ארגוניות שונות (לדוגמא גורמי שיבוץ ואיתור לקצונה). לכן, בפלטפורמות שונות באופן המותאם לקהלי היעד הרלוונטיים נערכו מופעי הסברה על הבחינה החדשה: הסיבות לשינוי, מאפייני הבחינה, הציונים המופקים, התפלגות הציונים ועוד.
עשרת השלבים שתיארתי עד כה הכרחיים על מנת לעלות עם בחינה מקצועית ומהימנה. אך עם זאת הבחינה האדפטיבית מאפשרת עוד שלל פיתוחים שיכולים לסייע לארגון להפיק ממנה את המיטב. ולכן, בעיניי, פיתוח הבחינה האדפטיבית לא מסתיים בעלייה לאוויר או בהגדלה קבועה של מאגר השאלות. דוגמא לרעיון פיתוח נוסף אותו אנו בוחנים בימים אלה הוא מנגנון שיאפשר "צינון" אוטומטי של שאלות בעלות חשיפה גבוהה. כלומר האלגוריתם יאתר את השאלות שהיו בחשיפה הגבוהה ביותר וישהה שימוש בהן למשך תקופת זמן שתקבע, לאחר תקופת זמן זו, יחזרו השאלות למאגר באופן אוטומטי.
לסיכום, בכתבה זו סקרתי תהליך מורכב מאד של הטמעה של בחינת דפ"ר אדפטיבית חדשה, במסגרתו נדרשנו להעמקה, מחקר, פיתוח ותיאום מול גורמים רבים בצבא ומחוצה לו. לאור החשיבות הגדולה של בחינת הדפ"ר להמשך תהליכי המיון והשיבוץ בצבא הושקעו משאבים רבים וקשב ארגוני משמעותי לשינוי זה. כיום, שנה וחצי לאחר הטמעתה של בחינת הדפ"ר האדפטיבית ניתן לומר בוודאות כי השינוי הוביל לכל התוצאות הרצויות. הרווחנו בחינה בעלת מאפיינים פסיכומטריים טובים, מדויקת, קצרה, בעלת פוטנציאל שחיקה נמוך ולא פחות חשוב, בעלת חווית מועמד טובה יותר. זאת הזדמנות להודות לכל השותפים שלנו מבית (אכ"א, מיטב וממד"ה) ומחוץ (מאל"ו) שאלמלא ההירתמות והנכונות לשיתוף פעולה משמעותי מצדם – תהליך זה לא היה מסתיים בהצלחה שכזו.
אסיים באנקדוטה קטנה – במהלך ניקיונות הפסח בשנה החולפת נמצאה במשרדי חוברת משנת 1993 הנושאת את הכותרת "פיילוט מבחנים אדפטיביים ממוחשבים בלשכת הגיוס". איני יודעת לומר מה עלה בגורל הפיילוט ומדוע לא המשיך לשלב ההטמעה, על אף שנראה כי המחקר היה מעמיק והממצאים היו טובים. אולם, ניכר כי למי שאייש אז את ענף מיון היה חזון שפשוט הקדים מעט את זמנו, ואולי זרע אז בדמעה את מה שאנחנו קוצרים עכשיו בשמחה.