אורח: יוסי דינור מנחה: ד"ר ליאת בסיס
הרבה יותר תפקידים בישראל היום מצריכים התמודדות במציאות מורכבת שדורשת ריבוי ומיקבול של כישורים. כולנו מכירים את זה, לרגע עונים לדואר אלקטרוני לשאלה פשוטה שמצריכה תשובה כתובה, נכנסים לדיון שמצריך חשיבה יצירתית סבוכה תוכך כדי הדברים, מציצים בוואצאפ כדי לגלות שהצוות שלך בדיוק העלה כתבה מעניינית שאת חייבת לקרוא, מחשבים תקציב, בודקים עמידה ביעדים, בונים תכנית עבודה ועוד.
כדי לדמות את סביבות העבודה העכשוויות, יותר ויותר אנשי מיון משתמשים במבחנים רב מימדיים אשר בודקים אסופה של דברים, שהם שלם יותר סכום במגוון של כלים שיודגמו כאן.
הפסיכומטריקה הסטנדרטית ביחס למדגמי אמת (מדגמים של נבחנים שלוקחים מבחנים אמיתיים שיקבעו קבלתם לעבודה) כוללת לרוב שימוש במהימנות אלפא קרונבאך (כי לא מביאים את הנבחנים שוב...) ובחינות תוקף מבנה ותוקף ניבוי למול הצלחה בעבודה. בבדיקות האלה, מה שמתקבל פעמים רבות הוא שבעוד המתאמים של מבחנים רב מימדיים גבוהים, המהימנויות שלהם נמוכות. נתון זה עשוי להיות מבלבל במבט ראשון.
בבלוג הפעם יוסי דינור יספר וידגים קצת בנושא מבחנים רב מימדיים.
שלושה דברים על יוסי:
1. בעשרים השנים האחרונות מנכ"ל טופ שיא, חברה שהקים עם נתן ברקוביץ ז"ל לפני 27 שנים. טופ שיא מתמחה במיון ואבחון של מועמדים לעבודה, בדגש על פיתוח מבחנים ומערכות ממוחשבות בבית הלקוח, חברה משפחתית שחלק מהעובדים בה עובדים מיום הקמתה. יוסי התחיל את דרכו המקצועית בתור ראש מדור מיון צוות אוויר בח"א במשך 12 שנים, שם נצבר הניסיון והידע המקצועי המשמעותי שלו בתחום.
2. ליוסי יש תואר שני בפסיכולוגיה מחקרית ותעסוקתית והתמחות בפסיכולוגיה תעסוקתית.
3.בשעות הפנאי הוא עוסק בצילום ובעריכה של סרטי וידיאו.
אז יוסי, כשאתה אומר מבחנים רב מימדיים, למה אתה מתכוון?
בואי נתחיל עם ההגדרה הקלאסית של מבחן פסיכולוגי – מדידה סטנדרטית ואחידה של מדגם התנהגות. ארצה להתמקד בצמד המילים, "מדגם התנהגות". אנחנו כפסיכולוגים מנסים לדגום מימדים שונים, כישורים ספציפיים כמו יכולת כמותית, מרחבית, מילולית וכו' וכשבונים מבחן משתדלים לדגום פריטים באופן הומוגני כשהמטרה היא לבנות מבחן מהימן יותר ובהתאם גם תקף יותר.
כאשר מדברים על מדגם התנהגות, ההתנהגות היא לעיתים בסביבה שבה יש מספר גדול של גירויים והאדם נדרש לבצע בה פעולות מורכבות (הדורשות ממנו לבטא מספר כישורים), חלק גדול מהן בו זמנית.
זה נראה לי זמן טוב לדוגמא.
למשל טייסת, מטיסה מטוס. מה היא בעצם עושה כשהיא טסה? קוראת את לוח השעונים, צריכה להיות בקשר עם הנווט, עם מגדל הפיקוח ואולי עם טייסים אחרים, צריכה להפעיל את המערכות השונות במטוס, לקלוט מידע רב לעבד אותו מהר ולפעול על פיו, לקלוט את המרחב ועוד. ברור שההתמודדות מחייבת ניצול מספר רב של כישורים שצריכים לבוא לידי ביטוי וכולם ביחד.
בעבודתי בחיל האוויר, פיתחנו מערכת ממוחשבת שכללה 10 מבחנים ממוחשבים, כל מבחן בדק כושר ספציפי רלוונטי לטיס. במקביל פיתחנו גם מבחן סימולציה של טיסה. במבחנים הספציפיים ידענו מה כל מבחן בודק. למשל, מהירות תגובה, עירנות, ריכוז, קואורדינציה, תפיסה מרחבית ועוד. במחקר התוקף, אחרי כמה שנים, בדקנו את המתאם של כל מבחן עם מדדי ההצלחה בטיסה. לחלק מהמבחנים הספציפיים היה תוקף ניבוי מסוים גבוה יותר או פחות, אבל, מבחן הסימולציה זכה לתוקף הגבוה ביותר. גם שקלול של כל עשרת המבחנים בנוסחת רגרסיה לא הגיע לתוקף שלו. במבחן הסימולציה לא ידענו ספציפית איזה כישורים אנו בודקים, ולמרות זאת, כאמור, אותו מבחן, סיפק את התוקף הגבוה ביותר.
יש מבחנים שאנו ואחרים משתמשים בהם, מבחנים שלמעשה דורשים מספר כישורים. למשל מבחן הבנת הוראות. מבחן שנפוץ בתהליכי מיון רבים כחלק מבטריית מבחני הכישורים. המבחן דוגם מספר יכולות מנטליות כמו קריאה, חישוב, ניתוח, ביצוע וכד'. זה מבחן מאד לא הומוגני והמהימנות (אלפא קרונבאך) שלו אינה מרשימה במיוחד אבל תוקף הניבוי (במחקרי התוקף שאנו עורכים) מול תהליכים המחייבים למידה עיונית גבוה יותר, באופן עקבי, מכל מבחן בודד אחר. (כך למשל במחקר תוקף אחד הוא נמצא כבעל תוקף של 0.37 לעומת תוקף ממוצע של 0.23 – או טווח – 0.17-0.26 של מבחני כישורים אחרים).
היום בעידן שנותן הרבה יותר דגש על חוויית מועמד מעניין אותי לדעת כיצד נבחנים מתייחסים למבחנים כאלה?
לרוב המבחנים הרב מימדיים, זוכים לתוקף נראה גבוה, כלומר בעיני הנבחנים נראים המבחנים האלה יותר רלבנטיים ומתאימים לבחינת כישוריהם לתפקידים השונים.
נבחן שמגיע להבחן לתפקיד מצפה שיבחנו אותו בכלי מיון שנראים רלבנטיים לעבודה, אם את מעבירה מבחן שהנבחן מרגיש שאינו רלבנטי הוא חש חוסר נוחות. בחינה במבחן הבודק כושר ספציפי יכול, לעיתים, להקשות על הנבחן לראות את הקשר לעבודה, ככל שהמבחן רלבנטי ואינטגרטיבי יותר כך הוא מדמה יותר את סביבת העבודה שהוא מכיר או מדמיין.
בתהליכי מיון לקידום בארגון זה בולט אף יותר, מדגמי עבודה ותרגילי מצב זוכים לתוקף נראה גבוה יותר (וגם לתוקף ניבוי) ביחס למבחנים לבחינת כישורים ספציפיים.
האם יש משהו מתחום מדעי המוח שיכול לשפוך קצת אור על הנושא -- תוקף גבוה של מדגם התנהגות הטרוגני?
כידוע, יש לנו במוח שתי המיספרות, ימנית ושמאלית כשכל אחת אחראית על כישורים אחרים. הימנית על תפיסה מרחבית, חזותית, יצירתיות, תקשורת בלתי מילולית לעומת השמאלית שקשורה לתפקודי קריאה, כתיבה, פעולות שדורשות דיוק והקפדה על פרטים. בפסיכולוגיה אנחנו מנסים לבדוק כישורים ספציפיים (לדוגמא, תפיסה מרחבית המשויכת להמיספרה הימנית, או ריכוז ודיוק המשויכים להמיספרה השמאלית וכד') אך הסביבה היא מורכבת מיכולות המשויכות לשתי ההמיספרות ובמציאות המורכבת יש גם צורך לעבור תוך כדי תפקוד בין ההמיספרות.
יש מבחנים שבודקים חלוקת קשב בהם נותנים לנבחן לבטא תפקוד של שתי ההמיספרות, במבחנים אלו חשובה לא רק בחינה של המימדים הייחודיים לכל המיספרה אלא גם היכולת לעבור מהמיספרה אחת לשניה. היכולת הזו כשלעצמה היא אלמנט שמשפיע על הביצוע. יש אנשים שלא מסוגלים לבצע את שתי הפעולות יחד. מבחני חלוקת קשב, שהם עוד סוג של מבחנים רב מימדיים, מודדים את היכולת הזו.
לדוגמא, מבחן המחייב ביצוע של שתי מטלות בו זמנית, אחת שדורשת תפיסה מרחבית והשניה דורשת תרגיל חשבוני או מילולי. להמחשה, מבחן שבו מוצגים שעונים ובהם נעים מחוגים, על הנבחן להקיש על מספר השעון בו מחוג מגיע לנקודת מטרה.
זו מטלה אחת. המטלה השניה שהוא צריך לבצע היא בדיקת נכונות התוצאה של תרגילי חשבון, המוצגים ברצף אחד אחרי השני. מטלה דינמית שמצריכה את תפקוד שתי ההמיספרות כולל מעבר בינהן.
כשאנחנו מבצעים מטלה בעבודה או בתפקיד מסויים ברוב המקרים אנו צריכה להביא לידי ביטוי כישורים שנדרשים משתי ההמיספרות. בבנית כלי מיון מורכבים הדורשים מספר כישורים, אנחנו לא תמיד יודעים בדיוק מה אנחנו מודדים אבל אנחנו מדמים את הסביבה ולכן מגיעים לתוקף גבוה יותר.
האם זה אומר להפרד מהמבחנים הספציפיים?
ממש לא. המבחנים הספציפיים ממשיכים להיות נחוצים. . ראשית, כי לא ניתן לבנות מטלה סימולטיבית לכל סוג של תפקיד, בוודאי לא מטלה שתמצה את כלל הדרישות מהעובד בתפקיד היעד. שנית, במקרים רבים נדרש לקבל פרופיל תיאורי מורחב של המועמד, במה הוא טוב יותר ובמה פחות. אנו נדרשים לא פעם לראייה רחבה של פוטנציאל, התאמה למגוון תפקידים, אולי גם עתידיים. . גם בייעוץ ובהכוון תעסוקתי כאשר לא בוחנים למול תפקיד או סביבת עבודה ספציפית יש צורך להציג פרופיל כישורים.
לצד זאת, יש תפקידים בהם מורכבות הסביבה מאוד משמעותית וחשובה ואם אני רוצה לנבא בדיוק גבוה, חשוב לשלב גם מבחנים רב מימדיים.
אפשר לתאר רצף של מבחנים, מספציפיים ועד רבי מימדים?
אפשר לתאר רצף כזה שמתכתב גם עם נאמנות למקור (המידה בה המבחן מדמה את סביבת העבודה התפקידית אליה מיועד הנבחן). אני אדרג שש שיטות לבחינת מועמדים לעבודה על פני הרצף הזה, מהכי פחות נאמן למקור, והכי ספציפי ועד הכי מורכב ונאמן למקור:
1. מבחני כישורים ספציפיים.
2. מבחני כישורים רב מימדיים (הבנת הוראות, חלוקת קשב).
3. מבחן מצב שמדמה סביבת עבודה.
4. סימולטור.
5. מדגם עבודה.
6. תקופת ניסיון.
מה עושים עם הפער בין מהימנות לתוקף?
הכלל המוכר לנו הוא שמהימנות היא חסם לתוקף. העובדה שבבחינות פסיכומטריות של מועמדי אמת, המהימנות היא לרוב אלפא קרונבאך, היא הגורם העיקרי והמבלבל לפער בין מהימנות ותוקף. שכן בחינה של תחום תוכן הטרוגני מצריכה בדיקות מהימנות אחרות. כאן חשוב לנסות ליישם בדיקות אחרות של מהימנות (למשל מבחן חוזר) במידת האפשר. אם לא (לרוב לא נביא מועמד להבחן פעמיים, ודאי לא בתקופת זמן קצרה ולמטרה דומה), אפשר לנסות לייצר חלופות או להסתפק בבדיקות דקדקניות של תוקף, שהוא הדבר העיקרי שנרצה להשיג. היעדרה של אלפא קרונבאך בשלבים בהם עדיין אין קריטריון, מקשה על הליך פיתוח המבחן – מה לכלול, מה לשפר, מה להוריד.
תודה רבה ורב מימדית יוסי! לסיום הייתי רוצה לשאול, איזו פנייה היית רוצה להפנות לפסיכומטריקאים בישראל?
פסיכומטריקה היא גישה שמכוונת אותנו לעבוד בצורה מאוד יסודית, מדוייקת וספציפית. המבחנים מאוד מוכוונים לתפיסה הזו וגם המדידה המדעית נבנתה לאורה. לפרק ולא לתכלל.
במציאות המורכבת למדנו שהמכלול עשיר ומורכב יותר מהסכום הסטטיסטי והלינארי של חלקיו. מבחנים "נקיים" וחד-מימדיים הובילו אותנו עד הלום, אך נראה כי הגיעו לגבול יכולת הניבוי ולמחסום תוקף של 0.30-0.35. אנחנו שם כבר שנים רבות, ללא חידושים או פריצות דרך. אני מאמין שהגיע הזמן לנסות לדגום את המורכבות ולא לחשוש מפניה. להעז לפרוץ מעבר למגבלות המסורתיות, להשקיע בפיתוח מבחנים יותר סימולטיביים, יותר רב-מימדיים ולנסות להתקדם משם. עם מעט יצירתיות וחוש הרפתקני, יתכן שזה יקח אותנו צעד אחד קדימה.
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
תגובות
1. אני רק שאלה נחום שמי (23/01/2018)
תודה רבה על הפוסט המעניין. רציתי רק לשאול את יוסי: מה לדעתך מקומו של המבחן הרב-מימדי במציאות המודרנית המורכבת? הרי בימינו לכל אחד יש טלפון חכם בכיס.