מידעונט אפי

גיליון 2

"מנקודת מבטי המקצועית"

הצגת עמדה לגבי מה שקורה/נעשה בסביבתנו

על מבחני רישוי ופסיכומטריקה

מאת חנן גולדשמיט

מנקודת מבטי המקצועית, כאיש פסיכומטריקה ומשפטים - במבחני רישוי  הפסיכומטריקן נסוג צעד אחד קטן אחורה.

על קצה המזלג – מבחני רישוי מנסים לנבא, מנסים לקלוע, שכולם "יפלו על האלכסון" (אפס false Positive ואפס false negative).

אנחנו עושים מאמץ עליון ש"נפגע" מאה אחוז בהכרזת בעל הכישורים כמקבל תעודת המומחה, ומאה אחוז בהכרזת נטול הכישורים כמי שלא יקבל תעודת מומחה.

כפסיכומטריקנים אנחנו נכנסים לתמונה כאשר לפנינו שתי אופציות של עבודה פסיכומטרית בבניית מבחן הרישוי:

(1) למצוא קריטריון מוסכם של מי הוא בעל הכישורים הראוי, לבנות מבחן פיילוט בהתאמה ולבדוק תוקף ניבוי (המתאם בין קריטריון זה למבחן עצמו) – ואז לקבוע מהו סף המעבר לאור המתאם בין המבחן לקריטריון ויחס הברירה. בשלב הבא עלינו לבנות ולהעביר מבחן דומה כמבחן רישוי. באופציה זו יש להגדיר "בעל כישורים ראוי", לבנות מבחן מותאם לכישורים, למצוא מדדי קשר, ולהחליט סף מעבר. הבעייתיות באופציה זו היא שקשה למצוא הגדרה של "בעל כישורים מצוי", ואז להתאים לו בהצלחה מבחן מותאם. אלו שני שלבים מובחנים, שבשניהם צריכה לבוא עבודה משותפת לא פשוטה של אנשי תוכן (אנשי התחום – מיהם?) ואנשי פסיכומטריקה.

(2) לתקף תוקף מבנה לאור דעת מומחים המסכימים על תוכן המבחן וסף הקבלה, בהתאם למדדים סטטיסטיים מתאימים. למעשה אופציה זו מאחדת כמעט את כל השלבים של אופציה (1), עם ויתור על בדיקת תוקף קריטריון בין המבחן לקריטריון. כי בדרך כלל אין. אבל באפשרות (2), היא המצב הקיים ברוב מבחני הרישוי הקיימים, זו החלטה בלעדית של מומחי התוכן. מומחי התוכן הם אשר בוחרים את הנושאים, את רמת הבדיקה של כל נושא, את הפירוק של כל נושא לתתי נושאים, ואת הדרך הראויה לשאול (סגור, פתוח, פתוח חלקית וכו'). ואז הם למעשה הקובעים, תוך כדי בנייה, ש"זהו מבנה הידע/כישורים הנדרש על מנת לקבל אישור/רישיון". אין בדיקה אמפירית חיצונית כלפי קריטריון.

 

מקומו של הפסיכומטריקן כבר בשלב זה הוא מורכב, כי הוא אמור לתת הבנה פסיכומטרית על גבי ידע/יכולת ולא על גבי "מבחן". לדוגמא, במבחני רישוי נהיגה קובע איש תוכן, בוחן תנועה שיושב ליד הנבחן בנהיגה של 15 דקות, האם הנבחן מחזיק בכישורים המספיקים כדי להיות בעל רישיון נהיגה, שהוא רישיון רב עוצמה הקובע גורלות של רבים. וקביעה זו נעשית בשטח, בלי מבנה ראוי ומדויק של "כישורים נבדקים, זמן ומספר חזרות". אין בדיקה כלשהי של איכות "השאלות" במבחן רישוי נהיגה. הפסיכומטריקן נעלם מן השטח – וכנראה חבל שכך. אבל ברור שגם במצב אוטופי, הפסיכומטריקן אינו הגורם החשוב במערכת זו.

מן הכלל אל הפרט – במבחני רישוי התמחות בנוירו-כירורגיה, אין לנו את קריטריון "המומחה הנכון בנוירו-כירורגיה" (האם זה הרופא המצליח ביותר כלכלית? שיש לו הכי מעט תביעות רשלנות? שפרסם מאמרים בכתבי עט רפואיים? שמופיע בתכניות טלוויזיה?), אבל יש לנו את מומחי התוכן של מבחני הרישוי. הם מחברי השאלות, העובדים עם פסיכומטריקנים שמעבירים את השאלות הנדרשות למבנה שאלות ראוי ומתאים. חלקן שאלות סגורות, חלקן שאלות פתוחות או חצי פתוחות. כולן עוברות הערכה, בדיקה וניתוח סטטיסטי, על ידי פסיכומטריקן שמלווה את העבודה ואחראי לשאלות המקצועיות שנובעות מהבדיקות הפסיכומטריות, טרום העברה. הוא אינו מחליט בבחירת הנושאים והשאלות עצמן, ולא במשקלן היחסי, אבל הוא שם לחוות דעתו.

ובסוף הדרך ייתכן שנהיה במצב שהנבחנים נבחנו על שאלת רב ברירה בתחום, ולאחר העברה קיבלנו מתאם שלילי, עם התשובה האחת החיובית. שאלה נוראית מבחינה פסיכומטרית. אם ועדת המומחים/ועדת "מחברי השאלות" תצהיר "מי שלא יודע שאלה זו אסור שיחזיק סכין מנתחים בידיו", ייסוג הפסיכומטריקן לאחור, ויידום.

 האגודה הישראלית לפסיכומטריקה (אפי)

אפי - אגודה ישראלית לפסיכומטריקה

  • Facebook