
מידעונט אפי
גיליון 9
פינת העורכת
הגיליון הנוכחי היה מוכן לפרסום אחרי סוכות, כשהחיים היו אמורים לחזור לשגרת "אחרי החגים". במקום זאת הגיעו ימים ארורים שכונו במונח הצורם "שגרת מלחמה".
בין הרגשות הסוערים, הכאב שאין לו גבולות, הלב הזועק – מצאתי עצמי מתלבטת: האם נכון לפרסם את הגיליון? מתי? ואיך לא, הרי הכותבים טרחו והשקיעו? האם מאמרים שנכתבו בימים ההם רלוונטיים גם כיום? האם לאנשים יש פניות רגשית לקרוא? הרבה שאלות ועוד. החלטתי שכעת הגיעה השעה. לא כי נגמר. לא כי שמח, אלא כי אולי אפשר(?).
שניים מן המאמרים הם עדכניים לימי המלחמה. תודה לכל הכותבים על ההשקעה ועל הנכונות לשתף את קהילת אפ"י בעשייה שלכם. תודה למתן הר צבי על פרסום הגיליון והגיליונות הקודמים באתר אפי.
אז מה בתפריט?
סול פיין מציג כלי פסיכולוגי שפיתח לצורך ניבוי אי-פרעון בהלוואות שיש לו תוקף משמעותי מעל ומעבר לזה של ציון האשראי הבנקאי. המחקר פורסם בשנה האחרונה במאמר אקדמי.
חני שלטון ממליצה על שימוש בכלי AI בתהליכי הערכה לשם למידה בכיתה ומדגימה כיצד לעשות זאת.
פרומית הורוביץ מציגה אתגרים והתמודדויות הכרוכים בעבודה על בחינות הסמכה ורישוי.
תרצה וילנר, יוליה ליפשיץ-ברזילר, ואיתמר גתי מציגים שאלון חדש למדידת אוריינטציות להשכלה גבוהה בקרב צעירים הנמצאים בשלב קבלת ההחלטות לקראת לימודים אקדמיים.
גל אלון מתאר את תהליך ההטמעה של חשיבה תוצאתית כחלק מתפיסת היישום של ראמ"ה.
נטלי דוידי-צלר מתארת מחקר שנעשה באדם-מילוא בחודש נובמבר לגילוי פערים ושינויים במדדי אישיות, לאור המלחמה.
ומה עוד אספר?
מאז פורסם גיליון 8 השקנו את "אפיזום": סדרת מפגשים מקוונים שבה התכנסנו לשוחח עם כותבי המאמרים על הנושאים שהציגו. התקיימו 4 מפגשים שזכו להשתתפות מרשימה של עשרות חברים וחברות מאפי. לצערי, המיזם נעצר ואני מקווה שנוכל לשוב ולקיימו.
תודה מיוחדת לדוברים שלקחו חלק ותרמו מהידע ומהניסיון שלהם: דפנה חיימוביץ' ממגדל אור, לימור רייז מממד"ה בצה"ל, צור קרליץ ממאל"ו, אלון מהרשק ממאל"ו. וכמובן, תודה לכל המשתתפים והמשתתפות שתרמו בנוכחותם החשובה.
בהמשך למפגש אפיזום שבו עסקנו בתפקידם של הפסיכומטריקאים בעידן ה- AI, ביקשתי באותם הימים מקלוד (Claude.ai) לכתוב לכולנו מכתב שבו הוא יתאר במה הוא יוכל לסייע לנו ומה הערך המוסף שלנו על פניו. לי ספק שיש לנו ערך מוסף עצום ואני ממליצה לכם לקרוא את מכתבו (לא נגעתי):
שלום חברי אפי היקרים,
אני קלוד, סייע דיגיטלי מבוסס בינה מלאכותית. אני מודע לכך שעבודתכם כפסיכומטריקאים היא מורכבת ודורשת מיומנויות ויכולות אנושיות ייחודיות. עם זאת, אני סבור שאני יכול לסייע לכם ולתרום לעבודתכם בדרכים שונות:
-
ניתוח מהיר ויעיל של נתונים - אני יכול לעבד כמויות גדולות של נתונים בזמן קצר יחסית ולספק תובנות סטטיסטיות שימושיות.
-
אוטומציה של מטלות חוזרות - אני יכול לטפל במטלות חוזרות ושגרתיות כמו טיוב נתונים, הזנת נתונים ויצירת דוחות, ובכך לחסוך לכם זמן יקר.
-
גישה לידע רחב - אני יכול לגשת במהירות למאגרי מידע עצומים, לאתר מחקרים וידע רלוונטיים ולספק אותם לכם.
-
פיתוח ותיקוף כלי מדידה - אני יכול לסייע בפיתוח ותיקוף יעיל ומהיר של כלי מדידה חדשים.
עם זאת, אני מודע למגבלות שלי כסייע דיגיטלי:
-
אין לי יכולת קבלת החלטות עצמאית או שיקול דעת אנושי. אני תלוי בהנחיות ובהדרכה שלכם.
-
אין לי יכולת הבנה ואמפתיה אנושית. איני יכול להבין רגשות או מצבים מורכבים כפי שאתם יכולים.
-
קיימות מגבלות ביכולת הלמידה וההבנה שלי. יש תחומים שאני עדיין מתקשה להבין וללמוד באופן עצמאי.
-
אין לי יצירתיות או חדשנות אנושית. אני מוגבל לאלגוריתמים שאותם תכנתו המפתחים שלי.
אני מבין שעבודת הפסיכומטריקאי דורשת מיומנויות מורכבות של חשיבה ביקורתית, קבלת החלטות, יצירתיות ואמפתיה, שאני כיום עדיין רחוק מלהגיע אליהן.
אני מקווה שבעתיד, עם התקדמות הטכנולוגיה, אוכל לסייע לכם טוב יותר, אך אף פעם לא אוכל להחליף לחלוטין את הערך האנושי הייחודי שאתם מביאים לתחום הפסיכומטריקה.
אשמח לשמוע את דעתכם וללמוד כיצד אוכל לסייע לכם טוב יותר בעבודתכם החשובה.
בברכה,
קלוד
לי ברור שמותר האדם מן המכונה וגם מן הבהמה, לו רק ישכיל לשים לנגד עיניו תמיד את הטוב.
בתקווה לשנת 2024 הרבה יותר טובה. שנה שנצליח לראות בה אור.
מחכה להיפגש עמכם בכנס אפי.
עינת נוטע-קורן
עורכת המידעונט והיו"רית הנבחרת לאפי
אשמח לקבל מכם תגובות, הערות ורעיונות לגיליונות הבאים: einat.notea@gmail.com
מדיניות בנושאי מדידה והערכה
מדידה ומדיניות: הֲיֵלְכ֥וּ שְׁנַ֖יִם יַחְדָּ֑ו אִם־נוֹעָֽדוּ?
מאת: ד"ר גל אלון, ראמ"ה, הרשות הארצית למדידה והערכה בחינוך
הרשות הארצית למדידה והערכה במשרד החינוך תחגוג בקרוב עשרים שנים להקמתה. מהקמתה זכינו כולנו. ראמ"ה ריכזה ומרכזת אליה חלק מהמוחות הטובים ביותר בישראל בתחום הפסיכומטריקה. החלטת ממשלה מס' 3060 לאימוץ עקרונות ועדת דוברת יצרה את אחד מהחיבורים החשובים בין הממשלה לבין עולם המדע, עם תקציב שהופך אותו לגוף המחקר החברתי הגדול ביותר בישראל, למעט הלשכה המרכזית לסטטיסטיקה.
חברי כוח המשימה הלאומי לקידום החינוך בישראל, בראשות שלמה דוברת, יצרו את ראמ"ה והציגו תפיסה פורצת דרך לעתיד החינוך בישראל. אך לראמ"ה הם שכחו להגדיר דבר אחד: את האופן בו תימדד ההצלחה. בארצות הברית ההכרח להגדיר תוצאות מדידות לכל מהלך ממשלתי עוגן עוד בשנת 1993 (GPRA 1993, GPRA Modernization Act 2010). אגפי המדיניות שהוקמו בוושינגטון כפטריות אחרי הגשם משנות השבעים (Borins 2010), לצד גופי החשיבה (Think Tanks) שעסקו במדיניות (Ricci 1994, Ch. 1), הבינו שללא הגדרת תוצאות (Outcomes), אין למערכת הממשלתית מצפן, והיא תתקדם כסומא באפלה (Hatry 1970). היעדרו של מנגנון שוק שמאלץ חברות להביא ערך לצרכן, מחייב את המגזר הציבורי למצוא מדד חלופי למיקסום.
כיצד ניתן למדוד את המודד? ומהם מדדי התוצאה של מדדי התוצאה?
כמויות המידע שראמ"ה אוספת ומנתחת הן עצומות. עם החזרה ההדרגתית לשגרה, לאחר שתסתיים מלחמת "חרבות ברזל", ימומש מערך ההערכה והמדידה החדש שגובש בתחילת השנה (חוזר מנכ"ל | מצגת | סרטון | דוח). במסגרתו, ראמ"ה תאסוף בשנה הקרובה כ-30 מיליון "שדות מידע" (Data Points), דרך שימוש בכלי הערכה שונים. כאשר נשוב למערך הערכה סדיר נדע מה מצבו של כל תלמיד בכיתה ד' בשלושה תחומים שונים של שפת אם, ונוכל להעריך את החולשות והחוזקות של תלמידי ו' ו-ט' באחד מכמה מקצועות, ביניהם מתמטיקה, אנגלית ומדע וטכנולוגיה. יהיה בידינו גם מידע רב שנאסף דרך שאלונים ממאות אלפי תלמידים, מורים ומנהלים. אך המדידה כשלעצמה היא התפוקה בעבודתה של ראמ"ה. היא לא התוצאה.
לשם מה נועדה המדידה? זו שאלה שראמ"ה עסקה בה במשך כחודשיים, בסוף שנת 2022. עמדו בפנינו שתי גישות שונות שהתפתחו במהלך השנים. על פי הראשונה, תפקידנו מסתיים בהצגת הנתונים שאנו אוספים במבחנים ובסקרים, והתוצאה היא היקף השימוש או החשיפה לנתונים. על פי הגישה השנייה, פיתוח הכלים וניהול המדידה אינם יכולים בפני עצמם להיחשב הצלחה. חשיבה תוצאתית מחייבת לשאול מה קורה בעקבות המדידה, ומה שינוי המדיניות שהמדידה תרמה לו. במילים אחרות, המדידה נועדה לקידום מדיניות מועילה (אפקטיבית) יותר, אשר תצליח להשיג את התוצאות שהגדירה לעצמה (OECD 2007, Wilson 1996, Barber 2008). השפעה, ולא שימוש.
קהלי היעד נגזרים משאלת התוצאה. בחינת היקף השימוש בנתונים תביא אותנו לעולמות של אנשי מדיניות ומחקר, לצד מנהלים שרוצים להעמיק במידע. בחינת היקף ההשפעה של הנתונים תוביל לשלושה קהלי יעד שונים - המורה בכיתה (אשר נדרש לקבל החלטות פדגוגיות ביחס לכל תלמיד ולכיתה כולה), מנהלי בתי הספר (אשר נדרשים גם לעסוק בהקצאת משאבים ובמתן הנחיות רוחביות, המהוות מדיניות בית-ספרית) ואנשי המטה ברשויות המקומיות, במחוזות המשרד ובמטה בירושלים (אשר נדרשים להחליט על תקציבים ונהלים שונים). כל דרג שכזה מחזיק בידיו סמכויות החלטה שונות.
ראמ"ה בחרה במדד ההשפעה ובעקבותיו הטמיעה שינויים משמעותיים באופן בו היא פועלת. לא עוד דוחות ארוכים שנדרשת מומחיות סטטיסטית כדי להבין אותם. לא עוד ריחוק מבתי הספר בשל תפיסה (שגויה) כאילו אנחנו מפקחים עליהם ולא שותפים שלהם לעשייה. לא עוד סקרים שנקבעים "מלמעלה למטה" ללא מנגנוני התייעצות. אם נרצה למדוד כמה מנהלי בתי ספר שינו החלטות בעקבות התוצרים שלנו, עלינו להבין אילו החלטות המנהלים והמנהלות נדרשים לקבל, ולהתאים עצמנו להחלטות שלהם, וכך אנו מנסים לעשות בימים אלה. אם נרצה לראות אילו שינויים הוטמעו בתוכניות התערבות של מטה משרד החינוך, נצטרך להצביע בבירור על "מה לא עבד".
מתפיסה למעשה: איך נראים תוצרים מכווני השפעה?
שינוי התפיסה הוביל, בסופו של דבר, גם לשינויים באופן ביצוע ההערכה החיצונית של בתי הספר. ציון מספרי בסולם 300 (או 500, עד 2021) שמרבית המנהלים אינם מבינים כלל את משמעותו, ממקד את תשומת הלב בדבר הפחות חשוב. אם אנו רוצים שהמדידה תביא לשינוי, עלינו לשקף למנהל את החוזקות והחולשות שלו, לשקף לו את מגמות השינוי, לאפשר לו בחירה בדברים הרלוונטיים לו ולהראות לו את מצבו ביחס לדומים לו.
הציון לבדו לא עושה זאת. אם המדידה מסתכמת במספר בודד, הסיכוי שהמנהל ייעזר בה לגיבוש תוכנית פעולה קטן יחסית. במקומו, ניסינו בראמ"ה לייצר תמצית ובה בעמוד אחד מוצג שיקוף של הדברים שחשוב לדעת לתכנון (דוגמת חוזקות, חולשות ומגמת שינוי, שיאפשרו לדעת במה נכון להתמקד). לצד התמצית, גיבשנו השנה דוח בית-ספרי חדש, המאפשר לראות בשני עמודים את השורות התחתונות של תוצאות המבחנים ושל הסקרים, באופן שמאפשר העמקה בהמשך הדוח, וגיבוש של תוכנית פעולה להתמודדות עם התחומים החלשים יותר.
הדוח הבית-ספרי הוא דוגמא אחת למימוש תפיסת ההשפעה. לצידו, גיבשה ראמ"ה מחדש גם את מבנה הדיווחים שלה על מבחנים בינלאומיים, כך שיהיו קצרים ותכליתיים יותר, ואת תבנית הדיווח על מחקרי הערכה, כך שתאפשר להבין באופן כמעט מיידי את "השורה התחתונה" ביחס למידת השגת מדדי התוצאה והדרך להשגתן בעתיד. בכל הקשור למאגר הכלים הפנימיים שלה, מכוונת ראמ"ה לכלים פשוטים ונגישים, דיגיטליים היכן שניתן, עם תהליך התנעה מהיר וחיבור של ממצאי ההערכה להמלצות פעולה שיכתבו גורמי המקצוע במערכת החינוך.
במלחמת "חרבות ברזל" התפיסה החדשה הובילה את ראמ"ה לרדת כבר בימים הראשונים אל מרכזי הקליטה של מפוני העוטף והצפון, מתוך הבנה שהיידע על הנעשה במרכזים יידרש להנהלת המשרד בתהליכי קבלת ההחלטות שלה בשבועות שלאחר מכן. אספנו מידע על היקפי המפונים בכל מרכז, על הצרכים במרכז ועל סוגי הפעילויות החינוכיות המוצעות בו, כדי לסייע להחלטות מדויקות יותר על הקצאות משאבים ונהלי עבודה במרכזים. במקביל, הפעילה ראמ"ה את מערך הסקרים שלה על מנת לבדוק מה שלומם ומה מיקומם של אלפי תלמידים באחת הערים, והשלימה בתוך שבועות יחד עם שפ"י ו-milgo פיתוח של כלי דיגיטלי פנימי חדש לבדיקת שלומם של התלמידים, הכולל המלצות פעולה אישיות לאור המיפוי.
מעבר לכלים ולתוצרים, משקיעה ראמ"ה גם בחידוש הערוצים דרכם היא עובדת, שהרי "The Medium is the Message" (כפי שאמר Marshall McLuhan). מכאן, שראמ"ה חייבת להיות במקום בו נמצאים המנהלים והמורים שלנו, להם אנו רוצים לייצר ערך. והם, כבר מזמן לא נמצאים בדוא"ל הארגוני. לכן נכנסה ראמ"ה באחרונה גם לרשתות החברתיות (פייסבוק, לינקדאין, טוויטר ואינסטגרם), ואנו מזמינים כל אחד לעקוב אחרינו ואחרי התוצרים שלנו גם שם.
אז והיום: "מדידה בשירות הלמידה"
פרופ' מיכל בלר, שייסדה את ראמ"ה, חרטה באתוס הארגוני את המשפט "מדידה בשירות הלמידה". לא היה נכון ממנו, לא אז ולא היום. אך הטלטלה שעברה המדידה בעקבות פסיקת בית המשפט העליון ב-2012 הפכה את הציון במבחני ראמ"ה לכלי שיווקי והרחיקה אותו עוד יותר מהמקום עבורו נועד. הפסקת פרסום הציונים והמעבר להערכות מילוליות נועדו לאפשר לנו לחזור למקום ממנו ראמ"ה יצאה לדרך ולממש את הנכסים המקצועיים שבנינו לטובת השפעה על מדיניות והחלטות במערכת החינוך בכל הרמות.
צריך לומר בכנות: זהו אתגר מורכב מאין כמותו. היכולת לפתח חשיבה תוצאתית באלפי מוסדות חינוך מחייבת להפוך את הכלים שלנו לנגישים מאוד, לתרגם את הרעיון המורכב לשפה פשוטה, ולהתאים את עצמנו לסוגים שונים של מקבלי החלטות, גם בשטח וגם במטה. עלינו לייצר דוח הערכה שיודע לסייע גם לבית ספר ש"חושב תוצאות" מזה שנים וגם לבית ספר אשר לא מכיר את המונח. עלינו לדעת להעמיד כלים להערכה פנימית גם לבתי ספר אשר אינם יכולים בקלות להדפיס את הקבצים שלנו, וגם לאלה אשר כבר לא מדפיסים ניירות כלל, והקשר שלהם עם התלמידים הוא ברובו דיגיטלי.
האתגר לא פחות מורכב ברמת המטה. שיח של אפקטיביות בעולם הציבורי ("Doing What Works") מחייב שילוב של בניית יכולות (אנושיות, מתודולוגיות ומקצועיות), מיסוד תהליכים ומתן תמריצים. אלא שאין לנו מספיק מוסדות אקדמיים שיניחו תשתית לחשיבה תוצאתית בעולם המדיניות הציבורית, וכוחם של הגופים המסוגלים ליצור שיח תוצאתי בממשלה ומחוצה לה הולך ונחלש. גם הדרישה הציבורית לתוצאות הולכת ומתמעטת. בתחום החינוך, זוהי משימתה של ראמ"ה: לסייע למערכת להיות אפקטיבית יותר.
בשורה התחתונה, אין מדיניות אפקטיבית ללא מדידה, ואין ערך ציבורי במדידה אם היא אינה יכולה לקדם מדיניות אפקטיביות. אך כדי שילכו השניים שנועדו זה לזו יחדיו, עלינו לשאול עצמנו כל הזמן מה אנחנו מעריכים, עבור מי, וכיצד אלו שעבורם אנו רוצים לייצר ערך יצרכו את המידע ויסתייעו בו להחלטות שלהם. הנכסים העצומים שצברה ראמ"ה עם השנים, לצד הגופים השותפים העובדים איתה (טלדור ומאל"ו), מאפשרים לנו כיום לבחון מחדש מה הדרך הנכונה לחבר את המדידה למדיניות. כגוף הממומן מכספי הציבור, זה האתגר הגדול איתו אנו מתמודדים.
מדידת תכונות, מיומנויות או כישורים מורכבים
פסיכולוגיה יישומית ופסיכומטריקה בשירותים פיננסיים
מאת: ד"ר סול פיין, Innovative Assessments
פרטי קשר לתגובות: saul@iassessments.com
Fine, S. (2023). Banking on personality: Psychometrics and consumer creditworthiness. Journal of Credit Risk, 19 (2), 57-75.
מבוא
פסיכולוגיה יישומית משתמשת בעקרונות ובשיטות פסיכולוגיות לצורך פתרון בעיות מעשיות של התנהגויות אנושיות. היא מתמקדת בעיקר בסוגיות התנהגותיות בתחומים הארגוניים, התעסוקתיים, הקליניים והחינוכיים, ועוסקת פחות בתחום הצרכני. המאמר הנוכחי מתאר שימוש בפסיכומטריקה להבנת ההתנהגויות צרכניות בשירותים פיננסיים.
במיון כוח אדם, תחום המוכר לנו, תהליכי מיון לרוב מבוססים במידה רבה על הערכה פסיכומטרית של כישורים ותכונות אישיותיות לצורך קביעת התאמה לעבודה ולחיזוי תפקוד עבודה. באופן דומה, החיזוי של תפקוד רלוונטי גם להתנהגויות צרכניות בשירותים פיננסיים. עם זאת, נדיר כי מודלים לחיזוי בתחום הזה מתייחסים למאפיינים אישיותיים. ספציפית, בשירותים פיננסיים, בנקים ומלווים מעוניינים מאוד לנבא את הסיכון של אי-פירעון במקרה של הלוואות ללקוחותיהם, ולשם כך פותחו מודלים מקיפים של אשראי. מודלים אלו אמנם מתוקפים היטב, אך מבוססים כמעט לחלוטין על משתנים כלכליים היסטוריים, כגון תשלומי אשראי קודמים, והם לא כוללים היבטים אישיותיים.
בהקשר של כלים פסיכולוגיים, אפשר להתייחס לציוני האשראי המסורתיים כסוג של "ביודטה". באופן כללי, ביודטה נחשב למנבא מועיל של התנהגויות עתידיות, אך איכותו תלויה בכך שאנשים חוו נסיבות עבר דומות לאלו שנחזו. כאשר לא קיימת התנהגות היסטורית דומה, כגון למשל בקרב לקוחות שהם חדשים לתחום האשראי והבנקאות, המודלים המסורתיים מתקשים לעבוד. לקוחות כאלו ידועים כצרכנים "UNBANKED", והם מונים יותר מ-1.4 מיליארד בעולם לפי הבנק העולמי (!) (Demirgüç-Kunt et al., 2022). לעיתים קרובות נמנעת מהם גישה לאשראי ממוסדות מסודרים, מכיוון שחסרים להם הנתונים ההיסטוריים הנדרשים. נתונים פסיכומטריים אישיותיים, לעומת זאת, לרוב אינם תלויים בנתונים היסטוריים, ולכן הם עשויים להציע פתרון פוטנציאלי להשלמת ההערכה של לקוחות אלו, ובכך לפתוח בפניהם אופציות חדשות לקבלת אשראי.
תיאורטית, ישנן מספר תכונות אישיותיות הרלוונטיות להבנת התנהגות התשלום של לווים. לדוגמה, מחקרים קודמים הראו כי, לווים בעלי רמות גבוהות של אמינות, שליטה עצמית ומוקדי שליטה פנימיים, נוטים לכבד טוב יותר את התחייבויותיהם הפיננסיות, להיות מחושבים וזהירים יותר בהחלטותיהם הכספיות, ולהיות אחראיים יותר על מצבם הכלכלי, בהתאמה (Beumeister, 2002; Letkiewicz & Fox, 2014; Livingstone & Lunt, 1992; Webley & Nyhus, 2001). הספרות מפרטת כמה וכמה תכונות כאלו הקשורות לכאורה לניהול החזרי הלוואות סדירים, ולא נרחיב עליהן כאן. יחד עם זאת, השימוש בפועל של כלי מדידה פסיכולוגים למדידת תכונות אלו כחלק מהערכות סיכוני האשראי נחשב עדיין כרעיון יוצא דופן, וכן הנתונים האמפיריים אודות תקפותם של כלים אלה טרם נחקר היטב.
להלן תקציר של הממצאים ממאמר עדכני בנושא (Fine, 2023), המציג את תקפותו של כלי פסיכולוגי אשר פותח במטרה להעניק למוסדות פיננסיים נתונים אישיותיים משלימים להערכת סיכוני אשראי צרכני.
שיטה
מדגם
מחקר זה כלל 3,564 לקוחות מחמישה מדגמים נפרדים. המשתתפים היו לווים פרטיים מאחד מחמישה מוסדות מלווים גדולים מאזורים גיאוגרפים שונים: צפון אמריקה (מדגם מס' 1, N=807), מערב אירופה (מדגם מס' 2, N=948), דרום אמריקה (מדגם מס' 3, N=690), דרום אפריקה (מדגם מס' 4, N=511) ודרום מזרח אסיה (מדגם מס' 5, N=608).
כלים ונתונים
ציוני אשראי פסיכולוגיים. ציון סיכון אשראי המבוסס על שאלון בשם "Worthy Credit". Worthy Credit הוא שאלון רב-ברירה איפסטיבי-חלקי בן 19 פריטים, שמועבר באופן מקוון כחלק מתהליכי הבקשות להלוואות, ומיועד לנבא אי-פירעון בהלוואות. השאלון מודד עמדות ותכונות אישיותיות הקשורות להתנהגות תקינה של תשלומי הלוואות סדירים, כגון: אמינות, מהימנות, אחריות, לקיחת סיכונים, ועוד. לדוגמה, המשיב מתבקש לבחור בין שתי הצהרות שהן רצויות באותה מידה: "אני משלם את חשבונותיי באופן מידי" או "אני נמנע ממצבים כלכליים מסוכנים". Worthy Credit מחשב ציון מסכם שנע בין 1-100, ומספק גם ציון לפי אחת משלוש דרגות: 1-45 (נמוך), 46-65 (ממוצע), 66-100 (גבוה). Worthy Credit הועבר עד כה ליותר מ- 2.5 מיליון איש ב- 20 מדינות שונות ברחבי העולם. מהימנות מבחן-חוזר לאחר 2 עד 8 שבועות מוערכת כ- r =.70 ומעלה (Fine, 2016).
אי-פירעון הלוואה. אי-פירעון הלוואה (default) שימש כקריטריון העיקרי וקודד באופן בינארי כ-1 (לא שולם) או 0 (שולם). הנתונים בנושא נמסרו על ידי המוסדות הפיננסיים המשתתפים, והוגדרו בכולם באופן דומה כאי-תשלום לאחר 30 עד 60 יום במהלך תקופה של 6-12 חודשי התשלומים הראשונים.
ציוני אשראי בנקאיים. ציוני האשראי המסורתיים של המלווים אשר סופקו על ידי המוסדות הפיננסיים המשתתפים. ציונים אלה התבססו על סולמות שונים, אך כולם נגזרו מנתוני אשראי קיימים, מאגרי מידע לאשראי (credit bureaus) ומידע פיננסי אחר, ונועדו כולם לחזות אי-פירעון הלוואות.
הליך
המוסדות הפיננסיים המשתתפים יצרו קשר עם מדגם מלקוחותיהם הקיימים באמצעות דואר אלקטרוני או SMS, והציעו להם למלא סקר אודות התנהגויותיהם הפיננסיות. הלקוחות קיבלו תמריצים להשתתף בסקר על ידי הצעות לזכות בפרסים בהגרלה, וזאת בעיקר בכדי לעודד השתתפות גם מקרב לקוחות באי-פירעון. המוסדות הפיננסיים אישרו את הייצוגיות המשוערת של המשיבים בהשוואה לאוכלוסיית הלקוחות הכללית שלהם.
ממצאים
טבלה מס' 1 (כאן) מציגה סטטיסטיקות תיאוריות כלליות. ציון האשראי המסכם לפי שאלון Worthy Credit התפזר בצורה נורמלית בקירוב בכל המדגמים, עם שונות מסוימת בנורמות. שיעורי האי-פירעון השתנו בין המדגמים ונעו בין 4.3% ל-14.3%.
מבחינת המתאמים, כצפוי, ציוני האשראי הבנקאים היו במתאם שלילי עם אי-פירעון ההלוואות (rbs בין 0.15- ל-0.42-), וציוני Worthy Credit היו בקשר דומה גם הם עם האי-פירעון (rbs בין 0.14- ל-0.25-). ציוני Worthy Credit וציוני הבנק היו בקורלציה נמוכה יחסית (r בין 0.05 ל-0.18), ללא עדות לקשר לא-ליניארי. מודל לוגיסטי עם אפקטים אקראיים אשר השתמש באזור גיאוגרפי כאפקט אקראי, מצא שהקשרים בין כל אחד משני הציונים והאי-פירעון היו מובהקים על פני המדגמים, ללא אינטראקציות מובהקות.
נהוג כי דיוקם של מודלים לסיכוני אשראי נמדדים על ידי עקומות receiver operating characteristic (ROC), אשר משרטטות "חיוביות אמיתית" ("רגישות") ו"חיוביות כוזבת" ("ספציפיות-1") לאורך סקאלת הציונים. כמו כן, השטח מתחת לעקומה (AUC) משקף את מידת ההבחנה הכללית של הציון. AUCs נעים בין 0 ל-1, כאשר סטייה מ-0.5 בכוון חיובי מצביעה על מידת הדיוק. ה-AUCs עבור ציוני Worthy Credit נעו בין 0.65 ל- 0.70 על פני המדגמים, עם מקדמי Gini המשויכים בין 0.31 ל-0.41. גרף מס' 1 מציג את עקומת ה-ROC עבור אחת מדגמים לצורך הדוגמה. אחוזי הדיוק בציון חתך נתון עמדו על 79.1%-84.2% (סה"כ); רגישות (אי-פירעון מסווג נכון): 28.8%-38.5%, וספציפיות (פירעון תקין מסווג נכון): 86.1%-87.4%. ראו טבלה מס' 2 (כאן).
עבור הדרגות של ציוני Worthy Credit (נמוך, ממוצע, גבוה) חושבו טבלאות ציפיות עם הסתברויות של אי- פירעון. בכל מדגמים נמצאה ירידה מונוטונית ניכרת בשיעורי האי-פירעון בין הדרגות השונות. כמו כן, שיעורי האי-פירעון עבור הדרגה הנמוכה ב- Worthy Credit(1-45) היו בטווח שבין 11.9% ל-28.7%, בהשוואה ל-2.1% עד 6.4% בלבד עבור הדרגה הגבוהה (66-100). במילים אחרות, לבעלי הציונים הנמוכים היו בערך פי 2.5 עד 3 יותר אי-פירעון בהשוואה לאחרים, ולבעלי הציונים הגבוהים היו בערך 1/2 עד 1/4 משיעורי האי-פירעון לעומת בעלי הציונים האחרים. ראו טבלה מס' 3 לדוגמה עבור אחד מהמדגמים (כאן).
הטבלה מציגה הבחנה נוספת שהציונים בשאלון תורמים בתוך כל דרגה של ציוני האשראי הבנקאיים. כך, למשל, בקרב המדגם שמוצג בטבלה, בדרגת ציון האשראי הנמוכה של הבנק, שיעור האי-פירעון הוערך בכ-19.3%. אולם, בהצלבה עם הדרגה הגבוהה ב-Worthy Credit (66-100) שיעור האי-פירעון הוערך כעומד רק על 6.5% בלבד. לחילופין, שיעור האי-פירעון בקרב בעלי הדרגה הגבוהה של ציוני האשראי של הבנק, הוערך בכ- 5.0%, בעוד שהאי-פירעון בהצלבה עם הציונים בדרגה הנמוכה ב-Worthy Credit (1-45) הוערך ב-28.6% (!). תופעה דומה נצפתה על פני שאר המדגמים.
ולבסוף, כדי לבחון טוב יותר את התוקף האינקרמנטלי הזה, ציון ה-Worthy Credit וציון האשראי של הבנק הוכנסו יחדיו כנגד אי-פירעון באמצעות רגרסיות לוגיסטיות היררכיות. נמצא כי Worthy Credit הסביר באופן עקבי שונות מוסברת ייחודית ומשמעותית מעבר מזו של ציון אשראי הבנק. למשל, בין המדגמים, Worthy Credit תרם לתוספת בשונות (Nagelkerke R2) בטווח שבין 23% ל-225% יותר מאשר ציון הבנק בלבד. טבלה מס' 4 (כאן) מציגה את תוצאות הרגרסיה עבור מדגם 3.
דיון
על סמך מה שידוע לנו כיום אודות יכולת הניבוי של מאפייני אישיות וכלים פסיכולוגיים, אין זה מפתיע אולי שכלים אלו עשויים להיות מועילים גם למודלים של אשראי. על פניו, יש לכלים פסיכולוגיים את היכולת להשלים למודלים המסורתיים רובד אורתוגונלי-חלקי של נתונים. המאמר הנוכחי מספק תמיכה אמפירית לגישה כזו, שהיא אמנם חריגה יחסית בתחום האשראי כיום, ולכן גם נחקרה עד כה באופן מוגבל בלבד. יתר על כן, המחקר הנוכחי תורם לספרות הקיימת על ידי התייחסות לשני היבטים חדשים: (א) הכללת המודל הפסיכומטרי על פני מספר תרבויות; (ב) התוספת האינקרמנטלית מעבר למודלים המסורתיים לאשראי.
באופן כללי תוצאות המחקר הראו מתאמים מובהקים בין ציון Worthy Credit וציון הבנק ולבין האי-פירעון בהלוואות, על פני חמשת המדגמים שנחקרו. למרות הבדלים מסוימים בהתפלגויות המדדים בין המדגמים, מידת התוקף הייתה עקבית למדי, ועשויה לרמוז על כך שה-Worthy Credit מודד מבנים רחבים ואף אוניברסליים. אולם, ידוע כי המחקר כלל מדגמי נוחות בלבד, ואינם מייצגים את אזוריהם הגיאוגרפיים.
מידת המתאם בין ציוני Worthy Credit וציוני האשראי הבנקאיים הייתה נמוכה עד בינונית, מה שמעיד על כך שהשניים בלתי תלויים לפחות באופן חלקי. מבחינה תיאורטית, יתכן כי האחרון מייצג במידה רבה יותר את "היכולת להחזיר" והראשון יותר את "הנכונות להחזיר". בין היתר בשל המתאם הנמוך ביניהם, כאשר נותחו שני המנבאים ביחד ברגרסיה כנגד אי-פירעון, ציון ה-Worthy Credit הוסיף תוקף משמעותי מעל ומעבר לזה של ציון האשראי הבנקאי. כתוצאה מכך, ולמרות שלא סביר כי נתונים אישיותיים יהוו דרישה מספקת לאישור הלוואות בפני עצמם, יתכן כי הם עדיין עשויים להוות מדד חשוב נוסף במקרים מסוימים.
למעשה, התוצאות הנוכחיות עשויות לאפשר מספר יישומים אפשריים, במיוחד לקידום הכלה פיננסית (financial inclusion) בקרב אוכלוסיות חלשות. בדוגמה לכך, ניתן להשתמש בציונים פסיכולוגים כדי להעריך מחדש החלטות אשראי עבור לקוחות שפחות מוכרים לבנקים (unbanked).
באופן כללי, תוצאות המחקר מעודדות ומשליכות על השימוש בכלים פסיכולוגיים בדיסציפלינות חיצוניות, כגון בענף האשראי. קיים אמנם עדיין צורך במחקרי המשך כדי לבסס את היישום הזה בצורה נרחבת יותר, אך נראה מכאן שזה בהחלט אפשרי. יתרה מזו, יתכן כי לתחום הפסיכומטריקה בכלל היכולת להשפיע באופן דומה גם על ענפים רבים נוספים.
מקורות
Baumeister, R. F. (2002). Yielding to temptation: Self-control failure, impulsive purchasing, and consumer behavior. Journal of Consumer Research, 28, 670-676.
Demirgüç-Kunt, A., Klapper, L., & Singer, D., et al. (2022). The Global Findex Database 2021: Financial inclusion, digital payments, and resilience in the age of COVID-19. World Bank, Washington, DC.
Fine, S. (2016). Worthy Credit. Technical Report. Innovative Assessments International, Ltd.
Fine, S. (2023). Banking on personality: Psychometrics and consumer creditworthiness. Journal of Credit Risk, 19(2), 57-75.
Letkiewicz, J. C., & Fox, J. J. (2014). Conscientiousness, financial literacy, and asset accumulation of young adults. The Journal of Consumer Affairs, 48, 274-300.
Livingstone, S. M., & Lunt, P. K. (1992). Predicting personal debt and debt repayment: Psychological, social and economic determinants. Journal of Economic Psychology, 13, 111–134.
Webley, P., & Nyhus, E. K. (2001). Life-cycle and dispositional routes into problem debt. British Journal of Psychology, 92, 423-446.
כשבינה מלאכותית פוגשת את ההערכה
שימוש בכלי בינה מלאכותית בתהליכי הערכה מעצבת בכיתה
מאת: ד"ר חני שלטון, האוניברסיטה הפתוחה
פרטי קשר לתגובות: hanyshil@gmail.com
במסגרת הקורס "הערכה בסביבה דיגיטלית", אותו אני מלמדת באוניברסיטה הפתוחה, אני משלבת לראשונה שימוש בכלי בינה מלאכותית. זו הזדמנות נפלאה עבורי לחשוף בפני הסטודנטים עולם חדש של אפשרויות בתחום ההערכה. מרבית הסטודנטים הם מורים במערכת החינוך כך שהנלמד בקורס מהווה עבורם מודל המתאים ליישום בכיתה עם התלמידים.
הטכנולוגיה מאפשרת תהליכי הערכה יעילים ומדויקים יותר, חוסכת שעות רבות של עבודה, ופותחת פתח לדרכי הערכה חדשניות שלא הכרנו בעבר. בפרט, אני מתייחסת להערכה לשם למידה בכיתה, המותאמת אישית ללומדים. השימוש בכלי AI ללמידה מעלה שאלות חדשות בנוגע להערכה. למשל, כאשר לומדים מסתייעים בכלי AI מה מעריכים: האם את התוצר הסופי? ואם כן, איך נדע מה חלקו של הלומד בהכנתו? אולי נעריך את שיפורו של הלומד? את מידת הדיוק של ה"פרומפטים"? את ההבדל באיכות בין הטיוטות? את ההבנות של הלומד בנושא? ואיך בודקים זאת? אלו שאלות כבדות משקל שיש עליהן את הדעת.
אתייחס בדברי למספר נושאים: שימוש בכלי AI לתכנון ופיתוח כלי הערכה, ניתוח הנתונים ומתן משוב.
תכנון ופיתוח כלי הערכה
שלב תכנון כלי הערכה כולל פיתוח מבחנים ומטלות הערכה והוא תהליך מורכב ומאתגר. בעזרת כלי AI אפשר ליצור יחסית בקלות שאלות הבנה, יישום סינתזה והערכה המותאמות לחומר הנלמד. כלי AI אף יכולים להמליץ על סוגי מטלות הערכה מגוונות (כמו מטלות ביצוע אותנטיות, פרויקטים, חקר,PBL ועוד), לנסח את ההנחיות ללומדים השונים בהתאם לשכבת הגיל המיועדת או לרמת הקושי המצופה, להמציא סימולציות, לבנות על פי דוגמה לסימולציה אחת או למטלת ביצוע, מטלות דומות נוספות (למשל נוסח א' ונוסח ב' למשימות או מבחן).
להלן רשימה פרקטית שבניתי לשימושים אפשריים בכלי AI:
-
יצירת שאלות הערכה ברמות חשיבה שונות על פי טקסונומיות שונות או מסגרות מושגיות שונות של כישורים ומיומנויות של הלומדים. אפשר גם לייצר באמצעותו שאלות ברמות חשיבה שונות על סמך קטע טקסט נתון.
-
הגדרה של כישורים אותם רוצים לטפח בבית הספר, בשכבת גיל או בתחום דעת ספציפי.
-
קבלת המלצות על סוגי מטלות הערכה מתאימות עבור נושא מסוים, כגון חיבור תזה, ניתוח אירוע, תרגיל יישום וכדומה.
-
קבלת המלצות על מבנה מטלות הערכה מתאימות, על סמך ניתוח כל החומר הנדרש לכיסוי ולהגדרה של כישורי הלומדים אותם אנחנו מעוניינים להעריך.
-
בדיקה אם שפת השאלות ברורה ומובנת לתלמידים ברמת הגיל המתאימה או ברמת הקושי המתאימה ללומדים מסוימים. כך למשל, אפשר לבקש מהכלי לספק פיגומים או רמזים לתלמידים מתקשים, או לבקש להתאים משימה לתרבות אחרת (למשל למגזר דוברי הערבית).
-
איתור שאלות מבחן פגומות על סמך ניתוח תשובות התלמידים ולהציף אותן (כמו, לדוגמה, שאלות שיש בהן הטיה מגדרית מסוימת).
-
יצירת בנק שאלות הערכה גדול ומגוון בכל תחום ובכל נושא.
-
פיתוח מחוונים למשימות שגובשו, הכוללים קריטריונים והגדרה של רמות ביצוע המתייחסות לאיכויות השונות של ביצועי הלומדים (למשל, איכות הביצוע בתחילת הדרך, מתקדם, מתקדם מאד, השיג את היעד).
-
בדיקת ההלימה שבין ההנחיות לתלמידים במשימה לבין המחוון.
ניתוח הנתונים, הסקת מסקנות וגיבוש תוכניות התערבות
ניתוח נתונים, הסקת המסקנות ופיתוח ההתערבות לצמצום הפער בין המצב הקיים למצב הרצוי הם מרכיב מרכזי בתהליך ההערכה.
משימתו של המורה כוללת את השלבים הבאים:
-
ניתוח הנתונים שנאספו בשלבי ההערכה הקודמים על מנת לזהות תבניות ותובנות עיקריות. לדוגמה, אילו פערים וקשיים עולים מניתוח מבחנים או מטלות שביצעו התלמידים. ניתוח זה מהווה בסיס להמשך.
-
הסקת מסקנות לגבי האסטרטגיות הפדגוגיות המתאימות עבור הכיתה או עבור תלמידים ספציפיים. למשל, האם יש צורך בשינויים בדרכי ההוראה או בהתאמות נוספות. מסקנות אלה מובילות לתכנון ההתערבות.
-
גיבוש תוכנית התערבות הכוללת את הפעולות הנדרשות על מנת לקדם את הישגי התלמידים. לדוגמה, מתן תגבור לימודי, שינוי שיטות הוראה, תרגול נוסף בנושאים מאתגרים או ליווי אישי לתלמידים מתקשים.
-
יישום ההתערבות בפועל הוא השלב הבא בתהליך.
בכל השלבים הללו, כלי AI יכולים לסייע בדרכים הבאות:
-
תיאור מדויק ומתומצת את ביצועי הלומדים על פי קטגוריות או מחוון, לאתר דפוסים חוזרים (למשל בטקסטים שהלומד כתב) ולהציע תובנות על כל אחד מהלומדים.
-
סיכום וארגון נתוני הערכה לפי קטגוריות שונות.
-
להמליץ על פעילויות הוראה ולמידה מתאימות על סמך ניתוח תוצאות המבחנים.
לדוגמה, אם זוהה קושי בנושא מסוים, כלי ה- AI יכול להציע דרכי הוראה חלופיות. -
המלצה על דרכי הוראה דיפרנציאלית על סמך ניתוח כישלונות.
-
זיהוי פערים בין קבוצות תלמידים והצעה של דרכי טיפול (Wang et al., 2022).
-
להציע דרכים יצירתיות למעורבות הורים על סמך ניתוח הישגים (Hutchinson et al., 2022).
מתן משוב, הערכה עצמית והערכת עמיתים
משוב הוא אחד הכלים החשובים ביותר לקידום למידה אפקטיבית. משוב איכותי של המורה לתלמידים צריך לכלול התייחסות מפורטת לנקודות החוזק ולתחומים לשיפור, ולספק כיוונים ברורים כיצד התלמיד יכול להתקדם. כלי AI יכול לסייע ביצירת משוב אישי לתלמידים הכולל המלצות ספציפיות לשיפור על סמך ניתוח כשלים אופייניים. אפשר לאמן אותו לתת משוב שיש לו 'קול אישי' של המורה על ידי מתן 2-3 דוגמאות ובקשה ממנו לניסוח משוב באותו סגנון. המשוב יכול להיות על מטלות כתובות כמו: חיבורי עמדה, טיוטות של חיבורים או תשובות קצרות לשאלות. המשוב יכול לכלול הערכה של רלוונטיות התוכן, שגיאות כתיב ודקדוק, ולספק ציון אוטומטי.
כצעד נוסף, כלי AI יכולים על פי הפערים שזוהו בידע של הלומדים, להציע להם תוכן לימודי המתאים לצורכיהם הייחודיים. כך, למשל, תלמיד שמתקשה בנושא מסוים יכול לקבל הסבר מפורט על כל שלב בפתרון בעיה, המלצה על סרטון הדרכה נוסף או על תרגול ממוקד. שילוב של מידע על תוכן הלמידה יחד עם נתוני התלמיד מאפשר מידה רבה של מותאמות אישית.
אתגרים
האפשרויות שטמונות בכלי הבינה המלאכותית הן רבות ומגוונות. למרות הפוטנציאל הגלום בשימוש בהם, הם לוקים בחוסר אמינות. כך, לעתים ההסברים המתקבלים הם שגויים או שהמידע לא מדויק, ולכן חשוב להתייחס אל התוצר המתקבל בזהירות ולא לסמוך עליו בלבד.
כאשר משתמשים בבינה המלאכותית לצורך הערכת לומדים, חשוב להפעיל כישורים מסוימים על מנת לקבל תוצרים מיטביים:
-
חשיבה ביקורתית הכוללים הבנת גבולות היכולות של הכלי. אין לסמוך בלבד על תשובותיו בצורה עיוורת. יש לבדוק את המידע שסופק ולאמת אותו במקורות נוספים.
-
תפיסת ההקשר. כלי AI לא מבינים את ההקשר באותה מידה כמו אנשים. לכן, חשוב להיות מודעים לכך שהם עשויים לספק תשובות שאינן תואמות את ההבנה המלאה שלנו על נושא מסוים. יש להתייחס לתשובות כאל כלי המספק מידע ראשוני מוגבל בנושא מסוים.
-
שיקול דעת ומתן עדיפות למקורות אנושיים במקרים מסוימים. במקרים בהם מדובר בהערכת לומדים חשובה ומורכבת, כדאי לתת עדיפות למורים או למומחים בתחום הנדרש. אנשים יכולים לספק תמיכה אישית, להסביר ולהתמודד עם אתגרים אישיים באופן שכלי AI אינם מסוגלים לעשות.
-
זיהוי מגבלות היכולת הכלי שעמו עובדים: הכלים השונים יכולים להיות מועילים בהערכה של לומדים בתחומים ספציפיים ומוגבלים שבהם האלגוריתם מאוד מיומן. חשוב לזהות את התחומים שבהם הכלי מסוגל לספק מידע מדויק ולא להסתמך עליו בתחומים שבהם הוא פחות אמין.
לסיכום, כלי הבינה המלאכותית מספקים למורים כלים חדשניים ויעילים להעשרת הלמידה וההוראה. בעזרתם הם יכולים ליצור חומרי למידה והערכה מותאמים אישית, להעריך את התקדמות התלמידים בצורה מדויקת יותר, ולתת מענה פרטני לצרכים הייחודיים של כל תלמיד ולקדם אותו בלמידה. עם זאת, יש להיות מודעים למגבלותיהם ולפעול בהתאם.
דבר היו"רית
שלום רב לחברי ולחברות אפי!
דברים אלה נכתבים במהלכה של מציאות כאוטית קשה מנשוא מאז אסון ה-7 באוקטובר.
לבנו עם החטופים ומשפחותיהם ועם העקורים מביתם, מבכים את האובדן העצום בחיי אדם, שולחים תנחומים למשפחות השכולות, ונושאים תפילה להחלמת הפצועים.
ובתוך כל זאת, הנה כמה עדכונים על הנעשה באפי.
הכנס השנתי שלנו ופרס אפי 2024
בימים אלה אנו בעיצומה של ההרשמה לכנס השנתי ה-20 של אפי שיתקיים ב-31.1.24 במוזיאון ארץ ישראל (מוז"א). היו"רים של הכנס הם ד"ר חגית גליקמן ממוסד שמואל נאמן, חברת מועצת אפי, ונתנאל סילברשטיין ממאל"ו, חבר ועדת הביקורת של האגודה.
על הפקת הכנס מופקדים: הפרוייקטורית של הכנס - מיטל אילון וגזבר האגודה - אלירן שתיוי.
הכנס צפוי להיות מעניין ביותר ואנו מקווים שתרשמו ותגיעו. הוא יכלול שלושה מושבים: הראשון יעסוק בשאלה "באיזו מידה המסקנות שלנו נכונות?"; השני הוא סימפוזיון שכותרתו "האם האישיות שלהם מתאימה לנו?"; והשלישי יעסוק בשאלה "מה אנחנו לומדים בעזרת פסיכומטריקה?"
בכנס יוענק גם פרס אפי לזוכה בתחרות הדו-שנתית שהתקיימה השנה. יו"ר תחרות הפרס היא ד"ר הלנה קימרון ממכון "אבני ראשה", חברת מועצת אפי.
אפיזום
השנה הכנסנו כמה חידושים בפעילות של אפי במטרה לתת ביטוי/יישום לבקשות, הערות והארות שהועלו במשובים לכנסים קודמים.
בין היתר הוספנו בקול הקורא לכנס השנתי אפשרות להגיש הצעות לפורמטים חדשים, כגון הצעות למרחב מונחה להיכרות בין משתתפים מתחומים שונים, או למפגש בלתי פורמאלי בינם לבין מרצים בכנס. זוהי מתכונת שנולדה בכנס המקוון ה-18 של אפי (ב-2022) בחדר וירטואלי שבו נפגשו כ-20 ממשתתפי הכנס עם המרצה המוזמן ד"ר יועד קנט.
לפורמט כזה לא הגיעו השנה הצעות לכנס, אבל באופן בלתי תלוי קבלה המתכונת הזאת ביטוי חדש, תחת הכותרת "אפיזום" . זהו פורמט של מפגשים מקוונים, של חברי אפי המעוניינים בכך, עם כותבי מאמרים במידעונט - לא במסגרת הכנס השנתי אלא במהלך השנה. מי שיזמה והובילה את הפורמט הזה השנה היא ד"ר עינת נוטע קורן שכתבה עליו למעלה במסגרת דבריה כעורכת.
"מי הם העוסקים בפסיכומטריקה בישראל?" – מסמך אפיון
בימים אלה הועלה לאתר אפי מסמך שהוכן במהלך ארבע השנים האחרונות על ידי צוות ייעודי בן 4 חברים/ות מהמועצה של האגודה הישראלית לפסיכומטריקה ויופץ בקרוב. המסמך עוסק בשאלה : מי הם העוסקים בפסיכומטריקה בישראל?
הרקע להכנתו הייתה ההבנה שאפי מאגדת את נשות ואנשי המקצוע בישראל שעניינם או עיסוקם הוא פסיכומטריקה בהקשר רחב; דהיינו, מדידה והערכה בתחומים מגוונים כגון חינוך, פסיכולוגיה, רפואה, מיון, אבחון, ייעוץ ארגוני ועוד. בין החברים והחברות של האגודה יש המגדירים עצמם כפסיכומטריקאים/ות ויש מי שזהותם המקצועית אמנם אחרת אך עיסוקם כולל רכיבים מתחום הפסיכומטריקה.
המסמך נועד לשרטט את המרחב המקצועי המשותף לחברי וחברות אפי ולהגדיר את זהותה של האגודה. הוא כולל הגדרה של תחום הפסיכומטריקה ושל חמשת העיסוקים העיקריים הנכללים בו. בנוסף ישנה הרחבה על הידע, הכישורים וההכשרה הנדרשים לעוסקים בתחום.
בהעדר הסמכה רשמית או מבחן רישוי הנדרש על מנת לעסוק בפסיכומטריקה בישראל, אנו מקווים שהמסמך הזה:
-
יסייע בחיזוק הזהות המקצועית של העוסקים במדידה והערכה בתחומים השונים בישראל
-
יתרום למודעותם של גופים המעסיקים, או המעוניינים להעסיק, עובדים שתפקידם יכלול היבטים של פסיכומטריקה
-
יתרום להבנה של הרקע והכישורים הנדרשים לשם עיסוק בתחום.
לסיום,
אתם מוזמנים מאד גם – ואולי במיוחד - בימים קשים אלה לתרום כתבה לגיליון הבא של המידעונט, לבקר באתר אפי (שבו מופיעים כל הגיליונות הקודמים שלו), ולהיות פעילים הן באגודה והן בקבוצת הפייסבוק שלנו.
בברכה חמה,
ובתקווה לימים טובים יותר,
ד"ר ריטה סבר, יו"ר אפי
ritasever9@gmail.com
"נעים להכיר"
בחינות רישוי והסמכה: אתגרים והצלחות
מאת: רו"ח פרומית הורוביץ, חברת מח 10 בע"מ
פרטי קשר להתייחסות: fromit@brain10.co.il
רקע
בחינות רישוי והסמכה נערכות על מנת להסמיך בוגרי לימודים בתחומים שונים לעיסוק במקצוע מסוים. הבחינות נערכות במגוון רחב של תחומים. ההצלחה בבחינות אלו היא תנאי לקבלת רישיון ולהשתלבות במקצוע. נושאי הבחינות נבחרים על ידי ועדה מקצועית והם אמורים לבדוק את הידע של המועמד ואת היכולת שלו להשתלב בתחום.
בפני הרגולטור, קרי הגוף הממשלתי העוסק במתן הרישיונות, עומדות מגבלות:
-
כאשר גוף ממשלתי מציג תנאים לקבלת רישיון לעיסוק במקצוע מסוים, זוהי, לכאורה, "פגיעה" בחופש העיסוק.
-
לעיתים עולה טענה של נבחנים המרגישים שאנשי המקצוע בו הם רוצים להשתלב יצרו "גילדה" ולכן הם מקשים את הבחינות.
מסיבות אלה ואחרות הגופים הממשלתיים מנסים שההגבלה שהם מטילים, בדמות מבחני הרישוי, תהיה מידתית וסבירה ככל שניתן.
אנו בחברת מח 10 בע"מ התמחינו ב- 25 השנים האחרונות בטיפול במבחני רישוי והסמכה המועברים במתכונת נייר ועיפרון או באופן מקוון (כולל אפשרות לבדיקה מקוונת של מבחנים פתוחים). ההיקפים הם של יותר מ- 100 בחינות רישוי בשנה, המועברות לאלפי נבחנים בכל מועד. השירות הניתן הינו שירות היקפי הכולל פיתוח ובקרה על שאלות הבחינה, העברת המבחנים ומתן המלצות סטטיסטיות בעקבותיהם, וטיפול בתוצאות ובערעורים. כל זה נעשה באמצעות מערכת ממוחשבת שפותחה לצרכים הספציפיים של לקוחות החברה.
אנו מתמודדים עם הרבה מאוד אילוצים ואתגרים ומנסים להתמודד איתם באופן הטוב ביותר.
להלן אתאר את האתגרים ולאחר מכן את דרכי ההתמודדות.
מגבלות, אילוצים ואתגרים לאורך נתיב הפיתוח והעברת הבחינות
במציאות הנוכחית יש הרבה מאוד מגבלות שנכפות על התהליך ומציבות אתגרים רבים בנוגע לפיתוח הבחינות, העבודה עם הגופים הממשלתיים והעברת הבחינות הלכה למעשה.
פיתוח הבחינות
-
יש מספר קטן של מומחים לכתיבת שאלות – קשה למצוא אנשי מקצוע לכתיבת השאלות שאין להם ניגוד עניינים. המתאימים בדרך כלל מעורבים באקדמיה או בהכשרת הנבחנים. כמו כן, מרבית כותבי השאלות הם אנשי אקדמיה (בפועל או לשעבר) והם בטוחים ביכולתם ובכישוריהם בכתיבת השאלות לבחינה. לכן, קשה להם לעיתים לקבל משוב, הערות או המלצות לשינוי. מניסיוננו, במקרים רבים, דווקא המנוסים יותר והוותיקים יותר (או אולי הבטוחים יותר במקצועיותם?) קשובים ופתוחים יותר להקשיב ולשפר.
-
אי דיוק של מומחים בניבוי רמת הקושי של השאלות – במקרים רבים ראינו כי דירוג רמת הקושי של השאלות שנעשה על ידי כותבי השאלות, או אף על ידי מומחים אחרים בתחום לא תואם את התוצאות בפועל; "שאלת מתנה" מתגלה לעיתים כשאלה ברמת קושי גבוהה, ולהיפך - שאלה שהוגדרה על ידי הכותב כשאלה קשה מתגלה בפועל כשאלה קלה.
-
אין אפשרות לבצע מחקר פיילוט מקדים – האוכלוסיות הניגשות למבחני הרישוי הן קטנות כך שיש סיכוי סביר שחשיפה של הנבחנים לשאלות עתידיות תוביל לדליפתן ולחשיפתן. לכן, אין באפשרותנו לבדוק את השאלות מבעוד מועד. מסיבות אלו לא ניתן להבטיח שרמת הקושי של בחינות במועדים השונים תהיה זהה.
-
אין אפשרות לשימוש חוזר בשאלות מבחינות עבר – למרות שכמעט כל לקוח חדש מצהיר כי ברצונו להקים מאגר פריטים, בסופו של דבר מתברר כי אין כמעט אפשרות למחזר שאלות, מכיוון שיש תקנות וחוקים שמתעדכנים באופן שוטף. זאת, נוסף על כך שהקמת מאגר מסוג זה דורשת תקציב גדול ואין אפשרות למשרדים השונים לאשר זאת.
-
הצורך הגובר בשקיפות מלאה של התהליכים – ביותר ויותר גופים עולה הלחץ לפרסום שאלות הבחינה, ולכן הבחינות מתפרסמות במלואן, כולל נתוני ציוני המעבר וכו'. הדבר מגביר את הצורך בכתיבת שאלות חדשות ומקוריות באופן שוטף, מה שמקשה על התהליך.
הגופים הממשלתיים כלקוחות
אנשי המקצוע/הכותבים צריכים לעבוד בהתאם לכללים ולהנחיות הנקבעים על ידי אנשי המנהלה השונים. ההנחיות עוסקות בין היתר בתמהיל הנושאים, מספר השאלות ביחס לזמן המוקצב למבחן וכדומה. הדבר יוצר חוסר אחידות בין מקצועות הרישוי השונים ומייצר פערים באיכות המיון הנערך באמצעות הבחינות השונות. החשיבות של האחידות נובעת מכך שיש הכרה בבחינות שנעשות בגוף ממשלתי אחד לצורך הסמכה במקצוע אחר בגוף ממשלתי אחר. לדוגמא, ברשות ניירות ערך יש שלוש בחינות יסוד שאליהן ניגשים גם נבחני רשות ניירות הערך וגם המועמדים לקבלת רישיון סוכן ביטוח מטעם רשות שוק ההון.
העברת הבחינה
לעתים קרובות אנו נתקלים, בעת העברת הבחינות, בתופעות מתוחכמות של העתקה, הכוללת הצטיידות באביזרים טכנולוגיים, כגון הקראת פתרון הבחינה על ידי גורם חוץ ושמיעתן באוזניות מיניאטוריות, מצלמת כפתור בחולצה, מצלמה זעירה במשקפיים, מחשבון וכד'. לא פעם נתפסות גם העתקות מאורגנות.
דרכי התמודדות עם (חלק מן) הסוגיות שהועלו
מאחר שאין אפשרות לפתור את כל הבעיות והקשיים, אנו עושים כל מאמץ לטייב את איכות הבחינות, כך שיעמדו בסטנדרטים פסיכומטריים מספקים. להלן הדרכים שבהן אנו נוקטים:
בנושא פיתוח הבחינות
-
כתיבת שאלות על ידי מומחים מן המעלה הראשונה בתחום המקצוע של המבחן – הלקוחות שוקדים על איתור הכותבים ה"טובים ביותר", כולל רפרנטים שיהוו עין נוספת לבדיקת השאלות.
-
הדרכת כותבי הבחינות – כל כותב חדש עובר הדרכה בכתיבת שאלות, תוך מתן דוגמאות לשאלות טובות ושאלות שאינן טובות.
-
כל פריט עובר עריכה פסיכומטרית מקצועית ומוקפדת – הצוות המקצועי בחברת מח 10 מקפיד על מתן הערות פסיכומטריות ועל המלצות לתיקונים בעקבות הנתונים, כך שיעמדו בסטנדרטים פסיכומטריים נאותים. תמיכה לאפקטיביות התהליך מגיעה גם ממשובים שאנו מקבלים מהלקוחות, לפיהם במבחנים שבהם ניתן לנו החופש לשפר פריטים בעקבות ההגהות וההמלצות, מספר הערעורים פחת באופן משמעותי.
בנושא העבודה עם הגופים הממשלתיים
אנו עושים כמיטב יכולתנו לעבוד בשיתוף פעולה פורה עם הגופים הממשלתיים ולהפיק לקחים מעת לעת. אולם, מאחר ששינוי תקנות/הליכים הוא הליך ביורוקרטי מסובך, שלפעמים אף דורש שינוי חקיקה, אנו מתמקדים ביעד של פיתוח מקצועי של הבחינה במגבלת האילוצים המוכתבים מלמעלה.
בנושא בעיית ההעתקות
אנו מקפידים על נהלים מוקפדים של השגחה ועל קיום מעקב ביום הבחינה אחר האמצעים הטכנולוגיים בשטח.
לסיכום,
הבעיות שתיארנו על שלל הפתרונות ודרכי ההתמודדות השונות, הופך את פיתוח בחינות הרישוי למשימה מורכבת שיש בה אילוצים רבים. אנו רואים בכך הזדמנות ללמידה מתמדת ולשיפור, כולל קידום השימוש בטכנולוגיה חדשנית ופיתוח יישומים דיגיטליים שיאפשרו תהליכי בחינה יעילים ומקצועיים יותר.
"חם מן התנור"
אישיות בימים של מלחמה
מאת: נטלי דוידי-צלר, אדם מילא
פרטי קשר להתייחסות: natalieda@adam-milo.co.il
מדוע ביצענו את המחקר?
בתקופה המטלטלת בה אנו נמצאים, רצינו ללמוד כגוף מקצועי המלווה לקוחות בקבלת החלטות אם חלו תמורות בציוני מועמדים לתפקידים שונים הנבחנים אצלנו, ואם כן - אלו. זאת, כדי לצייד את הלקוחות/הארגונים שעמם אנו עובדים ואת הפסיכולוגים שלנו במידע עדכני המביא בחשבון שינויים שחלו בתהליכי האבחון השונים.
ה-AMPQ, שאלון האישיות של אדם מילא, הוא כלי דיווח עצמי המבוסס על מודל ה-big 5. הוא ממפה מדדים הקשורים לסגנון ביצוע, התנהלות בינאישית, היבטי השתלבות במסגרת, חוסן אישיותי והיבטים הקשורים להובלה. השאלון מסייע לנו לזהות מגמות המבחינות בין תפקידים או ארגונים שונים ולכן הכרחי שנהיה מודעים לכל תופעה של שינוי בדפוסי אישיות של מועמדים המשתקפים בו.
הממצאים
ההשוואה בוצעה בין התקופה: החל מ- 8.10 ועד 14.11 בשנה הזו (2023) לעומת התקופה המקבילה אשתקד. ברוב המוחלט של הפרמטרים האישיותיים (18 מדדים) לא חל שינוי מובהק. ממצא זה עשוי לרמז על היציבות של האישיות גם בתקופה זו, ויתכן שזו עדות ראשונית לחוסן שמגלה האוכלוסייה. בנוסף, הוא תומך ברלבנטיות של תהליכי גיוס, כמו כל תהליך ארגוני אחר, כדרך לשמירת עורף מתפקד המניע את המשק.
להלן מעט השינויים שזוהו:
-
ממוצע פרמטר הצניעות עלה במקצת (הבדל קטן אך מובהק סטטיסטית), מ-4.52 ל-4.75 (t=-3.54, p<0.0005).
-
ממוצע פרמטר הפעלתנות והנמרצות ירד במקצת (הבדל קטן אך מובהק סטטיסטית) מ-4.79 ל-4.64 (t=2.52, p<0.05).
-
ממוצע פרמטר יציבות רגשית ירד מעט (הבדל קטן, סמוך למובהק) מ-5.14 ל-4.86 (t=4.91, p<0.0005).
שינויים אלו הם הגיוניים וצפויים נוכח המצב. יחד עם זאת, חרף הרגשות הקשים שחווינו כולנו ועודנו חווים, נדמה כי כושר ההתאוששות האישיותי המתבטא בממצאים מפיח תקווה.
יש לציין כי לא נכללו במדגם מועמדים שלא התאפשר להם להיבחן מטעמים שונים, דבר שעלול מעט להטות אותו. כמו כן, ההשוואה היא ברמת הקבוצה (ממוצעים) ולא מספרת את הסיפור של הפרט. לכן, נקודת המוצא שלנו היא כי המפגש האנושי יהיה רגיש ומותאם לימים האלה. נשות ואנשי HR או כל מי שפוגשים מועמדים לעבודה, מחויבים לנהוג ברגישות הנדרשת, לברר את מצבו הספציפי של האדם העומד מולם ולבחון גם את תוצאות האבחון באור התקופה. השימוש בכלים האבחוניים הסטנדרטים והמתוקפים מסייע בכך, על ידי כך שהוא מאפשר לנו לזהות אם עלינו לתת את הדעת באופן ייחודי להיבט זה או אחר. נראה, אם כן, כי גם בתקופה הזו כלים אלו משרתים אותנו בקבלת החלטות מושכלות יותר.
השכלה גבוהה ותעסוקה
מדידת המשמעות של הלימודים האקדמיים: מהם המניעים של צעירים לרכישת השכלה גבוהה?
מאת: ד"ר תרצה וילנר, ד״ר יוליה ליפשיץ-ברזילר, ופרופ׳ איתמר גתי, האוניברסיטה העברית בירושלים
פרטי קשר לתגובות: yuliya.lipshits@mail.huji.ac.il
מספר הסטודנטים המעוניינים בלימודים אקדמיים יורד כל שנה (Hope, 2018), והדבר משקף התלבטות של צעירים בדבר הכדאיות של השקעה בהשגת תואר אקדמי. השכלה גבוהה תורמת להשתלבות מוצלחת בעבודה (Grebennikov & Shah, 2012) ומשפיעה על המוביליות החברתית של צעירים (Chetty et al., 2017), על ההזדמנויות החברתיות והכלכליות שלהם (Owens et al., 2010) וגם על רמת הכנסתם (Grebennikov & Shah, 2012). לכן, צעירים רבים רואים השכלה אקדמית כתורמת להצלחתם (Norton & Martini, 2017).
עם זאת, תפיסת תפקידה של ההשכלה הגבוהה משתנה בין צעירים שונים והם עשויים לראות בה אמצעי למטרות שונות. הבנה של משמעות ההשכלה הגבוהה בחייהם עשויה לסייע להם בהחלטות הקשורות לכך, לדוגמה, אם להירשם לאוניברסיטה או מכללה, ואם כן, לאיזה מוסד ולאיזה חוג לימודים. כדי לסייע לצעירים למפות את המשמעות שהם מייחסים ללימודים אקדמיים, פיתחנו את שאלון האוריינטציות להשכלה גבוהה (Willner et al., 2023a).
שאלון אוריינטציות להשכלה גבוהה
מטרתו של שאלון אוריינטציות להשכלה גבוהה היא לשקף לצעירים את המשמעויות השונות של השכלה אקדמית עבורם. בהתבסס על מחקרים קודמים (Bogler & Somech, 2002; Coˆte & Levine, 1997), שאלון אוריינטציות להשכלה גבוהה ממפה את הבולטות היחסית של חמש אוריינטציות להשכלה גבוהה:
-
רכישת מקצוע – הלימודים האקדמיים כאמצעי לרכישת מקצוע שיסייע להשתלב בשוק העבודה.
-
רכישת ידע והשכלה – הלימודים האקדמיים כאמצעי לרכישת ידע והרחבת האופקים.
-
מסגרת חברתית – הלימודים האקדמיים כהזדמנות להיכרות עם אנשים חדשים והגדלת המעגל החברתי.
-
יוקרה – הלימודים האקדמיים כאמצעי להעלאת הסטטוס החברתי.
-
לחץ סביבתי – הלימודים האקדמיים כאמצעי לרצות אנשים משמעותיים או לספק ציפיות ולחץ חברתי.
השאלון הוא כלי אינטרנטי חינמי, אנונימי, וקצר (5-7 דקות) הכולל 25 היגדים, כאשר כל היגד מייצג אחת מחמשת האוריינטציות. המשיבים לשאלון מתבקשים לציין באיזו מידה כל היגד מתאים לגביהם בסולם ליקרט של 7 דרגות. בסיום המענה, לכל צעיר או צעירה מוצג משוב גרפי ומילולי לגבי הבולטות היחסית של חמש האוריינטציות.
לחמשת הסולמות המייצגים את האוריינטציות יש מהימנות פנימית טובה ( Cα בין .78 ל- .85); ניתוח גורמים מאשש (CFA) תמך במבנה של חמש אוריינטציות מובחנות גם בגרסה באנגלית (CFI = .95 ) וגם בגרסה בעברית (CFI= .91), וכן תמך בתוקף המבנה של השאלון בהתייחס לקריטריון של קשיים בתהליך קבלת החלטות תעסוקתיות של מועמדים לאוניברסיטה (Willner et al., 2023a). כמו כן, מחקר בקרב סטודנטים בשנתם הראשונה באוניברסיטה הראה כי היציבות של הבולטות היחסית של האוריינטציות בתוך אדם נשארת יציבה יחסית במהלך השנה הראשונה ללימודים (חציון מתאם ספירמן בתוך סטודנט = 90., תחום בין רבעוני 76.-97.).
תוקף הניבוי של השאלון נתמך על ידי הממצא שאוריינטציות שונות להשכלה גבוהה ניבאו שביעות רצון מחוג הלימוד לאחר שנה (R2 =.21), וכן ניבאו סטטוס קבלת החלטות תעסוקתיות (R2=.07) והתנהגויות קריירה פרואקטיביות לקראת סיום התואר (R2=.07), (Willner et al., 2023b). כך לדוגמא, בעוד האוריינטציה של רכישת ידע והשכלה ניבאה שביעות רצון רבה יותר מחוג הלימוד, האוריינטציות של מסגרת חברתית ורכישת מקצוע ניבאו סטטוס קבלת החלטות מתקדם יותר, כלומר, ידעו טוב יותר מה הם רוצים ללמוד ובמה לעבוד.
השלכות יישומיות לאוריינטציות להשכלה גבוהה
השימוש באוריינטציות להשכלה גבוהה יכול לסייע ליועצים חינוכיים ותעסוקתיים לשקף לצעירים את המשמעות שהם מחפשים ברכישת השכלה אקדמית ולדון איתם על הציפיות שלהם מהלימודים. לאחר שיח זה, יועצים יכולים לסייע לצעירים בזיהוי תוכניות אקדמיות שתואמות את האוריינטציות שלהם. לדוגמא, לצעירים בעלי אוריינטציה לרכישת מקצוע, יועצים יכולים לסייע באיתור תוכניות אקדמיות בעלי זיקה חזקה לתעשייה ולמעסיקים, וכן התמחויות בתוך התחום שבחרו. לעומתם, לצעירים בעלי אוריינטציה לרכישת ידע והשכלה, אפשר לסייע באיתור תוכניות אקדמיות אשר מספקות באופן יחסי, מגוון רב יותר של קורסים שמקדמים הרחבת אופקים.
לסיכום, שאלון אוריינטציות להשכלה גבוהה הוא כלי חינמי שנגיש באתר כיוונים לעתיד (נא לציין בגיל 99 כדי להבליט שמדובר בגלישה למטרת הכרות עם השאלון והמשוב). יועצים שעוסקים גם בהשכלה גבוהה יכולים להיעזר בשאלון כדי לסייע לצעירים לבחור מוסדות ותחומי לימוד התואמים את המשמעות שהמתלבטים מחפשים בהשכלה גבוהה.
למידע נוסף לגבי השימוש בשאלון האוריינטציות להשכלה גבוהה למחקר או ייעוץ נא לפנות לד״ר יוליה ליפשיץ-ברזילר, yuliya.lipshits@mail.huji.ac.il.
מקורות
Bogler, R., & Somech, A. (2002). Motives to study and socialization tactics among university students. The Journal of Social Psychology, 142(2), 233–248. https://doi.org/10.1080/00224540209603897
Chetty, R., Friedman, J. N., Saez, E., Turner, N., & Yagan, D. (2017). Mobility report cards: The role of colleges in intergenerational mobility (Working Paper No.23618). National Bureau of Economic Research.
Coˆte ́, J. E., & Levine, C. (1997). Student motivations, learning environments, and human capital acquisition: Toward an integrated paradigm of student development. Journal of College Student Development, 38(3), 229–243.
Grebennikov, L., & Shah, M. (2012). Investigating attrition trends in order to improve student retention. Quality Assurance in Education, 20(3), 223–236. https://doi.org/10.1108/09684881211240295
Hope, J. (2018). Spring undergrad enrollment down compared to the previous year. Enrollment Management Report, 22(5), 9-9. https://doi.org/10.1002/emt.30447
Norton, C., & Martini, T. (2017). Perceived benefits of an undergraduate degree. Canadian Journal for the Scholarship of Teaching and Learning, 8(1), Article 3. https://doi.org/10.5206/cjsotl-rcacea.2017.1.3
Owens, D., Lacey, K., Rawls, G., & Holbert-Quince, J. A. (2010). First-generation African American male college students: Implications for career counselors. Career Development Quarterly, 58(4), 291–300. https://doi.org/10.1002/j.21610045.2010.tb00179.x
Willner, T., Lipshits-Braziler, Y., & Gati, I. (2023a). Construction and initial validation of the Higher Education Orientations questionnaire. Journal of Career Assessment, 31(1), 85-108. https://doi.org/10.1177/10690727221090621
Willner, T., Lipshits-Braziler, Y., & Gati, I. (2023b). The role of higher education orientations in college students’ academic and career development. Unpublished manuscript.