מידעונט אפי
גיליון 2
דבר העורכת
חברות יקרות וחברים יקרים,
המידעונט של אפי הוא מידעון מקוון חדש של האגודה הפסיכומטרית הישראלית (אפי), שנועד לשמש כבמה לחילופי מידע, ידע ודעות בין כל המתעניינים והעוסקים במבחנים, במדידה ובהערכה בכלל, וחברי האגודה בפרט.
הגיליון הראשון של מידעונט אפי התפרסם בתחילת השנה וכעת מוגש לכם הגיליון השני שלו.
מטבע הדברים מורגשות בו השלכות של מגפת הקורונה העולמית על היבטים שונים של העבודה המקצועית שלנו ושל אחרים, ומוקדשת לה פינה מיוחדת: "הקורונה ואנחנו".
בפינה הזאת 3 עניינים:
-
"הערכה בתנועה בימי קורונה, מזווית אישית" – מאת תרצה מרגולין, מנהלת מחקרי הערכה בקרן רש"י;
-
"השלכות הקורונה על מוסדות להשכלה גבוהה בארה"ב - המעבר לשיטת ציון עובר/נכשל" – מאת צור קרליץ מהמרכז הארצי לבחינות והערכה (מאל"ו);
-
"השלכות הפנדמיה על כנסים בארץ ובחו"ל" – לקט עדכונים לגבי ביטולים או שינויים במועדי כנסים.
בפינת המומחה – הפעם 2 נושאים:
-
"שיטות מחקר כמותיות" – ספר מקוון חדש של פרופ' רמי בנבנישתי מהאוניברסיטה העברית.
-
"עיצוב טבלאות בפלטים של SPSS", מאת נעם כאהן מהמרכז הארצי לבחינות והערכה (מאל"ו).
הפינה "חם מן התנור" - מפנה אל מאמר עדכני הדן במבחנים הבינלאומיים בחינוך, ומציגה מגזין חדש של ראמ"ה (הרשות הארצית למדידה והערכה בחינוך).
הפינה "היינו ב..." – מתייחסת הפעם ללימודי תעודה ולכנס:
-
שלוש מלגאיות מספרות על לימודי התעודה שלהן בפסיכומטריקה;
-
ממצאי משוב על כנס אפי 2020 ונקודות למחשבה שהעלו משתתפים בו.
"נא להכיר" – הפעם נכיר את מחלקת ההערכה של האוניברסיטה הפתוחה, בעזרת מנהלת המחלקה: עינת נוטע- קורן.
"מנקודת מבטי המקצועית" – הפסיכומטריקן והיועץ המשפטי של אפי ד"ר חנן גולדשמידט, מציע את דעתו על מבחני רישוי ופסיכומטריקה.
ולבסוף,
"בצער רב" – אנו משתתפים בצערה של חברתנו על פטירת אביה.
אנא קראו, העירו והגיבו על דברים שנכתבו בגליון הזה של המידעונט של אפי (תודה לכל מי שתרמו לו), כמו גם באלה שיבואו אחריו - ובכך תסייעו לקדם את מעמדו כבמה משמעותית לחילופי ידע ודעה בין כל המתעניינים והעוסקים בהיבטים השונים של הפסיכומטריקה.
בפנייתכם/ן (אל ritasever9@gmail.com) נא זכרו לציין שם, תואר אקדמי, השתייכות אקדמית/ארגונית , כתובת דוא"ל ומספר טלפון להתקשרות.
תודה,
ד"ר ריטה סבר
עורכת המידעונט והיו"ר הנבחרת של אפי
"פינת המומחה"
טיפים לשימוש בתוכנות סטטיסטיות וכלים אינטרנטיים רלבנטיים
1 - שיטות מחקר כמותיות – ספר אלקטרוני חדש מאת רמי בנבנישתי
הספר מופיע באתר: /#/http://research-methods.webbook.co.il והגישה אליו חינם בימי הקורונה. הוא מיועד למגוון רב של לומדים: תלמידי בוגר, מוסמך ודוקטורט, וחוקרים בתחילת דרכם; מתאים לכל מדעי ההתנהגות והחברה, ובין היתר לסטודנטים בחינוך, עבודה סוציאלית, פסיכולוגיה, וכו'.
בספר 17 פרקים המקיפים את כל תהליך המחקר - מהרעיון ושאלת המחקר הראשונית ועד לסיום הדיון , וכולל לראשונה בעברית פרקים על נושאים כגון אתיקה, סקירות שיטתיות, מטא-אנליזות ומחקרי התערבות. בנוסף, הספר משלב הוראת שיטות מחקר עם שיטות סטטיסטיות לעיבוד נתונים (ב SPSS) והדגמה של דרך הצגת הממצאים ופרשנותם.
הספר כתוב בשפה פשוטה ואינטואיטיבית, ללא חישובים ומעט מאוד נוסחאות, מכיל עשרות דוגמאות ממחקרים רלוונטיים, ותרגילים רלוונטיים, כמו גם הפניות וקישורים מתוך הספר לאתרים ולמאמרים.
זהו ספר המתפתח ומשתכלל עם קבלת תגובות של מורים ותלמידים ועם שינויים בצרכים. לדוגמה, המחבר מתכנן להוסיף בעתיד פרק על התמודדות עם Big Data.
2 - עיצוב טבלאות בפלטים של SPSS
כחוקרים המתעסקים עם נתונים אנו נדרשים לא פעם להפיק פלטים בפורמטים ובמבנים שונים לצורך הצגתם או המשך עיבודם. ברצוני לשתף אתכם במספר דרכים אשר אני עושה בהן שימוש ב-SPSS.
הפקודה השימושית הראשונה הינה פקודת OMS (כלומר output management system). ראשית, חשוב לציין כי פקודה זו פועלת רק באמצעות כתיבת קוד ב-SPSS, אבל ניתן להפיק אותו בקלות דרך ממשק התוכנה (להרחבה והסבר על חלקי הקוד ראו /https://www.spss-tutorials.com/spss-oms-tutorial-creating-data-from-output). פקודה זו מאפשרת לייצא את הטבלה המבוקשת מה-Output לקובץ נתונים חדש ומשם ניתן לבצע עליו מניפולציות כרצונכם. השימוש הכי בסיסי בפקודה זו הינו ייצוא הקובץ ושמירתו ישירות לפורמט SPSS או Excel, משם ניתן בקלות להפיק טבלאות או גרפים על בסיס נתונים אלו. שימוש מתקדם יותר יכול להיות הדבקת תוצר הניתוח חזרה אל קובץ הנתונים המקורי לצורך ניתוחים נוספים.
כלי שימושי נוסף הינו עבודה ידנית על טבלאות הפלט דרך Pivot Table. השימוש בכלי זה מתאים למצב בו נדרשת עבודה על מספר קטן של טבלאות. במסך הפלט ב-SPSS ניתן לשנות את אופן התצוגה ע"י הקלקה כפולה על הטבלה המבוקשת, ובחירה בתפריט Pivot (איור 1א). האפשרות הראשונה הינה "Transpose Rows and Columns", כאשר בחירה בה פשוט תהפוך את העמודות לשורות ולהיפך. האפשרות השנייה והמתקדמת יותר היא לסמן את "Pivoting Trays", בעקבותיו יפתח חלון חדש (איור 1ב). בחלון זה ישנה אפשרות לשחק עם השכבות השונות ולעצב את הטבלה הסופית כפי שנרצה. כך למשל, ניתן לשנות את ההיררכיה בשורות בין המשתנים לסטטיסטיים ע"י גרירה של אחת המילים "variables" או "statistics" והחלפה ביניהן.
שינוי היררכיית התצוגה מאפשרת, לדוגמה, לשנות את ברירת המחדל של פלט המתאמים ב-SPSS כך שבמקום להציג שלושה סטטיסטים לכל משתנה, יוצגו כל המשתנים לכל סטטיסטי בנפרד (ראו איור 2). כמו כן, באיור 1ב בשדה משמאל למעלה (מסומן באדום) ישנו סנן בו ניתן להכניס פרמטר אחד או יותר ואז לבחור מתפריט ה-drop-down שייפתח את המשתנה או הסטטיסטי שנרצה להציג בטבלה.
כאמור, העבודה דרך ה-pivot הינה ידנית, צורכת זמן ובמידה ונרצה ליישם על מספר טבלאות נצטרך לעשות זאת בנפרד עבור כל טבלה. לחילופין, ניתן לעבוד עם פקודת "Output Modify" ע"י קליק ימני על הטבלה ובחירת "Style Output". בחלון הראשון יש לבחור עבור אילו טבלאות נרצה ליישם את הפקודה וללחוץ "continue". בחלון השני ניתן להגדיר פרמטרים רבים עבור עיצוב הטבלה כגון transpose, הדגשה וצביעה לפי תנאים מסוימים, סידור עפ"י פרמטר מסוים ועוד, משם ניתן להעתיק את פעולות העיצוב לקוד. כמו כן, ניתן לבקש למחוק טבלאות מסוימות ולהשאיר רק טבלאות הרלוונטיות לכם. להרחבה ראו:
"היינו ב..."
דווחים על - והתייחסויות ל- הזדמנויות לפיתוח מקצועי
1 - דיווח מסיום לימודי תעודה בפסיכומטריקה
הזווית של מלגאיות הדוקטורט של הוועדה הישראלית לעידוד לימודי הפסיכומטריקה
מאת:
ליאור אברמזון (lior.abramson@mail.huji.ac.il) - פסיכולוגית התפתחותית, תלמידת דוקטורט, מונחית על-ידי פרופ' אריאל כנפו-נעם באוניברסיטה העברית.
טוני גוטנטג (tonygute@gmail.com) - פסיכולוגית חברתית, תלמידת דוקטורט, מונחית על-ידי פרופ' מאיה תמיר באוניברסיטה העברית.
נועם מרקוביץ' (noammarkovitch@gmail.com) - פסיכולוגית חברתית, תלמידת דוקטורט, מונחית על-ידי פרופ' אריאל כנפו-נעם באוניברסיטה העברית.
במשך שלוש שנים, החל מינואר 2017, קיבלנו, שלוש המלגאיות, מלגה לשילוב הכשרה בפסיכומטריקה בלימודי הדוקטורט שלנו. מטרת התוכנית לעודד דוקטורנטים במוסד ישראלי לשלב במסגרת ללימודיהם הכשרה ומחקר בתחום הפסיכומטריקה. במסגרתה, השלמנו את לימודי התעודה בפסיכומטריקה, למדנו חומר תיאורטי ואף נחשפנו למחקר נרחב המתקיים כיום בתחום הפסיכומטריקה בגופים שונים. בנוסף, קיבלנו ייעוץ מקצועי בביצוע מחקר פסיכומטרי. כפועל יוצא, שילבנו מרכיבים פסיכומטריים מתקדמים בעבודת הדוקטורט שלנו. בטקסט זה נספר מעט על חוויותינו כמלגאיות בתוכנית, וכיצד התוכנית תרמה למחקרנו באקדמיה ואיפשרה לנו להיות חלק מקהילה פסיכומטרית מתהווה.
תרומת הפסיכומטריקה לאקדמיה
כל מחקר טוב מתחיל במדידה והערכה איכותית. למרות החשיבות התשתיתית של פסיכומטריקה לכל מחקר, בדרך כלל מוסדות אקדמיים מקדישים לנושא קורסים יעודיים בודדים. למשל, במחלקה לפסיכולוגיה באוניברסיטה העברית בשנתון תש"פ קיים רק קורס אחד שעוסק במישרין בנושא: "מבוא לפסיכומטריקה: מבחנים, נבחנים ומה שבינם", הניתן על-ידי ד"ר צור קרליץ ומר ספי פומפיאן ממאל"ו. זאת, בניגוד למוסדות בארצות הברית, למשל, המציעים תוכניות שלמות העוסקות בפסיכומטריקה (לכתבה על הנושא, ר' https://www.ispa.org.il/psychometrics-programs-abroad). למעשה, השגת הכשרה מעמיקה בפסיכומטריקה בישראל נעשית לרוב במסגרת עבודה בארגונים ומרכזי מחקר המתמחים בנושא. לימודי התעודה בפסיכומטריקה מגשרים על הפער הזה, בכך שהם מציעים קורסים אקדמיים יעודיים ויחודיים המעניקים ללומדים הכשרה מקיפה בפסיכומטריקה. לימודי התעודה כוללים קורסים העוסקים בתיאוריה הפסיכומטרית לצד יישומה בפרקטיקה, וכן בביקורת על הסוגיות התאורטיות והמעשיות המעסיקות את הפסיכומטריקאים, באקדמיה ומחוצה לה.
כמלגאיות שנחשפו לפסיכומטריקה באופן יסודי, אנו סבורות כי ההבנה המעמיקה של מדידה והערכה עזרה לנו להיות חוקרות טובות יותר. כיום, אנו סבורות כי יש לנו מודעות, יכולת וכלים רבים יותר לוודא כי המסקנות המחקריות שלנו, כמו גם כלי המחקר שאנו בוחרות ומפתחות, מהימנים ותקפים. בנוסף, יש לנו יכולת לבצע יישום מדויק יותר של שיטות סטטיסטיות שהכרנו בעבר, ולהשתמש בשיטות מורכבות וחדשניות שלמדנו במסגרת לימודי התעודה (לדוגמא - תורת התגובה לפריט [IRT]). מעבר להתפתחות האישית כחוקרות, השלמת הקורסים בתוכנית, ההשתתפות במפגשי הסמינר, והייעוץ הפסיכומטרי-מקצועי עזרו לנו לשלב היבטים פסיכומטריים בעבודות הדוקטורט שלנו בפועל. את יישום ההיבטים הפסיכומטריים הצגנו באחד הסמינרים של לימודי התעודה בנובמבר 2018.
ליאור אברמזון הציגה דרך חדשה להסתכל על המבנה של טמפרמנט נצפה בילדות. ליאור חוקרת התפתחות של טמפרמנט ואמפתיה אצל ילדים בגילאי 6-8, בהנחייתו של פרופ' אריאל כנפו-נעם. במשך זמן מה, היא ניסתה למצוא את המודל המתאים ביותר לנתונים. בעזרת הנחייתו של ד"ר דביר קלפר ממאל"ו, שעודד אותה לחשוב מחוץ לקופסא ולבחון מבני נתונים מורכבים יותר, מצאה ליאור מודל שמתאים הן מבחינה תיאורטית והן מבחינה אמפירית. המודל החדש חשף תובנות משמעותיות על האופן בו תכונות על (למשל מוחצנות לעומת מופנמות) "ממסכות ומטשטשות" תכונות טמפרמנט אחרות. בכך הניתוח סיפק לא רק תובנות פסיכומטריות, אלא גם תובנות על האופן המורכב בו תכונות טמפרמנט קשורות אחת בשנייה, וכיצד הדבר משפיע על הערכתנו אנשים אחרים.
טוני גוטנטג הציגה כיצד לימודי הפסיכומטריקה והייעוץ הפסיכומטרי שניתן לה על-ידי יונתן סער ממאל"ו סייעו לה באופרציונאליזציה של המשתנה החדש שהציגה בדוקטורט שלה בהנחיית פרופ' מאיה תמיר מהמחלקה לפסיכולוגיה באוניברסיטה העברית, "מחוייבות למטרה רגשית". ההיבטים הפסיכומטריים בעבודה זו היו פיתוח סולם דיווח עצמי למדידת המשתנה, ולאחריו פיתוח מטלה התנהגותית למדידת המשתנה, ותיקופם. אופרציונאליזה זו איפשרה לה לשאול שאלות תיאורטיות מתקדמות לגבי תפקידה של מחוייבות למטרה רגשית בתהליך הויסות רגשי והשפעתה על הצלחה בויסות הרגשי.
נועם מרקוביץ' הציגה כיצד מדידה טובה יותר של הבדלים בין אישיים ברגישות להשפעות הסביבה סייעה לה למצוא כי בניגוד להמשגה בספרות המחקרית, אנשים אינם ״רגישים״ או ״לא רגישים״ להשפעות הסביבה אליהם, אלא אנשים שונים יכולים להיות רגישים להשפעות של סביבה מסוימת (לדוגמה הוריהם), אך לא של סביבה אחרת (לדוגמה חבריהם). במסגרת הדוקטורט בהנחייתו של פרופ׳ אריאל כנפו-נעם, ובעזרת ההכשרה שרכשה במסגרת לימודי התעודה, נועם פיתחה שני כלים חדשים למדידת מידת הרגישות להשפעות הסביבה, וביססה אותם מבחינה פסיכומטרית.
לבסוף, העבודה באקדמיה כוללת לא רק מחקר, אלא גם הוראה. תוכנית המלגה סיפקה עבורנו הבנה מעמיקה יותר של תורת המבחנים ועזרה לנו להיות מתרגלות ומרצות טובות יותר, הבונות מבחנים איכותיים יותר לסטודנטים שלנו ומצייננות אותם בצורה נאותה. לשמחתנו, ללימודים אלו יש תוצאות מיידיות ומהירות בשטח, אשר מתבטאות בפידבקים שאנו מקבלות מהסטודנטים כי המבחנים שאנו בונות הוגנים ועוסקים בחומר הנלמד.
קהילה פסיכומטרית
פרט ללמידת חומר תיאורטי ופרקטי, ללימודי התעודה הייתה תרומה חשובה נוספת. לימודי התעודה סייעו בבניית קהילה בעלת עניין משותף בפסיכומטריקה. בקהילה זו חברים אנשים נוספים שמתעניינים באותם נושאים כמונו – פסיכומטריקה, מחקר, שיטות סטטיסטיות מתקדמות ומתודולוגיה. בכך יכולנו להיעזר בקהילה מבורכת זו, ולדון שעות ולעומק בקושיות פסיכומטריות בוערות עם חברים בעלי תשוקה לנושא. חברי הקהילה הם סטודנטים, פסיכומטריקאים באקדמיה או בארגונים, ועוד אנשים המתעניינים בנושא. הם באים ממגוון תחומים: מחינוך ופסיכולוגיה ועד סטטיסטיקה ומדעי המחשב. המגוון האנושי ומגוון הרקעים הללו תרמו ותורמים להעשרת הידע והדיון בקהילה, ושילוב חוצה תחומים ברעיונות ומתודות התורמים כולם למדידה והערכה. לימודי התעודה סייעו בגיבוש הקהילה, אך הקהילה כעת רחבה יותר מגבולות הגיזרה של התוכנית. הקהילה חברה לקהילה הקיימת בפסיכומטריקה, הנפגשת אחת לשנה בכנס אפי ושומרת על קשר באמצעות רשימת תפוצה, ידיעון זה ואמצעים נוספים. בנוסף, הקשרים החבריים והמקצועיים ("נטוורקינג") הם בעלי תרומה ליום-יום של חברי הקהילה, בדמות שיתופי פעולה, התייעצויות וכיו"ב.
לסיכום, שמחנו על הזכות לקחת חלק בלימודי התעודה ולהיות חלק מהקהילה המתהווה. המלגה לשילוב הכשרה בפסיכומטריקה בלימודי הדוקטורט שלנו איפשרה לנו להתמקד במחקר הדוקטורט מבחינה כלכלית מחד, ולבנות יסודות איתנים יותר למחקר על-ידי העשרתו בידע הפסיכומטרי שלמדנו בתוכנית. ידע זה שירת אותנו בדוקטורט וישרת אותנו גם בהמשך כחוקרות, באקדמיה או מחוצה לה. לבסוף, נהננו להכיר פסיכומטריקאים קיימים ושואפים, בתקווה שזו היא רק ההתחלה של חברות נפלאה.
2 - הכנס השנתי של אפי
כנס אפי 2020 התקיים ממש על סף הופעתה של הקורונה בארץ, והשתתפו בו 180 חברים/ות. על שאלון המשוב הקצר, שנשלח להם מיד לאחר הכנס, ענו 106 חברים/ות (כ-59%), מתוכם כ- 20% שזהו הכינוס הראשון שלהם. מהמשוב עולה שגם השנה המשתתפים היו שבעי רצון מהכינוס. 88% מהמשיבים דיווחו שהם מרוצים (או מרוצים מאוד) מהכינוס, אם כי רק 67% היו מרוצים מהתאמת ההרצאות לתחומי העניין שלהם. 75% היו מרוצים ממגוון ההרצאות, ו- 72% היו מרוצים מאיכות ההרצאות (23% דיווחו על עמדה נייטרלית בנושא זה). 91% ציינו שהיו מרוצים ממערכת ההרשמה לכנס.הכינוס התקיים בכפר המכבייה ומרבית המשיבים היו מרוצים מהבחינות השונות: אולם המליאה (88%), אולם המושב המקביל (השנה 76%), החנייה (84%), ארוחת הצהריים (75%) ובמידה פחותה יותר, הכיבוד בהפסקה (60%). הכינוס השנה התחיל בשעה 9:15 והסתיים בשעה 15:15. ארוחת הצהריים היתה בשעה 13:00. 74% מהמשיבים תמכו בהשארת שעת ההתחלה והסיום כפי שהיו השנה. 91% תמכו בהשארת שעת ארוחת הצהריים באותה שעה. נראה שיש העדפה כללית לכינוס יחסית קצר.
מהחלק הפתוח של השאלון ליקטתי כמה מההתייחסויות המילוליות המפורטות ( שכמובן מיצגות רק את דעתם של המשיבים הספציפיים) שמתבקש לקחת בחשבון לכנסים הבאים:
• הכנס היה מעניין מאוד, זה הפעם הראשונה שלי ומאוד נהנתי מההרצאות, הכנס פתח לי תחומים נוספים לקרוא עליהם ואני מרוצה.
• רציתי לכתוב עוד בשנה שעברה שזה רעיון מעולה ומאוד נוח שיש רשימת הרצאות מאחורי התג.
• לדעתי הכנס השנה היה מוצלח במיוחד, גם בגלל המסביב, אבל במיוחד מכיוון שמרבית ההרצאות היו ברמה גבוהה יחסית - הן מבחינת התוכן והן מבחינת איכות העברת ההרצאה.
• היה חסר דיון בנושאים בוערים הקשורים לתחום שלנו:
o דיון בסערה הציבורית סביב ההערכה במערכת החינוך, הצגת התהליכים שנעשו כדי לברר מה הציבור חושב ומה אנשי המקצוע מציעים והמסקנות שגובשו לגבי העתיד.
o הרפורמה המתגבשת בענין ההתמחות וההסמכה של הפסיכולוגיים התעסוקתיים וכדומה.
• ... היינו רוצים בפעם הבאה לשמוע יותר על השינויים הצפויים בבחינה הפסיכומטרית ועל ההערכה הממוחשבת של מטלות כתיבה.
• עיקר המיקוד היה סביב תחומי החינוך או האקדמיה. הייתי שמח שישולבו תכנים רלוונטיים יותר גם לעולמות הארגוניים או התעסוקתיים - מדידה והערכה בארגונים, בעיקר בתחומים כמו מיון עובדים, פסיכודיאגנוסטיקה, ייעוץ תעסוקתי, אבחון ארגוני וכדומה.
• הייתי שמחה אם היו פוסטרים של עבודות. זאת הזדמנות לדבר באופן אישי עם אנשים על המחקרים, מעבר ל-2 דק' של השאלות בסוף כל הרצאה. בעיניי זה פורמט הצגה מאוד חשוב, שנותן הזדמנות גם לסטודנטים לקבל פידבק מאנשי מקצוע. גם 10 פוסטרים בחצי שעה אחרונה של ארוחת הצהריים זה משהו.
"חם מן התנור"
פרסומים חדשים של/בשביל חברי אפי
מאמר רלבנטי -
זינגר ובראון קוראים לבחון בעיניים בקורתיות את השימוש הרווח במבחני הערכה בינלאומיים בחינוך ומציעים דרכים לשימוש יותר מושכל בהם:
Singer, J.D. & Braun, H. I. (2018). Testing international education assessments. Science 360 (6384), 38-40.
מגזין חדש של ראמ"ה -
המגזין יפורסם אחת לרבעון ויכלול מגוון תכנים מהעשייה של ראמ"ה בתחומי המדידה וההערכה החינוכית.
להלן הקישור לגליון הראשון שלו, "חם מן התנור" ( גליון אביב תש"פ):
"נא להכיר"
אנשים וארגונים שעוסקים במבחנים, מדידה והערכה
המחלקה להערכה באוניברסיטה הפתוחה
מאת: עינת נוטע- קורן, מנהלת המחלקה להערכה באו"פ
האוניברסיטה הפתוחה חרטה על דגלה את ערך המחוייבות לשינוי חברתי. היא עושה זאת על -ידי הנגשת לימודים אקדמיים ברמת גבוהה לאוכלוסיות רחבות ככל האפשר ועל-ידי קבלה פתוחה. כחלק מהשליחות, הלימודים באוניברסיטה הפתוחה הם גמישים בזמן, במקום ובקצב הלמידה והם מועברים בשיטות הוראה מגוונות וייחודיות. כדי לשמור על עדכניות, האו"פ מפתחת ומעדכנת כל העת שיטות הוראה חדשניות.
המחלקה להערכה באוניברסיטה הפתוחה נועדה לסייע לאוניברסיטה בתהליכי קבלת החלטות שקשורות ביישום החזון שלה. התחומים שבהם המחלקה מציעה את שירותיה לאוניברסיטה הם:
• הערכה מעצבת – ליווי תוכניות התערבות (שקשורות בהוראה) והתמקדות בשיפור תהליכים באמצעות קבלת משוב במהלך יישום התוכנית. לשם כך, נערכות מדידות בנקודות מוגדרות במהלך היישום כך שלמנהלי תכנית ההתערבות יש הזדמנות לשפר את התהליכים בזמן אמת.
• הערכת אפקטיביות באמצעות שימוש במחקר מבוקר. במצבים שבהם הדבר מתאפשר, אנו עורכים הקצאה אקראית לקבוצת ביקורת וקבוצות התערבות כדי לבדוק אם תכנית ההתערבות מועילה או לא.
• בחינת שאלות אסטרטגיות שבדיקתן מחייבות אינטגרציה של נתונים ממקורות שונים, עיבודי נתונים מורכבים (שלוקחים בחשבון משתנים מתערבים) וסיוע במתן הפרשנויות ובהסקת המסקנות.
• אחריות על פיתוח סקר ההוראה, על העברתו ועל עיבודי הנתונים (העבודה עם הממצאים מתבצעת בתיאום מלא על-ידי המחלקה להוראה וללמידה באו"פ).
• עיצוב התערבויות קלות (Nudge) – זיהוי החסמים, ניסוח המסרים, איתור נקודות מתאימות להתערבויות ובדיקת האפקטיביות שלהן, בשיטות המקובלות במדעי ההתנהגות.
• פיתוח כלים, שיטות, אלגוריתמים מבוססי למידת מכונה. למשל, בניית מודלים של חיזוי לצורך תכנון התערבויות שונות, עצי החלטה, אנליזות הישרדות וכדומה.
• מתן ייעוץ מקצועי בפיתוח שאלונים או כלֵי הערכה אחרים שבהם משתמשות יחידות האוניברסיטה הפתוחה.
החל מהשנה שעברה, המחלקה להערכה פתחה את דלתה להתנסות מעשית במסגרת קורס ה"פרקטיקום" לסטודנטים הלומדים לתואר שני במגמות המחקריות-יישומיות בפסיכולוגיה. הפרקטיקום פתוח לסטודנטים הלומדים לתואר שני בפסיכולוגיה בכל האוניברסיטאות. לפרטים מומלץ לעיין באתר המחלקה.
"מנקודת מבטי המקצועית"
הצגת עמדה לגבי מה שקורה/נעשה בסביבתנו
על מבחני רישוי ופסיכומטריקה
מאת חנן גולדשמיט
מנקודת מבטי המקצועית, כאיש פסיכומטריקה ומשפטים - במבחני רישוי הפסיכומטריקן נסוג צעד אחד קטן אחורה.
על קצה המזלג – מבחני רישוי מנסים לנבא, מנסים לקלוע, שכולם "יפלו על האלכסון" (אפס false Positive ואפס false negative).
אנחנו עושים מאמץ עליון ש"נפגע" מאה אחוז בהכרזת בעל הכישורים כמקבל תעודת המומחה, ומאה אחוז בהכרזת נטול הכישורים כמי שלא יקבל תעודת מומחה.
כפסיכומטריקנים אנחנו נכנסים לתמונה כאשר לפנינו שתי אופציות של עבודה פסיכומטרית בבניית מבחן הרישוי:
(1) למצוא קריטריון מוסכם של מי הוא בעל הכישורים הראוי, לבנות מבחן פיילוט בהתאמה ולבדוק תוקף ניבוי (המתאם בין קריטריון זה למבחן עצמו) – ואז לקבוע מהו סף המעבר לאור המתאם בין המבחן לקריטריון ויחס הברירה. בשלב הבא עלינו לבנות ולהעביר מבחן דומה כמבחן רישוי. באופציה זו יש להגדיר "בעל כישורים ראוי", לבנות מבחן מותאם לכישורים, למצוא מדדי קשר, ולהחליט סף מעבר. הבעייתיות באופציה זו היא שקשה למצוא הגדרה של "בעל כישורים מצוי", ואז להתאים לו בהצלחה מבחן מותאם. אלו שני שלבים מובחנים, שבשניהם צריכה לבוא עבודה משותפת לא פשוטה של אנשי תוכן (אנשי התחום – מיהם?) ואנשי פסיכומטריקה.
(2) לתקף תוקף מבנה לאור דעת מומחים המסכימים על תוכן המבחן וסף הקבלה, בהתאם למדדים סטטיסטיים מתאימים. למעשה אופציה זו מאחדת כמעט את כל השלבים של אופציה (1), עם ויתור על בדיקת תוקף קריטריון בין המבחן לקריטריון. כי בדרך כלל אין. אבל באפשרות (2), היא המצב הקיים ברוב מבחני הרישוי הקיימים, זו החלטה בלעדית של מומחי התוכן. מומחי התוכן הם אשר בוחרים את הנושאים, את רמת הבדיקה של כל נושא, את הפירוק של כל נושא לתתי נושאים, ואת הדרך הראויה לשאול (סגור, פתוח, פתוח חלקית וכו'). ואז הם למעשה הקובעים, תוך כדי בנייה, ש"זהו מבנה הידע/כישורים הנדרש על מנת לקבל אישור/רישיון". אין בדיקה אמפירית חיצונית כלפי קריטריון.
מקומו של הפסיכומטריקן כבר בשלב זה הוא מורכב, כי הוא אמור לתת הבנה פסיכומטרית על גבי ידע/יכולת ולא על גבי "מבחן". לדוגמא, במבחני רישוי נהיגה קובע איש תוכן, בוחן תנועה שיושב ליד הנבחן בנהיגה של 15 דקות, האם הנבחן מחזיק בכישורים המספיקים כדי להיות בעל רישיון נהיגה, שהוא רישיון רב עוצמה הקובע גורלות של רבים. וקביעה זו נעשית בשטח, בלי מבנה ראוי ומדויק של "כישורים נבדקים, זמן ומספר חזרות". אין בדיקה כלשהי של איכות "השאלות" במבחן רישוי נהיגה. הפסיכומטריקן נעלם מן השטח – וכנראה חבל שכך. אבל ברור שגם במצב אוטופי, הפסיכומטריקן אינו הגורם החשוב במערכת זו.
מן הכלל אל הפרט – במבחני רישוי התמחות בנוירו-כירורגיה, אין לנו את קריטריון "המומחה הנכון בנוירו-כירורגיה" (האם זה הרופא המצליח ביותר כלכלית? שיש לו הכי מעט תביעות רשלנות? שפרסם מאמרים בכתבי עט רפואיים? שמופיע בתכניות טלוויזיה?), אבל יש לנו את מומחי התוכן של מבחני הרישוי. הם מחברי השאלות, העובדים עם פסיכומטריקנים שמעבירים את השאלות הנדרשות למבנה שאלות ראוי ומתאים. חלקן שאלות סגורות, חלקן שאלות פתוחות או חצי פתוחות. כולן עוברות הערכה, בדיקה וניתוח סטטיסטי, על ידי פסיכומטריקן שמלווה את העבודה ואחראי לשאלות המקצועיות שנובעות מהבדיקות הפסיכומטריות, טרום העברה. הוא אינו מחליט בבחירת הנושאים והשאלות עצמן, ולא במשקלן היחסי, אבל הוא שם לחוות דעתו.
ובסוף הדרך ייתכן שנהיה במצב שהנבחנים נבחנו על שאלת רב ברירה בתחום, ולאחר העברה קיבלנו מתאם שלילי, עם התשובה האחת החיובית. שאלה נוראית מבחינה פסיכומטרית. אם ועדת המומחים/ועדת "מחברי השאלות" תצהיר "מי שלא יודע שאלה זו אסור שיחזיק סכין מנתחים בידיו", ייסוג הפסיכומטריקן לאחור, ויידום.
"בצער רב"
אנו שולחים תנחומים לחברתנו ד"ר הלנה קמרון האבלה על אביה ז"ל.
הקורונה ואנחנו - עסקים לא כרגיל
My Corona - הערכה בתנועה בימי קורונה, מזווית אישית
מאת תרצה מרגולין מ"א מנהלת מחקרי הערכה, מחלקת מו"פ בקרן רש"י
הרבה פעמים כששואלים אותי מה אני עושה אני נדרשת להסבר. מה זה מחקר ההערכה ומה אני בדיוק עושה ואז מגיע הסבר ארוך ומפורט. אני מאמינה שאני לא היחידה שנתקלת בכך. האמת, שמאז שאני בקרן רש"י (כבר ארבע שנים) ההסבר ארוך יותר. אולי בגלל מגוון התפקידים שאנו ממלאות תחת הכובע הזה של הערכה, הן במישור הפורמלי והן במישור הבלתי פורמלי. והינה נחתה עלינו הקורונה הזאת ושמה סימן שאלה גדול מה התפקיד של ההערכה ואיפה אני בסיפור הזה. בהתחלה היה ניסיון לשמור על עסקים כרגיל ולהמשיך עם משימות בהתאם ללו"ז (ניתוח ממצאים, סקירת ספרות, כתיבת דוח הערכה, קשר עם גורמי הערכה חיצוניים המלווים תוכניות שונות וכו'). מהר מאוד, כשעברנו לעבוד מהבית, הפגישות עברו לזום והשאלות התחילו לעלות היה ברור שצריך לעשות משהו אחר.
תפקידה של ההערכה בקרן רש"י קשור בעבותות עם הנעשה בתוכניות השונות ועם מנהלי ומנהלות מיזמים בקרן ובעמותות הבנות. בימים כתיקונם אנו מקשרות ומחברות, משתפות בידע וכלים ומנסות להיות שירותיות ומקצועיות. אז מה עושות בימים שלא כתיקונם? עושות גם את אותו הדבר, אבל באופן יותר אישי ומנסות להביא רוח אופטימית ומעשית.
כך נולדה ההתכתבות שלי עם שותפים ובעלי תפקידים בקרן ובעמותות, אלו שצורכים את ההערכה ואלו שהרבה פעמים רואים בנו כתובת להיוועצות ואפילו סתם חברות וחברים. זה התחיל עם זמזום עיקש וקצבי של My Sharona ומכאן כמעט כל לילה מופץ מייל שנושאו הוא My Corona.
כל לילה (כמעט) אני כותבת על מה שעבר עלי באותו היום, מספרת על מפגשי זום מיוחדים (ילדים שמצטרפים והחתול שלי שנכנס לפריים) ומעדכנת בדברים אישים משעשעים. בהמשך אני סוקרת נושא מקצועי ומשתפת בחומרים שמגיעים אלי ממקורות שונים או שמצאתי ושאני חושבת שיכולים לסייע בעבודה. למשל, התייעלות בשיחות זום ושימוש בכלים טכנולוגיים אחרים, הנגשה של מידע לאוכלוסיות שונות (הורים לילדים צעירים, אנשים עם מוגבלות, זקנים ועוד) ושיתוף בידע ומאמרים בנושאים הקשורים באופן ישיר או עקיף למצבנו ברמת ארגון ולמוטבים של תוכניות שונות (למשל כלים לפיתוח שגרות ואיתנות, ניהול רשתי, חברה אזרחית ועוד).
לי חשוב לשדר אופטימיות ולמנף את הקשרים שנוצרו בעת הזאת (קבוצת הווטסאפ של פורום ניהול הידע פעילה יותר מאי פעם). זאת גם הזדמנות לשיתוף של חומרים שמפותחים בתוכניות השונות לטובת תוכניות אחרות, דבר שלא קרה באופן טבעי לצערי. בימים אלו של הצפה של מידע, הפלטפורמה של MY CORONA מאפשרת לקבל מידע ממי שאנחנו סומכים על המקצועיות שלהן/ם ועל יכולתם/יכולתן לסנן עבורנו מה חשוב ומה רלוונטי.
אולי זו הזדמנות להבחין בין בידוד לבדידות. כי אני מקבלת גם המלצות לפעילות עם הילדים ובכלל נושאים מרחבי דעת ואופק מהמכותבות והמכותבים. כל אלה מופיעים במייל תוך מתן קרדיט, כמובן. ויש גם פאן חגיגי בציון ימי הולדת (תודה לצוקי) וההשקה של הגלגל (פלטפורמת המידע והידע של הקרן) וגם בשיר לסיום המצורף כדי שיזמזמו ולא יהיו רק בזום כל היום.
אחת מהמורות שלי בדרכי כמעריכה אמרה פעם שההערכה תפקידה לשפר תוכניות. בעת הזאת, תפקידה של ההערכה, אולי, לשפר את היומיום. אולי זה משהו אחר שאפשר ללמוד ממנו על הערכה משתפת, ומעורבת. ואולי זה בסך הכל אהבה למקצוע, למקום ולמי שאני עובדת איתן/ם.
השלכות הקורונה: המעבר לשיטת ציון עובר/נכשל במוסדות להשכלה גבוהה בארה"ב
צור קרליץ, יו"ר אפי
מרכז ארצי לבחינות ולהערכה (מאל"ו)
מגיפת הקורונה גרמה להפרעה רצינית בשגרת הלימודים במוסדות להשכלה גבוהה ברחבי העולם. מרצים עברו להוראה מקוונת בהתראה מאוד קצרה, ובמקרים רבים ללא התשתית, הידע והניסיון הנדרשים לתפעול שוטף של לימודים באופן מקוון. בנוסף, המגיפה גרמה לסגירת קמפוסים ומניעת גישה פיזית לספריות, פגעה בהיקף ואיכות האינטרקציה עם מרצים, מנחים ומתרגלים, ובכלל, יצרה הרבה מאוד בלבול, לחץ וחרדה. מעבר לכך, סטודנטים רבים מתקשים להשתתף בשיעורים המקוונים בשל בעיות בגישה לאינטרנט, או קושי למצוא תנאים נוחים ללמידה בבית כאשר שאר המשפחה נמצאת. המשבר העולמי שנוצר בעקבות המגיפה הוא אירוע יוצא דופן, ואין ספק שהוא פגם בהוראה והלמידה באקדמיה ובמערכת החינוך כולה.
עם פרוץ המגיפה, סטודנטים בארה"ב החלו לדרוש שינוי בשיטת הציינון של הקורסים שנפגעו ממשבר הקורונה. ברשתות החברתיות עלו עצומות לאפשר קבלת ציוני עובר/נכשל (ע/נ) בכל הקורסים, ואפילו לתת ציון עובר לתלמידים באופן גורף1. בשבועות האחרונים, מוסדות רבים בארה"ב עברו למתן ציוני ע/נ במקום שיטת הציונים הרגילה2 (letter grade system). חלק מהמוסדות חייבו את המרצים לעבור לציוני ע/נ בכל הקורסים, חלקם הפעילו את השיטה רק בקורסים מסויימים (לדוגמה, קורסי מבוא מרובי-משתתפים), וחלקם נתנו לסטודנטים לבחור את שיטת הציינון המועדפת עליהם בקורס.
ציינון בשיטת ע/נ משקף האם הסטודנט הגיע, או לא הגיע, לרמת היכולת והידע הנדרשים בקורס. מבחינה פרקטית, סטודנט יקבל ציון "עובר" אם ביצע באופן מספק רק חלק ממטלות הקורס (לדוגמה, רק את התרגילים, או רק השתתפות בכיתה). הקריטריון לקבלת ציון "עובר" משתנה מקורס לקורס. אם הסטודנט קיבל "עובר", נקודות הזכות של הקורס נספרות למניין הנקודות בתואר, אולם הציון הממוצע של הסטודנט בתואר (GPA) לא יושפע כלל. לעומת זאת, אם הסטודנט "נכשל" בקורס, הציון הממוצע יחושב כאילו הסטודנט קיבל 0 בקורס, או שהסטודנט לא יקבל נקודות זכות עבור הקורס. שיטת ציינון זו קיימת במוסדות בארה"ב, וסטודנטים נוהגים לקחת לפחות קורס אחד כזה בסמסטר (בד"כ בחוג המשני, או בנושא העשרה). השיטה קיימת גם בישראל, אבל היא אינה מאוד נפוצה. בעקבות משבר הקורונה, גם מוסדות הלימוד בארץ שוקלים להרחיב את השימוש בציינון עובר/נכשל בסמסטר הנוכחי.
האם מעבר לציוני ע/נ אכן מהווה פתרון הולם למצב שנוצר בעקבות המשבר? מהן ההשלכות שיתכנו לצעד כזה? כדי לענות על שאלות אלה, יש להבין כיצד ציינון ע/נ משפיע על סטודנטים ועל מרצים בימים כתיקונם.
בדרך כלל, הבחירה לקבל ציון ע/נ בקורס מאפשרת לסטודנט להנמיך את רף החרדה והעומס במהלך הסמסטר ולתעל משאבים לקורסים אחרים. שימוש בציוני ע/נ היא אסטרטגיה מקובלת בקרב סטודנטים לבניית לוח לימודים בר-ביצוע. העדר ציון מספרי בקורס מבטל את המדד החיצוני להצלחה בקורס ולכן מקטין את תחושת התחרותיות והחשש מטעות. בשל כך, התומכים בשימוש בציון ע/נ טוענים שבשיטה זו הסטודנטים יותר פתוחים לשתף פעולה, יותר מוכנים להתנסות, לטעות ולהשתפר מבלי שהדבר יפגע בציונם. המתנגדים לשימוש בציון ע/נ טוענים שבפועל סטודנטים אלה פחות מעורבים ופחות משקיעים בקורס, ואינם מפתחים הרגלי למידה בריאים.
בקורסים המאפשרים ציון ע/נ, המרצים צריכים להגדיר קריטריונים מפורשים לקבלת ציון עובר. מבחינת המרצה, מתן ציון ע/נ לחלק מהסטודנטים לא משנה מאוד את ההכנות לקורס. עם זאת, מתן הציונים לתלמידים שבחרו ציון ע/נ מתבסס על פחות מדידות מאלו שמקבלים ציון מספרי. על פניו, ככל שמספר מקבלי ציון ע/נ עולה, היקף העבודה של המרצה והמתרגל יורד.
הרעיון לאפשר שימוש בציוני ע/נ במשבר הקורונה נובע מהאמונה שהמצב פגם בהוראה ובלמידה ולכן לא יהיה זה הוגן שציוני הסטודנטים יפגעו. השינוי הפתאומי באופן ההוראה והאפשרות שלא יתקיימו בחינות בקמפוס, הובילו את המרצים לפקפק ביכולתם להעריך את התלמידים באופן תקף ומהימן. יתרה מכך, אם ינתנו לתלמידים ציונים מספריים, ישנה סבירות רבה שהם לא ישקפו את יכולותיהם האמתיות (כלומר, את הרמה אליה היו מגיעים אילולא המצב).
מוסד הלימודים יכול לקבוע שבקורס כלשהו ינתנו רק ציוני ע/נ, או לאפשר לסטודנטים לבחור אם ברצונם ציון כזה. במקרה הראשון, המוסד מכריח את הסטודנטים לוותר על הציון המספרי, דבר שיכול לפגוע באלו שציפו לשפר את הממוצע שלהם בזכות הציון בקורס, או באלו שדווקא מצליחים יותר במסגרת של למידה מרחוק. מבחינה זו, נראה שנכון יותר לאפשר לכל סטודנט לבחור את שיטת הציון בעצמו, כך שמי שלימודיו נפגעו בשל המצב יוכל לקבל ציון ע/נ. השימוש הנרחב בציוני ע/נ בסמסטר זה צפוי באמת להקל על הלחץ של הסטודנטים, אבל צפוי גם לגרום להם להשקיע פחות בקורסים הנלמדים.
מטעמים לוגיסטיים, המוסדות בארה"ב דורשים שסטודנטים יקבלו את ההחלטה על שיטת הציון בכל קורס כבר עכשיו, כשעדיין לא ברור אם, מתי, ובאיזה אופן, ישובו הלימודים לסדרם. הסטודנטים נאלצים לקבל החלטה חשובה במצב של אי וודאות גדולה. הציון הממוצע בתואר הוא בסיס להשגת דברים חשובים: סיום תואר, קבלת תעודת הצטיינות או מלגה, קבלה ללימודים גבוהים ולפעמים גם קבלה לעבודה (בד"כ ברפואה ומשפטים). הסיכוי להגיע להישגים אלה עשוי להיפגע אם הסטודנט לקח הרבה קורסים בציון ע/נ, או שקיבל ציון כזה בקורסים חשובים במיוחד. קשה להעריך כיצד ההחלטות העתידיות האלו יושפעו מריבוי ציוני ע/נ בקרב הסטודנטים הלומדים בתקופת הקורונה.
במצב שנוצר בארה"ב, מרצים רבים התבקשו לאפשר ציוני ע/נ במסגרת הקורס שלהם, על אף שאולי לא אפשרו זאת בעבר. במקרים מסוימים הקורס כלל אינו ערוך לאפשרות כזאת, לדוגמה, קורס שבסופו יש רק עבודה מסכמת. במקרה כזה, תלמידים המבקשים לקבל ציון ע/נ לא ידרשו לבצע שום מטלה, ולמרצה לא יהיה שום בסיס להעריך אותם. במצב רגיל אולי היה ניתן להעריך אותם על בסיס ההשתתפות בכיתה, אבל שיטה כזאת היא בעייתית בהוראה מקוונת. בנוסף, במרבית הקורסים ההערכה העיקרית מבוססת על מבחני נייר ועיפרון, שלא ניתן לקיימם בשל האיסור על התקהלות. ההעברה של המבחנים באופן מקוון דורשת תשתית מתאימה שלא קיימת בכל המוסדות, וכמו כן, מגדילה את הסיכוי לפגיעה בטוהר הבחינות. בשל כך, מרצים רבים ידרשו לתת ציונים לתלמידים, בלי כלי המדידה שהם רגילים להשתמש בהם. הערך של ציון כזה, בין אם מספרי או ע/נ, מוטל בספק.
עוד מוקדם לשפוט כיצד המגמות לשינוי שיטת הציון בסמסטר 2020 בארה"ב ישפיעו על התלמידים ועל המרצים. ייתכן שהשינוי יסייע לסטודנטים לעבור את הסמסטר בשלום, וייתכן שהוא דווקא יקשה עליהם בעתיד, כאשר ירצו להשתמש בממוצע הציונים שלהם להתקבל ללימודים גבוהים, או לקבל מלגה. נראה שמוסדות הלימוד בארה"ב נקלעו לניסוי חברתי רחב היקף, שאת תוצאותיו נדע אולי רק עוד כמה שנים. אם משבר הקורונה ימשיך לפגוע בלימודים בארץ, ייתכן שגם אנחנו נצטרך בקרוב לקבל החלטה דומה.
1 חפשו בטוויטר PassFailNation#
2 ציינון באותיות מחלק את הציינון הרציף (0-100) לקטגוריות. הסקאלה הכי נפוצה היא: A =90-100, B=80-89, C= 70-79, כן הלאה עד F<60.
השלכות הפנדמיה על כנסים בינלאומיים
השלכות הפנדמיה הורגשו עד מהרה ע"י מארגני הכנסים המקומיים והבינלאומיים שהיו אמורים להתקיים פא"פ בתקופה הקרובה. חלקם נדחו, חלקם בוטלו וחלקם הומרו לכנסים וירטואליים (ר' עדכונים בהמשך).
להלן דוגמא של הודעה שמשתקפים בה רגשותיהם של המארגנים המאוכזבים מהצורך לבטל כנס שנתי ענק שהיה אמור להתקיים באפריל. היא פורסמה בתחילת מרס ע"י ראשי AERA (כנס האגודה האמריקאית למחקר בחינוך):
AERA Executive Director Felice J. Levine and AERA President Vanessa Siddle Walker said: "Sadly, the pernicious presence and spread of the coronavirus internationally, including in recent weeks and days in the United States, makes it both impossible to hold a meeting that would even approximate the value of our annual place
based gathering and irresponsible to encourage, expect, or stand silent when attendees could be exposed to a communicable disease, affect Bay area workers or residents, and return to their homes transmitting an illness to family and friends even before it manifests itself."
עדכונים
• EES* – הכנס הדו-שנתי של אגודת ההערכה האירופית European Evaluation Society בקופנהאגן נדחה ל-6-10 בספטמבר 2021.
• NCME 2020 – הכנס השנתי של המועצה האמריקאית למדידה בחינוך, National Council for Measurement in Education, לא התקיים כמתוכנן בתאריכים 16-20 באפריל 2020 בסן פרנסיסקו, ארה"ב., הוא עשוי להדחות ל-10-13 בספטמבר 2020 – אבל החלטה סופית טרם נפלה.
• AERA 2020 כנס האגודה האמריקאית למחקר בחינוך, בוטל. AERA 2021 יתקיים באורלנדו ב-9-12 באפריל 2021.
• IMPS 2020 – הכנס השנתי פא"פ של האגודה הפסיכומטרית האמריקאית (Psychometric Society) שתוכנן להתקיים במרילנד, ארה"ב, ב- 14-17 ליולי 2020. בוטל, ובמקומו יתקיים כנס וירטואלי ב- 13-17 ביולי 2020 ( ההרשמה נפתחה).
• IMPS 2021 (פא"פ) מתוכנן להתקיים באוניברסיטת מרילנד.
• ICP 2020 – הכנס הבינלאומי ה-32 לפסיכולוגיה (International Congress of Psychology) שהיה אמור להתקיים השנה ב-19-24 ביולי, בפראג. נדחה ל 18-23 ביולי 2021.