מידעונט אפי
גיליון 4
דבר העורכת
חברות יקרות וחברים יקרים,
המידעונט של אפי הוא מידעון מקוון של האגודה הפסיכומטרית הישראלית (אפי), שנועד לשמש כבמה לחילופי מידע, ידע ודעות בין כל המתעניינים והעוסקים במבחנים, במדידה ובהערכה בכלל, וחברי האגודה בפרט.
שלושת הגיליונות הראשונים של המידעונט עלו לאתר של אפי במהלכה של שנת 2020 , שנת הקורונה. כעת – כשכבר אפשר להתחסן ויש תקווה שאנו בדרך לרסן את המגפה - מוגש לכם הגיליון הרביעי של מידעונט אפי.
מטבע הדברים עדיין מורגשות בו השלכות של מגפת הקורונה על היבטים שונים של העבודה המקצועית שלנו ושל אחרים.
כך למשל כותב יואל רפ על עולם הפסיכומטריקה בתקופה של מגפה עולמית; אילן שינה מתאר בפינה "נא להכיר" את יחידת ההערכה שהוא עומד בראשה בתוכנית קרב למעורבות בחינוך, וכיצד הצליח לשמר את קיומה בתקופת הקורונה באמצעות "פעילות שאיננה פעילות ליבה של יחידת ההערכה" אך נמצאה נחוצה במיוחד דווקא בתקופה זו; וחמישה מחברי אפי משתפים אותנו ברשמים השונים – לפעמים מנוגדים – שאיתם חזרו מכנס אפי 2021 אשר התקיים לראשונה במתכונת מקוונת.
גם בפינה "מבזקים" מורגשות מאד השלכות של הקורונה - הפעם השלכותיה על הכנסים בחו"ל. במיוחד מתהדהדת הפנדמיה בהסברים של מארגני הכנסים מדוע נאלצו לוותר על המתכונת הרגילה ולהעביר את הכנס שלהם למתכונת מקוונת, או לפחות למתכונת היברידית. וכך, הכנסים שליקטנו לפינה הזאת אמנם כלם בחו"ל - אבל בעצם הפכו נגישים לכולנו ("בזכות" המגפה) אפילו בלי לצאת מהבית.
ובלי קשר לקורונה מספרת אלה אנגל בפינה "חם מן התנור" על מחקר טרי-טרי שהיא שותפה בו. זהו מחקר העוסק במדידה של תחושת משמעות בחיים – שהיא משתנה מורכב ולא פשוט למדידה - וזאת באמצעות שימוש בסיפורי-מקרה קצרים (וינייטות) במתודולוגיה מורכבת ומעניינת.
בנוסף לכל אלה מכיל הגיליון הזה גם עדכונים מוועדת "מיהו פסיכומטריקאי" שהוקמה באפי בשנה שעברה ועובדת על הכנת מסמך שיציע תיאור מקיף וממצה של התפקידים ותחומי העיסוק של העוסקים בהיבטים של פסיכומטריקה. תוך כדי כך הספיקה הוועדה גם להפיץ בקרב חברי אפי סקר אינטרנטי שהניב ממצאים מעניינים על הרכב חברי האגודה הישראלית ועל תחומי העיסוק המגוונים שלהם.
אסיים בתודות לכל מי שכתבו ותרמו מפרי עטם למידעונט. אנא קראו, העירו והגיבו על דברים המופיעים בגיליון הזה, כמו גם באלה שקדמו לו ובאלה שיבואו אחריו - ובכך תסייעו לקדם את מעמדו כבמה משמעותית לחילופי ידע ודעה בין כל המתעניינים והעוסקים בהיבטים השונים של הפסיכומטריקה.
בפנייתכם/ן (אל ritasever9@gmail.com) נא זכרו לציין שם, תואר אקדמי, השתייכות אקדמית/ארגונית , כתובת דוא"ל ומספר טלפון להתקשרות.
תודה,
ד"ר ריטה סבר
עורכת המידעונט והיו"ר הנבחרת של אפי
אפריל 2021
"מבזקים"
הפניות למידע על כנסים, קורסים, אירועים, רשתות וכיו"ב...
כנסים ב-2021
באפריל 2021
אמנם אנו כבר בפתחו של החודש הזה, אבל הכנסים המופיעים כאן שניהם מקוונים כך שההשתתפות בהם עדיין רלבנטית למי שמעוניין.
-
AERA2021 - הכנס השנתי של האגודה האמריקאית להערכה בחינוך יתקיים בימים 9-12 באפריל 2021 במתכונת מקוונת, שהמארגנים מדגישים את יתרונותיה ואת התייחסותם המרבית לחוויית-המשתתף/ת בה:
Designed with the attendee user experience very much in mind, the 2021 Virtual Annual Meeting will be a dynamic experience that provides for synchronous and asynchronous sessions, interactive paper presentations, workshop and professional development courses, plus networking and meet-up opportunities that can accommodate informal gatherings, receptions, and events. Most sessions will be offered in real time (plus on-demand viewing later). An exhibit area will provide for meeting times with publishers and others. AERA aims to deliver a virtual meeting with a structure that supports researchers at all career levels and areas of specialty who seek to present their work and connect in a vibrant convening space.
-
SIOP2021 - הכנס השנתי ה-36 לפסיכולוגיה תעסוקתית היה אמור להתקיים פא"פ בניו-אורלינס ב-15-17 באפריל, אבל הוחלט לקיימו במתכונת מקוונת (באותם תאריכים):
…, the SIOP Executive Board, Conference Committee, and Program Committee announce the cancellation of the in-person format of the SIOP Annual Conference, previously scheduled to be held in New Orleans, April 15-17, 2021.
The 36th SIOP Annual Conference will be held entirely virtually, offering an expanded schedule of live synchronous sessions, plenaries, workshops, and interactive receptions and breaks, alongside a rich array of asynchronous sessions for convenient on-demand viewing.
במאי 2021
-
UKevaluation2021 - הכנס השנתי של אגודת ההערכה הבריטית (UK Evaluation Society) הועבר על כל תכניו ותקציריו משנת 2020 לשנת 2021 ויתקיים בתאריכים 26-27.5.21 במתכונת היברידית. המארגנים מצאו לנכון להודות לכולם על הסבלנות נוכח הנסיבות הבלתי צפויות, ומבטיחים להתקשר לכל מי שהגיש תקציר לכנס 2020. הם מאפשרים לעדכן או לשנות את התקצירים שכבר הוגשו, ומעודדים הגשת תקצירים חדשים אשר ישקפו את היוזמות והחדשנות הקשורות למגפה, ויציגו גישות הערכה ששימשו בתקופה זו.
We hope that you are coping well and thank you for your patience in these unprecedented circumstances.
We are taking forward the theme and abstracts submitted for the postponed 2020 conference to 2021. You have the opportunity now to update or change your abstracts. We also encourage you to submit new abstracts as there has been a wealth of initiatives and innovation related to COVID-19 and we are keen to showcase evaluative approaches used during this period.
We are contacting everyone who submitted abstracts for the 2020 conference and will post updates on the UK Evaluation Society website and Twitter (#UKevaluation and @UKevaluation).
ביוני 2021
-
NCME2021 – הכנס השנתי של המועצה האמריקאית למדידה בחינוך, National Council for Measurement in Education, מתוכנן להתקיים בבולטימור ככנס היברידי בימים 8-11 ביוני 2021. בקול-הקורא שלהם הוסיפו המארגנים הודעה מיוחדת המתייחסת למגפת הקורונה ולהחלטה לקיים את הכנס במתכונת היברידית:
We understand that there is still a lot of uncertainty and concerns around the COVID-19 pandemic. We are continually monitoring the situation and are committed to convening an annual meeting that is safe and maximally accessible to all members. Accordingly, we are planning a hybrid format in which members can participate in-person and online. As such, submitting a proposal does not obligate you to attend the annual meeting in person. If your proposal is accepted, we will reach out to you for additional information about your plans/preferences for meeting attendance.
ביולי 2021
-
ITC2021 - הכנס ה-12 של הועדה הבינלאומית למבחנים (International Test Commission), שתוכנן במקור ככנס פא"פ בלוקסמבורג ביולי 2020, נדחה ל-2021 והומר על קרבו ועל כרעיו לכנס מקוון בתאריכים 9-12 ביולי 2021 וזאת במחצית מהמחיר המקורי:
The ITC 12th Conference on Tests and Testing – A Colloquium on Diversity and Equity in a Globalized Digital World: Opportunities and Challenges for Assessment.
This online event replaces the postponed Luxembourg conference that was planned for 2020 but was unable to take place because of the pandemic.
The 4-day Colloquium will include all the materials that had been submitted and accepted for the 2020 conference and which have been re-submitted and revised for 2021. The same keynotes and workshop presenters are participating. […] the registration fees are half what the advertised registration fees were for the postponed 2020 Luxembourg Conference.
-
IMPS2021 - כנס האגודה הבינלאומית לפסיכומטריקה (Psychometric Society) תוכנן להתקיים במרילנד בימים 19-23 ביולי 2021, אבל בהמשך הוחלט לקיים אותו ככנס מקוון (באותם תאריכים):
After extensive discussion, the board of the Psychometric Society last week voted unanimously to conduct IMPS 2021 as a virtual meeting only. We intend the meeting to occur over the same dates as had been planned for the in-person meeting, July 19-23 2021.
-
ICP2021 – הכנס הבינלאומי ה-32 לפסיכולוגיה (International Congress of Psychology) יתקיים בפראג בימים 18-23 ביולי 2021. הכנס תוכנן במתכונת פא"פ, אבל התאים עצמו למציאות הקיימת ומציע גם אפשרות להשתתף בו מרחוק – במחיר מופחת:
We understand the challenging time we are all facing for almost a year and we want to offer our colleagues (who are not able to come to Prague) the exciting experience also for the on-line attendance full of networking and scientific programme […].
Based on the current situation we offer the possibility for those who are not able to come to Prague and were registered for in-person attendance to switch the type to on-line with a partial refund.
-
IPAC2021 - הכנס השנתי של International Personnel Assessment Council המועצה הבינלאומית להערכת עובדים - יתקיים השנה במתכונת מקוונת בימים 25-28 ביולי 2021, תחת הכותרת Expanding the Assessment Space. המארגנים מתארים את הרקע המצער שגרם להם להחליט לעבור לכנס מקוון, ומציינים כבר עכשיו שיש למה לחכות: הכנס הבא, ב-2022, יתקיים (אי"ה?) פיזית בסן דייגו.
While we were greatly looking forward to seeing everyone in person this year, given the current state of the ongoing pandemic and concerns expressed by multiple members of the IPAC Board and Committee Chairs about possible travel restrictions, cancelled training budgets, and more, the Board decided it was in the best interest of everyone to make this shift.
Mark your calendars for next year! We will be in sunny San Diego next year for our 2022 IPAC Conference July 16 through 20, 2022 (updated).
בנובמבר 2021
-
IEA IRC 2021 – כנס המחקר הבינלאומי ה-9 של IEA (אגודת International Association for the Evaluation of Educational Achievement) שתוכנן להתקיים ביוני 2021 פא"פ באבו-דאבי, יתקיים בסופו של דבר במתכונת היברידית בדובאי - בימים 16-18 בנובמבר 2021, ולפניו יהיו יומיים של סדנאות על ניתוח שניוני של נתונים:
The 9th IEA International Research Conference (IRC), will take place on 16-18 November 2021 at Mohammed Bin Rashid University of Medicine and Health Sciences, Dubai Healthcare City, Dubai, United Arab Emirates (UAE), and will be preceded by workshops on secondary data analysis on 14-15 November 2021.
We understand that for many it remains uncertain whether travel will be possible this year and as such, we will be incorporating a hybrid mode into this year’s IRC, for those opting to join the conference and deliver their presentations remotely. We hope that this will allow for some much-needed flexibility during this continued time of uncertainty.
The IEA IRC 2021, will provide an international forum for all those working with IEA study data to present their findings and exchange views on critical educational research issues in a comparative and global context.
וגלגוליו של כנס מ-2020 עד ליוני 2022
-
EES2020/2022 – הכנס הדו-שנתי (פא"פ) של אגודת ההערכה האירופית (European Evaluation Society) בקופנהאגן נדחה תחילה מ-2020 לספטמבר 2021 (תחת השם +EES2020), אבל בהמשך נדחה שוב, הפעם ל 6-10 ביוני 2022, עדיין בקופנהגן. וכך כותבים המארגנים:
Despite the roll-out of vaccination programmes, the most likely current scenarios in Europe and beyond suggest that Covid related restrictions will continue for some time. After much thought, the EES considers a further postponement of its in-person biennial conference is a necessary precaution to protect the health of members and participants and in view of likely travel and health security constraints being in place into the autumn of this year. Our new date for the EES physical conference is 6-10 June 2022.
"חזרנו מכנס מקוון"
מקבץ רשמים מכנס אפי 2021
1.
כנס אפי נערך השנה, כמו כנסים רבים אחרים, במתכונת מקוונת. המעבר למתכונת מקוונת אפשר השתתפות של מרצים (ומשתתפים) שאולי לא היו מגיעים לו היה הכנס מתקיים פנים-אל-פנים. כך, נהנינו ממספר הרצאות שהועברו מארה"ב. כמו כן, המתכונת המקוונת זימנה אפשרות של פיצול הכנס ליומיים קצרים ומגוונים, במקום יום אחד ארוך. למתקשים להתרכז (כמוני, למשל) היה הביטחון שההרצאות מוקלטות ותהיינה זמינות מאוחר יותר להקשבה נוספת. התרשמתי מהמספר הרב של המשתתפים, מה שיכול ללמד על החיבור שיש לאנשים לאפי ולתחום.
מהתבוננות בתוכנית הכנס אפשר להתרשם, מחד, מהמכנה המשותף של ההרצאות השונות – פיתוח, עיבוד, שימוש בכלי מדידה כמו מבחנים ושאלונים, ומאידך, ממגוון היישומים – צבא, השכלה גבוהה, חינוך ועוד. התוכנית גם מלמדת על התרגום בשדה של תחום הפסיכומטריקה כמדע יישומי שעוסק בכלי מדידה והערכת כישורים, הישגים ואישיות. עם זאת, הזהות המקצועית של הפסיכומטריקאי/ת מתמקדת רק בחלק מההיבטים הללו. מהסקר המעניין שנערך על ידי "ועדת מיהו פסיכומטריקאי", ושחלק ממצאיו הוצגו על ידי ריטה סבר, עלה כי קבוצה לא מבוטלת מחברי אפי (כ-40%) אינם מזהים עצמם כפסיכומטריקאים. אם הבנתי נכון, רובם עוסקים בהערכה במובן הרחב כמו הערכת תוכניות והערכת הפרט. ממצא זה, מעניין בפני עצמו והעלה בי כמה מחשבות.
ראשית, נדמה שכדי להבין טוב יותר את הנושא של ההגדרה והזהות המקצועית כדאי לבדוק לא רק את הזהות האישית אלא גם את תפיסת האחר. כיצד? למשל, אפשר להציג תיאורי פרופילים שונים של אנשי מקצוע (לפי השכלה, עיסוק) ולבקש לשפוט מי מהם ייחשב לפסיכומטריקאי/ת. שנית, יתכן שיש מקום לשקול שאפי – האגודה הישראלית לפסיכומטריקה – תיקרא האגודה הישראלית לפסיכומטריקה ולהערכה. כך אפי תשמש בית לעוסקים ולעוסקות בהערכה במובן הרחב יותר. אמנם, היא עושה זאת גם היום, אבל נדמה לי שהעוסקים והעוסקות בשדה בתחומים הרחבים הם רבים בהרבה מאלו החברים באפי, רבים מהם אינם חברים באפי ואולי אפילו לא מודעים לקיום של אפי. כך מעריכי תוכניות ואנשי חינוך שעוסקים בהערכה חינוכית- בית ספרית, שכלי ההערכה הם כלי עבודה יומיומיים בעבורם, יוכלו להיתרם ולתרום מניסיונם.
אם נחזור לתכני הכנס, אציין כי נחשפנו להשפעת 'הקורונה' על עולם המבחנים, ולמדנו כיצד התמודדו גופים, כמו הצבא, בהתאמת הכלים שלהם להערכה מרחוק (בהקשרים שהם עתירי סיכון). אין זה מופרך לשער כי חלק מהיישומים הללו יישארו עמנו גם בעולם הפוסט-קורונה. עוד ראינו, את המגמה הגוברת מידי שנה של כניסת עולם הבינה המלאכותית והנתונים הגדולים (ביג-דאטה) לתחום מדידת הכישורים, מגמה שרק תלך ותשתכלל בעתיד.
המדדים הסובייקטיביים, הרכים יותר, מעסיקים אותי לא מעט, ולכן שמחתי שהיה בכנס שילוב ואיזון בין עיסוק במדדים אובייקטיביים ומדדים סובייקטיביים, מושתתי דיווח עצמי.
בסיכומו של דבר היה כנס מוצלח ומעניין. אם בשנה הבאה, יישאר הפורמט המקוון, אני מציעה להוסיף במהלך היום מושבים שבהם יתקיים שיח עמיתים ואינטראקציה בין המשתתפים. מרכיב זה היה חסר השנה.
אני מודעת להשקעה הרבה של המארגנים שטרחו ושקדו על תכנית הכנס. זו הזדמנות להגיד תודה רבה.
עינת נוטע-קורן
2.
במשך 16 שנים התקיים לו כנס אפי במתכונת המסורתית של מפגשי פנים אל פנים. רבים מהמשתתפים הגיעו גם בשביל לשמוע וללמוד על מחקרים חדשניים בתחום המבחנים, ההערכה והמדידה, אך לא פחות מכך, על מנת לפגוש מכרים ממעגלי לימודים/תעסוקה קודמים, וממעגלי היכרויות חבריות מגוונות.
רבים מהמשתתפים זכו להזדמנות הנדירה למפגש השנתי, ולא לחינם ביקשו המשתתפים ודאגו המארגנים להפסקות ״נדיבות״ בין המושבים, ולהפסקת צהריים ארוכה במיוחד.
הכנס השנה היה ניסוי חברתי מעניין - אמנם רבים מהמרצים הרצו לראשונה, אך התכנים, ״בגדול״ לא היו חדשים - מיון לתעסוקות שונות (אמנם חלקן במסגרת צה״לית), נשירה ממוסדות לימוד אקדמיים, תוקף מבחן פסיכומטרי (אמנם עם קריטריון חדשני של שכר), שימוש בנתונים בסביבות למידה, פיתוח כלי מדידה ומיון בהקשרים שונים ועוד.
מחמאות רבות לצור קרליץ, למיטל אלון, לאימאן עוואדיה, לגילי גולדצוויג ולכל חברי מועצת אפי על התכנון והארגון האקדמיים; ברכות ומחמאות גם לאילן שינה על הניהול הטכנולוגי, ולכל המציגים שדאגו לזרימה חלקה לרוב של כל המצגות והמושבים.
אבל זה לא הרגיש כמו אף אחד מהכנסים הקודמים. זה הרגיש קצת כמו משל המערה והצללים של אפלטון - הקול קולו של כנס אפי, והידיים, ובכן הידיים עם העכבר והמקלדת ולא באמת שם, בכנס.
היו לי תחושות דומות בכנסים וירטואליים נוספים השנה, והמסקנה שלי היא די ברורה - אנחנו לרוב לא מעריכים את מה שיש לנו עד שהוא נלקח מאיתנו.
זה נכון לגבי הכנס, לגבי מרביתנו שזוכים לעבוד מהבית אך חסרים את המרכיב החשוב של שיחות המסדרון והמפגשים בפינת הקפה, לגבי תלמידים וסטודנטים שמנסים ללמוד מרחוק אך חסרים את המרכיב האנושי, החברתי, הרגשי שפתאום כולנו מעריכים אותו ומרגישים בחסרונו.
כן, השנה האחרונה כולה, וכנס אפי הוא שיקוף אחד שלה, נדמית כמו תקופת המתנה, כמו חיקוי דהוי של הדבר האמיתי.
אני מקווה ומאחל לכולנו שנחזור במהרה לחיים האמיתיים. ושנתראה בכנס אפי ה״מקורי״ ב-2022.
אייל גמליאל
3.
כנס אפי 2020 היה מהאחרונים שהשתתפתי בהם בשנה שעברה in-person. זמן קצר אח"כ החל המשבר הבריאותי. היה מעודד שהיתה המשכיות והכנס כן התקיים השנה, תוך התאמה לנסיבות של ריחוק חברתי.
החלוקה ליומיים עזרה לי להשתתף ברוב הכנס. הכנס שיקף בתכנים התייחסות ישירה למשבר הקורונה, במושב על התאמת מערכת המיון הצה"לי (למרות שהצגות היו דומות למדי וחזרו על עצמן). עם זאת, היה מרשים לראות במגוון נסיבות את היכולת להשתנות, את האבחנה בין מה שמוותרים עליו למה שמעבירים לפלטפורמה אחרת והיישום המהיר של שלבי תיקוף.
היה לי מאוד מעניין לשמוע על דברים שאני לא אעשה. המושב על הפקת מדדי ביצוע/יכולת מתוך נתונים רועשים הראה לי את ה-state of the art. בתור מי שלקחה בסמסטר הקודם קורס על IRT, ראיתי יישומים של מה שלמדתי ומאד התרשמתי מהתחכום המקצועי ומהשליטה בפרוצדורות מתקדמות. אני כבר לא אעשה עבודות עתירות חדשנות כאלו, אבל ראיתי בזה השראה והתוויית כיוון.
כמו בדר"כ, ממש קשה לי לבחור בין מושבים מקבילים, כי הרבה דברים מאד מעניינים. היה קצת חבל שאי אפשר היה לעבור באמצע בין מושבים מקבילים, כמו ב"נורמלי". הייתי במושב על השכלה גבוהה שהיה מעניין כאזרחית וכעובדת בתחום. שמעתי על העבודה על צמצום בנשירה מהשכלה גבוהה וזה עניין אותי ליישם במוסד שלי. שמעתי במושבים אחרים עבודות של "הזרם המרכזי" בפסיכומטריקה – פיתוח כלים, ניתוח עיסוקים – והנושאים נשקו לתחומי עניין שלי.
מבחינתי, היה כנס מגוון שענה על הצרכים ותחומי העניין שלי. השימוש בפלטפורמה (זום) שמוכרת לכולם, תוך שימוש רק במאפיינים בסיסיים, היה נבון. כן נשארתי עם פספוס בגלל היעדר מפגש אישי; יש למה לחכות בשנה הבאה.
אפרת נטר
4.
בגדול – היה כנס מוצלח, למרות האתגרים!
נעשתה עבודה יפה, והחבר'ה מתוכנית קרב – אילן ושמחה – היו חשובים מאד.
כמה דברים בכל זאת...לשיפור בכנסים הבאים. אני מתמקד בתובנות שהיו לי הקשורות לפורמט הדיגיטלי/זום.
צריך לחשוב על דרכים לשתף את הקהל, לפני הכנס (חשיפת הנושאים ומעורבות) ובמהלכו.
הפורמט מאפשר לאנשים רבים לעשות הרבה דברים תוך כדי הכנס, כמו לעבוד, לשלוח מיילים, לאכול, לנמנם.... זה קורה גם בכנס פרונטלי, אבל כאן זה קורה יותר.
הכנס הוא כנס מדעי אבל צריך לגעת גם בצד החברתי.
יש פלטפורמות יותר מתוחכמות מזום לכנסים, לא ממש מכיר כדי להמליץ.
בתקווה שהכנס הבא יהיה כמו פעם.
אבי אלאלוף
5.
כנס האגודה הפסיכומטרית הישראלית (אפי) נערך השנה באופן מקוון מפאת הסגר, אשר הציב בפני גופי המבחנים אתגר – להמשיך לבחון גם כשהמגפה משתוללת בחוץ. בסימפוזיון של ממד"ה וחה"א ובהרצאה של מט"ח שמענו כיצד נערכו מבחנים מרחוק כשלא נמצא פתרון פיזי. התרשמתי מהאופן בו לובשי המדים התגמשו במהירות וכיצד בחנו מלש"ביות, ומועמדים לקצונה ולטיס בתנאים שנחשבו פעם בלתי אפשריים. המחקרים הראשוניים שנעשו לא הראו סחף בציונים ופגיעה המונית בטוהר הבחינות וככלל נרשמה הקבלה בין תוצאות הבחינות בתנאים רגילים ומרחוק. חבל שלאותו סימפוזיון לא הוזמנו גם גופים נוספים שיספרו על ההערכה השוטפת במערכת החינוך, במבחני הבגרות הפנימיים, באוניברסיטאות ועוד.
הרצאת האורח של דרק בריגס, היוותה משב רוח מרענן והזכירה לנו שסולמות הציונים הם שרירותיים וחסרי פשר של ממש, והם לא יותר מסולמות סדר - סוגיה שאנו נוטים להתעלם ממנה בעיסוק השוטף של עבודתנו. ברם, חשוב לזכור שאם מחליטים לתת פשר לסולם - יש לתת פשר שמבוסס מחקרית מזה אך שיתחבר לקהל הרחב מזה. לטעמי, אל לו להתבסס רק על שני פריטים בודדים במבחן כפי שהוצע.
היום השני של הכינוס דמה בתכניו לכנסים קודמים, ואיפשר לבחור מושבים על פי העניין. אהבתי את הסימפוזיון של אנשי הארגונים האמריקאים ומכון וייצמן שתיארו התמודדות עם נתונים רועשים. חשבתי שהנתונים אינם דווקא רועשים (כפי שטענו המרצים) אלא בעצם מוטים מכל מיני סיבות ושיש למצוא את הגורם להטיה.
בסך הכל היה כינוס טוב, עם איזון טוב בין הרצאות מגופים מוסדיים של מבחנים. נכון היה שלא לוותר עליו לגמרי ולקיימו למרות המצב. הפיצול לשני ימים הקליל את הכנס שהרצאות שלו בזום עלולות לאתגר את יכולת הקשב האנושית. אציין בכל זאת שהיו מספר בעיות לתשומת לב מארגני הכנסים הבאים והמרצים, אם יהיה צורך לקיימם שוב כנס מרחוק. חזינו במצגות עם שקפים עמוסים במילים ובנתונים אשר בשיתוף מסך - בלתי אפשרי לקרוא אותם. חשוב להזכיר שמצגת שאפשר להציגה על מסך ענק אינה בהכרח מתאימה גם להצגה בצג המחשב.
במושבים המאורגנים מראש ומחולקים לקבוצות, כדאי להזכיר שאפשר מבחינה טכנית לדלג בין הקבוצות מבלי להפריע למרצים. כדאי גם לוודא שבתום הזמן שמוקצב לכל מושב לא ייקטעו הרצאות על ידי מערכת הזום (למשל על ידי הקצאת מרווח-בטחון של זמן נוסף). לבסוף, חסרו מאוד הפגישה והסמול טוק בין המשתתפים, ואולי היה נכון לייצר כזו, או ליזום דיונים בזום כך שתיווצר אינטראקציה בין המשתתפים. זכיתי לרגע כזה של עדנה באחת ההפסקות, שבה בזמן ההמתנה התפתחה שיחה עם קולגות שלא נפגשתי עמן מזמן.
לסיכום, יש חסרונות בזום, אך היתרונות עולים עליהם, ואפשר גם לראות את ההרצאות לאחר תום הכנס. ובכל זאת, אחרי כל זה אומר – לשנה הבאה בירושלים (או בכפר המכביה).
יואל רפ
"נא להכיר"
אנשים וארגונים שעוסקים במבחנים, מדידה והערכה
יחידת ההערכה של מכון קרב למעורבות בחינוך
תכנית קרב למעורבות בחינוך פועלת לשינוי חינוכי-חברתי המקדם צמצום פערים ומעודד שוויון הזדמנויות בחברה הישראלית באמצעות פיתוח, יצירה, ניהול והפעלה של שיעורים ופעולות העשרה מגוונת. התוכנית מפעילה מעל 100 תוכניות העשרה ב-16 תחומי דעת שונים, כגון: מוסיקה, דרמה, חינוך סביבתי, פיתוח חשיבה, אומנות, צילום וקולנוע, תקשורת וטכנולוגיות מתקדמות, ספורט, תנועה ומחול ועוד. התוכנית פעילה בתוך יום הלימודים, כחלק מתוכנית הלימודים של בית הספר.
תכנית קרב פועלת בכל מגזרי החברה הישראלית: בחינוך הממלכתי והממלכתי דתי, בחינוך המיוחד, במגזר הערבי ובמגזר החרדי והחינוך העצמאי. טרום הקורונה, התוכנית פעלה בכ-120 רשויות, כ-800 בתי ספר יסודיים וחט"ב, וכ-2500 גני ילדים, והגיעה ליותר מ-300,000 ילדים וילדות בשנה. הפעלת תכנית קרב התבצעה על ידי כ-120 אנשי תפעול, פדגוגיה, הערכה ומנהלה וכ-3500 מדריכים ומדריכות מקצועיים.
יחידת ההערכה
עם ראשית דרכה ופעולתה של "תכנית קרב למעורבות בחינוך", אי שם בתחילת שנות התשעים, הוקמה בה יחידה פנימית להערכה, והיא פעילה מאז ועד היום. מבנה היחידה, אופי פעילותה, והתכנים בהם היא עסקה עברו שינויים רבים לאורך השנים, אך מעולם לא הייתה הפוגה בפעילותה.
שינוי מבני מרכזי חל בתחילת שנות האלפיים. עד אז, חברי היחידה היו כפופים הן למנהל תפעול אזורי והן לממונה מקצועי (מנהל היחידה). לאחר מכן, היחידה הפכה ליחידת מטה, ועובדיה כפופים רק למנהל מקצועי ולמנכ"ל התוכנית. שינוי תוכן מרכזי חל מעט מאוחר יותר (בהתאמה) - היחידה עברה מטיפול במושאי הערכה אזוריים/מקומיים למושאי הערכה מערכתיים/כלל ארגוניים (לצד המשך טיפול בבקשות אזוריות). מכאן היחידה התפתחה ועברה לשינויים נוספים, כמו - אוטומציה של תהליכי הערכה, הכנסת תהליכי הערכה שגרתיים/קבועים, ניהול בסיס הנתונים, המידע הארגוני, האתר הארגוני ומערכת הסקרים של הארגון ועוד.
לקוחות ההערכה - משרד החינוך, הנהלת התוכנית, מנהלי יחידות (פדגוגיה, תפעול, חשבות), תפעול אזורי (רכזים יישוביים), תכניות ההעשרה, רשויות ומוסדות חינוך, ולעתים אקדמיה ועמיתים למקצוע.
תהליכי העבודה של היחידה ניתנים לתיאור באופן הבא:
-
עבודה מחזורית (מדי שנה) - סקרי מדריכים, הערכת תכניות (גנים, בתי ספר), הערכת תוכניות מועמדות לתוכנית קרב (במסגרת קול קורא), איסוף נתוני בקרה, פיתוח תהליכי הערכת עובדים, ועוד...
-
עבודה קבועה לכל אורך השנה - למשל ניהול ופיתוח מערכת סקרים ואתר, ניהול ותפעול כלי הערכה אוטומטיים (משובים, תצפיות, שאלוני גננות, דוחות לרשות).
-
מושאי הערכה - מחקרי הערכה חד פעמיים (עפ"י בקשות הנהלה, רכזים, שותפים ..).
-
מענה נקודתי שוטף - שאלונים וסקרים, עיבוד נתונים, הפקת דוחות נונים ומידע, סקירות ספרות וכד'.
עידן הקורונה
עם כניסת המשבר, הארגון כולו הוצא לחל"ת, יחד עם יחידת ההערכה. אט אט, התוכנית חזרה לפעילות בהיקף מצומצם יחסית (מסיבות שונות הקשורות למשבר הקורונה), והארגון נכנס למצב הישרדותי. במצב עניינים זה, ניתנה בשלב הראשון עדיפות לבעלי התפקידים והיחידות שמפעילות את הארגון, ואילו היחידות ובעלי התפקידים שאמונים על איכות ההפעלה השתלבו בשלבים הבאים. יחידת הערכה מצאה את עצמה במצב בו היא מוגדרת כיחידה האמונה על איכות הפעילות. אמנם חשובה, אך פעילותה לא נחשבה קריטית לעידן הנוכחי ולהישרדות המיידית של התוכנית.
עם זאת, לזכותה של יחידת ההערכה עמדה היכולת הטכנולוגית של חבריה, האחריות על הפיתוח הטכנולוגי ומערכות המידע השונות, כגון - מערכת סקרים, אתר, מידע ארגוני, ו....ניהול מערכת משתמשי זום. כן, טרום עידן הקורונה, היחידה עבדה על הטמעת שיטות ניהול והעברת מידע ארגוני, ומערכת הזום הייתה חלק מרכזי בתקשורת מידע זו. היחידה החלה בהטמעת תקשורת זום בתוכנית קרב חודשים ארוכים לפני משבר הקורונה.
לאחר מספר חודשי משבר, תכנית קרב קיבלה אישור רשמי ללמד שיעורי העשרה מקוונים בבתי הספר, ושני חברי יחידת ההערכה היו אמונים על הטמעת מערכת הזום בקרב אלפי מדריכים ואנשי צוות, סיוע בפיתוח שיעורי העשרה מקוונים, קיום כנסים ואירועים ועוד. כך, באמצעות פעילות שאיננה פעילות ליבה של יחידת ההערכה, ניתן היה לשמור על קיומה של היחידה, עד יעבור זעם.
מה צופן העתיד?
בחודש האחרון, לצד העלייה באחוזי המתחסנים, המערכת מתחילה לחזור לשגרה. הבשורה העיקרית מבחינת יחידת ההערכה הייתה – הדרישה הגוברת והולכת לפעילות הערכה בשדרות הארגון השונות. בימים אלה, כאשר מערכות ההעשרה מרחוק כבר מתנהלות באופן עצמאי, והלמידה הפרונטלית גדלה, פעילות ההערכה חזרה להיות במוקד הפעילות. היחידה, אמנם בצמצום, שמרה על מקומה, ותחזור לבצע פעילות הערכה בתכנית קרב, תוך ביצוע התאמות שונות לעידן הנוכחי.
אילן שינה
"חם מן התנור"
פרסומים חדשים של/בשביל חברי אפי
מדידה של תחושת משמעות בחיים
תחושת משמעות בחיים – מדידה מבוססת מודל Guttman/Rasch
Larry Ludlow, Theresa O’Keefe, Henry Braun, Ella Anghel, Olivia Szendey, Christina Marz, and Burton Howell
Boston College
תחושת משמעות או מטרה בחיים (sense of meaning and purpose) היא משתנה מורכב למדידה, שכן לאנשים שונים יש המשגות שונות לגבי מה כוללת תחושת משמעות בחיים. מחקר חדש של Ludlow ואחרים (under review) מציג גישה מבוססת וינייטות למדידה של תחושת משמעות בחיים.
הכלי שפיתחו Ludlow ואחרים מורכב ממספר סיפורים קצרים המתארים דמויות עם רמות שונות של תחושת מטרה בחיים. תיאורי הדמויות מבוססים על הגדרתם של Damon ואחרים (2003) של תחושת מטרה בחיים כמבוססת על עד כמה המטרה משמעותית (meaningfulness), דבקות במטרה (goal-orientation), ועד כמה המטרה אלטרואיסטית או מכוונת לאנשים אחרים (beyond the self). החוקרים יצרו שלושה סולמות המודדים את האלמנטים האלה.
בבניית הווינייטות, Ludlow ואחרים התבססו על שילוב של תורת השטחות של גוטמן (1959) עם מודל Rasch (1960). תורת השטחות מתייחסת לתכונות אנושיות כמורכבות מרכיבים קשורים הנקראים שטחות (facets). Ludlow ואחרים השתמשו בארבע שטחות המבוססות על הספרות: בהירות של המטרה, מאמץ להשגת המטרה, תדירות העבודה לקראת המטרה, וההיקף של המטרה (האם היא ממוקדת בטווח המיידי או היא רחבה יותר). מודל Rasch מתבסס על ההנחה שניתן לתאר תכונות אנושיות על גבי רצף; אנשים יכולים להיות "גבוהים" או "נמוכים" על הרצף, לדוגמא בעלי תחושת מטרה חזקה יותר או חלשה יותר.
על בסיס המשגה זו, Ludlow ואחרים יצרו את הווינייטות כך שיתארו דמויות בעלי תחושת מטרה חזקה או חלשה על ידי מניפולציה של השטחות; לדמויות "גבוהות" יש מטרה בהירה, רחבת היקף, ושהם עוסקים בה לעיתים תכופות ומשקיעים בה מאמץ, ולהיפך. למשל, פריט שמתאר דמות עם רמה גבוהה של דבקות במטרה: "דנה יודעת איך להגשים את המטרות ארוכות הטווח שלה ותמיד משקיעה מאמץ עצום על מנת להשיג אותן". לעומת זאת, פריט שמתאר רמה נמוכה של דבקות במטרה: "דני לא יודע איך להשיג את מטרותיו ולא משקיע בהן זמן או מאמץ". ניתן לראות כאן את הרמות המשתנות של כל אחת מהשטחות.
המשיבים על השאלון בוחרים האם הם חשים שלחייהם יש יותר או פחות כיוון (1-5) ביחס לכל סיפור קצר. כך, ניתן לאפיין כל משיב באמצעות הסיפור שהכי דומה לו. הדבר מאפשר פרשנות עשירה יותר של איך מתנהג אדם ברמות שונות של תחושת מטרה בחיים – ניתן להשתמש בדמות שהכי דומה לו כדי להבין זאת. נוסף על כך, השימוש בווינייטות מקל על המשיבים שכן יש להם נקודת ייחוס ברורה שאפשר להשוות את עצמם אליה, זאת לעומת סולמות ליקרט בהן כל תשובה נתונה לפרשנות.
תהליך הפיתוח של הסולמות האלה מתואר על ידי Ludlow ואחרים (2020). אותם חוקרים מתארים גם את תהליך התיקוף של הסולמות במאמר אחר שנמצא כעת תחת ביקורת עמיתים. במחקר זה השתתפו 722 סטודנטים לתואר ראשון בבוסטון קולג' שמילאו את השאלון וכן מספר שאלוני תיקוף. החוקרים מדווחים על מספר ממצאים:
-
ככלל, המבנה של הפריטים תואם את מודל Rasch כך שפריטים שנכתבו כמייצגים רמה גבוהה של המשתנה היו קשים יותר (פחות אנשים הסכימו שיש להם יותר כיוון בחיים מהדמות המתוארת), ולהפך.
-
מהימנות השאלון כפי שנמדדה באמצעות מדד α של קרונבך הייתה גבוהה (0.81 ומעלה).
-
המתאמים בין שלושת תתי השאלונים היו גבוהים (0.64 ומעלה) אך לא מושלמים. לדוגמא, יש אנשים שחשים שיש להם מטרה ברורה בחיים אך היא אינה ממוקדת באחרים אלא בעצמי. הדבר מחזק את ההמשגה של כל אחד מהרכיבים של תחושת מטרה בחיים כמשתנים נפרדים אך קשורים.
-
לשלושת תתי השאלונים היו מתאמים גבוהים עם שאלונים מסורתיים שמודדים תחושת משמעות בחיים (0.50 ומעלה) וכן שאלון שביעות רצון מהחיים (0.32 ומעלה).
-
כאשר החוקרים השוו בין שנות לימוד, נמצא שלסטודנטים בשנים מתקדמות יותר הייתה תחושת מטרה חזקה יותר מלסטודנטים חדשים, אך ההבדלים היו קטנים יחסית ולא מובהקים בחלק מהשאלונים.
לסיכום, המחקר מציג גישה חדשה למדידת משתנים פסיכולוגיים שמשלבת את היתרונות הפסיכומטריים של מודל Rasch ואת העושר הפרשני שמעניקה תורת השטחות של גוטמן. הגישה יושמה בהקשר של תחושת מטרה בחיים כדי ליצור שלושה תתי שאלונים המורכבים מסיפורים קצרים המתארים דמויות ברמות שונות של משמעות, דבקות במטרה, ואלטרואיסטיות. המחקר מציג עדויות למהימנות, תוקף המבנה ותוקף הקריטריון של השאלון. בשלבים הבאים של המחקר, צוות החוקרים מתכוון להשתמש בשאלון על מנת להרחיב את ההגדרה של תחושת משמעות בחיים כדי שתכלול אלמנטים של התפתחות רגשית וקוגניטיבית.
ניתן להשיג את השאלון בגרסה אנגלית אצל הכותבת, אלה אנגל, במייל anghel@bc.edu
מקורות
Damon, W., Menon, J., & Bronk, K. C. (2003). The development of purpose during adolescence. Applied Developmental Science, 7, 119-128.
Guttman, L. (1959). Introduction to facet design and analysis. Paper presented at the proceedings of the Fifteenth International Congress of Psychology, Amsterdam, Netherlands.
Ludlow, L. H., O’Keefe, T., Braun, H., Anghel, E., Szendey, O., Matz-Costa, C., & Howell, B. (under review). Reframing and measuring purpose: An extension within the Boston College Living a Life of Meaning and Purpose (BC-LAMP) portfolio. Journal of Happiness Studies.
Ludlow, L. H., Anghel, E., Szenday, O., O’Keefe, T., Howell, B., Matz-Costa, C., & Braun, H. (2020). The Boston College Living a Life of Meaning and Purpose (BC-LAMP) Portfolio: An application of Rasch/Guttman Scenario methodology. Journal of Applied Measurement. 21, 134-153.
Rasch, G. (1980). Probabilistic models for some intelligence and attainment tests. Chicago, IL: University of Chicago Press. (Original work published 1960).
"באמצע הדרך"
עדכונים מוועדת 'מיהו פסיכומטריקאי'
הרעיון להקים ועדה שתנסח הגדרות לעיסוקים שונים בתחום הפסיכומטריקה ומסלולי הכשרה רלבנטיים לכל עיסוק, נולד בספטמבר 2019 בישיבת מועצה מיוחדת של אפי שעסקה בתפקידיה של אפי ביחס לחבריה, והשתתפו בה גם יו"רי אפי בעבר. הרעיון קרם עור וגידים באפריל 2020 עם הקמתה של ועדת "מיהו פסיכומטריקאי" בהרכב של 4 מתנדבים מחברי מועצת אפי: צור קרליץ, רוני ברצלבסקי, נועה גזית והח"מ.
הוועדה לקחה על עצמה להכין מסמך שיציע תיאור מקיף וממצה של התפקידים ותחומי העיסוק של העוסקים בהיבטים של פסיכומטריקה, כמו גם של ההכשרה והניסיון המקצועי שהם נדרשים להם לצורך מילוי תפקידם. בשלבים הראשונים של הכנת המסמך הוא התייחס לעיסוק בפסיכומטריקה בהסתמך על סקירת ספרות בינלאומית, בעיקר בארה"ב, ועל הידע שנאסף בע"פ ממומחים בתחום.
כדי להעשיר את המסמך בתמונת המצב של חברי האגודה הישראלית לפסיכומטריקה – אפי כמקרה-בוחן - פיתחה הוועדה שאלון-סקר מפורט שנגזר מהתמונה הכללית דלעיל. השאלון המקוון הופץ לחברי אפי בתחילת חודש נובמבר 2020, וממצאים ראשוניים שלו הוצגו בכנס אפי 2021 והועלו לאתר אפי.
אחד הממצאים הבולטים של הסקר הוא שבאגודה הישראלית לפסיכומטריקה חברים לא רק מי שמזהים עצמם כפסיכומטריקאים אלא גם – ובשיעור ניכר - מי שעוסקים בהיבטים שונים של פסיכומטריקה בלי להגדיר עצמם כפסיכומטריקאים. ממצאים על הבדלים שנמצאו בין אלה לאלה, יוצגו בדו"ח המלא שעליו ממשיכה לעבוד ועדת "מיהו פסיכומטריקאי".
ממצאי השאלון משקפים במידה רבה את התמונה העולה מהספרות המקצועית הכללית, אבל גם מאפשרים להצביע על דיפרנציאליות בבולטות של מרכיביה השונים. יש לזכור כי התמונה המצטיירת מהסקר הזה מתארת את המצב בישראל - ומעניין להעביר שאלון כזה גם במדינות אחרות.
ריטה סבר
הקורונה ואנחנו - עסקים לא כרגיל
עולם הפסיכומטריקה ומגפת הקורונה העולמית
בניגוד לשיר על הכבש ה-16 שבו הילד סופר הכבשים נרדם, עולם הפסיכומטריקה, מה לעשות, לא נם לרגע בשנה הזאת – שנת הפנדמיה.
מגפת הקורונה העולמית, על אורח החיים שנכפה על האנושות, הציבה בפני עולם המבחנים רחבי ההיקף (וגם "צרי ההיקף") אתגרים חדשים. אם העולם כולו ומערכות החינוך בעולם וגם בארץ נאלצו להיסגר בבתים, ולעבור ללמידה מרחוק, הרי שמיד בא הצורך לעבור גם למדידה מרחוק. אם הלמידה הפכה למקוונת והתקיימה במרחבים של משבצות-משבצות שבהן מצולמים אנשים טרוטי עיניים בפיגמה וטריינינג על מסך מלבני של מערכת שפרצה לחיינו בזום, הרי שהיה הכרח שהמדידה תלך בעקבותיה.
ואכן, השנה נכנסו לחיינו מושגים חדשים שלא היכרנו (או שניצנים שלהם צצו פה ושם בעולם הקדם-קורונאי בעיקר במכוני מיון והשמה לעבודה) כמו אי-פרוקטור (e-Proctor), אמצעי זיהוי ביולוגיים מרחוק, ותוכנות AI שלומדות להתריע כשמישהו חשוד בפגיעה בטוהר הבחינות. פתאום נראה היה שנעשתה פריצת דרך, פתאום צפו על פני השטח פתרונות, חלקיים אומנם ולא מושלמים (אבל בינינו, האם הלוגיסטיקה של המבחנים עד היום הייתה מושלמת?) לבעיית זיהוי הנבחנים, העתקות, היעזרות בגורם שלישי, ביצוע המבחן על ידי מישהו אחר וכו'.
מורים בבתי הספר למדו לבנות מבחנים ממוחשבים ומתוקשבים בסביבות אינטרנטיות ייעודיות לבניית מבחנים במגוון תחומי דעת, ולבחון את תלמידיהם באמצעות מצלמות הזום. אחרים עברו להערכה עצמית או חלופית, והגשימו רעיונות שישבו על הספסל, ממתינים לתורם לעלות למגרש במשך שנים. האוניברסיטאות וחלק ממבחני הבגרות הפנימית (הבית-ספריים) עברו לבחון אף הם מרחוק ומהבית. בסמסטר הראשון לזום הם הסתפקו בציון עובר/לא עובר שהפכו להיות בדיחה בעיני הנבחנים, אשר ניצלו כל פרצה במצלמה וברשתות החברתיות כדי "להוציא" ציונים חלומיים. בסמסטר השני, הבדיחה הפכה לבכייה, כאשר התשתית לבחינה מרחוק השתפרה בזכות תוכנות החוסמות גלישה לאתרים וקבוצות חברים שיכולים לעזור בבחינה אבל זאת במחיר של צילומים רציפים, משגיחים מרחוק, מעקב אוטומטי המיושם באמצעות תוכנות AI, זיהוי הנעשה באמצעים ביולוגיים אשר ביחד מעוררים את שד ה-1984 שלנו ואת החרדה מהחדירה לפרטיותנו.
מן העבר השני, צצו מבחנים קצרים ויעילים, המבוססים על יצירת פריטים אוטומטיים (item generation). בזמן שמוסדות מבחנים מיתולוגיים כמו ETS ו-ACT שלא יכלו לבחון בהיקף רחב יותר פיטרו מאנשי הפסיכומטריקה המקצועיים והוותיקים שלהם, פרחו ועלו אותם מבחנים שאפשר לבצעם בלי להתנייד מהבית, עם שתי מצלמות ומיקרופון, בקצרה, ביעילות ולא פחות חשוב - בזול. ומה שעוד יותר חשוב – אפשר לחזור ולהבחן באותם מבחנים כמעט ללא הגבלה על מספר פעמים שרוצים.
ימים יגידו האם אנו חווים התחלה של תקופה חדשה בעולם המבחנים או שמא עם ההשתלטות על התחלואה ועל הנגיף נחזור לעולם הישן והמוכר של מבחנים במרכזים ומועדים ייעודיים להיבחנות, שבהם כולם נבחנים בתנאים סטנדרטיים, עם משגיחים בני אנוש, שנמצאים איתנו באותו מרחב אוויר, מחייכים ואומרים בוקר טוב, אבל לפעמים גם קצת עוצמים עין מהעתקות, או סתם מתבלבלים בזמן המוקצב לפרק במבחן.
יואל רפ