אורח: ניצן פרידמן מנחה: ד"ר ליאת בסיס
פסיכומטריקאי.
כל מי שמנוי על הבלוג הזה מכיר את המילה. יודע להסביר מה היא אומרת ומה עושה מי שהוא או היא מכנה את עצמו כך. כל מי שמנוי על הבלוג הזה גם יודע שיש מגוון עיסוקים שנדרש בהם פסיכומטריקאי או שפסיכומטריקאי יכול לייצר בהם ערך.
אבל... אני משערת שרוב מי שמנוי על הבלוג הזה לא יודע להגיד איך נהיים פסיכומטריקאי.
אני באופן אישי שמחה שיש גוף שדואג לחשוב גם על הדברים האלה ולא רק חושב אלא גם מיישם. הבלוג הבא מספר על יוזמה של המרכז הארצי לבחינות והערכה (מאל"ו) שבימים אלה קורמת עור וגידים ועונה על השאלה – איך נהיים פסיכומטריקאי. ניצן פרידמן, מהמוציאים לפועל של תכנית ההכשרה בפסיכומטריקה ובתוכה הקורס המקוון "פיתוח כלי מדידה והערכה", יענה על 5 שאלות: מה זה, לשם מה זה, למי זה מיועד, איך יוצרים קורס מקוון ומתי זה אמור לקרות.
שלושה דברים על ניצן (שמבחינתי מרמזים שהוא פסיכומטריקאי מלידה):
1. ניצן בעל תואר שני בפסיכולוגיה חברתית מהאוניברסיטה העברית. התיזה שלו עסקה בהשפעה שיש לסוג הפריטים שכותבי המבחן משתמשים בהם על היקבעות הידע של הנבחנים. כלומר, איך נבחנים זוכרים את החומר גם אחרי שהמבחן הסתיים.
2. בשנים האחרונות ניצן עובד במאל"ו כמפתח בחינות בצוות שאמון על הפרקים המילוליים של הבחינה הפסיכומטרית, וכן כשותף בפיתוח תכנית לימודי תעודה בפסיכומטריקה - יוזמה שנולדה אצל הוועדה הישראלית לעידוד לימודי הפסיכומטריקה.
3. בסופי השבוע ניצן ובני משפחתו מתחרים בשלל חידוני הטריוויה שמתפרסמים בעיתונים. כדי להעריך את התשובות שלהם על השאלות הפתוחות המוצגות בטריוויה, הם משתמשים במחוון מסודר שניצן פיתח כדי לקבוע את הניקוד בצורה מדויקת.
ברוך הבא ניצן!
אז מה זה אומר קורס מקוון? ומהו קורס מקוון בפסיכומטריקה?
קורס מקוון הוא קורס שההוראה בו נעשית בדרכים מתוּוכות מחשב, שהלומד יכול ללמוד בבית מתי שמתאים לו, בכל פעם למשך הזמן שנוח לו, והוא חוסך המון זמן – נסיעות למוסד הלימודי, הזמן שבו המרצה כותב על הלוח, ואפילו את ההכרח לצאת מהפיג'מה. קורס מקוון משחרר אותנו מאלמנטים שקיימים בהוראה מסורתית שהם לא תמיד לטובת הלמידה – למשל, משך השיעור. בהוראה מסורתית לא נוציא לומד מביתו לנסיעה של שעה בשביל שיעור של עשר דקות, אבל... בהוראה מקוונת אפשר לעשות זאת, ולפי מחקרים מתברר שכדאי: שיעורים קצרים הם אפקטיביים יותר.
הקורס המקוון שעליו אנחנו עובדים בימים אלה נקרא 'פיתוח כלי מדידה והערכה' וכמשתמע משמו הוא מתמקד בפיתוח של כלי מדידה והערכה, עם דגש על הצד המעשי: החל מבחירת כלי המדידה המתאים ביותר למדידה, דרך בניית מפרט המבחן וכתיבת השאלות, וכלה בפיתוח המחוונים לבדיקת התשובות לשאלות ושיטות לבדיקת איכות הפריטים (ניתוח פריטים). השיעורים הראשונים בקורס עוסקים בקיצור במהימנות, תוקף והטיה כמבוא. חלק מרכזי בקורס עוסק בעקרונות כלליים בתהליך פיתוח מבחנים, שלא תלויים בעולם התוכן הספציפי שהמדידה מתבצעת בו, כמו איך בונים שאלות סגורות ופתוחות, וחלקים אחרים בקורס עוסקים בעקרונות שחשוב לשים אליהם לב בתהליכי מדידה בהקשרים ספציפיים: בהקשר חינוכי, בהקשר תעסוקתי, בהקשר קליני וכו'.
הקורס צפוי לכלול כ-50 שיעורים בני רבע שעה כל אחד. לפני כל סרטון יש שאלות מקדימות וחומרים שמלווים את הלומד ומגדילים את העשייה והמעורבות שלו, כי הסתפקות בצפייה בסרטונים תותיר את הלומד פסיבי, וזה מצב לא רצוי.
את ההרצאות מעביר סגל שמורכב מטובי המומחים בארץ שעוסקים במדידה והערכה, שגייסנו לצורך העניין. חלק גדול מהמרצים הם אנשי מאל"ו, ואחרים מראמ"ה, ממט"ח, מהאוניברסיטה העברית, מהאוניברסיטה הפתוחה וממקומות נוספים. זכינו לשיתוף פעולה ממרצים עמוסים ביותר. חלק מהמרצים נמנים על הישראלים המעטים שהשכלתם היא ממש בפסיכומטריקה (שלמדו בחו"ל), וכולם מביאים איתם ניסיון מהשדה וידע שצברו עם השנים.
אני לא מכיר קורסים מקוונים שמוקדשים לנושא פיתוח כלי מדידה והערכה שהם בהיקף רחב כמו זה של הקורס שאנחנו מפתחים. בנובמבר 2017 אנחנו הולכים להציג את הקורס בכנס השנתי של AEA - Europe (Association for Educational Assessment - Europe) – ומצפים שההצגה תעורר עניין, ואולי גם תביא בעקבותיה שיתוף פעולה עם אנשים העוסקים בתחום במדינות אחרות.
לשם מה צריך קורס כזה?
בשביל לענות על השאלה הזו כדאי רגע להתבונן על הקשר רחב יותר. באקדמיה בישראל אין היום תכניות לימוד בתחום המדידה וההערכה, וכמעט שאין חוקרים בתחום הזה. המצב הזה מוביל למספר קטן מאוד של סטודנטים שבוחר ללמוד ולחקור את התחום במסגרת עבודות התיזה והדוקטורט שלהם, כך שלא מוכשרים מומחים חדשים בתחום.
כדי לשפר את המצב הזה, מאל"ו החליט לפתח תכנית ללימודי תעודה בפסיכומטריקה, והרעיון הזה קורם עור וגידים בזכות תרומה של קרן פילנתרופית שהסכימה שזה חשוב. לצד פיתוח לימודי התעודה, התרומה שקיבלנו מהקרן משמשת גם למימון מלגות לכמה סטודנטיות שעומדות ללמוד פסיכומטריקה בחו"ל, ולמימון מלגות לשלוש דוקטורנטיות בארץ. הדוקטורנטיות בארץ לא לומדות בתכניות לימוד ספציפיות בפסיכומטריקה (שהרי אין כאלה...), אלא הן לומדות פסיכולוגיה, והן מחזקות את הצד הפסיכומטרי בדוקטורט שלהן בעזרת ליווי שהן מקבלות ממאל"ו. במקביל לדוקטורט הן גם ישתתפו בלימודי התעודה.
לימודי התעודה זוכים לברכת האגודה הישראלית לפסיכומטריקה שמארחת אותנו בבלוג הנוכחי (:
לשם מה צריך מומחים בתחום? מי חסר אותם?
להרבה מהאנשים הבכירים בראמ"ה, במט"ח, במאל"ו, יש השכלה פורמלית בתחום, וכך גם להרבה מהמובילים במכוני מחקר ולמובילי המו"פ במכוני המיון. הרבה מהם עומדים לפרוש בקרוב, ובהיעדר תכניות לימוד בתחום מי שעתיד להחליף אותם צפוי להיות עם פחות השכלה פורמלית בנושאים האלה - השכלה שכמובן משפיעה על איכות העבודה.
אם לא יהיו מומחים בתחום המדידה וההערכה בישראל לא נוציא את אותם התוצרים, תהליכי המיון יהיו פחות טובים כמו גם תהליכי ההערכה החינוכית ועוד.
למי מיועד הקורס?
באופן כללי היעד הוא לשחרר את הידע בתחום המדידה וההערכה, שכיום אצור אצל קבוצה קטנה של אנשים, לרשות הציבור כולו. אבל לא מיד עם עלייתו של הקורס לרשת. בשלב הראשון אנחנו מייעדים את הקורס לשתי קבוצות עיקריות: אחת מהן היא אנשים שרוצים להשתלב בתחום הזה בעתיד או שכבר עוסקים בו, והאחרת היא תלמידי תואר שני ושלישי שמעוניינים לשלב את לימודי הפסיכומטריקה בלימודים שלהם, בהם הדוקטורנטיות שכבר נבחרו. כיווני מחשבה שיש לנו לעתיד הם להתאים את תכני הקורס גם למורים, למרצים למוסדות השכלה גבוהה ולקבוצות נוספות שיכולות להפיק תועלת מהתכנים שיילמדו בקורס.
אבל זה לא הכול. מכיוון שהמימון לפרויקט מגיע מקרן פילנתרופית, ומכיוון שהמרכז הארצי הוא מלכ"ר שאחת מהמטרות שלו היא קידום תחום הבחינות בארץ, אנחנו רואים את עצמנו מחויבים להשתמש במשאבים שניתנו לנו לרווחת הציבור ולהנגיש את התכנים לכמה שיותר לומדים. הכיוון שמסתמן הוא שאחרי תקופת פיילוט חלקים נרחבים מהתכנים יהיו נגישים ברשת לכולם בחינם.
תלמידי הקורס שיהיו מעוניינים בקרדיטציה – למשל, אלה שלומדים את לימודי התעודה – ישתתפו גם בסדרה של סדנאות ומפגשים פרונטליים. זה מודל של Blended Learning שמשלב למידה מסורתית ומקוונת. התלמידים האלה יתבקשו לעמוד בדרישות הקורס, כמו השתתפות בסדנאות, הכנת תרגילים, מעבר של ציון סף במבחן וכו', והם גם יתבקשו לשלם סכום כלשהו שנועד לכסות את עלויות התפעול של הקורס.
איך עושים קורס מקוון?
מאחורי כל 10 דקות של סרטון יש המון עבודה. כל מי שפיתח קורס מסורתי יודע שצריך להשקיע מחשבה וזמן בקביעת הסילבוס, ביצירת השיעורים, בכתיבת התרגילים, בבניית המבחן וכו'. כשמדובר בקורס מקוון, צריך להוסיף לכל אלה עבודה שקשורה בהפקה: צריך אולפני צילום, עורכי וידיאו, אנימטורים, גרפיקאים, אנשים שיעלו את כל החומרים לפלטפורמה הדיגיטלית ואפילו מאפרת (: זו הזדמנות להזכיר את המרכז למולטימדיה של האוניברסיטה העברית שעושה עבודה טובה מאוד בכל מה שקשור להיבטים של ההפקה.
קטע מתוך שיעור בקורס. מרצה: נדב פודולר, מרכז ארצי לבחינות ולהערכה
מאחורי כל שיעור יש חשיבה מדוקדקת. הסטנדרט של ללמד מול קבוצה הוא לא הסטנדרט של ללמד מול מצלמה. מצגת עם גרפיקה בסיסית שעוברת היטב מול קבוצה קטנה של אנשים בהרצאה, לא תמיד מספקת כשהיא מיועדת לשיעור באינטרנט. המרצים עובדים המון על כל שיעור. מעבר לכתיבת התוכן (המרצה מעביר מראש גם מצגת וגם את הטקסט המדויק שאותו הוא הולך להקריא מהטלפרומפטר שבאולפן), צריך גם לקבוע איזו תזוזה תהיה על המסך ומתי כדי להימנע משיעורים סטטיים מדי, צריך להכין את השאלות שיישאלו לפני הסרטון ואחריו, צריך לחשוב איך אפשר לנצל העובדה שהתלמיד לומד דרך מחשב... כלל אצבע מדבר על עשר שעות לבניית שעה של קורס מסורתי, שעובדים בו רק על תוכן. פה יש הרבה יותר השקעה. המרצים בקורס השקיעו הרבה מאוד ומגיעה להם תודה.
מתי אמור כל הטוב הזה להתחיל?
לימודי התעודה בכלל ובתוכם הקורס המקוון צפויים להתחיל בתחילת 2018. אנחנו עובדים במלוא המרץ כדי לקדם את הפיתוח בצורה כזו שנוכל לפתוח את ההרשמה כמה שיותר מהר, בסתיו. ספציפית בקורס "פיתוח כלי מדידה והערכה" צילמנו 25 סרטונים, בספטמבר נצלם עוד כ-15 ובסתיו את היתר. כדי לעמוד בלוח הזמנים הרחבנו לאחרונה את צוות האנשים שמסורים לנושא הזה. את כל המאמץ הזה והעשייה מוביל ד"ר אבי אללוף.
תודה רבה ניצן! לסיום הייתי רוצה לשאול, איזו פנייה היית רוצה להפנות לפסיכומטריקאים בישראל?
אני רוצה לקרוא לפסיכומטריקאים לעקוב אחרי הפרסומים לקראת לימודי התעודה שצפויים להיפתח בתחילת 2018. מערכת ההשכלה הגבוהה בישראל כוללת רק מעט קורסים רלבנטיים ואני בטוח שאנשים שמתעניינים בתחום ימצאו בלימודי התעודה השלמת השכלה מתאימה.
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
תגובות
5. תותח הניצן הזה! אליעזר והגזר (08/10/2017)
4. תשובה לאלעד ניצן (08/10/2017)
שלום אלעד, סליחה על התשובה המאוחרת; רק עתה הבחנתי בשאלתך. לגופו של עניין - הבנת נכונה את דבריו של המרצה: שאלה שמוצעת לה יותר מאפשרות תשובה נכונה אחת היא שאלה הלוקה בהכשלה, אפילו אם אחת מהתשובות הנכונות מדויקת יותר מהאחרת. בנוגע לשאלה שהפנית אליה בפנייתך - בדיקת איכותה הפסיכומטרית של שאלה ספציפית חורגת מנושא הבלוגומטרי הנוכחי, וראוי לערוך אותה עם הגורמים הממונים על המבחן. כעובד המרכז הארצי עליי להפנות אותך למדור לפניות הציבור. תוכל לפנות אליהם בקישור הבא:
באופן אישי אני יכול להוסיף שהצצתי בשאלה מתוך סקרנות, ומוצעת לה רק תשובה נכונה אחת; כלומר, הטענה שבבסיס פנייתך אינה נכונה.
3. הבהרה לגבי "הכשלה" אלעד (28/08/2017)
בבחינה שפורסמה ממועד אפריל 17, בפרק חשיבה מילולית ראשון, שאלה 15 - תשובה (1) נכונה, אולם גם תשובה (3). שתי התשובות שוללות הסבר חלופי ולכן מחזקות את המסקנה. האם מדובר בטעות? ואם לא, האם מדובר בהכשלה? מצב בו יש תשובה אחת נכונה ואחת נכונה יותר? אודה להבהרה. תודה, אלעד
2. הרשמה ניצן פרידמן (28/08/2017)
ההרשמה צפויה להיפתח במהלך הסתיו. הודעות על פתיחתה תפורסמנה באתר המרכז הארצי לבחינות ולהערכה, באתר האגודה הישראלית לפסיכומטריקה (ממש כאן) ובמקומות נוספים. להתראות!
1. אז איפה נרשמים? אלי (27/08/2017)