מידעונט אפי
גיליון 10
טור העורכת
עמיתיי היקרים והיקרות באפ"י,
ברוכים הבאים לגיליון 10 של המידעונט שלנו. גם הפעם זכינו למאמרים שמשקפים את הלך הרוח של התקופה − מלחמה ומשבר מאוד קשים לצד האצה טכנולוגית ופריחת הבינה המלאכותית.
אני אפתח בשיתוף של מחשבה אישית שלי בעקבות עבודה עם בינה מלאכותית. בחודשים האחרונים, מצאתי את עצמי נעזרת לא מעט בכלי בינה מלאכותית, למגוון רב של מטלות. התוצרים שאני מפיקה בשיתוף עם הבינה המלאכותית הם באיכות גבוהה יותר מכפי שהייתי מסוגלת להפיק לבדי, והעבודה מתמרצת ומהנה. לצד זאת, ככל שאני מעמיקה את השימוש בכלים אלה, אני מוצאת את עצמי מוטרדת מההשלכות על הלמידה. אני מרגישה שעלולה להיווצר תלות בבינה המלאכותית עד פגיעה בתחושת המסוגלות ומסוגלות בפועל (ירידה בביצועים).
הנקודה שבה הרגשתי בכך הייתה כשכתבתי תיאור חוויה אישית (במסגרת לימודים) ולמרות שהייתי מרוצה מהתוצר, דעתי לא נחה עד שלא העתקתי כל פיסקה לצ'ט של הבינה לצורך שדרוג הניסוח. כלומר, אם בעבר האמנתי שאחת החוזקות שלי היא כתיבה רהוטה, הרי שהתחלתי להרגיש היסוס ופקפוק ביכולותיי ללא תמיכת הבינה המלאכותית. עולה גם חשש לפגיעה בהשקעה ובהתמסרות לעומק הלמידה.
חוויה זו הובילה אותי למחשבה על התלמידים במערכת החינוך. בעוד שרבים עוסקים ומדגישים את היתרונות של למידה עם כלי בינה מלאכותית, ובצדק, אני תוהה אם ניתנת תשומת לב מספקת לבחינה של השפעותיהם השליליות האפשריות. לאור זאת, אני מציעה שנקודת המבט בהערכה רחבת היקף לא תהיה רק של פיתוח מיומנויות חדשות שנדרשות, אלא גם בפגיעה האפשרית במיומנויות בסיסיות ובתחושת המסוגלות העצמית של התלמידים סביב מיומנויות אלו.
הערכה כזו תוכל לספק תובנות שיתמכו בפיתוח אסטרטגיות הוראה, שיבטיחו איזון מתאים בין הפקת התועלת הרבה שבטכנולוגיה, אך ללא הזנחה של פיתוח המיומנויות הבסיסיות.
שילוב של בינה מלאכותית בלמידה ובהערכה מוצג במידעונט הנוכחי בשני מאמרים: ד"ר טניה נזרצקי מציגה מחקר מרתק על תפיסות סטודנטים לגבי משוב מבינה מלאכותית לעומת משוב אנושי, וד"ר חני שלטון מציעה תובנות מעשיות לשימוש בכלי בינה מלאכותית בתהליכי הערכה לשם למידה בקורסים אקדמיים.
בנושא אחר אך לא פחות חשוב, ד"ר קובי דיין, ד"ר אורנה גריץ וסבטה מסלוב מציגים תיקוף שאלון למדידת חוסן מול קריטריון של הסתגלות ותפקוד לאחר אירועי 7 באוקטובר, נושא שרלוונטי מאוד בימים אלה.
הגיליון כולל גם סיכום שערכתי של סקירת ה-OECD על כלים חדשניים להערכת מיומנויות חברתיות-רגשיות, ומאמר מרתק של אמיר וינר ופרופ' ניצה גרי על הערכת סטודנטים בסביבות למידה של מציאות מדומה.
תודה רבה לכל הכותבים שתרמו כתבות ושיתפו מעבודתם: טניה, חני, קובי, אורנה וסבטה, אמיר וניצה. תודה למתן הר צבי על התמיכה והסיוע באתר של אפי.
אני מזמינה את כולם לשלוח אלי מאמרים נוספים באופן שוטף.
קריאה מהנה ופורייה,
בתקווה לימים טובים יותר, להפסקת שפיכות הדמים ולהחזרת החטופים במהרה!
ד"ר עינת נוטע-קורן
עורכת המידעונט
Einat.notea@gmail.com
ללמוד בעולם וירטואלי: אתגרי הערכה במטאוורסיטי
סיכום המאמר: לקראת ניתוח למידה להערכת סטודנטים במטאוורסיטי*
*המאמר שמשמש כרקע לפרסום זה, הוצג בסדנה בנושא אנליטיקות למידה במציאות מדומה במסגרת כנס LAK24.
אמיר וינר ופרופ' ניצה גרי, האוניברסיטה הפתוחה
amirwi@openu.ac.il
Winer, A., & Geri, N. (2024). Towards learning analytics for student evaluation in the Metaversity. Joint Proceedings of LAK 2024 Workshops, co-located with 14th International Conference on Learning Analytics and Knowledge (LAK 2024), March 18-22, 2024, Kyoto, Japan (pp. 284-291). LAVRLAK24_paper_4.pdf (ceur-ws.org)
רקע והקדמה
המטאוורסיטי (Metaversity) הוא מונח המתאר סביבות למידה אקדמיות המשלבות מציאות מדומה לתוך תהליכי ההוראה והלמידה. השימוש בטכנולוגיות מתקדמות אלה מזמן הזדמנויות חדשות להתנסות בתכני הלימוד בדרכים שלא התאפשרו בעבר. המשתתפים נעזרים במשקפי VR כדי להיטמע בעולמות תלת מימדיים שמייצגים מגוון תחומי דעת. בסביבות אלה הם מקיימים אינטראקציה עם אובייקטים תלת מימדיים ותכנים אקדמים במגוון סוגי מדיה. לצד ההתנסות, סביבות וירטואליות אלה מאפשרות לתעד נתונים מפורטים וחדשים על התנהלות הסטודנטים בכלל ואופי הלמידה שלהם בפרט. כתוצאה מכך, יש צורך בעיצוב מדדים חדשים לניתוח למידה (learning analytics) ,שיתמכו בהערכת הלמידה במטאוורסיטי.
מטרות המאמר
המאמר מתמקד בהערכת סטודנטים במטאוורסיטי ומציע מודל בן ארבע רמות למדידת הישגי הסטודנטים בזמן ביצוע משימות אקדמיות. עם זאת השימוש במטאוורסיטי מציב אתגרים לא רק בעיצוב מדדים חדשים אלא גם בנושאים אתיים, כמו שמירה על פרטיות הסטודנטים ועמידה בתקנים של ניהול נתונים כמו GDPR.
המודל להערכת סטודנטים
המאמר מציע מודל הערכה בן ארבע רמות:
-
הערכה חיצונית- מטרת הערכה זו היא למדוד את הידע וההבנה שרכשו הסטודנטים בזמן השהייה במציאות המדומה. אולם המדידה עצמה מתקיימת מחוץ להתנסות במציאות מדומה באמצעות מבחנים מסורתיים המתקיימים בסביבת למידה מקוונת.
-
הערכה מסורתית בתוך המציאות המדומה - הערכה זו מתבצעת בתוך הסביבה הווירטואלית באמצעות משוב מידי על ביצועיהם של הלומדים. המדידה מתאפשרת בעזרת הפעלה של אובייקטים תלת ממדיים ושאלונים אינטראקטיביים.
-
הערכת ההתנסות הלימודית בתוך המציאות המדומה - הערכה זו מתמקדת במדידת הפעילות של הלומדים במצבים השונים שהסביבה מזמנת להם. כך למשל התנועה במרחב, השגת יעדים, השלמת אתגרים ומעבר בין השלבים השונים של ההתנסות. ממד זה מתאים בעיקר לבחינה של התנסויות לימודיות מסוכנות או כאלה שמחייבות השקעת משאבים יקרים לקיומם בעולם האמיתי.
-
הערכה מצטברת של ההתנסות במציאות המדומה - מטרת הערכה זו היא לנתח את האפקטיביות של הסביבה הווירטואלית בכללותה. היא אינה מכוונת למדוד את ההישגים של הסטודנט הבודד, אלא את הישגי כלל הסטודנטים כשלם.
יישום המודל בקורס גיאולוגיה
המאמר מציג את המקרה של קורס גיאולוגיה באוניברסיטה הפתוחה של ישראל. במהלך ההתנסות הסטודנטים נדרשים לזהות תופעות גיאולוגיות בתוך הסביבה הווירטואלית של נחל רמון. תכני הקורס הופקו מדגמי תלת ממד פוטוגאומטריים שנוצרו מתמונות רחפן וצילומי קרקע ב- 360 מעלות של תחנות הסיור. לאלו צורפו גם מקטעי וידאו שצולמו באולפן וידאו מקצועי. כל התכנים שולבו בסביבות וירטואלית שמאפשרות למידה שיתופית ולמידה עצמית. לפירוט אופן היישום, עיינו במאמר.
סיכום ומסקנות
המאמר מדגיש את הצורך ביישום גישה מדורגת להטמעה של ניתוח למידה במטאוורסיטי, תוך הגבלת איסוף הנתונים רק למדדים שמהווים אינדיקציה ישירה למטרות הלמידה. הרחבת השימוש בטכנולוגיות מדומה מציבה אתגרים אתיים ורגולטוריים שיש להתמודד איתם. המסגרת שמציע המחקר הנוכחי תורמת לפתרון פערים פדגוגיים בעיצוב חוויות למידה במציאות מדומה ולהערכה של הלמידה שמותאמות לסביבות אלה.
הערות ותודות
המודלים התלת ממדיים והסביבה הוירטואלית פותחו במרכז שה"ם של האוניברסיטה הפתוחה על ידי בני זקס. המחברים מבקשים להודות לד"ר יעל לוינסון וד"ר יוני ישראלי שהנחו אקדמית ומלמדים את הקורסים בגיאולוגיה שעשו שימוש בטכנולוגיה חדשה זו באוניברסיטה הפתוחה.
סרטון מסכם לפרויקט
בינה מלאכותית או אנושית?
מה נעדיף? משוב אנושי או של בינה? מחקר חדש חושף
בינה מלאכותית או אנושית? הערכת תפיסות תלמידים על משוב בהשכלה הגבוהה
ד"ר טניה נזרצקי, EPFL, שוויץ
tanya.nazaretsky@epfl.ch
Nazaretsky, T., Mejia-Domenzain, P., Swamy, V., Frej, J., & Käser, T. (2024, July 11). AI or Human? Evaluating Student Feedback Perceptions in Higher Education. https://doi.org/10.31219/osf.io/6zm83
משוב הוא מרכיב חיוני בתהליך הלמידה, שכן הוא מספק לתלמידים הבנה מעמיקה יותר של הביצועים שלהם ומציע דרכים לשיפור. עבור המורים, מתן משוב מהווה כלי חשוב להכוונה ולתמיכה בתהליך הלמידה של התלמידים, ולאפשר להם להתאים את שיטות ההוראה לצרכים האישיים של כל תלמיד.
משוב יעיל, כאשר ניתן בזמן ובצורה מדויקת, יכול לשפר את התוצאות הלימודיות, לעודד מוטיבציה, ולהגביר את תחושת האחריות האישית של התלמידים ללמידה שלהם. עם זאת, ניהול תהליך המשוב הוא אחד ההיבטים המאתגרים ביותר בהוראה. סקרי תלמידים הראו כי איכות המשוב מקבלת לעיתים קרובות את הדירוגים הנמוכים ביותר מבין פריטי איכות ההוראה, מה שמדגיש את הקשיים המשמעותיים שהמחנכים מתמודדים איתם במתן משוב משמעותי ואישי בזמן.
משוב אוטומטי מבוסס בינה מלאכותית גנרטיבית, במיוחד בעזרת מודלים גדולים של שפה (LLMs) כמו GPT, יכול לסייע להאיץ ולהרחיב את תהליך מתן המשוב. הבינה המלאכותית הגנרטיבית צוברת תאוצה בשימושים להענקת משוב בהקשרים חינוכיים, ומחקרים אחרונים רבים הראו כי היא יכולה לספק משוב במגוון תחומים ולעיתים להגיע לביצועים השווים לאלו של מעריכים אנושיים. עם זאת, רוב המחקרים הללו מתמקדים באיכות התוכן של המשוב, ולעיתים מתעלמים מההיבטים החברתיים-רגשיים של קבלת הבינה המלאכותית, כמו "רתיעה מאלגוריתמים". רתיעה מאלגוריתמים היא תופעה שבה אנשים מעדיפים עצות אנושיות על פני עצות מבוססות בינה מלאכותית, על אף יעילותה המוכחת של הבינה המלאכותית.
במחקר שלנו, אנו חוקרים כיצד המודעות של התלמידים לזהות נותן המשוב משפיעה על הערכתם את המשוב, במיוחד בהקשר של רתיעה מאלגוריתמים והעדפה למומחיות אנושית. המחקר שואף לענות על השאלות הבאות:
-
האם תלמידים יכולים להבחין בין משוב שנוצר על ידי בינה מלאכותית למשוב שנוצר על ידי בני אדם (מבחן טיורינג), ואילו גורמים משפיעים על יכולתם לעשות זאת?
-
כיצד משתנות תפיסות התלמידים לגבי אותו תוכן משוב לאחר גילוי זהות נותן המשוב?
-
האם יש לתלמידים הטיה שלילית כלפי בינה מלאכותית כנותן משוב?
כדי לענות על שאלות אלו, ערכנו מחקר מקיף בהשתתפות 457 סטודנטים להשכלה גבוהה הלומדים ב-EPFL במגוון קורסים, תחומי לימוד ורמות אקדמיות. התלמידים התבקשו להעריך שתי אפשרויות משוב (משוב אנושי ומשוב שנוצר על ידי בינה מלאכותית), בסביבות הלמידה האותנטיות שלהם, בפרמטרים של כנות, אובייקטיביות ושימושיות. הם עשו זאת פעמיים: תחילה מבלי לדעת את זהות נותן המשוב (תנאי עיוור) ולאחר מכן, עם הידע הזה (תנאי מודע). גישה זו נועדה לחשוף שינויים בהערכות התלמידים ואת השפעת זהות נותן המשוב על תפיסת המשוב החינוכי.
המחקר מצא כי יכולת התלמידים להבחין בין משוב שנוצר על ידי בינה מלאכותית למשוב שנוצר על ידי בני אדם תלויה בקורס ובמשימה. עם גילוי זהות נותן המשוב, נצפתה מגמת עלייה בולטת בציונים שניתנו למשוב אנושי וירידה בהערכה של משוב שנוצר על ידי בינה מלאכותית. בנוסף, תוצאות מבחן טיורינג היו בקורלציה משמעותית עם תפיסת איכות המשוב. תלמידים שנכשלו במבחן נטו להעדיף משוב שנוצר על ידי בינה מלאכותית, בעוד אלו שעברו את המבחן העדיפו משוב אנושי.
חשוב להדגיש שבמחקר זה לא התמקדנו באיכות תוכן המשוב. אין ספק כי איכות המשוב היא גורם משמעותי בתפיסות התלמידים כלפי המשוב האוטומטי ואנו בהחלט נתמקד בנושא זה במחקרינו העתידי. עם זאת, התוצאות שלנו מדגישות כי חלק מהגורמים המשפיעים על תפיסות התלמידים של משוב שנוצר על ידי בינה מלאכותית אינם קשורים ישירות לאיכות תוכן המשוב. למעשה, התלמידים בחרו להוריד את הערכתם לאותו תוכן משוב לאחר שנמסר להם שהוא נוצר על ידי בינה מלאכותית.
ממצאים אלו מדגישים את הצורך להתייחס לא רק להיבטים הטכנולוגיים, אלא גם להיבטים הרגשיים והחברתיים בתהליכי הערכה. הם מצביעים על חשיבות ההבנה המעמיקה של הצרכים הפסיכולוגיים של התלמידים בעת יישום מערכות משוב מבוססות בינה מלאכותית בחינוך. שיפור האמון הכללי בבינה מלאכותית והתייחסות לרתיעה מאלגוריתמים עשויים לקדם משמעותית את הקבלה והיעילות של טכנולוגיות אלו, ובכך לתרום יותר לתהליך הלמידה.
אתם מוזמנים לעיין במאמר המלא: https://doi.org/10.31219/osf.io/6zm83
הערכת חוסן תעסוקתי – תיקוף בימי מלחמה
הקשר בין מדידת חוסן להסתגלות ותפקוד לאחר אירועי 7 באוקטובר: עדויות לתוקף מקביל
ד"ר קובי דיין, מנהל צוות מחקר ופיתוח, פילת
ד"ר אורנה גריץ, חוקרת, פילת orna@pilat.co.il
סבטה מסלוב, פסיכולוגית ראשית, פילת sveta@pilat.co.il
חוסן מוגדר כיכולת האדם להתאושש מקשיים ולהסתגל, או אפילו לשגשג, בעקבות מצוקה או שינוי (Garcia-Dia et al., 2013). מחקרים שונים מצאו קשרים שליליים בין חוסן לתופעות כגון שחיקה, דיכאון, וחרדה (Lu et al., 2014; Mak et al., 2011; McGarry et al., 2013; Mealer et al., 2012). ניתן לראות בחוסן מעין בלם המגן על הפרט מהשפעותיהם השליליות של גורמי לחץ (Kobasa et al., 1982).
בשנתיים האחרונות מכון פילת פיתח שאלון לבחינת חוסן של מועמדים, לצורך ניבוי התמודדות אפקטיבית עם לחצים בעבודה. השאלון כולל 7 ממדים ומתבסס על מבנים שזוהו בספרות המחקרית כקשורים לחוסן:
-
עמידות לשינויים − היכולת להכיל שינוי ועמימות מבלי לחוש מולם לחץ.
-
חתירה לאתגר וצמיחה − תפיסת קשיים ושינויים כאתגר חיובי ונטייה לחפש הזדמנויות להתפתחות.
-
הנעה פנימית − אנרגטיות והתלהבות מתוך חיבור פנימי והיכולת לגייס כוחות לעשייה.
-
תפיסת מסוגלות עצמית − תפיסת היכולת לפעול ולהשפיע על אירועים.
-
ויסות רגשי − היכולת להכיל ולעבד רגשות שליליים מבלי להיות מוצף על ידם.
-
התמדה − היכולת להתמיד בהשקעת מאמצים גם מול קושי וחוסר הצלחה.
-
מיקוד במטרה − היכולת לשמר מיקוד במטרות ארוכות טווח.
הטראומה הלאומית של ה-7 באוקטובר טלטלה את כולנו באופן קיצוני ביותר. בחודשים נובמבר-דצמבר הכאב היה בשיאו. החרדה, שבירת הרצפים, ערעור הביטחון האישי והלאומי, חוסר הודאות, השינויים בשגרת החיים – כל אלה הרקיעו שחקים. בתקופה קשה זו, המשק המשיך לפעול והיו תהליכי מיון שהמשיכו להתקיים. ימים אלו אפשרו לנו לנסות ולבחון אם שאלון החוסן של פילת מצליח לנבא הסתגלות במציאות חיים כל כך לא נורמלית.
ביצענו מחקר שבחן את הקשר בין ממדי שאלון החוסן של פילת לבין קריטריון של דווח ההתמודדות בפועל בחודשים שמיד לאחר פרוץ המלחמה (נובמבר-דצמבר). במסגרת המחקר שיערנו שככל שרמת החוסן הכללית של המועמדים (ובכל ממד בנפרד) תהיה גבוהה יותר, כך ההתנהגות שלהם תתאפיין בהסתגלות טובה יותר למצב.
משתתפים והליך
במחקר השתתפו 522 מועמדים מהמגזר היהודי (57% גברים, 37% נשים, השאר לא ציינו מגדר) בטווח הגילאים 21 עד 60 (ממוצע: 37.4, ס.ת. 9.3), שעברו אבחון בפילת בתקופה שבין אמצע נובמבר לסוף דצמבר 2023. כחלק מתהליך האבחון, המועמדים השיבו על שאלון החוסן.
עם סיום תהליך האבחון הממוחשב הוצעה למועמדים האפשרות להשיב על שאלון נוסף הנוגע להתמודדות שלהם עם המצב. הובהר להם שהשאלון נועד למטרות מחקר בלבד וכי הנתונים יישמרו בנפרד משאר נתוני האבחון. 78.6% מהנבחנים בחרו להשיב על שאלון זה.
כלים
שאלון החוסן של פילת: שאלון דיווח עצמי הכולל 80 פריטים, בסולם תשובות שנע מ 1 "מאפיין אותי בדיוק" עד 5 "כלל לא מאפיין אותי". ממדי השאלון: "עמידות לשינויים" (α=0.79), "חתירה לאתגר וצמיחה" (α=0.86), "הנעה פנימית" (α=0.74), "תפיסת מסוגלות עצמית" (α=0.74), "ויסות רגשי" (α=0.87), "התמדה" (α=0.85), "מיקוד במטרה" (α=0.86). בנוסף, חושב מדד מסכם (ממוצע) לשאלון (α=0.96). המתאמים בין ממדי השאלון נעים בין 0.44-0.78.
שאלון דיווח התמודדות בתקופת המלחמה: כולל 11 שאלות הנוגעות להתנהגות ולתפיסה עצמית של הנבחן אודות טיב ההסתגלות שלו למצב, בהיבטים מגוונים, כגון תפיסת הסתגלות לשינוי והתמקדות בתפקוד, כוחות התמודדות ויכולת להפיג מתחים ולגלות חשיבה חיובית. על מנת להשתמש במדד מרכזי המייצג את ההתמודדות בעת המלחמה, חושב ממוצע כללי (α=0.87).
ממצאים
ממצאי המחקר חשפו קשרים גבוהים ומשמעותיים בין כל ממדי החוסן בשאלון פילת לקריטריון של תפיסת ההתמודדות בעת המלחמה. המתאם בין ציון החוסן הכולל (ממוצע ממדי החוסן) לציון ההתמודדות הכולל (ממוצע השאלות בנוגע למלחמה) הוא 0.50, והמתאמים בין ממדי החוסן הפרטניים לציון ההתמודדות נעים בין 0.36 ל- 0.50. נבחנים שדיווחו על רמות גבוהות יותר של התמדה, מיקוד במטרה, עמידות לשינוי, תפיסת מסוגלות עצמית, הנעה פנימית, ויסות רגשי וחתירה לאתגר וצמיחה, הפגינו גם יכולות התמודדות משופרות בתקופת המלחמה. הדבר בא לידי ביטוי בנטייה לחשיבה חיובית יותר, משאבי התמודדות רבים יותר, הסתגלות טובה יותר לשינויים, התמודדות יעילה יותר עם לחץ, תחושת חוסן נפשי גבוהה יותר, התמודדות יעילה יותר עם הלחץ ורמת אופטימיות גבוהה באשר לעתיד אחרי המלחמה.
כמו כן, המחקר חשף הבדלים משמעותיים ברמות ההתמודדות בין נבדקים בעלי רמות חוסן שונות. המדגם חולק לשלוש קבוצות על פי ציון החוסן הכולל: נמוך (שליש תחתון), בינוני (שליש אמצעי), וגבוה (שליש עליון). הממצאים הראו שנבחנים עם חוסן נמוך חשו קושי רב יותר בהתמודדות בתקופת המלחמה, יחסית לקבוצות האחרות (רמת התמודדות נמוכה פי שלושה עד פי שישה יחסית לחוסן הגבוה, ברוב המדדים).
נוסף לממצאים הללו המעידים על קשר בין מדדי החוסן למדד ההתמודדות (ששימש כקריטריון), נמצאו גם מתאמים גבוהים יחסית בין ממדי שאלון החוסן לבין עצמם, ויתכן שקשרים אלה מסבירים את אותה השונות בקריטריון (ציון ההתמודדות הכולל). בעקבות זאת בוצעה רגרסיה מרובה בה הוכנסו ממדי החוסן כמנבאים את ציון ההתמודדות הכולל בעת המלחמה. בניתוח נמצא מתאם מרובה גבוה ומובהק (0.52), כאשר לוויסות רגשי, להנעה פנימית, לעמידות לשינוי ולהתמדה הייתה תרומה ייחודית לניבוי. כדי להעמיק בבחינת תרומת הממדים הייחודיים, נערכה סדרת ניתוחי רגרסיה מרובה בה הוכנסו ממדי החוסן כמשתנים מנבאים והמשתנה התלוי היה בכל פעם שאלה אחת מתוך שאלון התמודדות במלחמה. בניתוח נמצא שקריטריונים שונים נובאו באופן ייחודי על ידי הרכבים שונים של ממדי החוסן, כולל ממדים שלא נמצאו כבעלי תרומה ייחודית בניבוי הקריטריון הכולל.
דיון
מטרת שאלון החוסן של פילת היא לאפיין את פוטנציאל הנבחן לגלות סתגלנות במצבי לחץ החורגים מהשגרה. אין ספק שהמצב בישראל בתקופה הסמוכה לאירועי ה-7 באוקטובר חייב כוחות התמודדות ואסטרטגיות פרקטיות להפגת לחצים, דבקות בתפקוד וחזרה לשגרה. ניתוח הקשר בין ציוני שאלון החוסן של פילת לתפקוד בעת המלחמה הראה שבאמצעות השאלון ניתן לאפיין בהצלחה אנשים המגלים יותר חוסן בהתמודדות עם קשיים ותנאי לחץ קיצוניים. במובן זה, מצאנו עדויות משמעותיות לתוקף מקביל (concurrent validity) של השאלון. ברמה האמפירית, נמצאו קשרים חזקים בין ממדי שאלון החוסן של פילת, כך שהם מודדים עולם תוכן משותף. במקביל, לצד קשרים אלה נמצאו עדויות לתרומה ייחודית של ממדי חוסן ספציפיים לניבוי היבטים של התמודדות סתגלנית בעת המלחמה, ממצא המשקף את החשיבות במדידה מגוונת ורב ממדית של מבנה החוסן.
מקורות
Garcia-Dia M. J., DiNapoli J. M., Garcia-Ona L., Jakubowski R., O’Flaherty D. (2013). Concept analysis: resilience. Archives of Psychiatric Nursing. 27, 264–270.
Kobasa, S. C., Maddi, S. R., & Kahn, S. (1982). Hardiness and health: a prospective study. Journal of personality and social psychology, 42(1), 168.
Lu W., Wang Z., Zhang Y. L. (2014). Resilience as a mediator between extraversion, neuroticism, and happiness, PA and NA. Personality and Individual Differences, 63, 128–133.
Mak W. W. S., Ng I. S. W., Wong C. C. Y. (2011). Resilience: enhancing well-being through the positive cognitive triad. Journal of Counseling Psychology, 58, 610–617.
McGarry S., Girdler S., McDonald A., Valentine J., Lee S.-L., Blair E., et al. (2013). Paediatric health-care professionals: relationships between psychological distress, resilience and coping skills. Journal of Pediatrics and Child Health 49, 725–732.
Mealer M., Jones J., Newman J., McFann K. K., Rothbaum B., Moss M. (2012). The presence of resilience is associated with a healthier psychological profile in intensive care unit (ICU) nurses: results of a national study. International Journal of Nursing Studies. 49, 292–299.
דבר היו"רית
שלום רב לחברי ולחברות אפי!
דברים אלה נכתבים בתוך מציאות כאוטית קשה-מנשוא השוררת כאן כבר עשרה חודשים, מאז ה-7 באוקטובר 2023.
לבנו עם החטופים ומשפחותיהם ועם העקורים מביתם, אנו מבכים את האובדן העצום בחיי אדם, שולחים תנחומים למשפחות השכולות, נושאים תפילה להחלמת הפצועים וממשיכים לייחל להחלמת החברה שלנו וכל הסובב אותה.
ובתוך כל זאת, הנה כמה עדכונים תמציתיים על הנעשה באגודה.
הכנס השנתי של אפי
הכנס השנתי ה-20 של אפי התקיים ב-31.1.24 במוזיאון ארץ ישראל (מוז"א).
בתוך אדי אסון ה-7.10 שעדיין מתאבכים סביבנו, בכל זאת נרשמו לכנס למעלה מ-200 א/נשים. הם באו מ-40 גופים ומוסדות , בהם 14 מוסדות אקדמיים (8 אוניברסיטאות ו- 6 מכללות) וכן 26 גופים אחרים, שבהם עוסקים ו/או מתעניינים במדידה והערכה.
ביציאה מהכנס, עם החזרת התג, קבלו המשתתפים והמשתתפות שי אישי, קקטוס זעיר שנרכש מחוות הקקטוסים של חקלאי הדרום, למזכרת מהכנס ה-20 ומהמציאות הקשה שבה הוא התקיים.
מסקר המשוב שנשלח לכל המשתתפים עלה כי רוב-רובם של המשיבים היו מרוצים כללית מהכנס, וההערות המילוליות שלהם הניבו הצעות למתכונות או תכנים שכדאי להוסיף בכנסים הבאים. ההצעות הללו יילקחו בחשבון על ידי הוועדה המארגנת של הכנס הבא של אפי, שיתקיים ב-11.2.25 (שימרו את המועד!).
קול-קורא להגשת הצעות לכנס הזה יפורסם בימים הקרובים על ידי ועדת הכנס.
פרס אפי
כזכור, האגודה מקיימת כל שנתיים תחרות פרסים במטרה לעודד חוקרים צעירים לבצע מחקרים בתחומי המדידה וההערכה.
עד כה ניתן היה להגיש לכל תחרות דו-שנתית גם עבודות מוסמך (MA) וגם עבודות דוקטוראט (PhD). מעתה תתקיים תחרות נפרדת עבור כל אחד משני סוגי העבודות, וזאת לסרוגין: בשנה הבאה (2025) התחרות תוקדש לעבודות מוסמך, בשנה שאחריה ( 2026) היא תוקדש לעבודות דוקטורט, וכן הלאה.
כלומר תחרות הפרס תתקיים כל שנה, אבל מבחינת המעוניינים לגשת לתחרות היא תמשיך להיות להיות דו-שנתית.
קול קורא, להגשת עבודות MA לתחרות פרס אפי 2025, יפורסם בקרוב ע"י וועדת התחרות.
בחירות
על פי תקנון האגודה אנו מחויבים לקיים בחירות למוסדות אפי מדי שלוש שנים. השנה נקיים בחירות לשני תפקידים שעומדים להתפנות בסוף שנה זו: תפקיד היו"ר/ית הנבחר/ת ותפקיד חבר/ה בוועדת הביקורת.
השתלבותם של א/נשים חדשים במוסדות המובילים את האגודה חשוב מאד בעיני. קול קורא להגשת מועמדות יתפרסם בחודש הבא ואני מעודדת כל אחד ואחת מחברי אפי, המעוניינים לתרום לעיצוב דמותה ואופייה של אפי ורואים עצמם מתאימים לאחד התפקידים הללו, להגיש מועמדות גם אם לא עשו זאת מעולם.
ולסיום –
אתם מוזמנים מאד , גם – ואולי במיוחד - בימים קשים אלה, לתרום כתבה לגיליון הבא של המידעונט, לבקר באתר אפי (שבו מופיעים כל הגיליונות הקודמים שלו), ולהיות פעילים הן באגודה והן בקבוצת הפייסבוק שלנו אשר מונה היום 392 חברות וחברים.
בברכה חמה,
ובתקווה לימים טובים יותר,
ד"ר ריטה סבר, יו"ר אפי
ritasever9@gmail.com
כשבינה מלאכותית פוגשת הערכה בקורס אקדמי
אסטרטגיות הערכה בלמידה מרחוק בעידן הבינה המלאכותית - לא פוחדים מ-AI
ד"ר חני שלטון, האוניברסיטה הפתוחה
hanyshil@gmail.com
עם ההתקדמות המשמעותית בתחום הבינה המלאכותית נפתחות אפשרויות חדשות ליישום הערכה אותנטית משולבת בלמידה, מותאמת אישית, המדגישה את תהליך הלמידה. עם זאת, עולים גם אתגרים כמו החשש של מרצים מניצול כלים אלה על ידי הסטודנטים כדי להשיג הכרה אקדמית ללא מעורבות פעילה שלהם בתהליך הלמידה.
במקום לדכא את השימוש בבינה מלאכותית, אפשר לאמץ גישה פרואקטיבית ולחקור כיצד ניתן להתאים את נוכחותה בתהליכי ההערכה. זה מסע מרתק בו אנו נמצאים כעת, ואני רוצה לשתף במחשבות ובפרקטיקות.
בשנתיים האחרונות לימדתי מרחוק קורס באקדמיה 'הערכה בסביבה דיגיטלית', והדגשתי בתוכני הקורס את חשיבות הגישה 'הערכה לשם למידה' (הל"ל) או בשמה האחר “הערכה מעצבת”.
הערכה לשם למידה כוללת שלושה שלבים עיקריים: קביעת יעדים ללמידה, עיצוב מטלות וקריטריונים להערכה, והערכת הביצועים והפקת משוב בונה (בירנבוים, 2013).
הקורס נבנה כך שהעקרונות של הל"ל באו לידי ביטוי לא רק בתוכני הקורס אלא גם באופן הלמידה של הסטודנטים בקורס, כפי שיתואר כאן בהמשך. עם עלייתם של כלי הבינה המלאכותית היוצרת המחוללת טקסט, יישום אסטרטגיות הערכה של הל"ל הפך להיות פשוט יותר ונגיש יותר גם למרצים וגם לסטודנטים. יחד עם זאת, השימוש המושכל של הסטודנטים בבינה מלאכותית יוצרת דורש עוד התנסות וחקירה של תהליכי הערכה ולמידה באמצעותם.
אם כך, מהם העקרונות של הל"ל בשילוב בינה מלאכותית שניתן ליישם בקורסים אקדמיים?
צרכים מגוונים של הסטודנטים והערכה מותאמת אישית
כאשר חושבים על כלים ועל שיטות להערכה, כדאי לקחת בחשבון את הצרכים המגוונים של הסטודנטים (Levy-Feldman & Libman, 2022), את עמדותיהם ואת תפיסותיהם לגבי תוכני הקורס. כך למשל, יש סטודנטים שבאים ממערכת החינוך ויש שבאים מעולם ההדרכה של ארגונים, יש סטודנטים מהמגזר היהודי, מהמגזר החרדי ויש מהמגזר הערבי, הדרוזי וכד'. כדי לאסוף מידע אודות הידע המוקדם של הסטודנטים ותפיסותיהם באשר ל'הערכה בסביבה דיגיטלית', הם משיבים בראשית הקורס על שאלון מקדים. מסקנותיהם מתוך מילוי השאלון משמשות ידע מקדמי לעיצוב ההוראה ובסיס להמשגה של תהליכי הערכה מיטביים.
המטרה של התהליך להתאים את מטלות הקורס להקשרים שונים של קבוצות הלומדים (כדי להימנע מהטיות) ולספק מגוון רחב של סוגי הערכה וכלים לאורך הקורס, כך שיינתן מענה לצרכים השונים וכדי לקבל מידע הוליסטי ככל שניתן על תפיסותיו ועל כישוריו של הלומד. לדוגמה, מטלת ביצוע המותאמת לקהלי היעד באמצעות פרומפט בבינה מלאכותית שהגדיר את קהלי היעד בהתאמת התוכן של המטלה כמו גם בהתאמת הניסוח לדוברי עברית כשפה שנייה.
הידע והכישורים של הלומדים בעידן הבינה המלאכותית
מטלות הערכה מגוונות מאפשרות להעריך את הידע והמיומנויות של הלומדים מכמה זוויות ( Salinas-Navarro, Vilalta-Perdomo, Michel-Villarrea & Montesinos, 2024). סוגים שונים של הערכות מספקים אפשרויות להפגנת הכישורים והידע באופן מגוון. כך למשל, הרצאה בליווי מצגת ושיח אודות מאמר, חקר מקרים והדגמות מעשיות, וכאמור – מטלות ביצוע. בהערכות מסוג זה באים לידי ביטוי כישורי חשיבה מסדר גבוה, כמו: אוריינות דיגיטלית, תקשורת, הבחנה בין עיקר לטפל, השוואה, הסקת מסקנות, פתרון בעיות, עבודת צוות, הערכה ביקורתית, נקיטת עמדה והנמקה וכד'. גישה זו מאפשרת ללומדים להציג את חוזקותיהם ולהפגין את הבנתם בדרכים המתאימות להעדפותיהם ולכישוריהם.
גיוון בעיצוב מטלות אותנטיות להערכה
כעת, בעידן הבינה המלאכותית היוצרת, המרצים יכולים ליצור מטלות מגוונות וחדשניות בקלות יחסית, בעוד הסטודנטים יכולים להשתמש ביכולות הבינה המלאכותית כדי להעמיק את הלמידה שלהם ולהגיע לתוצרים מיטביים. עם זאת, חשוב לוודא שהסטודנטים אכן רוכשים את הידע והכישורים שהוגדרו כמטרות הקורס. בעידן שבו ניתן לתרגם מאמר בקלות רבה, להפיק ממנו את הרעיונות המרכזיים, להסיק מסקנות, להשוות בינו לבין מאמרים אחרים בתחום, כל זאת באמצעות הבינה המלאכותית – איך נוכל לדעת מה הסטודנט יודע ומסוגל לעשות בסוף התהליך?
כדי להתגבר על מכשול זה, כדאי להציע מטלות המדגישות אינטראקציה אנושית ולמידה מעמיקה. לדוגמה, הסטודנטים מציגים מאמר או נושא בעל פה, מנהלים דיון עם עמיתיהם לקבוצה, ומשיבים על שאלות. הם יכולים להשתמש בבינה מלאכותית כדי להבין את המאמר טוב יותר, להכין שאלות אפשריות ולחשוב על תשובות אבל הם נדרשים להפגין ידע ומומחיות. מטלה כזאת דורשת מהסטודנטים להציג את הלמידה המעמיקה שלהם תוך תקשורת אפקטיבית עם קבוצת הלומדים, ובכך מהווה חלופה ראויה לבחינה בכתב.
הצעה נוספת היא יצירת פודקאסט בנושא שנלמד בקורס. הסטודנטים יציגו את הרעיונות המרכזיים של הנושא ויראיינו דמות שקשורה לנושא. הם יכולים להשתמש בבינה מלאכותית כדי לגבש את הרעיונות המרכזיים, להכין שאלות לראיון, ואף להתאמן על הראיון עם דמות שנבחרה על ידם. מטלה זו מאפשרת לסטודנטים להפגין את הבנתם המעמיקה של הנושא, כמו גם את כישורי התקשורת והיצירתיות שלהם.
מטלות כאלה מזמנות מתן משוב מעצב שמטרתו שיפור תוצרי הביניים לכדי תוצר משופר. הערכה המשולבת בהוראה יכולה לשקף היטב את ההנעה של הלומדים ואת התקדמותם בלמידה, תוך מעורבות ותמיכה בתהליכי ההערכה ובחוויות הלמידה המותאמת אישית.
דוגמאות למטלות הערכה בקורס אקדמי (מטלות ומחוונים שנכתבו בשילוב עם הבינה המלאכותית): קישור לנספח
-
מטלת ביצוע שבה הלומדים מתבקשים לכתוב נייר עמדה עבור הארגון שבו הם עובדים, המתייחס לכישורים הנדרשים מהלומדים או מהעובדים והנמקה לגבי נחיצות כישורים אלה בהלימה להקשר הארגוני הספציפי שלהם, כל זאת בהתבסס על מסגרות מושגיות של כישורי 2030-2050 שנלמדו (ראו בנספח דוגמה מס' 1).
-
הצגת מאמר כרפרט (באמצעות מצגת) בראייה ביקורתית בפני הסטודנטים, הכולל התייחסות למאמרים נוספים בנושא, רעיונות ליישום הנלמד, הצגת נקודת מבט אישית על הנושא וכד' (דוגמה מס' 2) מתן משוב כתוב בהלימה למצופה במחוון (דוגמה מס' 3).
-
מטלות כתיבה מצומצמות בפורומים פתוחים הכוללים תוצרים שונים, כמו למשל: כתיבת מסמך הנחיות להערכה מיטבית לצוות המורים בבית הספר, הצגת תכנית מקיפה לפיתוח קהילת מורים מקצועית לומדת המקדמת תהליכי הערכה, מתן משוב לתלמיד והנמקה המתבססת על מאפיינים של משוב יעיל (ראו דוגמה 4). משוב חוזר לסטודנטים עמיתים בהתייחס למשוב שנתנו, כולל הצעות לשיפור (דוגמה מס' 5)
-
רפלקציה על הלמידה בקורס באמצעות מענה לשאלון הכולל שאלות פתוחות, כגון: אני נכנס לאתר הקורס כאשר... כשיש לי קושי להתמודד עם מטלה אני... וכד', ובאמצעות רפלקציה פתוחה על הצגת הרפרט ועל מטלת הסיכום של הקורס בהתייחס ללמידה לאורך כל הקורס.
-
ניתוח מקרה – ניתוח סביבת אתר הקורס, ההוראה, הלמידה והערכה על פי גישות ועקרונות שנלמדו בקורס ('הערכה לשם למידה' ועל פי גישה של חוללות עצמית בלמידה). האופן שבו הסביבה באה לידי ביטוי בגישה, במאפיינים ובעקרונות/בפרקטיקות תוך הבאת דוגמאות קונקרטיות של יישום עקרונות אלה.
הבינה המלאכותית יכולה לסייע לסטודנטים לשכתב את הרעיונות ולנסח אותם באופן בהיר יותר וקוהרנטי.
באמצעות מטלות אלו, אנו יכולים להעריך את הידע והכישורים של הסטודנטים באופן הוליסטי, תוך כדי עידוד למידה פעילה ומעורבות עמוקה בחומר הנלמד.
פיתוח קריטריונים ומחוונים להערכת המטלות
פיתוח קריטריונים ומחוונים להערכת מטלות, מטרתם לסייע ללומדים להבין מהם הציפיות מהם ואילו איכויות מאפיינות תוצר איכותי (Kaldaras, Yoshida & Haudek, 2022). מחוון מפורט מתייחס למגוון היבטים של המטלה, החל מהפרומפט שניתן, דרך הדיאלוג שנערך עם הכלים שבשימוש, ועד לאיכות התוצר הסופי. המחוונים מתייחסים גם לאיכויות כמו יצירתיות והבעת קול אישי, ארגון התוצר ושקיפות בדיווח על התהליך שבו נעשה שימוש בצ'טבוטים.
הקלות שבה ניתן כיום לפתח מחוונים בשילוב עם כלי בינה מלאכותית מאפשרת ייעול של התהליך ודיוק שלו. כך למשל, ניתן להעלות את המטלה, לבקש הצעה לקריטריונים או להזין את מטרות הלמידה ולבקש מהבינה לנסח מחוון שיש לו הגדרה של מספר רמות ביצוע מצופות, קריטריונים ומשקלות, הנחייה להבחנה תיאורית מוקפדת בין רמות הביצוע השונות וכד'.
שימוש בכלי בינה מלאכותית יכול לחסוך זמן ומאמץ, ולסייע למורים ולמרצים ליצור מחוונים אובייקטיביים, הוגנים ומקיפים, התורמים להערכה אפקטיבית של הלמידה. עם זאת, חשוב לזכור כי מעורבות אנושית נדרשת עדיין כדי להבטיח שהמחוונים יותאמו באופן מיטבי למטרות הלמידה ולצרכים הייחודיים של הלומדים (דוגמה מס' 6).
הדגשת תהליך הלמידה
תשומת לב רבה ניתנת לתהליך הלמידה ולא רק לתוצאה הסופית (Popta et al., 2017). הלומדים נדרשים להעריך ולשפר את עבודותיהם לאורך כל מסע הלמידה. כל מטלה מסכמת מועלית לפורום פתוח שבו כל חברי הקורס יכולים לצפות בטיוטות ולתת משוב זה לזה. תהליך זה מאפשר ללומדים לחשוב באופן ביקורתי, ללמוד מעמיתיהם ולשפר את המטלות לפני הערכתן הסופית. המשוב שהם מקבלים ונותנים הוא כלי חשוב לרפלקציה ולשיפור רציף של עבודתם.
בנוסף לכך, הלומדים יכולים להיעזר בבינה מלאכותית לתמיכה במטלות השונות. הבינה המלאכותית מספקת הנחיות כלליות להתמודדות עם המטלות, מציעה דוגמאות לתוצרים אפשריים, ועוזרת בתהליכי הכתיבה, הניסוח והארגון. יתרה מזאת, היא יכולה לתת משוב מיידי על טיוטות, מה שמאפשר ללומדים להבין במהירות כיצד ניתן לשפר את עבודותיהם. כל אלו מובילים ללמידה מעמיקה ומשמעותית, שבה התהליך מהווה חלק בלתי נפרד מההצלחה הסופית (דוגמה מס' 7).
הערכה עצמית, הערכת עמיתים וקידום הערכה ביקורתית
אסטרטגיה שמאפיינת את הלמידה היא היכולת של הלומדים להעריך את עצמם או את עבודתו של עמית לקבוצה. זו פעילות שמוקדשת להערכה של עבודות ספציפיות, שנוצרו הן על ידי יחיד או קבוצה, או להערכת תרומת כל אחד ללמידה המשותפת. משימה זו דורשת מהלומדים לחשוב באופן ביקורתי ולהפעיל מיומנויות מטה-קוגניטיביות, כלומר, מיומנויות של שליטה בלמידה שלהם (Popta et al., 2017).
במהלך הקורס הלומדים מספקים משוב על העבודות של חבריהם. כאן הם נדרשים לשקול ולבדוק את העבודות באופן מעמיק ומקצועי. הם יכולים להשתמש בבינה מלאכותית כדי לקבל משוב מקדים על הטיוטות לפני הגשתן. כאשר הם מעניקים משוב לחברים, עליהם לספק רציונל ברור ומפורט לקביעה שלהם, הנתמך בפרטים מהעבודה עצמה.
שימוש בבינה המלאכותית מוסיף שכבה נוספת של חשיבה ביקורתית. הלומדים צריכים לבחון את המשוב או את התוצאות שסיפקה הבינה המלאכותית, ולנהל דיאלוג עם הבינה כדי לשפר את התוצר שלהם. דיאלוג כזה מעיד על היכולת שלהם לנהל שיח ענייני עם טכנולוגיה מתקדמת, תוך כדי שיפור התוצרים שלהם (דוגמאות מס' 3; 5).
מתן משוב מקדם למידה
בינה מלאכותית יוצרת יכולה לסייע לנו לספק משוב עשיר, רלוונטי ומותאם אישית לכל אחד מהסטודנטים בזמן אמת על עבודותיהם ותשובותיהם (Fuller & Bixby, 2024) . הדבר מאפשר מעגל משוב מתמשך ויעיל יותר שמקדם את הלמידה בצורה משמעותית. ההערכה נתפסת כחלק בלתי נפרד מתהליך הלמידה, והבינה המלאכותית הופכת אותה לתהליך חי ודינמי. באמצעות מתן משוב מידי ומתמשך, הלומדים מתקנים טעויות ומשפרים את הבנתם באופן רציף, כך שזה נהפך לחלק מהלמידה עצמה (דוגמאות מס' 7 ומשוב חוזר מס' 8).
לדוגמה, השתמשתי בבינה מלאכותית כדי לספק לסטודנטים משוב מעצב לפני הגשת מטלת הסיכום שלהם. התוצאות היו מרשימות - המשוב כלל נקודות חוזק והצעות לשיפור, בהתבסס על ציטוטים ודוגמאות קונקרטיות. איכות המשוב הייתה דומה לזו שלי כמומחית להערכה, והחיסכון בזמן היה משמעותי. עם זאת, היה צורך בהכוונה אנושית כדי להגיע לתוצר איכותי. חלק מהסטודנטים גם כן עשו שימוש בבינה המלאכותית במתן משוב לעמיתיהם וחלקם אף ספרו על התנסויותיהם במתן משוב לתלמידיהם בבית הספר (דוגמה מס' 9).
השימוש בבינה מלאכותית לצורכי הערכה ומשוב יכול להעצים את הלמידה ולספק כלים ללומדים ולמורים כדי לשפר את התהליך החינוכי בכללותו.
מחשבות לעתיד
הדרך למימוש הפוטנציאל המלא של בינה מלאכותית בתהליכי הל"ל הוא מסע מרתק, אך אנו עדיין נמצאים רק בתחילתו. אחד האתגרים שאני נתקלת בהם היא העובדה שעדיין לא כל הסטודנטים עושים שימוש בכלי בינה מלאכותית, מה שעלול ליצור פערים דיגיטליים ביניהם. הלומדים החזקים יהיו חזקים יותר בעזרת הבינה, והחלשים שלא עושים בה שימוש יישארו מאחור. זה אתגר שדורש התייחסות זהירה, שכן אנו רוצים לקדם שימוש שוויוני בטכנולוגיה בחינוך. בנוסף לכך, אני ממשיכה לחקור את האופן הטוב ביותר להעריך תוצרים שנוצרו בסיוע צ'טבוטים.
אחת הסוגיות המרכזיות שמעסיקות אותי: כיצד להעריך את רמת המומחיות ואת הבנת הנושא של הלומד, כאשר הכלי מספק חלק ניכר מהתכנים. אני מאמינה שהתנסויות נוספות, ניסויים ושיתופי פעולה יעזרו לנו לפתח פרקטיקות משופרות ולהבטיח שהשימוש בבינה מלאכותית בחינוך יקדם למידה אפקטיבית והוגנת. המסע הזה הוא תהליך מתמשך של למידה, התאמה וחדשנות, ואני מצפה לראות כיצד התחום יתפתח וישתפר לטובת חוויית למידה והוראה משופרת עבור כולם.
מקורות
בירנבוים, מ' (2013). תנאים לקידום הערכה מעצבת הערכה לשם למידה (הל״ל) במסגרות להכשרת מורים. ביטאון מכון מופ"ת 51, 6 12.
Fuller, L. P., & Bixby, C. (2024). The Theoretical and Practical Implications of OpenAI System Rubric Assessment and Feedback on Higher Education Written Assignments. American Journal of Educational Research, 12(4), 147-158.
Kaldaras, L., Yoshida, N. R., & Haudek, K. C. (2022, November). Rubric development for AI-enabled scoring of three-dimensional constructed-response assessment aligned to NGSS learning progression. In Frontiers in education (Vol. 7, p. 983055). Frontiers.
Levy-Feldman, I., & Libman, Z. (2022). One size doesn’t fit all educational assessment in a multicultural and intercultural world. Intercultural Education, 33, 380 - 390. https://doi.org/10.1080/14675986.2022.2090174
Salinas-Navarro, D. E., Vilalta-Perdomo, E., Michel-Villarreal, R., & Montesinos, L. (2024). Designing experiential learning activities with generative artificial intelligence tools for authentic assessment. Interactive Technology and Smart Education.
Popta, E., Kral, M., Camp, G., Martens, R., & Simons, P. (2017). Exploring the Value of Peer Feedback in Online Learning for the Provider. Educational Research Review, 20, 24-34. https://doi.org/10.1016/J.EDUREV.2016.10.003
הערכת מיומנויות חברתיות-רגשיות: אתגרי המדידה של המאה ה-21
המחר של המח"ר*: סיכום סקירה של ה-OECD
*מח"ר: מיומנויות חברתיות-רגשיות
ד"ר עינת נוטע-קורן
Einat.notea@gmail.com
Linzarini, A. and D. Catarino da Silva (2024), “Innovative tools for the direct assessment of social and emotional skills”, OECD Education Working Papers, No. 316, OECD Publishing, Paris, https://doi.org/10.1787/eed9bb04-en
בשנים האחרונות מערכות חינוך בעולם מדגישות את החשיבות של הקניית מיומנויות חברתיות-רגשיות (מח"ר) לתלמידים במערכת החינוך. מגמה זו משקפת את ההכרה בחשיבות מיומנויות אלו להצלחה אקדמית, בריאות נפשית, ביצועים תעסוקתיים ומעורבות אזרחית.
שיטות ההערכה הקיימות מבוססות בעיקר על דיווח עצמי או על דווחי מורים/הורים, והן חשופות להטיות שונות. לכן, יש העדפה לכלי הערכה ישירה של התנהגות בפועל, שהם אובייקטיביים יותר ותקפים יותר. כלים כאלו יכולים להתאים יותר להשוואות בין תרבותיות ולהערכה של אפקטיביות של תוכניות.
לאחרונה פרסם ה-OECD סקירה מקיפה שבוחנת 60 כלי הערכה ישירה של מיומנויות חברתיות רגשיות (מח"ר). מטרת הסקירה הייתה לבחון את הכלים הקיימים בשוק ואת התאמתם להערכות רחבות היקף. זהו אוסף מכובד שכולל תיאור המשימות ומאפייניהם וכן קישורים למקורות מידע ולמאמרים. אף שהסקירה לא הצליחה לזהות כלי העונה במלואו על הצרכים, היא חושפת מגוון פיתוחים מעניינים ומרשימים, שכדאי להכיר.
הכלים בסקירה סווגו לשתי קטגוריות עיקריות: כלים מבוססי התנהגות (משימות ומשחקים דיגיטליים) וגישות טכנולוגיות חדשות (מדדים ביו-פיזיולוגים, מציאות מדומה או רבודה, בינה מלאכותית, טביעות רגל דיגיטליות). המסמך מתייחס למאפיינים פסיכומטריים, להוגנות, לישימות בקנה מידה גדול, לתוקף אקולוגי, לעלויות פיתוח וכו'. להלן פירוט קצר על כל קטגוריה:
כלים מבוססי התנהגות
משימות
מטלות אלו מציגות למשתתפים הוראות ישירות ומצבים מובנים, ומודדות מח"ר באמצעות נתונים כמותיים ואיכותניים על בחירות שנעשו, תגובות וזמני תגובה. שתי דוגמאות למטלות כאלה הן:
-
Emotional Stroop Task: מטלה זו בוחנת שליטה עצמית רגשית על ידי השוואת זמני התגובה למילים טעונות רגשית לעומת מילים ניטרליות. המשתתפים נדרשים לזהות את צבע הכתיבה של מילים, כאשר חלק מהמילים הן בעלות תוכן רגשי. ההנחה היא שזמן התגובה יהיה ארוך יותר למילים טעונות רגשית, ומידת ההבדל מעידה על יכולת השליטה העצמית הרגשית.
-
PERC (Persistence, Effort, Resilience, and Challenge-Seeking) Task: מטלה זו מעריכה התמדה, מאמץ, חוסן ונטייה לחיפוש אתגרים. המשתתפים מתמודדים עם סדרות של פאזלים ברמות קושי שונות, ונמדדים על בחירותיהם (למשל, האם הם בוחרים באתגרים קשים יותר) ועל התמדתם בפתרון בעיות מאתגרות.
היתרונות העיקריים של מטלות אלו הם פשטותן היחסית, יעילותן מבחינת זמן, והיכולת לבודד ולמדוד מרכיבים ספציפיים של מח"ר. מנגד, אלו משימות שמזכירות ניסויים במעבדה הקוגניטיבית, והחיסרון המרכזי שלהן הוא מידת התוקף האקולוגי המוגבל שלהן. כלומר עד כמה הן משקפות התנהגות במצבי חיים אמיתיים.
משחקים דיגיטליים
משחקים דיגיטליים, לעומת זאת, מספקים סביבות אינטראקטיביות, מרהיבות ביופיין ואותנטיות יותר, המדמות תרחישים חברתיים מורכבים. שתי דוגמאות למשחקים כאלה הן:
-
ZooU: משחק זה מציב את השחקנים בסביבת בית ספר וירטואלית ומעריך מיומנויות אמפתיה, שיתוף פעולה ושליטה עצמית. השחקנים מתקשרים עם דמויות במשחק, מקבלים החלטות ומבצעים משימות, כאשר התנהגותם והחלטותיהם משמשות להערכת הכישורים השונים.
-
VESIP (Virtual Environment for Social Information Processing): משחק זה מעריך יכולות של עיבוד מידע חברתי ופתרון בעיות חברתיות. השחקנים נחשפים למצבים חברתיים מאתגרים בסביבה וירטואלית תלת-ממדית, ונדרשים לפרש כוונות, לבחור תגובות ולהעריך את יעילותן.
היתרון הבולט של משחקים אלו הוא התוקף האקולוגי הגבוה יותר והיכולת לבצע 'הערכה סמויה' (stealth assessment) המפחיתה הטיות. החסרונות כוללים את הזמן הרב הנדרש לפיתוח, העלויות הגבוהות, העובדה שרבים מהם טרם נבדקו מספיק מבחינה פסיכומטרית, והמורכבות והעומס הקוגניטיבי שעלולים ליצור 'רעש' בנתונים וקושי לבודד את המיומנות הנבדקת.
כלים העושים שימוש בטכנולוגיות חדשות
מדדים ביופיזיולוגיים: שימוש במדידה ישירה של תגובות פיזיולוגיות, כמו קצב פעימות לב, רמת קורטיזול, מעקב אחר תנועות עיניים, כאינדיקציה למח"ר. לדוגמה, משחק כמו Nevermind מאפשר הערכה בזמן אמת של תגובות רגשיות ויכולת ויסות, באמצעות מדידת השתנות קצב פעימות לב. היתרון בגישה זו הוא היכולת לקבל מידע אובייקטיבי על מצבים פנימיים, שאינם נתונים לשליטה מודעת של הנבדק. עם זאת, כלים אלו נמצאים בעיקר בשימוש במעבדה ופחות מתאימים להערכה בבית הספר. בהקשר זה עולה גם סוגיה אתית שקשורה באיסוף מידע רפואי/פרטי.
מציאות מדומה (VR) ומציאות רבודה (AR)
סביבות אלו מאפשרות חוויות מציאותיות ועשירות יותר מאשר משחקים דיגיטליים רגילים. לדוגמה, כלי VR כמו Athenea מדמה סביבת חללית עתידנית, שבה המשתתפים מתקשרים עם דמויות וירטואליות ומתמודדים עם אתגרים חברתיים, המאפשרים הערכה של מיומנויות כמו הערכה עצמית ותחושת מסוגלות. היתרון הבולט של טכנולוגיות אלו הוא רמת המעורבות והתחושה החזקה של "נוכחות" שהן מספקות, מה שעשוי להוביל להתנהגויות אותנטיות יותר. עם זאת, החסרונות כוללים עלויות ציוד גבוהות, אתגרים טכניים כמו מחלת סייבר (cybersickness), והעדר הוכחות ברורות ליתרונות משמעותיים על פני חוויות מסך דו-ממדיות בהקשר של הערכת מח"ר. בנוסף, המחקר עדיין לא מספק ונדרש תיקוף נוסף לפני יישום בקנה מידה רחב.
יישומי בינה מלאכותית (AI)
בינה מלאכותית מציעה פוטנציאל משמעותי לשיפור הערכת מח"ר באמצעות ניתוח מתקדם של נתונים מורכבים ויצירת כלי הערכה חדשניים. יישומי AI כוללים ניתוח של כמויות גדולות של נתונים ממקורות שונים (כולל טקסט, מבט עיניים, הבעות פנים ודיבור) ועל בסיסם להסיק מסקנות על מח"ר. בינה מלאכותית יוצרת (generative AI) מאפשרת ליצור תוכן כמו טקסט, אודיו, תמונות ואפילו וידאו, ליצירת תרחישים ומטלות אינטראקטיביות ואימרסיביות. היתרונות כוללים יכולת עיבוד מהירה ומדויקת של נתונים מורכבים, זיהוי דפוסים שקשה לאדם לזהות, ויכולת ליצור כמות גדולה של תוכן מגוון במהירות ובעלות נמוכה יחסית. למרות הפוטנציאל הרב, יש גם אתגרים רבים ובעיקר דאגה אתית לגבי פרטיות ואבטחת מידע, הטיות אלגוריתמיות, קושי בהסבר החלטות AI מורכבות, והצורך בפיקוח ובדיקה אנושית על התוכן המיוצר על ידי AI. כמו כן, רוב היישומים עדיין בשלבי פיתוח ומחקר, ונדרשים מחקרי תיקוף נרחבים לפני יישום בקנה מידה רחב.
טביעות רגל דיגיטליות ומדדים התנהגותיים ממשחקי וידאו: גישה זו מנצלת נתונים קיימים מאינטראקציות דיגיטליות ומשחקי וידאו מסחריים להערכת מח"ר. לדוגמה, ניתוח התנהגות שחקנים במשחק Minecraft יכול לספק תובנות על יצירתיות ופתרון בעיות. היתרון המרכזי הוא היכולת לאסוף מידע על התנהגויות אותנטיות בסביבות דיגיטליות טבעיות, ללא צורך בפיתוח כלי הערכה ייעודיים. עם זאת, האתגרים כוללים קשיים בפרשנות הנתונים, שכן ההתנהגות במשחקים לא תוכננה במקור למטרות הערכה, וסוגיות אתיות הנוגעות לפרטיות ולשימוש בנתונים שנאספו למטרות אחרות. בנוסף, יש צורך במחקר נוסף כדי לבסס את הקשר בין התנהגויות במשחקים לבין מח"ר בעולם האמיתי.
סיכום
סקירה זו חשפה התקדמות משמעותית בפיתוח כלים חדשניים להערכה ישירה של מח"ר. אמנם עדיין לא נמצא כלי המתאים כיום להערכה רחבה, אך נראה שישנם כלים שיכולים לתת השראה להמשך פיתוח. יתרונותיהם של כלים אלה הם בתוקף אקולוגי משופר, אובייקטיביות, ויכולת להעריך התנהגויות ומיומנויות בפועל. לצד היתרונות, זוהו מספר אתגרים הכרוכים ביישום כלים אלה, כגון: עלויות פיתוח גבוהות, סוגיות אתיות כבדות משקל ומורכבות טכנית. לבסוף, בסקירה הועלה הצורך בשילוב בין הערכות ישירות ועקיפות כדי לקבל תמונה מקיפה יותר של מח"ר, והצורך במחקר ופיתוח נוספים. גישה זו צפויה לקדם את הבנתנו ואת יכולת ההערכה שלנו בתחום המיומנויות החברתיות-רגשיות.