כשבינה מלאכותית פוגשת את ההערכה

שימוש בכלי בינה מלאכותית בתהליכי הערכה מעצבת בכיתה

מאת: ד"ר חני שלטון, האוניברסיטה הפתוחה
פרטי קשר לתגובות: hanyshil@gmail.com

במסגרת הקורס "הערכה בסביבה דיגיטלית", אותו אני מלמדת באוניברסיטה הפתוחה, אני משלבת לראשונה שימוש בכלי בינה מלאכותית. זו הזדמנות נפלאה עבורי לחשוף בפני הסטודנטים עולם חדש של אפשרויות בתחום ההערכה. מרבית הסטודנטים הם מורים במערכת החינוך כך שהנלמד בקורס מהווה עבורם מודל המתאים ליישום בכיתה עם התלמידים.

הטכנולוגיה מאפשרת תהליכי הערכה יעילים ומדויקים יותר, חוסכת שעות רבות של עבודה, ופותחת פתח לדרכי הערכה חדשניות שלא הכרנו בעבר. בפרט, אני מתייחסת להערכה לשם למידה בכיתה, המותאמת אישית ללומדים. השימוש בכלי AI ללמידה מעלה שאלות חדשות בנוגע להערכה. למשל, כאשר לומדים מסתייעים בכלי AI מה מעריכים: האם את התוצר הסופי? ואם כן, איך נדע מה חלקו של הלומד בהכנתו? אולי נעריך את שיפורו של הלומד? את מידת הדיוק של ה"פרומפטים"? את ההבדל באיכות בין הטיוטות? את ההבנות של הלומד בנושא? ואיך בודקים זאת? אלו שאלות כבדות משקל שיש עליהן את הדעת.
אתייחס בדברי למספר נושאים: שימוש בכלי AI לתכנון ופיתוח כלי הערכה, ניתוח הנתונים ומתן משוב.

תכנון ופיתוח כלי הערכה

שלב תכנון כלי הערכה כולל פיתוח מבחנים ומטלות הערכה והוא תהליך מורכב ומאתגר. בעזרת כלי AI אפשר ליצור יחסית בקלות שאלות הבנה, יישום סינתזה והערכה המותאמות לחומר הנלמד. כלי AI אף יכולים להמליץ על סוגי מטלות הערכה מגוונות (כמו מטלות ביצוע אותנטיות, פרויקטים, חקר,PBL ועוד), לנסח את ההנחיות ללומדים השונים בהתאם לשכבת הגיל המיועדת או לרמת הקושי המצופה, להמציא סימולציות, לבנות על פי דוגמה לסימולציה אחת או למטלת ביצוע, מטלות דומות נוספות (למשל נוסח א' ונוסח ב' למשימות או מבחן).

להלן רשימה פרקטית שבניתי לשימושים אפשריים בכלי AI:

• יצירת שאלות הערכה ברמות חשיבה שונות על פי טקסונומיות שונות או מסגרות מושגיות שונות של כישורים ומיומנויות של הלומדים. אפשר גם לייצר באמצעותו שאלות ברמות חשיבה שונות על סמך קטע טקסט נתון. 

• הגדרה של כישורים אותם רוצים לטפח בבית הספר, בשכבת גיל או בתחום דעת ספציפי. 

• קבלת המלצות על סוגי מטלות הערכה מתאימות עבור נושא מסוים, כגון חיבור תזה, ניתוח אירוע, תרגיל יישום וכדומה.

• קבלת המלצות על מבנה מטלות הערכה מתאימות, על סמך ניתוח כל החומר הנדרש לכיסוי ולהגדרה של כישורי הלומדים אותם אנחנו מעוניינים להעריך. 

• בדיקה אם שפת השאלות ברורה ומובנת לתלמידים ברמת הגיל המתאימה או ברמת הקושי המתאימה ללומדים מסוימים. כך למשל, אפשר לבקש מהכלי לספק פיגומים או רמזים לתלמידים מתקשים, או לבקש להתאים משימה לתרבות אחרת (למשל למגזר דוברי הערבית).

• איתור שאלות מבחן פגומות על סמך ניתוח תשובות התלמידים ולהציף אותן (כמו, לדוגמה, שאלות שיש בהן הטיה מגדרית מסוימת). 

• יצירת בנק שאלות הערכה גדול ומגוון בכל תחום ובכל נושא.

• פיתוח מחוונים למשימות שגובשו, הכוללים קריטריונים והגדרה של רמות ביצוע המתייחסות לאיכויות השונות של ביצועי הלומדים (למשל, איכות הביצוע בתחילת הדרך, מתקדם, מתקדם מאד, השיג את היעד). 

• בדיקת ההלימה שבין ההנחיות לתלמידים במשימה לבין המחוון. 

ניתוח הנתונים, הסקת מסקנות וגיבוש תוכניות התערבות

ניתוח נתונים, הסקת המסקנות ופיתוח ההתערבות לצמצום הפער בין המצב הקיים למצב הרצוי הם מרכיב מרכזי בתהליך ההערכה. 
משימתו של המורה כוללת את השלבים הבאים:

1. ניתוח הנתונים שנאספו בשלבי ההערכה הקודמים על מנת לזהות תבניות ותובנות עיקריות. לדוגמה, אילו פערים וקשיים עולים מניתוח מבחנים או מטלות שביצעו התלמידים. ניתוח זה מהווה בסיס להמשך.

2. הסקת מסקנות לגבי האסטרטגיות הפדגוגיות המתאימות עבור הכיתה או עבור תלמידים ספציפיים. למשל, האם יש צורך בשינויים בדרכי ההוראה או בהתאמות נוספות. מסקנות אלה מובילות לתכנון ההתערבות.

3. גיבוש תוכנית התערבות הכוללת את הפעולות הנדרשות על מנת לקדם את הישגי התלמידים. לדוגמה, מתן תגבור לימודי, שינוי שיטות הוראה, תרגול נוסף בנושאים מאתגרים או ליווי אישי לתלמידים מתקשים. 

4. יישום ההתערבות בפועל הוא השלב הבא בתהליך.

בכל השלבים הללו, כלי AI יכולים לסייע בדרכים הבאות:

• תיאור מדויק ומתומצת את ביצועי הלומדים על פי קטגוריות או מחוון, לאתר דפוסים חוזרים (למשל בטקסטים שהלומד כתב) ולהציע תובנות על כל אחד מהלומדים. 

• סיכום וארגון נתוני הערכה לפי קטגוריות שונות. 

• להמליץ על פעילויות הוראה ולמידה מתאימות על סמך ניתוח תוצאות המבחנים.
  לדוגמה, אם זוהה קושי בנושא מסוים, כלי ה- AI יכול להציע דרכי הוראה חלופיות.

• המלצה על דרכי הוראה דיפרנציאלית על סמך ניתוח כישלונות. 

• זיהוי פערים בין קבוצות תלמידים והצעה של דרכי טיפול (Wang et al., 2022).

• להציע דרכים יצירתיות למעורבות הורים על סמך ניתוח הישגים (Hutchinson et al., 2022).

מתן משוב, הערכה עצמית והערכת עמיתים

משוב הוא אחד הכלים החשובים ביותר לקידום למידה אפקטיבית. משוב איכותי של המורה לתלמידים צריך לכלול התייחסות מפורטת לנקודות החוזק ולתחומים לשיפור, ולספק כיוונים ברורים כיצד התלמיד יכול להתקדם. כלי AI יכול לסייע ביצירת משוב אישי לתלמידים הכולל המלצות ספציפיות לשיפור על סמך ניתוח כשלים אופייניים. אפשר לאמן אותו לתת משוב שיש לו 'קול אישי' של המורה על ידי מתן 2-3 דוגמאות ובקשה ממנו לניסוח משוב באותו סגנון. המשוב יכול להיות על מטלות כתובות כמו: חיבורי עמדה, טיוטות של חיבורים או תשובות קצרות לשאלות. המשוב יכול לכלול הערכה של רלוונטיות התוכן, שגיאות כתיב ודקדוק, ולספק ציון אוטומטי.

כצעד נוסף, כלי AI יכולים על פי הפערים שזוהו בידע של הלומדים, להציע להם תוכן לימודי המתאים לצורכיהם הייחודיים. כך, למשל, תלמיד שמתקשה בנושא מסוים יכול לקבל הסבר מפורט על כל שלב בפתרון בעיה, המלצה על סרטון הדרכה נוסף או על תרגול ממוקד. שילוב של מידע על תוכן הלמידה יחד עם נתוני התלמיד מאפשר מידה רבה של מותאמות אישית.

אתגרים

האפשרויות שטמונות בכלי הבינה המלאכותית הן רבות ומגוונות. למרות הפוטנציאל הגלום בשימוש בהם, הם לוקים בחוסר אמינות. כך, לעתים ההסברים המתקבלים הם שגויים או שהמידע לא מדויק, ולכן חשוב להתייחס אל התוצר המתקבל בזהירות ולא לסמוך עליו בלבד.

כאשר משתמשים בבינה המלאכותית לצורך הערכת לומדים, חשוב להפעיל כישורים מסוימים על מנת לקבל תוצרים מיטביים:

• חשיבה ביקורתית הכוללים הבנת גבולות היכולות של הכלי. אין לסמוך בלבד על תשובותיו בצורה עיוורת. יש לבדוק את המידע שסופק ולאמת אותו במקורות נוספים.

• תפיסת ההקשר. כלי AI לא מבינים את ההקשר באותה מידה כמו אנשים. לכן, חשוב להיות מודעים לכך שהם עשויים לספק תשובות שאינן תואמות את ההבנה המלאה שלנו על נושא מסוים. יש להתייחס לתשובות כאל כלי המספק מידע ראשוני מוגבל בנושא מסוים.

• שיקול דעת ומתן עדיפות למקורות אנושיים במקרים מסוימים. במקרים בהם מדובר בהערכת לומדים חשובה ומורכבת, כדאי לתת עדיפות למורים או למומחים בתחום הנדרש. אנשים יכולים לספק תמיכה אישית, להסביר ולהתמודד עם אתגרים אישיים באופן שכלי AI אינם מסוגלים לעשות.

• זיהוי מגבלות היכולת הכלי שעמו עובדים: הכלים השונים יכולים להיות מועילים בהערכה של לומדים בתחומים ספציפיים ומוגבלים שבהם האלגוריתם מאוד מיומן. חשוב לזהות את התחומים שבהם הכלי מסוגל לספק מידע מדויק ולא להסתמך עליו בתחומים שבהם הוא פחות אמין.

לסיכום, כלי הבינה המלאכותית מספקים למורים כלים חדשניים ויעילים להעשרת הלמידה וההוראה. בעזרתם הם יכולים ליצור חומרי למידה והערכה מותאמים אישית, להעריך את התקדמות התלמידים בצורה מדויקת יותר, ולתת מענה פרטני לצרכים הייחודיים של כל תלמיד ולקדם אותו בלמידה. עם זאת, יש להיות מודעים למגבלותיהם ולפעול בהתאם.