מה נעדיף? משוב אנושי או של בינה? מחקר חדש חושף

 

בינה מלאכותית או אנושית? הערכת תפיסות תלמידים על משוב בהשכלה הגבוהה
ד"ר טניה נזרצקי, EPFL, שוויץ
tanya.nazaretsky@epfl.ch

 

Nazaretsky, T., Mejia-Domenzain, P., Swamy, V., Frej, J., & Käser, T. (2024, July 11). AI or Human? Evaluating Student Feedback Perceptions in Higher Education. https://doi.org/10.31219/osf.io/6zm83

​

משוב הוא מרכיב חיוני בתהליך הלמידה, שכן הוא מספק לתלמידים הבנה מעמיקה יותר של הביצועים שלהם ומציע דרכים לשיפור. עבור המורים, מתן משוב מהווה כלי חשוב להכוונה ולתמיכה בתהליך הלמידה של התלמידים, ולאפשר להם להתאים את שיטות ההוראה לצרכים האישיים של כל תלמיד.

 

משוב יעיל, כאשר ניתן בזמן ובצורה מדויקת, יכול לשפר את התוצאות הלימודיות, לעודד מוטיבציה, ולהגביר את תחושת האחריות האישית של התלמידים ללמידה שלהם. עם זאת, ניהול תהליך המשוב הוא אחד ההיבטים המאתגרים ביותר בהוראה. סקרי תלמידים הראו כי איכות המשוב מקבלת לעיתים קרובות את הדירוגים הנמוכים ביותר מבין פריטי איכות ההוראה, מה שמדגיש את הקשיים המשמעותיים שהמחנכים מתמודדים איתם במתן משוב משמעותי ואישי בזמן.

 

משוב אוטומטי מבוסס בינה מלאכותית גנרטיבית, במיוחד בעזרת מודלים גדולים של שפה (LLMs) כמו GPT, יכול לסייע להאיץ ולהרחיב את תהליך מתן המשוב. הבינה המלאכותית הגנרטיבית צוברת תאוצה בשימושים להענקת משוב בהקשרים חינוכיים, ומחקרים אחרונים רבים הראו כי היא יכולה לספק משוב במגוון תחומים ולעיתים להגיע לביצועים השווים לאלו של מעריכים אנושיים. עם זאת, רוב המחקרים הללו מתמקדים באיכות התוכן של המשוב, ולעיתים מתעלמים מההיבטים החברתיים-רגשיים של קבלת הבינה המלאכותית, כמו "רתיעה מאלגוריתמים". רתיעה מאלגוריתמים היא תופעה שבה אנשים מעדיפים עצות אנושיות על פני עצות מבוססות בינה מלאכותית, על אף יעילותה המוכחת של הבינה המלאכותית.

 

במחקר שלנו, אנו חוקרים כיצד המודעות של התלמידים לזהות נותן המשוב משפיעה על הערכתם את המשוב, במיוחד בהקשר של רתיעה מאלגוריתמים והעדפה למומחיות אנושית. המחקר שואף לענות על השאלות הבאות:

 

1. האם תלמידים יכולים להבחין בין משוב שנוצר על ידי בינה מלאכותית למשוב שנוצר על ידי בני אדם (מבחן טיורינג), ואילו גורמים משפיעים על יכולתם לעשות זאת?

2. כיצד משתנות תפיסות התלמידים לגבי אותו תוכן משוב לאחר גילוי זהות נותן המשוב?

3. האם יש לתלמידים הטיה שלילית כלפי בינה מלאכותית כנותן משוב?

 

כדי לענות על שאלות אלו, ערכנו מחקר מקיף בהשתתפות 457 סטודנטים להשכלה גבוהה הלומדים ב-EPFL במגוון קורסים, תחומי לימוד ורמות אקדמיות. התלמידים התבקשו להעריך שתי אפשרויות משוב (משוב אנושי ומשוב שנוצר על ידי בינה מלאכותית), בסביבות הלמידה האותנטיות שלהם, בפרמטרים של כנות, אובייקטיביות ושימושיות. הם עשו זאת פעמיים: תחילה מבלי לדעת את זהות נותן המשוב (תנאי עיוור) ולאחר מכן, עם הידע הזה (תנאי מודע). גישה זו נועדה לחשוף שינויים בהערכות התלמידים ואת השפעת זהות נותן המשוב על תפיסת המשוב החינוכי.

 

המחקר מצא כי יכולת התלמידים להבחין בין משוב שנוצר על ידי בינה מלאכותית למשוב שנוצר על ידי בני אדם תלויה בקורס ובמשימה. עם גילוי זהות נותן המשוב, נצפתה מגמת עלייה בולטת בציונים שניתנו למשוב אנושי וירידה בהערכה של משוב שנוצר על ידי בינה מלאכותית. בנוסף, תוצאות מבחן טיורינג היו בקורלציה משמעותית עם תפיסת איכות המשוב. תלמידים שנכשלו במבחן נטו להעדיף משוב שנוצר על ידי בינה מלאכותית, בעוד אלו שעברו את המבחן העדיפו משוב אנושי.

 

חשוב להדגיש שבמחקר זה לא התמקדנו באיכות תוכן המשוב. אין ספק כי איכות המשוב היא גורם משמעותי בתפיסות התלמידים כלפי המשוב האוטומטי ואנו בהחלט נתמקד בנושא זה במחקרינו העתידי. עם זאת, התוצאות שלנו מדגישות כי חלק מהגורמים המשפיעים על תפיסות התלמידים של משוב שנוצר על ידי בינה מלאכותית אינם קשורים ישירות לאיכות תוכן המשוב. למעשה, התלמידים בחרו להוריד את הערכתם לאותו תוכן משוב לאחר שנמסר להם שהוא נוצר על ידי בינה מלאכותית.

 

ממצאים אלו מדגישים את הצורך להתייחס לא רק להיבטים הטכנולוגיים, אלא גם להיבטים הרגשיים והחברתיים בתהליכי הערכה. הם מצביעים על חשיבות ההבנה המעמיקה של הצרכים הפסיכולוגיים של התלמידים בעת יישום מערכות משוב מבוססות בינה מלאכותית בחינוך. שיפור האמון הכללי בבינה מלאכותית והתייחסות לרתיעה מאלגוריתמים עשויים לקדם משמעותית את הקבלה והיעילות של טכנולוגיות אלו, ובכך לתרום יותר לתהליך הלמידה.

 

אתם מוזמנים לעיין במאמר המלא: https://doi.org/10.31219/osf.io/6zm83