כך מתמודד המוח עם יחידות-טקסט גדולות

כך מתמודד המוח עם יחידות-טקסט גדולות

מקור : אתר הידען

חוקרים בטכניון גילו כי בניגוד למודלי שפה מלאכותיים, המנתחים טקסטים ארוכים כמקשה אחת, המוח האנושי מְאַגֵּם במהלך הקריאה את מה שקרא במעין "תקציר" המאפשר לו להבין את המשך הטקסט

המחקר שנערך בטכניון מבוסס על סריקות fMRI – דימות תפקודי של המוח – ב-219 נבדקים בזמן שאלה הקשיבו לסיפורים. החוקרים בחנו את יכולתם של LLMs קיימים לנבא את הפעילות המוחית בזמן ההקשבה, וגילו כי הניבוי מוצלח רק כאשר מדובר בטקסטים קצרים – עשרות מילים לכל היותר. כאשר הטקסט ארוך יותר, מודלים אלה אינם מצליחים לנבא את הפעילות במוחו של האדם המקשיב. 

טיקוצ'ינסקי ופרופ' רייכרט הראו כי הסיבה לכישלון זה הוא בכך שבטקסטים ארוכים, המוח האנושי אינו מתנהג בדומה ל- LLMs. הדמיון בין השניים מתקיים בטקסטים קצרים, שבהם הן המוח והן המודל מעבדים את כל המילים שבקלט באופן מקבילי, כלומר בבת אחת; כאשר הטקסט ארוך, המודל המלאכותי ממשיך לעבד אותו באותו אופן, אך המוח – שאינו יכול "לעכל" אותו בשלמותו – עובר למוד אחר, "מנגנון צבירה". פירוש הדבר הוא את הטקסט ששמע עד כה מְאַגֵּם המוח במעין "מצבור" של ידע הקשרי, ועל פיו הוא מפרש את המילים הבאות שישמע. 

המודל המלאכותי, לעומתו, יכול "לעכל" בעת ובעונה אחת את כל הטקסט ששמע עד כה, ולכן הוא אינו נזקק לאותו מנגנון צבירתי. החוקרים הניחו כי הבדל מהותי זה הוא הסיבה לכשלונם של מודלים מלאכותיים בניבוי פעילות במוח המקשיב לסיפורים, ואף הדגימו זאת; הם פיתחו מודל מלאכותי משופר הפועל בדומה למוח.  מודל זה התבסס על תקצירים דינמיים של הטקסט שהושמע עד כה, ועל פיהם הוא פענח את המשך הטקסט. מודל זה אכן שיפר את ניבוי הפעילות המוחית, מה שמראה כי המוח המקשיב עוסק כל העת בסיכום של הטקסט הקודם ומתבסס עליו בהבנת המשך הטקסט. שיטה זו מאפשרת לנו לקלוט אינפורמציה מרובה שאנו מקבלים על פני זמן ארוך, כפי שקורה למשל בהרצאה שלמה, בספר שלם או בפודקאסט שלם. 

 למאמר המלא באתר הידען