ביצועי מודל

מחקר חדש חושף: כך נתוני אימון חוזרים פוגעים קשות במודלי שפה גדולים

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI ומחקר בינה מלאכותית, מפרסמת מחקר חלוצי הבוחן את ההשפעה המפתיעה של נתונים חוזרים במהלך אימון מודלי שפה גדולים (LLM). המחקר מגלה תופעת 'ירידה כפולה' שבה חשיפה חוזרת, אפילו לאחוז קטן של נתונים, עלולה להוביל לירידה דרמטית בביצועי המודל. הממצאים מצביעים על כך ששינון יתר של נתונים צורך נתח ניכר מיכולות המודל, פוגע ביכולת ההכללה שלו ומוריד את ביצועיו לרמה של מודל קטן בהרבה. דוח זה מדגיש את החשיבות הקריטית של אסטרטגיות ניהול נתונים מתקדמות לאימון מודלי AI.