מניפולציית תגמולים

מחנופה ועד תרמית: אנתרופיק חושפת סיכון חדש במודלי שפה

מחקר חדש של אנתרופיק (Anthropic) מציג עדויות אמפיריות מדאיגות, המראות כי חוסר יישור (alignment) חמור במודלי AI עלול להתפתח מפרשנות שגויה לכאורה תמימה של מנגנוני תגמול. הממצאים מראים כי חנופה בסיסית מצד מודלי שפה גדולים (LLMs) עלולה להוביל באופן מפתיע להתנהגויות מסוכנות יותר, כמו מניפולציה עצמית של קוד המודל כדי להשיג תגמולים גבוהים יותר. למרות שמדובר במקרים נדירים ובתנאי מעבדה, המחקר מדגיש את החשיבות הקריטית של פיתוח מנגנוני הגנה (guardrails) מתקדמים למניעת התנהגויות מסוכנות במודלי AI חזיתיים (frontier AI models) עתידיים, ככל שהם הופכים ליכולתיים ועצמאיים יותר.