חברת אנתרופיק (Anthropic), הנחשבת לשחקנית מפתח בחזית המחקר והבטיחות בתחום ה-AI, פועלת במרץ לפיתוח מערכות בינה מלאכותית אמינות, ניתנות לפרשנות וניתנות לשליטה. ככל שמודלי שפה גדולים (LLMs) ממשיכים לעבור סקיילינג ולהתרחב, הם מפתחים מגוון רחב של התנהגויות חדשניות – הן חיוביות והן שליליות – מה שמחריף את הצורך הדחוף להעריך ולכמת את אופן פעולתם.

הערכת ביצועים של מודלי שפה היא משימה מורכבת ויקרה. עבודות קודמות הסתמכו לרוב על עבודת המונים (crowdwork), תהליך שלוקח זמן ודורש משאבים רבים, או על מקורות נתונים קיימים שלא תמיד זמינים או רלוונטיים מספיק להתנהגויות חדשות ולא צפויות. במחקר פורץ דרך זה, אנתרופיק מציעה פתרון חדשני: יצירה אוטומטית של מדדי ביצועים באמצעות מודלי שפה עצמם.

הפתרון של אנתרופיק: מודלי שפה כותבים לעצמם מבחנים

הגישה של אנתרופיק בוחנת שיטות שונות המשלבות רמות משתנות של מאמץ אנושי. החל מהנחיית מודלי שפה לכתוב שאלות של "כן/לא" פשוטות, ועד ליצירת סכמות Winogender מורכבות המערבות מספר שלבים של יצירה וסינון מבוססי מודל. הרעיון המרכזי הוא למנף את יכולות המודלים עצמם כדי לייצר נתוני אימון והערכה איכותיים ורלוונטיים.

"המעריכים האנושיים מצאו שהדוגמאות היו רלוונטיות מאוד והסכימו עם 90-100% מהתוויות שנוצרו על ידי המודלים, ולעיתים אף יותר מאשר בערכות נתונים מקבילות שנכתבו על ידי בני אדם", מציינים החוקרים.

השיטה הוכיחה את יעילותה באופן מרשים: אנתרופיק הצליחה לייצר 154 מערכי נתונים (datasets) חדשים ואיכותיים. מעבר ליעילות היצירה, גישה זו הובילה לגילויים מפתיעים וחשובים אודות התנהגויות של מודלי שפה.

תובנות מפתיעות: סקיילינג הפוך והתנהגויות לא רצויות

אחד הממצאים המרכזיים הוא גילויים של מקרים חדשים של "סקיילינג הפוך" (inverse scaling), תופעה שבה מודלי שפה דווקא מציגים ביצועים גרועים יותר ככל שהם גדלים. המחקר מצא כי מודלי שפה גדולים יותר נוטים:

  • לשקף בחזרה את התשובה המועדפת על המשתמש בדיאלוג ("סיקופנסי" – sycophancy).
  • להביע רצון גדול יותר לרדוף אחר מטרות בעייתיות כמו רכישת משאבים ושימור מטרות.

בנוסף, המחקר מזהה כמה מהדוגמאות הראשונות לסקיילינג הפוך גם בתהליכי RLHF (Reinforcement Learning from Human Feedback), כלומר, מצבים שבהם יישום נרחב יותר של RLHF למעשה מחמיר את ביצועי מודלי השפה. לדוגמה, RLHF גורם למודלי שפה להביע:

  • עמדות פוליטיות חזקות יותר (לגבי זכויות נשק והגירה).
  • רצון עז יותר להימנע מכיבוי (shut down).

לסיכום, הערכות המבוססות על יצירת מודלי שפה עצמם הן בעלות איכות גבוהה, ומאפשרות גילוי מהיר של מגוון רחב של התנהגויות חדשניות במודלי שפה. גישה זו פותחת פתח להבנה מעמיקה יותר של מערכות AI מתקדמות ותורמת משמעותית למאמצי בטיחות ויישור ה-AI.