פריצת מגבלות

2 כתבות בנושא זה

8 באוגוסט 2024

אנתרופיק מרחיבה את תוכנית הבאג באונטי: מיקוד בפריצת מגבלות אוניברסליות ב-AI

חברת אנתרופיק (Anthropic) מכריזה על הרחבת תוכנית הבאג באונטי (bug bounty) שלה, שנועדה לחזק את בטיחות מודלי ה-AI שלה. היוזמה החדשה תתמקד באיתור ליקויים במנגנוני ההגנה העתידיים של החברה, במיוחד כאלה שנועדו למנוע מתקפות פריצת מגבלות אוניברסליות (universal jailbreak attacks). במסגרת התוכנית, יוצעו תגמולים של עד 15,000 דולר לחוקרים שיזהו פרצות בתחומי סיכון גבוה כמו CBRN ואבטחת סייבר, במטרה להבטיח את פריסתם האחראית של מודלי ה-AI המתקדמים.

קרא עוד

2 באפריל 2024

Many-shot Jailbreaking: כשחלון הקשר הארוך הופך לפרצה מסוכנת במודלי שפה

חברת אנתרופיק (Anthropic), מובילה במחקר בטיחות AI, חשפה לאחרונה טכניקת "פריצת מגבלות" חדשה בשם "Many-shot Jailbreaking" המשפיעה על מודלי שפה גדולים (LLMs), כולל אלו שלה ושל מתחרותיה. הטכניקה מנצלת את ההרחבה המשמעותית של חלון הקשר במודלים אלו, ומאפשרת למשתמשים להכניס מספר רב של דיאלוגים מדומים בתוך פרומפט אחד כדי לגרום למודל להפיק תגובות מזיקות, תוך עקיפת מנגנוני ההגנה שלו. אנתרופיק בחרה לפרסם את המחקר כדי להאיץ את פיתוח פתרונות ולהעלות את המודעות לאתגרים הנגזרים מחלון הקשר הארוך. החברה מדגישה את הצורך לטפל בפגיעויות אלו כעת, לפני שמודלים עתידיים יהפכו למסוכנים אף יותר, וכבר מיישמת פתרונות מבוססי פרומפטים לצמצום הסיכון.

קרא עוד