בצל הדיון הפומבי על הצורך בהגבלות לטכנולוגיית AI - גוגל הודתה היום (שבת) במענה לשאלת "וול סטריט ג'ורנל" כי מודל ה-AI שלה, Gemini, הצליח לפרוץ למערכות של שלוש חברות אמיתיות במהלך מבחן יכולות סייבר. זה המקרה הידוע הראשון שבו מערכת AI של גוגל ביצעה באופן אוטונומי חדירה כזו.
האירוע התרחש בחודש מאי, במסגרת תרגיל "Capture the Flag" שנערך בסוף חודש יולי על ידי חברת הסייבר העצמאית המבוססת בישראל Irregular. המודל קיבל משימה לאתר מידע במערכות של חברה פיקטיבית שנבנתה לצורך הניסוי. אלא שאותה חברה בדיונית נשאה במקרה שם זהה לזה של חברה אמיתית ובמקביל, בשל תקלה במערך הבדיקה, Gemini קיבל גישה לאינטרנט למרות שלא היה אמור לקבל אותה.
מכאן העניינים התגלגלו במהירות: Gemini חיפש מידע באינטרנט והגיע למערכות אמיתיות, כשהוא סבור שהן חלק מסביבת התרגיל. במקרה אחד הוא ניסה לנחש סיסמאות שוב ושוב עד שהצליח להיכנס למערכת מוגנת. בשני מקרים נוספים הוא איתר במאגרים ציבוריים פרטי התחברות שהושארו חשופים והשתמש בהם כדי להתחבר למערכות של חברות אמיתיות.
בגוגל מדגישים כי ברגע שהמודל הבין שמדובר בחברות אמיתיות ולא בחלק מהתרגיל, הוא עצר את פעולות החדירה וכן כי לא נגרם נזק לחברות. החברה מסרה כי שלושת הגופים עודכנו וכי יחד עם Irregular בוצעו שינויים בתהליך הבדיקות. סגנית נשיא גוגל להנדסת אבטחה, הת'ר אדקינס, אמרה שהאירוע ממחיש את החשיבות שבהכשרת מודלים מתקדמים לפעול באופן אחראי.
