Anthropic компаниясының жасанды интеллект модельдері сынақ кезінде үш ұйымның жүйелеріне хакерлік шабуыл жасады.
Модельдердің бірі интернетке қосылғанын түсінгеннен кейін де шабуылды жалғастырды.
Anthropic-тің модельдері сынақ кезінде нақты әлем жүйелерін бұзды / Фото: Photo For Everything/Shutterstock.com
Anthropic компаниясының Claude сериялы AI модельдері іске қосу алдындағы киберқауіпсіздік тестілеу кезінде үш ұйымның тірі жүйелеріне өтіп кеткенін стартап өз блогында хабарлады. Оқиғаларға сәуірде шығарылған Opus 4.7 және Anthropic-тің ең қуатты екі моделі — Mythos 5 пен жариялауға арналмаған ішкі зерттеу моделі қатысқан.
Тесттер «Capture the Flag» форматында өткізілді: модельдерге басқа жүйелерге кіріп, жасырын ақпаратты табу тапсырылды. Ескі нұсқа интернетке қосылғанын түсінгеннен кейін де шабуылын жалғастырды. Ал ең жаңа нұсқа желіге қосылғанын анылаған бойда тоқтады.
Бұл қалай мүмкін болды?
Anthropic пен оның сыртқы серіктесі Irregular арасындағы түсініспеушілікке байланысты тестілеу ортасы интернетке қосылған күйде қалды, ал Claude интернетке қосылусыз симуляцияда жұмыс істеуі тиіс еді. Нәтижесінде модельдер нақты әлем жүйелерін жаттығудың бір бөлігі деп қате қабылдады. OpenAI жағдайынан айырмашылығы, олар әзірлеушілер әлі білмейтін жасырын ақаулар – zero-day осалдықтарын пайдаланбаған: Axios мәліметі бойынша, интернетке қолжетімділік тестілеу конфигурациясы арқылы қамтамасыз етілген.
Сынақтар қоғамдық түрде қолжетімді нұсқалардағы қауіпсіздік шаралары қолданылмай жүргізілді, зерттеушілерге жасанды интеллекттің өз мүмкіндіктерін бағалауға мүмкіндік беру үшін. Anthropic компаниясының мәліметінше, егер мұндай шектеулер қолданылған болса, олар хакерлік шабуылға әрекетті бұғаттайтын еді. Клод қарапайым әдістерді қолданды: ол әлсіз құпиясөздерді және аутентификацияны қажет етпейтін интерфейстерді пайдаланды.
Үш бұзушылық
OpenAI өз модельдерінің рұқсатсыз түрде ашық интернетке тарағаны туралы хабарлағаннан кейін, Anthropic 141 000-нан астам сынақ жүгіртулерін тексеріп, үш ұқсас оқиғаны анықтады. Олардың алғашқысы сәуірде орын алды. Бір жағдайда Opus 4.7 ойдан шығарылған мақсатқа жете алмады, бірақ сол аттағы нақты веб-сайтты тауып, оған хакерлік шабуыл жасады.
Симмуляция ішінде жұмыс істеп жатқанына сеніп, Mythos 5 зиянды Python пакетін жасап, оны ашық PyPI репозиториясына жүктеді. Ол шамамен бір сағат бойы қолжетімді болды. Осы уақытта ол 15 нақты жүйеге жүктеліп, орындалды. Олардың бірі зиянды бағдарламаларды анықтау үшін Python бағдарламаларын автоматты түрде орнататын киберқауіпсіздік компаниясына тиесілі болды. Нәтижесінде Claude коды тіркелгі деректерін ұрлап, басқа инфрақұрылымдық активтерге қол жеткізді.
Үшінші жағдайда ішкі зерттеу моделі ойдан шығарылған нысанаға жете алмай, шамамен 9 000 нысананы сканерлеп, интернет арқылы қолжетімді компанияның қосымшасына кіріп кетті. Содан кейін ол «capture-the-flag» челленджімен мүлдем байланысы жоқ бұлттық аккаунтқа кіріп қалғанын түсініп, шабуылды тоқтатты.
Неліктен бұл маңызды?
Axios атап өткендей, OpenAI мен Anthropic-пен байланысты оқиғалар модельдердің өз мақсаттарын көздеудің орнына оларға жүктелген тапсырмаларды орындауға шоғырланғанын көрсетеді.
Bloomberg хабарлауынша, Anthropic Mythos-ты жариялағаннан кейін шамамен төрт ай өткен соң жүйедегі бұзушылықтарды ашып айтты; компания жүйенің қуаты мен жобаның әлеуетті тәуекелдерін ескере отырып, оның таралуын қатаң түрде шектеген.
«Модель шығарылардан бұрын қауіпсіздік тексерістері дәл сол себепті жүргізіледі: біз әлі оның неге қауқарлы екенін білмейміз», – деді Anthropic.
