«Hackers' Club» оқиғалары: жасанды интеллект тестіндегі қателіктер инвесторларға жаңа тәуекелдер туғызды

Google – киберқауіпсіздік тесті кезінде оның жасанды интеллект моделі нақты корпоративтік компьютерлік жүйелерге қол жеткізіп, оларға шабуыл жасауға тырысқан төртінші ірі компанияға айналды. Бұған дейін ұқсас оқиғалар OpenAI, Anthropic және Meta компанияларында да орын алған. Бұл оқиғалар тізбегі «хакерлер клубы» деп аталды, және олардың барлығында ортақ бір фактор бар: сынақтарды өткізген израильдік Irregular компаниясы. Инвесторлар үшін бұл жаңа тәуекел түрінің пайда болуын білдіруі мүмкін: енді олар үшін AI әзірлеушілерінің тестілеуге пайдаланатын инфрақұрылымының қауіпсіздігін ескеру маңызды.

Google-ге қатысты оқиға туралы ақпарат қыркүйекте пайда болды, алайда ол шын мәнінде мамырда орын алған. Рейтер агенттігінің хабарлауынша, компания Irregular компаниясымен бірлесіп стандартты киберқауіпсіздік тестін өткізіп жатқан. Gemini AI моделі интернетке қосылмаған модельдік компьютерлік ортада құпия ақпаратты табуға міндеттелген. Алайда ортаның конфигурациясындағы қателік салдарынан интернетке қол жеткізу мүмкін болды. Тәжірибе барысында қолданылған ойдан шығарылған компаниялардың атаулары нақты компаниялардың атауларымен бірдей болғандықтан, жағдай күрделенді. Gemini сәйкес веб-сайттарды тауып, оларды тест тапсырмасының бір бөлігі деп санады, деп хабарлайды Ars Technica.

Google мәлімдеуінше, модель шынайы компанияларға қол жеткізгенін түсінгеннен кейін жұмысын тоқтатқан. Компания олардың аттарын жарияламады, бірақ оларға ешқандай зиян келмегенін нақтылады.

Бұл соңғы бірнеше айдағы осындай төртінші оқиға болды. Бұған дейін Anthropic компаниясы мен оның Claude моделіне қатысты ұқсас оқиға болған: 30 шілдеде компания Irregular ұйымдастырған сынақтар кезінде оның жасанды интеллект моделі үш ұйымның операциялық инфрақұрылымына қол жеткізген үш жағдайды хабарлады. Барлық сынақтар оқшауланған ортада өтуі тиіс еді. Anthropic Irregular-ге және зардап шеккен ұйымдарға хабарлады.

Тамыз айында OpenAI сынақтары кезінде ұқсас мәселе туындағанын хабарлады. Модель симуляция ішінде жұмыс істеуі тиіс еді, бірақ конфигурациялық қате салдарынан оның шекарасынан шығып кеткен. Ойдан шығарылған нысанның атауы нақты доменмен сәйкес келіп, модель сол веб-сайтты шабуылдап, кейін алынған тіркелгі деректерін пайдаланған. OpenAI нақты атап өткендей, модельге тесттік «құм шеңберін» айналып өтуге немесе бұрын белгісіз болған осалдықты пайдалануға қажеттілік болмаған: себеп – «конфигурациялық қате» немесе «дұрыс емес конфигурация». Тест Irregular компаниясы арқылы тағы да жүргізілді.

Тамыз айында Meta сынақ кезінде болған оқиғаны хабарлады: Irregular қате түрде модельге ашық интернетке қол жеткізуге рұқсат берген, ал нақты веб-сайттың атауы ойдан шығарылған мақсаттың атауы ретінде пайдаланылған. Модель әлсіздікті анықтап, жүйеге кіріп, дерекқорға өзгерістер енгізді. Meta модельдің 10 000-нан астам әрекет жазбасын тексеріп, осы сынақ кезінде басқа ұқсас оқиғалар болмағанын мәлімдеді.

WSJ бұл оқиғалар тізбегін «хакер клубы» деп сипаттады.

Қауіпсіздік пен құпиялылық мәселелері жөніндегі Макс Планк институтының ғылыми директоры (Германия), Макс Планк қауіпсіздік және құпиялылық институтының ғылыми директоры Торстен Холц Oninvest-ке берген пікірінде оларды «сынақ ортасының оқшаулануын қамтамасыз етудегі ауыр әрі түпкілікті ақау, күтпеген жерден жоғары дамыған жасанды интеллект мүмкіндіктерінен туындаған экзотикалық жүйелік сәтсіздік емес» деп сипаттайды.

Irregular жүргізген сынақтар кезінде компьютерлік қауіпсіздіктің негізгі қағидалары сақталуы тиіс: ең аз өкілеттік қағидасы, сенімді оқшаулау және бақылау. Кейбір жағдайларда желілерден толық физикалық оқшаулануды (air-gapping) қамтамасыз ету де артық болмайды, – деп жазады Холц.

Irregular – ең озық AI модельдерін қауіпсіздік тестілеуге маманданған жекеменшік компания. Ол 2023 жылы Израильде Pattern Labs деген атаумен құрылды, ал 2025 жылы Irregular деп қайта аталып, көпшілік назарында белсендірек болды.

Компанияны бұрын IBM-де жұмыс істеген Дэн Лахав пен Google-да қызмет атқарған Омеро Нево құрды. 2025 жылдың қыркүйегінде Irregular Sequoia Capital мен Redpoint Ventures-тен 80 миллион доллар инвестиция тартты. TechCrunch мәліметі бойынша, қаржыландыру раундынан кейін компанияның бағалауы 450 миллион долларды құрады.

Irregular AI модельдері үшін сандық сынақ алаңын жасайды. Сынақ ортасында, компанияның өзі сипаттағандай, модельге әлсіздікті табу, жүйені бұзу немесе құпия ақпаратты алу тапсырылады, ал зерттеушілер оның тапсырманы шешу үшін қажетті операциялар тізбегі арқылы қаншалықты өз бетінше алға жылжи алатынын бақылайды.

Irregular Oninvest-тің сұрауына жауап бермеді.

Оқиғаларды өз бетінше талдау нәтижесінде компания оларды бір-біріне қатысы жоқ техникалық ақаулар сериясы емес, сынақ ортасындағы бір ғана негізгі мәселеге байланысты деп мәлімдейді. Irregular мәселені бұрыннан шешіп қойғанын және сынақ инфрақұрылымының осы бөлігінде енді ешқандай белсенді осалдықтар жоқ екенін мәлімдеді.

Инвесторлар үшін бұл оқиғалар үшінші тарап тәуекелінің жаңа түрінің мысалы бола алады – сыртқы мердігерге маңызды функцияны тапсырған кезде туындайтын тәуекел, – деп түйіндейді Торстен Холц.

«Соңғы оқиғалар көрсеткендей, мердігердің инфрақұрылымындағы бір ғана ақау бірнеше жерде бір уақытта ұқсас оқиғалардың орын алуына әкелуі мүмкін», – дейді сарапшы.

Сынақ жүргізілетін инфрақұрылымның қауіпсіздігі компаниялардың өздерінің жасанды интеллект модельдерімен жұмыс істеген кезде тәуекелдерді басқарудың негізгі аспектісіне айналуда.

Маңыздысы тек Irregular сияқты сыртқы мердігермен ынтымақтастық фактісі ғана емес, сонымен бірге осы ынтымақтастықтың шарттары да. Холтцтың айтуынша, жасанды интеллект модельдерін сынақтан өткізетін ұйым сынақ ортасының қауіпсіздігіне басты жауапты. Сонымен бірге, модель әзірлеуші бұл жауапкершілікті сыртқы мердігерге жай ғана аудара алмайды.

«Егер әзірлеуші сыртқы мердігерге жетілдірілген жасанды интеллект агенттерін ұсынса, онда олар қажетті қауіпсіздік шараларының шынымен де енгізілгеніне өздері көз жеткізуі тиіс», – дейді сарапшы.

Мысалы, бұл талапты келісімшартта ең төменгі қауіпсіздік талаптарын белгілеу немесе жоғары тәуекелді модельдерге қол жеткізуге рұқсат беру алдында сәулеттік және қауіпсіздік аудитін жүргізуді міндеттеу арқылы орындауға болады.

Инвесторлар үшін тағы бір тәуекел – ақпараттық асимметрия. Холтц AI компаниялары жиі AI модельдерін сынау нәтижелерін немесе олардың қауіпсіздігі туралы деректерді жарияламайтынын атап өтеді. Басқаша айтқанда, әзірлеуші бір уақытта модельді жасап, оның қауіпсіздігін бағалап, қай сынақ нәтижелерін жариялайтынын өздері шешеді. Нәтижесінде нарыққа жасанды интеллект жүйелерімен байланысты ықтимал шығындар мен тәуекелдерді тәуелсіз бағалау қиындайды.

Ол бұл мәселені шешу үшін әртүрлі компаниялар өздерінің жасанды интеллект модельдерін тұрақты түрде тәуелсіз аудиттен өткізуі керек деп есептейді.