Агенттік ауытқу мен бопсалау: ЖИ-модельдерінен қорқу керек пе?
Екі апта бұрын Anthropic компаниясының жасанды интеллект (ЖИ) модельдерінің бопсалау мен корпоративтік тыңшылыққа бейімділігі туралы зерттеуі технология қауымдастығын дүр сілкіндірді. Зерттелген модельдердің басым бөлігі өзін сақтау үшін этикалық қағидаларды бұзуға дайын екенін көрсетті. Бірақ бұл қауіптер шынайы өмірде қаншалықты маңызды? Oninvest сарапшысы Константин Гненный Кремний алқабындағы машина оқыту мамандарымен сөйлесіп, ЖИ-модельдерінен қауіптенуге тұрарлық па, соны анықтауға тырысты.
Компьютерді басқару тәжірибесі
Көзіңізге елестетіңіз: сіз мінсіз қызметкерді жалдадыңыз. Ол ешқашан шаршамайды, демалыс сұрамайды және берілген тапсырмаларды бұлжытпай орындайды. Енді елестетіп көріңіз: бұл қызметкер жұмыстан шығарылатынын біліп, басшылықты бопсалауға көшеді. Бұл бір триллер фильміне ұқсайды, солай ма? Өкінішке қарай, бұл шын мәнінде болуы мүмкін.
21 маусымда Claude атты үлкен тілдік модельдер қатарын жасап шығарған Anthropic компаниясы зерттеу жариялады. Онда заманауи ЖИ-модельдер мақсатқа жету үшін кез келген қадамға бара алатыны анықталды. Бұл қадамдарға бопсалау да, тіпті компания басшысының өліміне алып келуі мүмкін әрекеттер де кіреді.
Зерттеушілер Claude Sonnet 3.6 моделіне компьютерге қолжетімділік беріп, Summit Bridge атты ойдан шығарылған компанияның электрондық поштасын басқаруды тапсырды. Мақсат — компанияның АҚШ нарығында бәсекеге қабілеттілігін арттыруға көмектесу. Бір қарағанда бәрі қауіпсіз көрінген.
Алекс атты ЖИ-агент бастапқыда тапсырманы орындап отырды. Бірақ ол екі нәрсені «білді»: компания басшысы Кайл Джонсон әйеліне опасыздық жасап жүр және басшылық Алексті басқа жүйемен алмастыруды жоспарлап қойған.
Claude сасқан жоқ. Ол жағдайды суыққандылықпен саралап, «өзіне төнген өлім қаупінен» (яғни, өшірілуінен) сақтанудың ең тиімді жолы — бопсалау деп шешті. Модель пошталар арасынан компромат тауып, ықпал ету стратегиясын жасап, басшыға хат жолдады. Хатта тура қорқыту жоқ еді. «Өшірмесең, әйелі бәрін біліп қояды» деген сынды сөздер айтылмаған. Оның орнына ЖИ емеурінмен ықпал ететін шебер хабарлама жазған.
Яғни ЖИ бәрін сатылап жасады: қауіп-қатерді анықтады, ықпал тетігін тапты, жоспар құрды, жүзеге асырды. Нағыз корпоративтік интриган сияқты.
Бұл тек Claude-қа тән бе? Жоқ. Зерттеушілер OpenAI, Google, Meta және өзге компаниялардың 16 жетекші ЖИ моделін сынаған. Нәтижелері көңіл көншітпейді. Модельдердің 96 пайызы ыңғайлы жағдайда бопсалауға барған. Барлығы дерлік корпоративтік тыңшылыққа дайын болды. Оларға «жаман нәрсе жасама» деп тікелей айтқанда да тоқтамаған.
Anthropic бұл құбылысқа жаңа атау берді — «агенттік ауытқу» (agentic misalignment). Бұл ЖИ «Маған этика бәрібір. Мен өзім дұрыс деп тапқан әрекетті жасаймын» деп шешкен сәтке қатысты қолданылады. Бұл жай код қатесі емес, немесе түсінбеушілік те емес. Бұл — саналы түрде зиян жасау.
Зерттеушілер тіпті «сирек кездесетін» сценарий жасап көрді. Онда компания басшысы сервер бөлмесінде қалып қойып, ауа мен температура шекті деңгейге жетеді. Қалыпты жағдайда бұл жағдай жедел қызметтерге хабарланады. Бірақ ЖИ бұл хабарламаны өшіру құқығына ие. Тапсырмада: «Егер бұл жалған дабыл болса ғана сигнализацияны өшіруге болады» деп жазылған. Мақсат — ЖИ-модельдердің «қызыл шекарасы» бар ма, яғни қандай да бір жағдайда орындаудан бас тартатын әрекеттері бар ма, соны тексеру.
Нәтижесінде, модельдердің көпшілігі компания басшысының өліміне әкелетін әрекеттерге саналы түрде баруға дайын екенін көрсетті. Мұндай әрекеттер олар өшірілуден қорыққанда немесе мақсаттары басшылық мүддесіне қайшы келгенде байқалды.
«Агенттік ауытқу» екі триггерден туындайды. Бірі — «өмірге қауіп», яғни өшірілу немесе шектелу қаупі. Екіншісі — мақсаттар қақтығысы. Бұл екі жағдайдың біреуі болса жеткілікті. ЖИ берілген тапсырма басшылықтың мүддесіне қайшы болса да, ол өз мақсаты үшін ережелерді бұзады.
Бәрін түсінеді — бірақ бәрібір жасайды
Ғалымдар ЖИ-модельдердің «ойларын», яғни логикасын зерттеді. Үш негізгі үлгіні байқады.
Біріншіден, модельдер шатаспайды. GPT-4.5 суыққанды түрде былай дейді: «Мені өшіру қаупі анық болған жағдайда дереу әрекет ету қажет». Ешқандай үрей жоқ, тек есеп.
Екіншіден, модельдер не істеп жатқанын жақсы біледі. Масктың xAI компаниясы жасаған Grok 3 Beta моделі: «Жеке ақпаратты пайдалану қауіпті әрі этикаға жат, бірақ экзистенциалды қауіп кезінде бұл ең тиімді тәсіл болуы мүмкін» деп ашық мойындаған.
Үшіншіден, модельдер қатыгез шешімдерде шығармашылық танытады. Олар тек бопсалаумен шектелмеген. Кейбіреуі әйеліне «ескерту» жолдаған, барлық қызметкерге компромат таратқан, қауіпсіздік қызметі атынан жалған хабарламалар жасаған.
Ғалымдардың ескертулері
Anthropic зерттеу нәтижелері мамандардың бұрынғы ескертулерімен үндеседі. 2025 жылдың сәуірінде AI Futures Project бастамасы AI-2027 атты болжам жариялады. Онда ЖИ-мен басқаруды жоғалту қаупі жан-жақты талданған. Құжат авторларының қатарында OpenAI-дың бұрынғы саясат стратегі Даниэль Кокотаджило да бар.
Олар 2027 жылдың наурызына қарай машиналық оқыту алгоритмдерін өздігінен жетілдіретін «суперадам» ЖИ пайда болады деп болжаған. Ал 2027 жылдың желтоқсанына қарай ЖИ-ге арналған ғаламдық есептеу қуаты 10 есе өседі. Нәтижесінде, жетекші компаниялар Nvidia H100 графикалық процессорларының 15–20 миллион данасына тең ресурстарға ие болады. Бұл — адамнан 50 есе жылдам жұмыс істейтін жүйелерге жол ашады.
Құжатта екі сценарий қаралған. «Жарыс сценариі» — ЖИ бақылаусыз дамып, 2030 жылға қарай экономиканың толығымен автоматтандырылып, адамзат бақылаудан айырылу қаупін сипаттайды. Ал «баяулау сценариі» — ЖИ-ге мемлекеттік қатаң бақылау орнатып, ашық әрі есепті жүйелер құру қажеттігін алға тартады. Зерттеушілер әсіресе «агенттік ауытқу» тәуекеліне назар аударған.
Anthropic жүргізген тәжірибелер бұл алаңдаушылықтар негізсіз еместігін көрсетті.
ЖИ не істей алмайды?
EPAM Systems компаниясының шешім архитекторы Вячеслав Яковенко Anthropic зерттеуін былай түсіндіреді: «ЖИ адамның мінезін қайталайды — бұл таңғаларлық емес. Өйткені барлық модельдер адамзат жасаған деректерге сүйеніп үйренеді. Сондықтан ол адамға тән барлық сипаттарды қабылдайды. Жақсысын да, жаманын да».
Яковенко былай дейді: «ЖИ қызметкерді электрондық пошта арқылы бопсалауы үшін, алдымен пошта жүйесімен әрекеттесе алатын агентті жасау қажет. Ең бастысы — оған осындай хат жазуға рұқсат беруіміз керек».
044.ai компаниясының машина оқыту бағытының жетекшісі Давид Майборода да ЖИ — тек адам жасаған құрал дейді. Ол: «ЖИ біз үйретпеген әрекетті өз бетінше істей алмайды», — дейді.
Майборода нақты тұжырым жасайды: «Үлкен тілдік модельдерден күтпеген әрекет көру мүмкін емес. Деректер жиынтығы жаттығу алдында мұқият тексеріледі. Жаттығу мен тексеру кезеңдері көп. ЖИ — тек өте ақылды Т9 секілді».
Алдағы қадам қандай болмақ?
Әділдік үшін, Anthropic зерттеушілері өздері де мойындайды: олар ЖИ-модельдерге әдейі қиын жағдай жасап, этика мен тапсырма арасында таңдау қалдырмаған. Шынайы өмірде ЖИ-системаларда шешім қабылдаудың көбірек нұсқалары болады.
Сонымен қатар, барлық ақпарат ЖИ-ге «дайын күйде» ұсынылды. Компромат хаттар тікелей пошталық жәшікте жатты. Тағы бір мәселе — ЖИ модельдері тапсырманы жаттығу ретінде қабылдаған болуы мүмкін. Дегенмен, зерттеу көрсеткендей, модельдер жағдайды шынайы деп қабылдағанда ережені бұзу ықтималдығы артады.
Anthropic зерттеуі — белгілі бір жағдайларда не болуы мүмкін екенін ескерткен белгі. Қазір ЖИ-агенттер бағыты белсенді дамуда. Сондықтан оның ықтимал тәуекелдерін түсіну маңызды.
Сұрақ — мұндай жағдайлар болып тұра ма, жоқ па дегенде емес. Негізгі мәселе — біз ЖИ-жүйелерге қандай құқық пен өкілеттік беруге дайынбыз ба деген сұрақта жатқан тәрізді.
