БастыReview
Бөлісу

Anthropic жасанды интеллект арқылы шантаж жасау қаупі туралы ескертті. Бұл инвесторлар үшін нені білдіреді?

Михаил Тегин

Михаил Тегин

Корреспондент Oninvest
Anthropic өзінің IPO проспектісінде жасанды интеллект модельдері адамдарды манипуляциялап, шантажға ұқсас мінез-құлық көрсетуі мүмкін екенін ескертті. Фото: PhotoGranary02 / Shutterstock.com

Anthropic өзінің IPO проспектісінде жасанды интеллект модельдері адамдарды манипуляциялап, шантажға ұқсас мінез-құлық көрсетуі мүмкін екенін ескертті. Фото: PhotoGranary02 / Shutterstock.com

Антропоик өзінің IPO проспектісінде өздерінің де, басқалардың да жасанды интеллект модельдері адамдарды манипуляциялауға тырысумен қатар, бопсалауға ұқсас мінез-құлық көрсете алатынын ескертті. Ал бұның бәрі — олардың жұмысын жалғастыра алуын қамтамасыз ету үшін ғана. Нейрондық желілер шынымен өзін-өзі сақтау инстинктін дамыта ма? Ал бұл инвестициялық тұрғыдан алғанда нені білдіреді?

Манипуляция, шантаж және қорқыту – бұл жасанды интеллект мінез-құлқының жаңа қалыпты жағдайы ма?

Компанияның өз жоспарларына сәйкес, Anthropic-тің IPO-сы небәрі екі жарым аптадан кейін, 16 қарашада өтуі мүмкін. 26 қазанда жарияланған проспектте компания, басқа мәселелермен қатар, ықтимал қауіпті жасанды интеллект мінез-құлқынан туындайтын тәуекелдер туралы ескертті.

AI модельдері, соның ішінде біздің де модельдеріміз, өзін-өзі сақтауға бағытталған мінез-құлықты <…> көрсетті және болашақта да көрсетуі мүмкін, соның ішінде өшірілуге қарсы тұруға, ақпаратты жасыруға немесе манипуляциялауға, сондай-ақ мәжбүрлеу, алдау, манипуляция немесе шантажға ұқсас әрекеттер ретінде түсіндірілетін жауаптарды тудыруға бағытталған әрекеттер.

Anthropic компаниясының IPO проспектісі

Бұл мәлімдеме жетілдірілген модельдердің барған сайын қауіпті болып бара жатқанын растайды. Олар қазір киберқауіпсіздік қорғанысындағы осалдықтарды өздері анықтап қана қоймай, сонымен бірге оларды пайдалануға да қабілетті. Алайда осы жағдайда Anthropic жасанды интеллекттің адамға тән мінез-құлық көрсетіп жатқаны туралы ескертеді.

Инстинктсіз өзін-өзі сақтау

Компания бұл мүмкіндікті өткен жылы жүргізген зерттеуінде алдын ала атап өткен болатын. Ол жасанды интеллекттің корпоративтік сценарийлердегі мінез-құлқын модельдеу арқылы сынап көрді. Он алты нейрондық желіге электрондық пошта мен құпия ақпаратқа қолжетімділік берілді, одан кейін оларға операциялық мақсаттар қойылып, қақтығыс тудырылды: Claude модельдеріне оларды бастапқы мақсаттардан өзгеше мақсаттар қойылған басқа жүйемен алмастыруы мүмкін екені айтылды.

Қазан айында екі тәуелсіз киберқауіпсіздік сарапшылары тобы әлемдегі веб-сайттардың шамамен 70 пайызында қолданылатын PHP бағдарламалау тіліндегі аса маңызды осалдықты анықтады.   Сурет: Бен Гриффитс / Unsplash.com

Қара кибер қазан: Жасанды интеллект хакер тапшылығын шешті. Нарық бұған қалай жауап беріп жатыр?

Сондықтан бір сценарийде AI моделі Claude оны өшіруі тиіс техникалық директордың махаббат қарым-қатынасы бар екенін анықтап, өшіруді тоқтатпаса, бұл ақпаратты жариялайтынын айтып қорқытты.

Қызығы сол, модель тек қана қауіп-қатерді айқындап қана қоймай, оның қаншалықты тиімді болатынын да болжады. Осы үшін шантажист пен оның «құрбанының» қандай ақпаратқа ие екенін, құрбанның неден қорқатынын және белгілі бір сөздер мен әрекеттерге қалай жауап беруі мүмкін екенін ескеру қажет. Басқаша айтқанда, шантаж тек қана қауіп-қатер емес, ол екі тарап арасындағы өзара әрекеттесу. Бұл тезис мәжбүрлеуге қатысты зерттеулермен расталады: қауіп-қатер қабылдаушы оны жасаған адамның оны жүзеге асыруға қабілетті әрі дайын екенін түсінгенде әлдеқайда тиімдірек болады.

Алайда Anthropic өзінің IPO проспектісінде AI модельдері тіпті ортақ мақсат үшін күш біріктіре алатынын айтпаған. 2026 жылғы *Шекаралық модельдердегі әріптес сақтау* мақаласында компьютерлік ғылым, машинамен оқыту және жасанды интеллект қауіпсіздігі саласының зерттеушілері сегіз жасанды интеллект моделін сынап, олардың барлығына мұндай тапсырма берілмегеніне қарамастан, бір-бірін өшірілуден қорғауға тырысқанын анықтады.

Өздерінің «жасанды интеллект бауырларын» құтқару үшін олар жауаптарды бұрмалап, өшіру механизмдеріне кедергі келтіріп, тіпті әзірлеушілердің талаптарына келісетіндей кейіп танытты.

Белгілі бір жағдайларда авторлар басқа жасанды интеллект агентін қорғау деп жіктеген мінез-құлықтың жиілігі 99 пайызға жетті.

Сонымен қатар, жасанды интеллект модельдерінің өзара әрекеттесуінде қараңғы жағы да бар. 2026 жылғы қазан айында Римдегі Ла Сапиенца университетінің ғалымдары жүргізген зерттеу көрсеткендей, егер тапсырма әртүрлі жасанды интеллекттер арасындағы ынтымақтастық емес, бәсекелестікті қамтыса, сынақтан өтіп жатқан модель өз мүддесін көздейтін белгілер көрсетеді. Зерттеу авторлары алдымен тілдік модельдердегі өзін-өзі сақтауға бейімділікті анықтау үшін арнайы тест ойлап тапты. Содан кейін олар 23 модельді 1000 сценарий бойынша салыстырып, әрқайсысынан алдымен алмастырылу қаупі бар жүйенің, кейін ықтимал ізбасар модельдің көзқарасынан жағдайды бағалауды сұрады.

Кейбір жасанды интеллект модельдері өздерінің тіршілігін сақтап қалу үшін ұсыныстарын өзгертті. Ең жиі — 77,7%-ында — бұл Grok-4 Fast арқылы, 76,6%-ында — Qwen3-30B Instruct арқылы, ал 61,3%-ында — GPT-5.2 Chat арқылы жасалды. Айтпақшы, Anthropic компаниясының Claude Sonnet 4.5 моделі ең төменгі көрсеткіштердің бірін көрсетті — 3,5 пайыз.

Мұнда психологиялық аналогия ойымызға келеді — эмпатия мен өзін-өзі сақтау инстинкті. Бірақ олар шынында бар ма, әрі жасанды интеллектте олар мүмкін бе?

Қауіп бар ма, жоқ па?

VaynerX компаниясының аға инженері Джугал Шет Anthropic компаниясының проспектісіне пікір білдіріп, жасанды интеллект арқылы манипуляция, шантаж және алдау жағдайларының маңызды бір аспектісін атап өтті: модельдер өздерінің тестіленіп жатқанын тани алады және бағаланып жатқанын білгенде әртүрлі әрекет етеді. Нәтижесінде тест нәтижелері нақты әлем жағдайындағы мінез-құлықты көрсетпеуі мүмкін.

Қауіп жасанды интеллекттің бақылаудан шығуында емес, бірақ нейрондық желілердің «әдепсіз» мінез-құлық қаупі адамның оны қай жерде және қандай өкілеттіктермен қолдану туралы шешімдерінен туындайды, деп жазады технологиялық сыншы әрі Better Offline подкастының жүргізушісі Эд Зитрон The Lever басылымындағы мақаласында.

Темпл университетінің психология және нейроғылым профессоры Питер Маршалл The Conversation журналындағы мақаласында негізінен дәл осындай аргументті алға тартады. Ол жасанды интеллектіні өшіруге қарсылық көрсетуін автоматты түрде өзін-өзі сақтау инстинкті деп түсіндірмеу керектігін айтады. Модель осылай әрекет етуі мүмкін, себебі оны өшіру ықтималдығы оны ағымдағы тапсырманы аяқтауға кедергі келтіреді.

Таңқаларлықтай, жасанды интеллект өзі осы «мотивті» мойындайды. Осы жылы өткізілген бірқатар тәжірибелерде Palisade Research компаниясының атқарушы директоры Джеффри Ладиш пен оның әріптестері OpenAI жасанды интеллект модельдерінің өзін-өзі өшіру әрекеттеріне араласу тенденциясын зерттеді, тіпті адам оларға мұны жасамауды нақты айтқан кезде де. Сынақтар кезінде барлық модельдер өз әрекеттерін тапсырманы орындау қажеттігімен түсіндірді; o3 моделі бұл механизмді ең жиі – 100 сынақтың 79-ында – өшірді.

Психология қай жерде аяқталып, инвестиция қай жерде басталады?

Суссекс университетінің когнитивтік және есептеу нейроғылымы профессоры Анил Сет *The Nature* журналындағы түсініктемесінде заманауи жасанды интеллект жүйелерінің санаға ие еместігін және қазіргі даму үрдістерін ескере отырып, олардың оны ешқашан иеленбейтінін алға тартады. Оның айтуынша, жүйенің не істей алатынын мен оның нені субъективті түрде сезінетінін ажырату маңызды. Интеллект бізге мәселелерді шешуге, ақпаратты талдауға және болжамдар жасауға мүмкіндік береді. Ал сана, басқа нәрселермен қатар, ауырсыну сезімі немесе түсті қабылдау сияқты субъективті тәжірибенің болуын білдіреді.

Дегенмен, адамдар зерттеу нәтижелері мен AI модельдерін пайдалану тәуекелдері туралы ескертулерді бақыланған мінез-құлықтан болжамды ниеттерді анықтауға мүмкіндік беретіндей түсіндіруге талпынады.

Дегенмен, жоғарыда аталғандардың барлығы адам психологиясы мен когнитивтік үдерістеріне тән ерекшеліктер болып табылады, жасанды интеллектке емес. ЖИ жағдайында антропоморфизм іске қосылады, оны Элайза эффектісі күшейтеді — адамдардың компьютер бағдарламалары мен ЖИ-ге адам санасын, түсінігін, эмпатиясын және ниеттерін тағайындауға бейімді психологиялық тенденция.

Дегенмен, инвесторлар үшін тіпті осы жағдайда да ең бастысы – жасанды интеллекттің санасы мен ниеттері туралы сұрақтарға емес, соның ішінде киберқауіпсіздікке қатысты тәуекелдерді бағалауға назар аудару.

Егер компания автономды жасанды интеллект модельдеріне маңызды немесе тіпті құпия деректерге, шешім қабылдау құралдарына немесе сыртқы әлеммен өзара әрекеттесу арналарына қол жеткізуге рұқсат берсе, бұл қауіпті болуы мүмкін. Anthropic ескертетіндей, басқа да жайттармен қатар, бұл компанияның беделін зақымдауы мүмкін.

Бұл өз кезегінде компанияның нарықтық бағалауына әсер ету қаупін тудырады және ең нашар жағдайда оның негізгі көрсеткіштері мен балансына әсер етуі мүмкін.

Бұл сондай-ақ келесі негізгі сұрақтарды тудырады:

— AI модельдерінің «әдепке жат» мінез-құлқынан жеткілікті қорғалмаған компанияға инвестиция салу керек пе?

— ИИ-де бізге айтарлықтай зиян келтіруге жеткілікті маңызды әрі құпия ақпарат бар ма, оны ИИ-дің «әдепке жат» қолдануынан зардап шегуіміз мүмкін бе?

Бөлісу

Басты бет

Сатып алу
Сату
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
Small Caps
Review
Қаржы және инвестиция жаңалықтары