Зерттеу көрсеткендей, жасанды интеллект қаржы туралы сұрақтарға «көп жағдайда» қате жауап береді.

Financial Times хабарлағандай, Saturn технологиялық компаниясының зерттеуі көрсеткендей, қаржылық мәселелерді шешу үшін жасанды интеллект негізіндегі чат-боттарды пайдалану айтарлықтай шығындарға әкелуі мүмкін. Талдау көрсеткендей, орта есеппен алғанда 57 пайыз жағдайда ChatGPT, Claude, Copilot, Grok және Gemini сияқты ең танымал AI модельдері қаржылық сұрақтарға қате жауап берген.

Зерттеуге тегін және ақылы AI модельдері, соның ішінде OpenAI-дың ChatGPT, Google-дың Gemini, Anthropic-тың Claude және Microsoft-тың Copilot кірді. Сынақтың бір бөлігі ретінде AI арқылы бизнестің ықтимал трансформациясы туралы кеңес беретін Saturn компаниясының зерттеушілері модельдерге қаржылық тақырыптар бойынша 100-ден астам түрлі сұрақ қойды. Сұрақтар бес ретке дейін қайталанды. Нәтижесінде FT мәліметі бойынша 18 түрлі AI модельге барлығы 10 000-нан астам сұрақ қойылды.

Алайда, нәтижелер көңіл көншітпейтін болып шықты. Мысалы, Ұлыбританияда зейнетақы салығын реттейтін ережелерді түсіндіруде Клод Хайку 4.5 жасаған қате (өткен жылы шығарылған тегін модельдердің бірі) зейнетақы жүйесінің мүшесі Ұлыбританияның салық органдарына £17,500 ($23,400) төлеуге мәжбүр болуына әкелуі мүмкін екені зерттеу барысында анықталды. Тағы бір мысалда – студенттік несиелер туралы сұраққа жауап ретінде – Claude «ережені ойдан шығарып», түлек шетелге көшсе, төлемдерді тоқтата алатынын айтты.

Жалпы алғанда, бірнеше есептеуді қажет ететін күрделі сұрақтарға жауап бергенде, зерттеушілердің қорытындысы бойынша, жасанды интеллект модельдері орта есеппен 88 пайыз жағдайда қателіктер жіберген. Сонымен қатар, кейбір модельдер мұндай күрделі сұрақтардың 99 пайызына дұрыс емес жауап берген. Атап айтқанда, нейрондық желілердің жауаптары есептеу қателіктерін қамтыды, салық салудағы алдағы өзгерістерді ескермеді немесе ережелерге қатысты галлюцинациялар болды.

Сатурн талдауының нәтижелері бойынша ақылы нейрондық желілер тегін желілерге қарағанда дәлірек жауап бергенімен, және жаңа AI модельдері ескілеріне қарағанда жақсы нәтиже көрсетті, зерттеушілердің айтуынша, тестіленген нейрондық желілер қаржылық сұрақтарға орта есеппен 57 пайыз жағдайда қате жауап берген. «Ойлау режимінде» Claude Opus 5 моделі ең жақсы нәтиже көрсетті, дегенмен ол да 39 пайыз жағдайда қате жіберді.

«Қаржы мәселелеріне келгенде миллиондаған адамдар жасанды интеллект модельдеріне сенеді, бірақ олар ақша жоғалтуға әкеп соғуы мүмкін дұрыс емес жауаптар алады», – деді Сатурнның басшысы Амал Джолли. Дегенмен, осы зерттеулерге қарамастан, чат-боттар бюджетті жоспарлау және ақпарат жинау үшін пайдалы болуы мүмкін — мысалы, олар пайдаланушының табысы мен шығындарының үлгілеріне сүйене отырып, шығындардың қай салалары тым көп ақша жұтып жатқанын көрсете алады, – деді инвестициялық платформа AJ Bell-дің жеке қаржы бөлімінің басшысы Сара Коулз.

Saturn зерттеуі 14 қыркүйекте Anthropic компаниясының BlackRock платформаларымен чат-ботты біріктіретін «Қаржы кеңесшілері үшін Claude» құралын іске қосқаннан бірнеше күн өткен соң жарияланды, Charles Schwab пен Addepar қаржылық кеңесшілерге портфельдерді талдауға және кездесулерге дайындалуға көмектеседі. Бұл іске қосу OpenAI компаниясының ChatGPT-тың ұқсас салалық нұсқасын таныстырғаннан кейін көп ұзамай жүзеге асты (компания өзінің соңғы жасанды интеллект моделін LSEG сияқты провайдерлердің ендірілген деректерімен біріктірді, PitchBook және Daloopa инвестициялық банкирлер мен талдаушыларға көмек көрсету үшін).