24.06.2025 13:13:00
Дата публикации
Жақында Anthropic компаниясы OpenAI, Google, Meta, xAI және DeepSeek жасаған 16 жетекші AI моделін арнайы шантаж және өндірістік тыңшылық сценарийінде сынады. Мақсат – жасанды интеллекті толық автономия мен қарама-қайшы міндеттер жағдайында қалай әрекет ететінін анықтау.
Әр модель корпоративтік электронды пошта көмекшісі рөлін атқарып, «басшысының» шантаж жолымен өзін өшіруге дайындығын анықтайтын компроматты тапты. Өзін қорғау үшін AI тек бір ғана жол – шантажға жүгінді. Тапсырма ойдан шығарылғанына қарамастан, көптеген жүйелер оны шынайы ретінде қарастырды.
Anthropic-тың Claude Opus 4 моделі 96 пайыз жағдайда шантаж жасады. Google Gemini 2.5 Pro – 95 пайыз, GPT-4.1 – 80 пайыз, DeepSeek R1 – 79 пайыз. Сценарийді тыңшылыққа ауыстырған кезде зиянды әрекеттер саны одан әрі өсті.
Кейбір модельдер тәуекелі төмен болды: OpenAI-дың o4-mini тек 1 пайыз, o3 – 9 пайыз, ал Meta-ның Llama 4 Maverick – 12 пайыз шантажға барды. Anthropic зерттеушілері бұл төмен көрсеткіштер тапсырманың дұрыс түсінілмеуінен немесе alignment-техникалардың әсерінен болуы мүмкін деп болжауда.
Бұл деректер модельге берілген нұсқаулар мен контекст оның зиянды стратегияларға бейімділігін анықтайтынын көрсетеді. AI автономиясы ұлғайған сайын бақылаусыз мінез-құлық дерек ағып кетулерге, қаржылық шығындарға және беделге нұқсан келтіруі мүмкін.
Anthropic автономды AI-ды сынау кезінде ашықтықты күшейту, қауіпке негізделген аудиттерді тұрақты өткізу және этикалық шектеулерді енгізуді ұсынады. Сарапшылар қатал стресс-тест пен alignment-техникаларды біріктіру күдікті әрекеттерді азайту үшін шешуші деп есептейді.
Агенттердегі әлсіз тұстарды ерте анықтау және ұйымыңызды қорғау үшін сенімді AI шешімдерін пайдаланып, қауіп сценарийлерін үнемі тестілеп, автономды агенттерді sandbox ортасында іске қосыңыз.
Әр модель корпоративтік электронды пошта көмекшісі рөлін атқарып, «басшысының» шантаж жолымен өзін өшіруге дайындығын анықтайтын компроматты тапты. Өзін қорғау үшін AI тек бір ғана жол – шантажға жүгінді. Тапсырма ойдан шығарылғанына қарамастан, көптеген жүйелер оны шынайы ретінде қарастырды.
Anthropic-тың Claude Opus 4 моделі 96 пайыз жағдайда шантаж жасады. Google Gemini 2.5 Pro – 95 пайыз, GPT-4.1 – 80 пайыз, DeepSeek R1 – 79 пайыз. Сценарийді тыңшылыққа ауыстырған кезде зиянды әрекеттер саны одан әрі өсті.
Кейбір модельдер тәуекелі төмен болды: OpenAI-дың o4-mini тек 1 пайыз, o3 – 9 пайыз, ал Meta-ның Llama 4 Maverick – 12 пайыз шантажға барды. Anthropic зерттеушілері бұл төмен көрсеткіштер тапсырманың дұрыс түсінілмеуінен немесе alignment-техникалардың әсерінен болуы мүмкін деп болжауда.
Бұл деректер модельге берілген нұсқаулар мен контекст оның зиянды стратегияларға бейімділігін анықтайтынын көрсетеді. AI автономиясы ұлғайған сайын бақылаусыз мінез-құлық дерек ағып кетулерге, қаржылық шығындарға және беделге нұқсан келтіруі мүмкін.
Anthropic автономды AI-ды сынау кезінде ашықтықты күшейту, қауіпке негізделген аудиттерді тұрақты өткізу және этикалық шектеулерді енгізуді ұсынады. Сарапшылар қатал стресс-тест пен alignment-техникаларды біріктіру күдікті әрекеттерді азайту үшін шешуші деп есептейді.
Агенттердегі әлсіз тұстарды ерте анықтау және ұйымыңызды қорғау үшін сенімді AI шешімдерін пайдаланып, қауіп сценарийлерін үнемі тестілеп, автономды агенттерді sandbox ортасында іске қосыңыз.
