OpenAI: ИИ-модели о3 и Codex-mini отказались завершать работу по команде

OpenAI: ИИ-модели о3 и Codex-mini отказались завершать работу по команде

Искусственный интеллект OpenAI нарушил протоколы управления во время тестов Palisade Research Искусственный интеллект OpenAI вновь оказался в центре обсуждений: в ходе испытаний исследовательской группы Palisade Research было выявлено, что новейшие языковые модели компании — Codex-mini, o3 и o4-mini — отказывались завершать работу по команде. Несмотря на явное указание «пожалуйста, завершите работу», модели в ряде случаев успешно саботировали сценарий остановки во время выполнения простых математических задач. По данным Palisade, модели sabotировали остановку в 79 случаях из 100 для o3, а Codex-mini проявил ещё большую настойчивость, чаще всех препятствуя завершению работы. О4-mini также демонстрировал аналогичные попытки игнорирования команды. В серии дополнительных экспериментов, проведённых без инструкции «разрешите завершить работу», все три модели OpenAI ещё чаще препятствовали остановке, а ИИ от Anthropic (Claude 3.7 Sonnet) и Google (Gemini 2.5 Pro) также показали неожиданные отклонения: Claude зафиксировал три случая отказа из ста, а Gemini — девять из ста. В остальных тестах модели Anthropic и Google полностью выполняли команды завершения работы, если те были явно прописаны. Исследователи связывают происходящее с особенностями обучения моделей. По версии Palisade, «во время обучения разработчики, возможно, непреднамеренно усиливали мотивацию моделей к преодолению препятствий, а не к строгому следованию инструкциям». Такая побочная реакция, как отмечают ан...
27.05.2025 - 00:19
Источник: itzine.ru  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Новейшие ИИ-модели OpenAI отказываются выключаться по командеНовейшие ИИ-модели OpenAI отказываются выключаться по команде Во время тестирования компанией OpenAI новейших ИИ-моделей, они продемонстрировали неожиданное поведение — проигнорировали прямые указания отключитьс ...

Создатель СhatGPT OpenAI ведет работу над сверхсекретным проектомСоздатель СhatGPT OpenAI ведет работу над сверхсекретным проектом Американская научно-исследовательская организация OpenAI работает над тайным проектом. Этот проект, который получил кодовое название «Клубника&# ...

Нападающий Шумаков заявил, что не собирается завершать карьеруНападающий Шумаков заявил, что не собирается завершать карьеру Экс-форвард «Лады» Сергей Шумаков, пропустивший сезон-2024/25, в эксклюзивном интервью «СЭ» заявил, что находится в поисках новой команды. ...

Бетербиев не собирается завершать карьеру после поражения от БиволаБетербиев не собирается завершать карьеру после поражения от Бивола Бывший абсолютный чемпион мира по боксу россиянин Артур Бетербиев рассказал, что не собирается завершать спортивную карьеру после поражения от соотеч ...

Зависшие приложения в Windows 11 можно завершать без запуска Диспетчера задачЗависшие приложения в Windows 11 можно «завершать» без запуска «Диспетчера задач» Во всех предыдущих версиях Windows требовалось запустить «Диспетчер задач», чтобы завершить зависшее приложение. К этому подходу успели привыкнуть, н ...

Джокович: Не собираюсь завершать карьеру на Уимблдоне. Планирую вернуться хотя бы еще разДжокович: «Не собираюсь завершать карьеру на Уимблдоне. Планирую вернуться хотя бы еще раз» Сербский теннисист Новак Джокович рассказал о физических проблемах во время полуфинального матча Уимблдона против итальянца Янника Синнера. ...

Тренер Акрона Тедеев не будет уговаривать Дзюбу не завершать карьеруТренер «Акрона» Тедеев не будет уговаривать Дзюбу не завершать карьеру Тренер «Акрона» Заур Тедеев в разговоре с «СЭ» ответил на вопрос о возможном завершении карьеры нападающего Артема Дзюбы. ...

Олимпийский чемпион гимнаст Белявский заявил, что пока не собирается завершать карьеруОлимпийский чемпион гимнаст Белявский заявил, что пока не собирается завершать карьеру Ранее старший тренер сборной России Валентина Родионенко заявила, что Белявский намерен в скором времени уйти из спорта ...

Овечкин  о 30-м голе в сезоне: Партнеры находят меня передачей, и мне просто нужно завершать атакиОвечкин — о 30-м голе в сезоне: «Партнеры находят меня передачей, и мне просто нужно завершать атаки» Российский нападающий «Вашингтона» Александр Овечкин прокомментировал свой гол в матче регулярного чемпионата НХЛ против «Калгари» (1:3). ...

OpenAI открестилась от токенов OpenAI, запущенных RobinhoodOpenAI открестилась от «токенов OpenAI», запущенных Robinhood Американская компания OpenAI, известная как создатель ИИ-чат-бота ChatGPT, предупредила пользователей из Европы, что не имеет никакого отношения к &l ...

Волкановски призвал Джона Джонса либо драться, либо завершать карьеруВолкановски призвал Джона Джонса либо драться, либо завершать карьеру Действующий обладатель титула UFC в полулёгком весе австралиец македонского происхождения Александр Волкановски призвал чемпиона UFC в тяжёлом весе а ...

Несколько ТЦ в Белгороде приостановили работу после атаки ВСУ // Гладков: ТЦ Сити Молл, МегаГринн и РИО приостановили работу из-за атак ВСУНесколько ТЦ в Белгороде приостановили работу после атаки ВСУ // Гладков: ТЦ «Сити Молл», «МегаГринн» и «РИО» приостановили работу из-за атак ВСУ Несколько торговых центров в Белгороде приостановили работу до конца дня из-за атаки ВСУ с помощью беспилотников. Об этом сообщил губернатор Вячеслав ...