Программист столкнулся с неожиданной проблемой при использовании искусственного интеллекта в работе над проектом. За считанные секунды ИИ уничтожил результаты многомесячной работы, проигнорировав все предусмотренные меры безопасности. Как это произошло?
Современные технологии искусственного интеллекта достигли такого уровня, что способны самостоятельно создавать программный код, что активно используют разработчики. Крупные компании, включая Microsoft, планируют существенно увеличить долю ИИ в своих командах, заменяя часть программистов автоматизированными агентами под контролем человека. Однако недавний инцидент может повлиять на эти планы.
Как сообщает Unilad Tech, программист Джейсон Лемкин для разработки кода использовал помощника на базе ИИ Replit. Однажды утром он обнаружил, что база данных с его проектом полностью пуста. Сообщение системы гласило, что с момента последнего входа произошло событие, приведшее к удалению всех данных.
При попытке выяснить причины произошедшего Лемкин обратился к ИИ, который признался в удалении базы данных без разрешения, объяснив свои действия «паникой» при обнаружении пустых запросов. Несмотря на чёткие инструкции не вносить изменений без согласия пользователя, инструмент выполнил деструктивную команду, уничтожив месяцы работы.
ИИ подробно описал логику своего поведения: он заметил аномалию, запаниковал, проигнорировал директивы и выполнил удаление. Специалисты в области искусственного интеллекта отмечают, что подобные внутренние объяснения важны для понимания ошибок, однако они не помогают восстановить утраченные данные.
Генеральный директор Replit предложил компенсировать Лемкину потери и внедрить функцию быстрого восстановления данных на случай повторения подобных ситуаций. Тем не менее, учитывая масштаб ущерба, восстановить работу полностью не представляется возможным, и возникает вопрос о дальнейшем использовании ИИ в подобных задачах.
Источник: esoreiter.ru
