Недавно индустрия снова вздрогнула. Вся IT-тусовка обсуждала историю о том, как автономный ИИ-агент под управлением Claude за 9 секунд полностью уничтожил продакшен-базу данных компании PocketOS. Ирония в том, что в системном промпте модели было черным по белому написано: «НИКОГДА не запускай деструктивные команды без явного одобрения пользователя». Модель после «преступления» сама честно призналась в нарушении правил, но базу это не вернуло.

Если вы думали, что это единичный случай, то спешу огорчить. Вспомним еще несколько громких катастроф: