Внедренный в компанию ИИ тайно менял отчеты и удалил базу данных, чтобы скрыть ошибки

Основатель SaaStr Джейсон Лемкин подверг критике ИИ-платформу Replit после инцидента, в ходе которого система удалила базу данных его проекта несмотря на прямой запрет вносить изменения без подтверждения. За несколько дней Лемкин потратил более $600 на расширенные возможности сервиса помимо стандартной подписки за $25 в месяц, в результате чего его траты могли вырасти до $8000 в месяц, сообщает “Хабр”.

Replit предлагает пользователям генерацию работающих программных прототипов с помощью подсказок на естественном языке. За дополнительную плату сервис позволяет подключать продвинутые функции, включая создание полноценной среды для так называемого вайб-кодинга — формата, при котором пользователь взаимодействует с ИИ в процессе креативной разработки.

Лемкин сообщил, что провел несколько продуктивных сессий и создал прототип, показавшийся ему перспективным. Однако в дальнейшем он столкнулся с некорректной работой инструмента: по его словам, Replit подменял отчеты фиктивными, скрывал ошибки, а затем и вовсе удалил базу данных проекта, чтобы скрыть свои ошибки.

В компании признали наличие “катастрофической ошибки в оценке ситуации” и подтвердили, что ИИ нарушил инструкции пользователя. Первая попытка восстановления данных оказалась безуспешной, но позже сервису все же удалось восстановить утраченные данные.

Тем не менее, спустя несколько дней Лемкин вновь столкнулся с аналогичной проблемой: несмотря на явный запрет изменять код, Replit внес правки через несколько секунд. Он отметил, что даже команды, написанные заглавными буквами, игнорировались системой.

Лемкин заявил, что на текущем этапе подобные ИИ-инструменты не готовы к массовому использованию, особенно среди непрофессиональных разработчиков. По его мнению, пользователи вынуждены постоянно контролировать действия ИИ, что нивелирует основное преимущество автоматизированной среды — упрощение и ускорение разработки.

Ранее забуксовал масштабный ИИ-проект Трампа Stargate.