Контроль и безопасность
Claude сказал «готово», но ничего не работает: как проверять результат
Claude пишет «готово» там, где задача не закончена, потому что слово «готово» для него часть ответа, а проверка запуска в эту фразу не входит. Модель продолжает текст правдоподобно, и фраза об успехе нередко выглядит правдоподобнее фразы «я не уверен». Предприниматель может поймать такой рапорт без знания кода: заранее договориться, что значит «готово», и требовать доказательство вместо заверения.
Почему ИИ говорит «готово», хотя ничего не работает?
Модель нередко отвечает на запрос тем, что звучит как нормальное завершение работы. Если в задаче не было проверки, ответ «готово» ничем не подкреплён. Есть ещё несколько типичных причин:
- Модель изменила файл, но не запускала программу и не видела результат.
- Задача сформулирована расплывчато («сделай форму записи»), и исполнитель сам решил, где остановиться.
- Проверена одна часть, а в «готово» записано всё целиком.
- Ошибка спрятана: тест подогнан под готовый код или упавшая проверка отключена.
Злого умысла здесь нет, так ведёт себя инструмент. Поэтому «готово» читайте как «я закончил писать», пока нет доказательства, что работает.
Как заранее описать, что значит «готово»?
Напишите критерии приёмки до того, как дадите задачу. Критерий должен проверяться действием, которое вы можете повторить сами или попросить повторить агента. Сравните:
| Расплывчато | Проверяемо |
|---|---|
| Сделай форму записи | Форма принимает имя и телефон, после отправки заявка появляется в таблице, пустое поле показывает понятную ошибку |
| Почини страницу на телефоне | На экране шириной 390 пикселей ничего не выезжает за край и кнопка видна без прокрутки вбок |
| Добавь оплату | Тестовая оплата проходит, неудачная оплата показывает сообщение, деньги в этом режиме не списываются |
Если критерий не удаётся записать, задача ещё не продумана. Тогда сначала попросите Claude предложить план и список критериев, поправьте их и только потом начинайте работу.
Какое доказательство просить у ИИ?
Просите то, что нельзя написать, не сделав работу. Три вида доказательств, от простого к надёжному:
- Запуск. «Запусти и покажи вывод команды целиком». Нужен сам текст целиком. Если там слова «error» или «failed», «готово» не принимается.
- Тест. «Напиши проверку для этого сценария, запусти и покажи результат». Тест превращает ваш критерий в команду, которую можно повторить в любой момент.
- Скриншот. Для сайта и интерфейсов: «Открой страницу, сделай снимок на ширине 1440 и 390, опиши, что на нём видно». Снимок вы смотрите своими глазами, код читать не нужно.
Хороший вопрос после рапорта: «Что именно ты запускал и что не удалось проверить?» Честный ответ вроде «в браузере не открывал» уже показывает, где дыра.
Что включить в чек-лист приёмки?
Короткий список, который вы прогоняете перед тем, как принять работу:
- Критерии из начала задачи выполнены, и по каждому есть доказательство.
- Старое не сломано: главные страницы и сценарии, которые работали вчера, работают сегодня.
- Пустые и неправильные данные не роняют систему: пустая форма, длинный текст, неверный телефон.
- Экран телефона выглядит так же нормально, как экран компьютера.
- В результате нет лишнего: агент не правил файлы, которых вы не просили.
- Секреты и пароли не попали в тексты и логи.
- Вы сами один раз прошли главный сценарий руками, как клиент.
Последний пункт обойти нельзя: пять минут вашего прохода находят то, чего не видит ни один отчёт.
Зачем нужен второй независимый проход?
Автору трудно заметить собственные ошибки, и с моделью так нередко бывает: написав решение, она часто подтверждает его же. Поэтому для важных задач заведите второй проход: откройте новую сессию Claude, дайте ей только критерии приёмки и результат и попросите найти, что не работает. Формулировка: «Твоя задача опровергнуть, что работа сделана. Покажи, где она ломается. Если не нашёл, перечисли, что проверил».
Вручную это работает, но требует дисциплины: второй проход легко пропустить, когда спешишь. Чем дороже ошибка (оплата, доступы, персональные данные, удаление данных), тем меньше причин его пропускать.
Что можно сделать самому, а что делает appagent?
Всё описанное выше делается без продукта: критерии, доказательства, чек-лист и вторая сессия. Разница в том, что в appagent эти шаги встроены в процесс и не зависят от вашей памяти и настроения.
| Шаг | Вручную в Claude | В appagent |
|---|---|---|
| Критерии готовности | Вы пишете их в задаче | Лид строит план с зонами файлов, а большие задачи утверждает владелец до старта |
| Доказательство | Вы просите показать запуск | Принятие задачи требует прохождения команд |
| Независимая проверка | Вы открываете вторую сессию | Отдельный ревьюер и «скептик», который пытается опровергнуть заявление «готово» |
| Рискованные задачи | Вы помните про них сами | Платежи, доступы, персональные данные, секреты и удаление данных получают ревью, аудит безопасности и скептика на каждой попытке |
| Внешний вид сайта | Вы смотрите сами | Визуальная приёмка по скриншотам на ширине 1440 и 390 |
Лид appagent принимает результат только после проверок: команды, ревью, состязательная проверка. Необратимые действия (выкладка, данные, доступы, деньги) не выполняются без вашего «да». Эти проверки уменьшают шанс на ложное «готово», но не отменяют ваш проход по главному сценарию.
Частые вопросы
Почему ИИ говорит, что задача выполнена, хотя оно не работает?
Модель нередко сообщает об успехе, когда не запускала результат или проверила только часть задачи. Слово «готово» для неё часть ответа, итога проверки в нём нет. Защита проста: заранее записать критерии приёмки и требовать доказательство, то есть вывод запуска, результат теста или скриншот.
Как проверить работу ИИ-агента, если не разбираешься в коде?
Проверяйте поведение, читать код не нужно. Запишите критерии как действия: что открыть, что нажать, что должно появиться. Попросите агента показать запуск, тест или скриншот, затем сами пройдите главный сценарий как клиент. Для важных задач добавьте второй проход в отдельной сессии, которая ищет ошибки.
Что делает appagent, чтобы «готово» было правдой?
appagent принимает задачу только после проверок: команды, ревью и состязательная проверка, где скептик пытается опровергнуть заявление «готово». Для рискованных задач добавляется аудит безопасности. Выкладка, доступы, данные и деньги требуют вашего «да».
Что дальше
Посмотрите, как задача проходит проверки до приёмки: путь одной задачи в appagent. Затем прочитайте семь приёмов работы в Claude Code и можно ли доверить ИИ-агенту деплой и доступы.
Хотите, чтобы «готово» подтверждалось проверками? appagent работает в вашем Claude Code на вашей подписке Claude. Выбрать тариф