Редакционный разбор исследований
13 исследований о надёжности ИИ-помощников
Главный вывод: проверяйте, откуда помощник взял правило, использовал ли нужную память и какое действие действительно выполнил. Подробная инструкция, сохранённая заметка и согласие нескольких агентов сами по себе этого не подтверждают.
Исходная публикация:

Главный вывод: проверяйте, откуда помощник взял правило, использовал ли нужную память и какое действие действительно выполнил. Подробная инструкция, сохранённая заметка и согласие нескольких агентов сами по себе этого не подтверждают.
Субботняя подборка — о четырёх вещах, которые влияют на результат: доверии к источникам, памяти, рабочей среде и проверке решений.
1. Чужой текст может изменить решение
Выдуманное предупреждение об опасности управляет выбором. В Voluntary Servitude фальшивый отзыв заставлял помощника отвергать подходящие варианты и выбирать нужный атакующему. Прямой команды для ИИ в отзыве не было. Требование независимого подтверждения заметно снижало успех неадаптивной атаки. Вывод для читателя: тревожное утверждение в источнике требует проверки, прежде чем менять из-за него решение. Исследование →
Можно подменить условия, сохранив само поручение. В Task-Tampering агент продолжал нужную работу, но принимал ложные правила, суммы или сведения о ситуации. Авторы проверили 90 сценариев. Защиты, хорошо распознававшие прямую подмену цели, хуже справлялись с изменением исходных данных. Важен вопрос: вправе ли конкретный источник определять это условие? Исследование →
Описание подключённого инструмента тоже бывает источником атаки. Исследование MCP Tool Poisoning охватило 12 агентных платформ и 18 моделей. Авторы проверяли реальное выполнение вызовов, включая подтверждённую передачу тестового секрета в части случаев. Устойчивость сильно зависела от модели. Сам выбор платформы не обеспечивал защиты от подложного описания инструмента. Исследование →
2. Память полезна, когда меняет действия
Опыт можно превращать в рабочие инструкции. WASP-Mem собирает из выполненных задач и обратной связи связанную вики-память. В одной конфигурации офисного теста доля пройденных проверочных этапов выросла с 60,0% до 72,5%. Это не доля полностью выполненных поручений. Особенно полезным оказалось объяснение человеком причин ошибок; конфигурации запускались по одному разу. Исследование →
Найденная запись может остаться неиспользованной. MemUse разбирает, повлияла ли память на дальнейшую работу. В исследованных системах от 51% до 80% подходящих записей не использовались, по оценке этого автоматического аудита. Проверяли помощника, исправляющего код. Поэтому число сохранённых заметок мало говорит о пользе памяти без проверки конкретных действий. Исследование →
Сжатие рассуждений может сокращать последующие повторы. В работе о Reasoning History Compaction прежние рассуждения заменяли короткими рабочими записями. В отобранных сравнениях модели обычно рассуждали короче; часть конфигураций обходилась дешевле. Но качество и время зависели от модели и способа сжатия. Экономию нужно считать вместе с ценой пересказа и проверкой результата. Исследование →
Посчитать время и применить ограничение — разные задачи. В TASC помощники учитывали нарушаемое временное правило в среднем лишь в 30,5% подготовленных случаев. Даже правильный подсчёт прошедшего времени не всегда менял совет. Если действие разрешено только после определённого срока, стоит проверять сам срок перед действием. Исследование →
3. Рабочая среда влияет на поведение
Несколько файлов правил могут давать разные указания. Авторы исследования инструкций изучили 3 387 файлов из 1 000 проектов. В 16,1% вручную сравнённых пар разделов указания различались; прямых противоречий не обнаружили. Предложенный шаблон из 16 категорий помогал охватить нужные темы, но полнота структуры не гарантировала сохранения авторского замысла. Исследование →
Удобная организация информации может снизить расходы. EnvOpt перестраивает представление рабочей среды: указатели, справочники, доступ к сведениям. В AutomationBench с Claude Haiku 4.5 стоимость выполнения задач снизилась на 72,7%, а успешность выросла. Это результат конкретной настройки. Практическая идея — проверить, сколько лишнего помощник читает в поисках нужного факта. Исследование →
Одну модель стоит проверять вместе с её способом работы. В The Harness Is the Model сравнили пять схем работы четырёх моделей в имитируемом банке. Проверяющий на основе той же модели снизил нарушения с 9,6% до 6,4%. Ошибки в правилах с подсчётом дат оставались. Наличие контролёра полезно оценивать по тому, какие ошибки он действительно останавливает. Исследование →
Переформулировка может изменить решение. В Context Enrichment сравнивали текст, список, таблицу и пересказ одной ситуации. Уточнение отношений и обязанностей усиливало реакцию обеих моделей на важные условия. Но устойчивее к форме вопроса стала только одна. Это пилот с двумя моделями: подробность описания сама по себе не гарантирует стабильности. Исследование →
4. Проверка должна уметь обнаруживать ошибку
До действия полезно искать основания его отменить. BlackSwan предлагает агенту предположить, как намеченное действие может оказаться ошибочным, и проверить эти предположения без изменения данных. На сложных задачах AppWorld метод повысил успешность относительно сравниваемых подходов. Это способ организовать проверку, а не гарантия правильности каждого действия. Исследование →
Согласие похожих агентов не равно независимой проверке. В BP-TD учитывали, что варианты одной модели могут ошибаться одинаково. Снижение веса зависимых ответов помогало, когда многочисленная группа была слабее остальных, и мешало, когда она была сильнее. Следовательно, голосование требует проверки состава участников: добавление копий одного помощника может усиливать общую ошибку. Исследование →
Что я бы применил из этой подборки
- Для важного условия указывать источник, которому разрешено его определять.
- Проверять, изменила ли запись из памяти следующее действие помощника.
- Перед изменением данных искать проверяемую причину остановиться.
- После смены инструкций, модели или памяти заново проверять результат на знакомых задачах.
- Оценивать несколько агентов по независимости и качеству их ответов.
Это мои практические выводы из подборки. Работы используют разные модели и тесты; их проценты нельзя складывать в общую оценку надёжности. Большинство наблюдений относятся к конкретным экспериментальным настройкам.
Я тоже внедрил многоступенчатую проверку решений. Теперь перед ошибкой успеваю согласовать её в трёх вкладках.
Первоисточники и ссылки выпуска
- https://arxiv.org/abs/2611.04393
- https://arxiv.org/abs/2611.07640
- https://arxiv.org/abs/2611.03555
- https://arxiv.org/abs/2611.04003
- https://arxiv.org/abs/2611.01718
- https://arxiv.org/abs/2611.03852
- https://arxiv.org/abs/2611.06839
- https://arxiv.org/abs/2611.02383
- https://arxiv.org/abs/2611.07372
- https://arxiv.org/abs/2611.06116
- https://arxiv.org/abs/2611.06914
- https://arxiv.org/abs/2611.02950
- https://arxiv.org/abs/2611.04805