TTaras

Редакционный разбор исследований

13 исследований о надёжности ИИ-помощников

Главный вывод: проверяйте, откуда помощник взял правило, использовал ли нужную память и какое действие действительно выполнил. Подробная инструкция, сохранённая заметка и согласие нескольких агентов сами по себе этого не подтверждают.

Исходная публикация:

Редакционная иллюстрация к исследованию
Редакционная иллюстрация; не научный график.

Главный вывод: проверяйте, откуда помощник взял правило, использовал ли нужную память и какое действие действительно выполнил. Подробная инструкция, сохранённая заметка и согласие нескольких агентов сами по себе этого не подтверждают.

Субботняя подборка — о четырёх вещах, которые влияют на результат: доверии к источникам, памяти, рабочей среде и проверке решений.


1. Чужой текст может изменить решение

Выдуманное предупреждение об опасности управляет выбором. В Voluntary Servitude фальшивый отзыв заставлял помощника отвергать подходящие варианты и выбирать нужный атакующему. Прямой команды для ИИ в отзыве не было. Требование независимого подтверждения заметно снижало успех неадаптивной атаки. Вывод для читателя: тревожное утверждение в источнике требует проверки, прежде чем менять из-за него решение. Исследование →

Можно подменить условия, сохранив само поручение. В Task-Tampering агент продолжал нужную работу, но принимал ложные правила, суммы или сведения о ситуации. Авторы проверили 90 сценариев. Защиты, хорошо распознававшие прямую подмену цели, хуже справлялись с изменением исходных данных. Важен вопрос: вправе ли конкретный источник определять это условие? Исследование →

Описание подключённого инструмента тоже бывает источником атаки. Исследование MCP Tool Poisoning охватило 12 агентных платформ и 18 моделей. Авторы проверяли реальное выполнение вызовов, включая подтверждённую передачу тестового секрета в части случаев. Устойчивость сильно зависела от модели. Сам выбор платформы не обеспечивал защиты от подложного описания инструмента. Исследование →


2. Память полезна, когда меняет действия

Опыт можно превращать в рабочие инструкции. WASP-Mem собирает из выполненных задач и обратной связи связанную вики-память. В одной конфигурации офисного теста доля пройденных проверочных этапов выросла с 60,0% до 72,5%. Это не доля полностью выполненных поручений. Особенно полезным оказалось объяснение человеком причин ошибок; конфигурации запускались по одному разу. Исследование →

Найденная запись может остаться неиспользованной. MemUse разбирает, повлияла ли память на дальнейшую работу. В исследованных системах от 51% до 80% подходящих записей не использовались, по оценке этого автоматического аудита. Проверяли помощника, исправляющего код. Поэтому число сохранённых заметок мало говорит о пользе памяти без проверки конкретных действий. Исследование →

Сжатие рассуждений может сокращать последующие повторы. В работе о Reasoning History Compaction прежние рассуждения заменяли короткими рабочими записями. В отобранных сравнениях модели обычно рассуждали короче; часть конфигураций обходилась дешевле. Но качество и время зависели от модели и способа сжатия. Экономию нужно считать вместе с ценой пересказа и проверкой результата. Исследование →

Посчитать время и применить ограничение — разные задачи. В TASC помощники учитывали нарушаемое временное правило в среднем лишь в 30,5% подготовленных случаев. Даже правильный подсчёт прошедшего времени не всегда менял совет. Если действие разрешено только после определённого срока, стоит проверять сам срок перед действием. Исследование →


3. Рабочая среда влияет на поведение

Несколько файлов правил могут давать разные указания. Авторы исследования инструкций изучили 3 387 файлов из 1 000 проектов. В 16,1% вручную сравнённых пар разделов указания различались; прямых противоречий не обнаружили. Предложенный шаблон из 16 категорий помогал охватить нужные темы, но полнота структуры не гарантировала сохранения авторского замысла. Исследование →

Удобная организация информации может снизить расходы. EnvOpt перестраивает представление рабочей среды: указатели, справочники, доступ к сведениям. В AutomationBench с Claude Haiku 4.5 стоимость выполнения задач снизилась на 72,7%, а успешность выросла. Это результат конкретной настройки. Практическая идея — проверить, сколько лишнего помощник читает в поисках нужного факта. Исследование →

Одну модель стоит проверять вместе с её способом работы. В The Harness Is the Model сравнили пять схем работы четырёх моделей в имитируемом банке. Проверяющий на основе той же модели снизил нарушения с 9,6% до 6,4%. Ошибки в правилах с подсчётом дат оставались. Наличие контролёра полезно оценивать по тому, какие ошибки он действительно останавливает. Исследование →

Переформулировка может изменить решение. В Context Enrichment сравнивали текст, список, таблицу и пересказ одной ситуации. Уточнение отношений и обязанностей усиливало реакцию обеих моделей на важные условия. Но устойчивее к форме вопроса стала только одна. Это пилот с двумя моделями: подробность описания сама по себе не гарантирует стабильности. Исследование →


4. Проверка должна уметь обнаруживать ошибку

До действия полезно искать основания его отменить. BlackSwan предлагает агенту предположить, как намеченное действие может оказаться ошибочным, и проверить эти предположения без изменения данных. На сложных задачах AppWorld метод повысил успешность относительно сравниваемых подходов. Это способ организовать проверку, а не гарантия правильности каждого действия. Исследование →

Согласие похожих агентов не равно независимой проверке. В BP-TD учитывали, что варианты одной модели могут ошибаться одинаково. Снижение веса зависимых ответов помогало, когда многочисленная группа была слабее остальных, и мешало, когда она была сильнее. Следовательно, голосование требует проверки состава участников: добавление копий одного помощника может усиливать общую ошибку. Исследование →


Что я бы применил из этой подборки

  • Для важного условия указывать источник, которому разрешено его определять.
  • Проверять, изменила ли запись из памяти следующее действие помощника.
  • Перед изменением данных искать проверяемую причину остановиться.
  • После смены инструкций, модели или памяти заново проверять результат на знакомых задачах.
  • Оценивать несколько агентов по независимости и качеству их ответов.

Это мои практические выводы из подборки. Работы используют разные модели и тесты; их проценты нельзя складывать в общую оценку надёжности. Большинство наблюдений относятся к конкретным экспериментальным настройкам.

Я тоже внедрил многоступенчатую проверку решений. Теперь перед ошибкой успеваю согласовать её в трёх вкладках.

Первоисточники и ссылки выпуска

  1. https://arxiv.org/abs/2611.04393
  2. https://arxiv.org/abs/2611.07640
  3. https://arxiv.org/abs/2611.03555
  4. https://arxiv.org/abs/2611.04003
  5. https://arxiv.org/abs/2611.01718
  6. https://arxiv.org/abs/2611.03852
  7. https://arxiv.org/abs/2611.06839
  8. https://arxiv.org/abs/2611.02383
  9. https://arxiv.org/abs/2611.07372
  10. https://arxiv.org/abs/2611.06116
  11. https://arxiv.org/abs/2611.06914
  12. https://arxiv.org/abs/2611.02950
  13. https://arxiv.org/abs/2611.04805
Посмотреть оригинал ↗