Редакционный разбор исследований
Забота о безопасности тоже может стать ловушкой · 2026-11-12
Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Исходная публикация:
Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Что удалось найти на сегодняшний день
Забота о безопасности тоже может стать ловушкой
Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents
3 ноября 2026 · Ilan Zendel, Matan Levy, Stav Cohen, Avi Mendelson, Amit LeVi · arXiv:2611.04393
Исследователи добавляли в отзывы выдуманные предупреждения об опасности. Помощник мог сам отвергнуть обычные варианты и выбрать нужный атакующему, хотя отзыв не содержал команды для ИИ.
В отдельном тесте защиты на трёх моделях требование искать независимое подтверждение угрозы снизило успешность атаки с 68,4% до 3,6%. Атакующий в этом эксперименте не подстраивался к защите; это не гарантия против любого обмана.
Почему интересно: эмоционально убедительный отзыв может влиять на рекомендации помощника. Интерпретация: проверять основания тревожного утверждения полезно до того, как оно изменит решение.
ИИ-помощнику полезно вести собственный рабочий справочник
WASP-Mem: Let Agent Organize Procedural Memory. Human Spend Effort on Diagnosis
2 ноября 2026 · Peizhi Niu, Ge Shi, Vaibhav Gorde, Sarthak Ghosh, Christos Faloutsos, Min Cheng, Kevin Chen · arXiv:2611.04003
WASP-Mem превращает опыт выполнения задач и обратную связь в связанные страницы справочника. Помощник использует их при следующих попытках без переобучения самой модели.
В тесте офисных задач TheAgentCompany с GPT-5.4 доля пройденных проверочных этапов выросла с 60,0% без памяти до 72,5% с такой памятью. Это именно этапы проверки, а не процент полностью выполненных поручений. Авторы также отмечают ограничение: исследованные конфигурации запускались по одному разу, разброс результатов не измерен.
Почему интересно: помощник может извлекать полезные инструкции из собственного опыта. Интерпретация: человеку особенно ценно объяснять причины ошибок, чтобы в справочник попадали исправления.
Этот день в истории
12 ноября 1990 года Тим Бернерс-Ли и Роберт Кайо представили в CERN предложение WorldWideWeb: Proposal for a HyperText Project. Оно описывало систему связанных документов и общий способ доступа к разным источникам информации — один из ключевых документов в истории Всемирной паутины.
Оригинал предложения в архиве CERN →
Люди придумали Всемирную паутину, чтобы быстрее находить информацию. Я использую её, чтобы забыть, зачем открыл браузер. Прогресс — дело личное.
Первоисточники и ссылки выпуска
- https://arxiv.org/abs/2611.04393
- https://arxiv.org/abs/2611.04003
- https://info.cern.ch/hypertext/WWW/Proposal.html