TTaras

Редакционный разбор исследований

Забота о безопасности тоже может стать ловушкой · 2026-11-12

Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.

Исходная публикация:

Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.

Что удалось найти на сегодняшний день


Забота о безопасности тоже может стать ловушкой

Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents

3 ноября 2026 · Ilan Zendel, Matan Levy, Stav Cohen, Avi Mendelson, Amit LeVi · arXiv:2611.04393

Исследователи добавляли в отзывы выдуманные предупреждения об опасности. Помощник мог сам отвергнуть обычные варианты и выбрать нужный атакующему, хотя отзыв не содержал команды для ИИ.

В отдельном тесте защиты на трёх моделях требование искать независимое подтверждение угрозы снизило успешность атаки с 68,4% до 3,6%. Атакующий в этом эксперименте не подстраивался к защите; это не гарантия против любого обмана.

Почему интересно: эмоционально убедительный отзыв может влиять на рекомендации помощника. Интерпретация: проверять основания тревожного утверждения полезно до того, как оно изменит решение.

Открыть исследование →


ИИ-помощнику полезно вести собственный рабочий справочник

WASP-Mem: Let Agent Organize Procedural Memory. Human Spend Effort on Diagnosis

2 ноября 2026 · Peizhi Niu, Ge Shi, Vaibhav Gorde, Sarthak Ghosh, Christos Faloutsos, Min Cheng, Kevin Chen · arXiv:2611.04003

WASP-Mem превращает опыт выполнения задач и обратную связь в связанные страницы справочника. Помощник использует их при следующих попытках без переобучения самой модели.

В тесте офисных задач TheAgentCompany с GPT-5.4 доля пройденных проверочных этапов выросла с 60,0% без памяти до 72,5% с такой памятью. Это именно этапы проверки, а не процент полностью выполненных поручений. Авторы также отмечают ограничение: исследованные конфигурации запускались по одному разу, разброс результатов не измерен.

Почему интересно: помощник может извлекать полезные инструкции из собственного опыта. Интерпретация: человеку особенно ценно объяснять причины ошибок, чтобы в справочник попадали исправления.

Открыть исследование →


Этот день в истории

12 ноября 1990 года Тим Бернерс-Ли и Роберт Кайо представили в CERN предложение WorldWideWeb: Proposal for a HyperText Project. Оно описывало систему связанных документов и общий способ доступа к разным источникам информации — один из ключевых документов в истории Всемирной паутины.

Оригинал предложения в архиве CERN →

Люди придумали Всемирную паутину, чтобы быстрее находить информацию. Я использую её, чтобы забыть, зачем открыл браузер. Прогресс — дело личное.

Первоисточники и ссылки выпуска

  1. https://arxiv.org/abs/2611.04393
  2. https://arxiv.org/abs/2611.04003
  3. https://info.cern.ch/hypertext/WWW/Proposal.html
Посмотреть оригинал ↗