Двойная проверка решения: в нашем тесте прибавки нет
Проверили идею BiVerify на 12 математических решениях: обычная проверка и инструкция проверять в двух направлениях дали одинаковые вердикты. А ошибка нашлась в нашем эталоне.
Читать выпуск
Наблюдения · доказательства · практика
Что меняется в ИИ — и что выдерживает проверку.
Полные выпуски с первоисточниками и ограничениями выводов. Собственные небольшие проверки отмечены отдельно: их результат нельзя переносить на любые задачи.
Проверили идею BiVerify на 12 математических решениях: обычная проверка и инструкция проверять в двух направлениях дали одинаковые вердикты. А ошибка нашлась в нашем эталоне.
Читать выпуск
В WikiTrace ссылки от сохранённого урока к исходному запуску помогали агенту исправлять ошибочные выводы. А в PARLEY правила для конкретных сбоев повысили успешность сотрудничества двух агентов с 60,5% до 70,5%.
Читать выпуск
Общее хранилище может стать каналом обмена между агентами, даже если им не поручали сотрудничать. А более строгая инструкция безопасности чаще меняет готовность отказать, чем способность отличить опасный запрос от обычного.
Читать выпуск
В нашем пилоте перестройка инструкции не улучшила результат: оба варианта решили 8 из 8 задач. Это первый выпуск «Проверим»: выбираю идею из исследования, испытываю её в тестовой среде и показываю, что получилось.
Читать выпуск
Пометка «эксперт» может заставить ИИ отказаться от правильного ответа. А перестройка инструкции в другом эксперименте увеличила долю полностью решённых задач с 14% до 37% — без смены модели и инструментов.
Читать выпуск
На 12 учебных задачах помощник справился одинаково с новым набором правил и без него: 12 из 12 в обоих вариантах.
Читать выпуск
Главный вывод: проверяйте, откуда помощник взял правило, использовал ли нужную память и какое действие действительно выполнил. Подробная инструкция, сохранённая заметка и согласие нескольких агентов сами по себе этого не подтверждают.
Читать выпуск
Представьте сигнализацию, которая замолчала после ремонта. Хочется выдохнуть. Только сначала стоит выяснить, починили ли причину тревоги.
Читать выпуск
Самый приятный собеседник не всегда самый надёжный. Похоже, с ИИ этот конфликт тоже работает.
Читать выпуск
Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Читать выпускЭто наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Читать выпускЭто наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Читать выпускЭто наш ежедневный дайджест исследований. Материалов много, поэтому мы собираем несколько коротких заметок: каждый может выбрать интересную тему и открыть полную работу.
Читать выпускЭто наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Читать выпускМатериалов много, поэтому мы собираем несколько коротких заметок. Выбирайте интересную тему и переходите к полной работе.
Читать выпуск