Исследование и локальный эксперимент
Проверили новый навык для ИИ: прироста пока нет
На 12 учебных задачах помощник справился одинаково с новым набором правил и без него: 12 из 12 в обоих вариантах.
Исходная публикация:

На 12 учебных задачах помощник справился одинаково с новым набором правил и без него: 12 из 12 в обоих вариантах.
Что собрали
Из 13 исследований сделали навык: проверять источники правил, использовать подходящую память, сверять сроки и подтверждать результат действия. Начинать — с одного исполнителя; отдельного проверяющего добавлять при обоснованной необходимости.
Что показал тест
Два изолированных прогона по одинаковым задачам: зафиксированных нарушений — ноль в обоих. С навыком понадобилось 49 вызовов тестовых инструментов, без него — 44. Дополнительные проверки пока не улучшили итог.
Это один учебный прогон на вариант, с явно заданными ограничениями. Он не измеряет надёжность реальных систем и не доказывает бесполезность навыка. Экономию токенов и денег не измеряли.
А что с браузером
Kitesurf добавили как кандидата для совместимых задач: сначала проверка полноты результата, при проблемах — полноценный браузер. Его скорость и качество на наших задачах ещё не проверены.
Научный подход удобен: сначала проверяешь улучшение. Неудобно только, когда проверка тоже научная.