HyperBrowseComp — мультиязычный стресс-тест для веб-агентов
· Источник: оригинал
HyperBrowseComp — 423 вопроса на 13 языках против англоцентричных бенчмарков 🌍
На Hugging Face Papers выложили препринт HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents. Это мультиязычный и мультимодальный бенчмарк для веб-браузерных агентов.
Ключевое отличие от привычных browsing-тестов — кто и на чём их писал. Внутри 423 вопроса на 13 языках, каждый написан вручную носителем языка или человеком с очень высоким уровнем владения. Все 423 прошли человеческую валидацию.
Формат ответа жёсткий: краткий и публично верифицируемый. Чтобы до него добраться, агенту нужно находить неочевидные доказательства, проходить многошаговые цепочки подсказок и разбирать гетерогенные источники — видео, сканированные документы, изображения и карты.
Отсев слабых вопросов идёт через оценку моделями без доступа к интернету — что модель без сети не вытягивает, в бенчмарк не попадает. Бенчмарк заявлен как стресс-тест, специально построенный для выявления провалов англоязычных агентов на неанглоязычном мире.
Контекст публикации — 5 октября 2026, идентификатор статьи 2610.03574
🛠️ Хочешь применять это на практике?
По мотивам новости — подборка промптов для разработчиков из нашей библиотеки:
🔗 Вся библиотека промптов · Категория «Программирование»
Готовый продукт по теме: AI Agent Skills Pack — забрать и применить сразу.