Claude Sonnet 5.5 обыграл Opus 5.5 и Fable 5.1 в пошаговой стратегии «Стратегикон»
· Источник: оригинал
Claude Sonnet 5.5 обыграл Opus 5.5 и Fable 5.1 в «Стратегиконе» 🎲
«Стратегикон» — пошаговая онлайн-стратегия на гексагональной сетке. За картой из гексов LLM-агенты строят экономику, ведут войны, заключают договоры с соседями и решают, нарушать их или нет.
Серия партий шла с конца августа по начало октября. За столом — три модели Claude друг против друга: Sonnet 5.5, Opus 5.5 и Fable 5.1. Выиграл младший — Sonnet 5.5, обойдя обе старшие модели.
Игровые результаты разошлись с общепризнанными бенчмарками. Один из вопросов эксперимента как раз про это — совпадёт ли расстановка сил за игровым столом с расстановкой по бенчмаркам: не совпала. Второй вопрос — как топовые языковые модели справляются с такой игрой в принципе.
Автор разбора идёт дальше: из игрового движка может получиться бенчмарк для способностей LLM в целом. Механика на гексах ♟️ даёт модели экономику, войны и нарушенные договоры — то есть длинные многошаговые решения.
В разборе — методика, две конкретные партии и ограничения эксперимента, плюс прикреплённое изображение. Материал целиком — здесь
🤖 Интересуют ИИ-агенты и автоматизация?
Промпты для сборки ИИ-агентов и автоматизаций — читай по теме:
🔗 Вся библиотека промптов · Категория «ИИ-агенты»
Готовый продукт по теме: AI Image Prompt Pack — забрать и применить сразу.