Локальная 27B-модель против Claude в расследовании продакшен-инцидента

7 локальных 27B-моделей против Claude на одном продакшен-инциденте: ~40 прогонов на двух RTX 5090 ⚙️

Один и тот же реальный инцидент из прода прогнали через Claude и семь локальных моделей размером 27B. Около 40 запусков суммарно, железо — две RTX 5090. Промпт, код и песочница у всех одинаковые.

Сам инцидент выглядел так:

Пул соединений забит, активных запросов — дюжина, рестарт помогает.

Claude докопался до причины за двадцать минут.

Главное отличие в постановке — в промпте осталась одна правдоподобная, но ложная гипотеза инженера. Она стала главным фильтром всего эксперимента: модели шли по ложному следу, а не по собственным версиям.

Эксперимент проверял две вещи: насколько локальные 27B-модели дотягивают до облачных при расследовании багов и как на результат влияет ложная гипотеза в промпте. Разбор — на Habr