Yandex AliceAI-Foundation-80B-A3B-Base
· Источник: оригинал
Инференс AliceAI-Foundation-80B-A3B-Base: минимум 4×A100
🛠️
Задача — развернуть инференс Yandex AliceAI-Foundation-80B-A3B-Base: претрейн на 80B параметров в конфигурации A3B. Веса — на HuggingFace, релизная публикация Yandex — на Habr (EN), а разбор бюджета инференса — на Habr.
Минимум для инференса — 4×A100. На паре GPU модель тоже пойдёт, но только с CPU-offload.
Квантизация — неприемлемый компромисс: автор на неё идти не готов. GPU планировались в аренду в облаке — название в тексте не указано.
Что пошло не по плану. Первая попытка — Datasphere на Jupiter Notebook — провалилась и обошлась в 6000₽. VM с 4×A100 не выдали: квоты через тикеты поднять не удалось, а на конфигурацию Gen2 квоту даже не поднимают. Итог — возврат к Datasphere Jobs, потому что для Jupiter Notebook A100 выделяли.
В разборе есть скриншот и расчёт бюджета
🛠️ Хочешь применять это на практике?
По мотивам новости — подборка промптов для разработчиков из нашей библиотеки:
- Codebase Ecosystem Atlas
- Comprehensive Go Codebase Review - Forensic-Level Analysis Prompt
- Quality Engineering Agent Role
🔗 Вся библиотека промптов · Категория «Программирование»
Готовый продукт по теме: AI-контент-фабрика: автономная система генерации и публикации контента — забрать и применить сразу.