Быстрый и выгодный* запуск LLM на вашем сервере
С дообучением под конкретные задачи и
поддержкой бюджетного железа
* Дешевле, стабильнее и безопаснее GPT, Gigachat и YaGPT
поддержкой бюджетного железа
* Дешевле, стабильнее и безопаснее GPT, Gigachat и YaGPT
до 97%
Ниже расходы на GPU.
до 70X
Рост пропускной способности
2-5X
Ускорение времени до первого ответа
2-10X
Ускорение генерации
для 1 запроса
для 1 запроса
Готовая инфраструктура Compressa позволяет значительно ускорить LLM модели в сравнении с Hugging Face, что ведет как к снижению расходов на инференс, так и к улучшению пользовательского опыта
Посчитаем экономику?
Вы заполняете форму – мы высылаем таблицу с расчетами!
Выберем время для технического демо?
Вы заполняете форму – мы свяжемся с вами и предложим время!
Все необходимое для экспериментов и масштабирования в одном Docker-контейнере
Мы уже подготовили инфраструктуру,
чтобы вы сэкономили месяцы разработки
чтобы вы сэкономили месяцы разработки
- Mixtral 8X7B
- LLama 2, Saiga
- Code LLama 70B
- другие и любая по запросу
- Кастомные пайплайны квантизации (лучше других open-source библиотек)
- Быстрый инференс на одном GPU или кластере
- Оптимальный запуск адаптеров с одной моделью
- API совместимый с OpenAI
- UI чат & Playground и UI для дообучения
- Backend с логгингом, мониторингом и другими важными фичами
Дообучается под задачу с технологией LoRA
Адаптер улучшает качество и не меняет саму модель – используется как "насадка"
- Требуются минимальное время и GPU-ресурсы для дообучения
- До 100 адаптеров одновременно работают с одной моделью
- Адаптер улучшает качество модели до уровня GPT
1 месяц х 1 GPU
Цена при использовании
вашей GPU 3090 24Gb
вашей GPU 3090 24Gb
40.000 руб
480 000 400 000 руб/год
Для вашего сервера или
VPS с 3090 или аналогом
*Без учета стоимости видеокарты
Для вашего сервера или
VPS с 3090 или аналогом
*Без учета стоимости видеокарты
Купить лицензию
1 месяц х 1 GPU
Цена при использовании
вашей GPU A100 40Gb
вашей GPU A100 40Gb
60.000 руб
720 000 600 000 руб/год
Для вашего сервера или
VPS с A100 40 / 80 Gb
*Без учета стоимости видеокарты
Для вашего сервера или
VPS с A100 40 / 80 Gb
*Без учета стоимости видеокарты
Купить лицензию
Enterprise платформа
На инфраструктуре компании
Индивидуально
Интеграции и доработки под ваши потребности
Выделенная поддержка
ML экспертиза и консультации
Выделенная поддержка
ML экспертиза и консультации
Обсудить внедрение
Купить лицензию
Вы заполняете форму – мы вместе с вами подписываем Лицензионный Договор!
Индивидуальное предложение
Вы заполняете форму – мы свяжемся с вами и обсудим условия!
Сравнение метрик *
LLama2-7B (Hugging face)
A100 80GB
Пропускная способность: 69 токенов/секунду
Стоимость за 1M токенов: 992 руб
Стоимость за 1M токенов: 992 руб
LLama2-7B (COMPressa)
A100 80GB
Пропускная способность: 4366 токенов/секунду (+63X)
Стоимость за 1M токенов: 20 руб (-98%)
Стоимость за 1M токенов: 20 руб (-98%)
MiXtral-8x7B-Quantized (Hugging face)
A100 40GB
Пропускная способность: 17 токенов/секунду
Стоимость за 1M токенов: 3358 руб
Стоимость за 1M токенов: 3358 руб
MIXtral-8x7B-Quantized (COMPressa)
A100 40GB
Пропускная способность: 462 токенов/секунду (+27X)
Стоимость за 1M токенов: 165 руб (-95%)
Стоимость за 1M токенов: 165 руб (-95%)
* Указанные значения метрик актуальны при длине запроса 2048 токенов и длине ответа 1024 токена
Метрики и бенчмарки
Вы заполняете форму – мы высылаем подробный отчет!
Кейсы внедрения
Compressa создана командой опытных инженеров
- С 2017 года
Развиваем ИИ и помогаем компаниям
- 120 ИИ-проектовв портфолио команды MIL Team
- Собственный R&DЛаборатория на Физтехе
Compressa.ai