Данное руководство предназначено для системных администраторов и DevOps-инженеров, ответственных за установку, настройку и поддержку платформы Compressa. Здесь подробно описаны все шаги, необходимые для успешного развертывания платформы на серверах компании.
Платформа быстрого и выгодного запуска моделей искусственного интеллекта "compressa" (далее Compressa) — это готовая AI-инфраструктура, предоставляющая все необходимые компоненты для разработки и масштабирования решений на базе генеративного AI в безопасном контуре.
Для стабильной работы платформы Compressa рекомендуется использовать сервер со следующими характеристиками:
| Компонент | Рекомендуемое значение |
|---|---|
| Операционная система | Linux (Ubuntu 20.04+ рекомендуется) |
| Графический процессор (GPU) | 2 x NVIDIA A100 40GB |
| Центральный процессор (CPU) | 8 потоков |
| Оперативная память (RAM) | 160 GB |
| Дисковое пространство | 1 TB |
Перед установкой платформы убедитесь, что на сервере установлено следующее ПО:
sudo apt update sudo apt install software-properties-common -y sudo apt install ubuntu-drivers-common -y sudo ubuntu-drivers autoinstall sudo apt install nvidia-cuda-toolkit
Для скачивания образов Compressa вам понадобится уникальный токен доступа. Установите его как переменную окружения:
export COMPRESSA_TOKEN=<ВАШ_ТОКЕН>
Затем пройдите аутентификацию в Docker-репозитории:
echo $COMPRESSA_TOKEN | docker login -u compressa --password-stdin
Склонируйте репозиторий с конфигурационными файлами платформы:
git clone -b deploy/platform git@github.com:compressa-ai/compressa-deploy.git cd compressa-deploy
Основные настройки находятся в файлах .env и docker-compose.yml.
1. Укажите ID ваших GPU в файле .env. Это необходимо для корректной работы моделей.
# .env DOCKER_GPU_IDS_1=<ID1> DOCKER_GPU_IDS_2=<ID2>
2. Настройте порт доступа (по умолчанию 8080). При необходимости измените его в файле docker-compose.yml:
# docker-compose.yml
services:
nginx:
image: nginx:stable-alpine3.19-slim
ports:
- "8080:80" # <---- Измените порт здесь По умолчанию платформа использует директорию ./data/compressa для хранения данных. Предоставьте необходимые права на запись:
chmod 777 -R ./data/compressa
Путь к хранилищу можно изменить в файле docker-compose.yml, если это необходимо.
После выполнения всех настроек запустите платформу с помощью следующей команды. Она соберет и запустит все необходимые контейнеры.
docker compose up --build -d
После успешного запуска всех контейнеров (docker ps) необходимо проверить работоспособность ключевых API. Замените $SERVER_NAME:$PORT на адрес вашего сервера и порт (например, localhost:8080).
curl -X 'POST' "$SERVER_NAME:$PORT/v1/chat/completions" \
-H 'accept: application/json' \
-H 'Content-Type: application/json' -d '{
"model": "Compressa-LLM",
"messages": [{"role": "user", "content": "Напиши сказку на ночь!"}],
"stream": false
}' curl -X 'POST' "$SERVER_NAME:$PORT/v1/embeddings" \
-H 'accept: application/json' \
-H 'Content-Type: application/json' -d '{
"model": "Compressa-Embedding",
"input": "Тестовый документ",
"encoding_format": "float"
}' curl -X POST "$SERVER_NAME:$PORT/v1/rerank" \
-H "accept: application/json" -H "Content-Type: application/json" -d '{
"model": "Compressa-ReRank",
"query": "Какой документ самый релевантный?",
"documents": ["документ 1", "документ 2", "документ 3"]
}' Успешные ответы на эти запросы означают, что платформа установлена корректно и готова к работе.
После установки платформа предоставляет несколько веб-интерфейсов для управления и тестирования: