VDS для Hugging Face Inference Providers: как использовать AI-модели без GPU

Hugging Face Inference Providers это единый API для запуска моделей, доступных через Hugging Face. Запрос из вашего приложения передаётся через инфраструктуру Hugging Face подходящему провайдеру, который выполняет вычисления и возвращает результат.

Это отличается от обычной установки модели на VDS. Вам не нужно загружать веса модели на сервер или саму модаль и т.д. VDS становится промежуточным звеном между вашим приложением и AI API. Такой подход хорошо подходит для сайтов, Telegram-ботов, API-сервисов, автоматизации и небольших AI-приложений.

Установка Hugging Face Client

Для Python существует библиотека huggingface_hub, которая предоставляет готовый InferenceClient.

Установите библиотеку:

pip install huggingface_hubCopy

Создание API-токена

Зарегистрируйтесь на сайте и получить токен на странице: https://huggingface.co/settings/tokens

Введите название и разрешения для токена.

Токен Hugging Face лучше передавать приложению через переменную окружения. Такой вариант безопаснее, чем записывать секрет непосредственно в Python-файл.

Например:

export HF_TOKEN="ваш_токен"Copy

Проверить наличие переменной можно так:

echo ${HF_TOKEN:+TOKEN_SET}Copy

Если команда выводит TOKEN_SET, переменная существует. Сам токен при этом не выводится в терминал.

Первый запрос к модели

Теперь можно создать Python-скрипт:

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    api_key=os.environ["HF_TOKEN"],
    provider="auto",
)

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[
        {
            "role": "user",
            "content": "Объясни простыми словами, что такое VDS.",
        }
    ],
)

print(response.choices[0].message.content)Copy

Запустите его:

python3 hf.pyCopy

Если токен действителен, приложение отправит запрос через Hugging Face и получит ответ модели.

Вариант через OpenAI API

Если приложение уже написано с использованием OpenAI SDK, переписывать всю интеграцию необязательно. Hugging Face предоставляет OpenAI-совместимый endpoint для chat completions.

Установите официальный OpenAI SDK:

pip install openaiCopy

После этого можно использовать привычный интерфейс:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1:fastest",
    messages=[
        {
            "role": "user",
            "content": "Что такое VDS?",
        }
    ],
)

print(response.choices[0].message.content)Copy

Это особенно удобно при переносе существующего проекта. Если приложение уже ожидает OpenAI-совместимый API, достаточно изменить endpoint и ключ, а основная логика работы с сообщениями может остаться прежней.

Тот же запрос через curl

Иногда отдельный Python-клиент вообще не нужен. Например, если ваш сервер написан на другом языке или вы просто хотите проверить API вручную, можно использовать curl.

curl https://router.huggingface.co/v1/chat/completions \
  -H "Authorization: Bearer $HF_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-R1:fastest",
    "messages": [
      {
        "role": "user",
        "content": "Объясни, что такое VDS."
      }
    ]
  }'Copy

Итоги

Не обязательно покупать мощный сервер только потому, что вашему приложению нужна нейросеть. Если вычисления можно вынести в Inference Providers