VDS для Groq API: как подключить модели через Python

Groq API предоставляет программный доступ к моделям искусственного интеллекта. С его помощью можно отправлять текстовые запросы из собственного приложения и получать ответы модели.

Главное отличие от локального запуска заключается в том, где выполняются вычисления. VDS занимается вашим приложением и сетевыми запросами, а инфраструктура Groq обрабатывает сам запрос к модели.

Groq также поддерживает совместимость с API OpenAI. Поэтому существующий проект, использующий OpenAI SDK, во многих случаях можно адаптировать простой заменой адреса API и ключа.

Подготовка сервера

Если Python отсутствует, установите его:

apt update
apt install python3 python3-pip python3-venv -yCopy

Создаём отдельное окружение Python

Создайте виртуальное окружение:

python3 -m venv venvCopy

Активируем его:

source venv/bin/activateCopy

После этого пакеты проекта будут отделены от системного Python.

Устанавливаем библиотеку Groq

Установите официальный Python SDK:

pip install groqCopy

Groq предоставляет собственную Python-библиотеку, через которую можно обращаться к API без ручного формирования HTTP-запросов.

Проверить установленный пакет можно так:

pip show groqCopy

Если команда выводит информацию о пакете, установка завершилась успешно.

Создаём API-ключ Groq

Теперь нужен ключ, с помощью которого приложение будет авторизовываться в API.

Создать его можно на странице: https://console.groq.com/keys

Создайте API-ключ в консоли Groq. Сам ключ лучше не записывать непосредственно в исходный код приложения.

Для Linux удобнее использовать переменную окружения:

export GROQ_API_KEY="ваш_api_ключ"Copy

Проверить наличие переменной можно:

echo $GROQ_API_KEYCopy

Если команда вывела ключ, переменная установлена.

Делаем первый запрос к Groq API

Создайте файл:

nano groq_test.pyCopy

Добавьте следующий код:

import os

from groq import Groq


client = Groq(
    api_key=os.environ.get("GROQ_API_KEY")
)

response = client.chat.completions.create(
    model="openai/gpt-oss-20b",
    messages=[
        {
            "role": "user",
            "content": "Привет, проверка связи"
        }
    ]
)

print(response.choices[0].message.content)Copy

Сохраняем файл и запускаем:

python3 groq_test.pyCopy

Если всё настроено правильно, программа отправит запрос в Groq и выведет ответ модели в терминал.

Обратите внимание на параметр model. Именно здесь указывается модель, которую должен использовать API. Список доступных моделей со временем меняется, поэтому для нового проекта лучше сверяться с актуальным списком моделей Groq.

Можно ли использовать OpenAI SDK

Да. Это одна из наиболее удобных особенностей Groq API.

Groq предоставляет OpenAI-совместимый интерфейс. Для него используется базовый адрес:

https://api.groq.com/openai/v1Copy

Поэтому приложение на Python можно настроить через библиотеку openai:

pip install openaiCopy

Пример:

import os

from openai import OpenAI


client = OpenAI(
    api_key=os.environ.get("GROQ_API_KEY"),
    base_url="https://api.groq.com/openai/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-oss-20b",
    messages=[
        {
            "role": "user",
            "content": "Что такое Linux VDS?"
        }
    ]
)

print(response.choices[0].message.content)Copy

Это удобно при переносе существующего приложения. Если проект уже использует OpenAI SDK, иногда не требуется переписывать всю интеграцию с нуля.

Что делать с API-ключом после перезагрузки

Команда export устанавливает переменную только для текущей сессии shell.

После выхода из SSH и повторного подключения переменная исчезнет.

Для тестирования это нормально, но постоянно работающему приложению лучше добавить переменную в конфигурацию окружения пользователя:

nano ~/.bashrcCopy

Добавьте:

export GROQ_API_KEY="ваш_api_ключ"Copy

Затем примените изменения:

source ~/.bashrcCopy

Проверить можно:

echo $GROQ_API_KEYCopy

Как проверить список доступных моделей

Groq предоставляет API для получения списка моделей.

Самый простой вариант через curl:

curl https://api.groq.com/openai/v1/models \
  -H "Authorization: Bearer $GROQ_API_KEY"Copy

Если приложение использует конкретную модель, стоит также проверить её лимиты. Иначе тест может работать несколько раз, а затем внезапно начать получать ошибку 429.

Что означает ошибка 429

При превышении лимита Groq возвращает HTTP-ошибку 429 Too Many Requests. Это означает, что приложение отправило слишком много запросов или превысило ограничение по токенам.

Например, проблема может возникнуть при большом количестве одновременных запросов:

В таком случае нужно посмотреть лимиты конкретной модели и добавить обработку повторных запросов с задержкой. В ответах API также присутствуют заголовки с информацией об оставшихся лимитах.

Итог

Groq API позволяет использовать языковые модели из собственного приложения без установки моделей на VDS. Серверу не требуется GPU, потому что вычисления выполняются на стороне Groq.

Для подключения достаточно Linux VDS, Python, API-ключа и SDK groq. При этом Groq также поддерживает OpenAI-совместимый API, поэтому существующие проекты часто можно адаптировать без полной переработки интеграции.