Instructions to use OpenRussianAI/OpenAirAI-X with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use OpenRussianAI/OpenAirAI-X with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="OpenRussianAI/OpenAirAI-X")# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("OpenRussianAI/OpenAirAI-X") model = AutoModelForCausalLM.from_pretrained("OpenRussianAI/OpenAirAI-X", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use OpenRussianAI/OpenAirAI-X with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf OpenRussianAI/OpenAirAI-X # Run inference directly in the terminal: llama cli -hf OpenRussianAI/OpenAirAI-X
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf OpenRussianAI/OpenAirAI-X # Run inference directly in the terminal: llama cli -hf OpenRussianAI/OpenAirAI-X
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf OpenRussianAI/OpenAirAI-X # Run inference directly in the terminal: ./llama-cli -hf OpenRussianAI/OpenAirAI-X
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf OpenRussianAI/OpenAirAI-X # Run inference directly in the terminal: ./build/bin/llama-cli -hf OpenRussianAI/OpenAirAI-X
Use Docker
docker model run hf.co/OpenRussianAI/OpenAirAI-X
- LM Studio
- Jan
- vLLM
How to use OpenRussianAI/OpenAirAI-X with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "OpenRussianAI/OpenAirAI-X" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/OpenAirAI-X", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/OpenRussianAI/OpenAirAI-X
- SGLang
How to use OpenRussianAI/OpenAirAI-X with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "OpenRussianAI/OpenAirAI-X" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/OpenAirAI-X", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "OpenRussianAI/OpenAirAI-X" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/OpenAirAI-X", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Ollama
How to use OpenRussianAI/OpenAirAI-X with Ollama:
ollama run hf.co/OpenRussianAI/OpenAirAI-X
- Unsloth Desktop
- Docker Model Runner
How to use OpenRussianAI/OpenAirAI-X with Docker Model Runner:
docker model run hf.co/OpenRussianAI/OpenAirAI-X
- Lemonade
How to use OpenRussianAI/OpenAirAI-X with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull OpenRussianAI/OpenAirAI-X
Run and chat with the model
lemonade run user.OpenAirAI-X-{{QUANT_TAG}}List all available models
lemonade list
- Atomic Chat
metadata
language: ru
license: mit
tags:
- conversational
- lightweight
- russian
- lstm
- pytorch
- openrussianai
- andrey-ai
library_name: pytorch
pipeline_tag: text-generation
Создатель: Евгений (OpenRussianAI) из Твери 🇷🇺
🤖 Андрей AI — 22 МБ диалоговый ИИ
📦 Размер модели: 22 МБ
🧠 Нейронов: 512 | Слоёв: 3 | Словарь: 155 слов
🧠 Нейронов: 512 | Слоёв: 3 | Словарь: 155 слов
📊 Характеристики модели
| Параметр | Значение |
|---|---|
| Размер | 22 МБ |
| Нейронов | 512 |
| Слоёв LSTM | 3 |
| Embedding | 128 |
| Словарь | 155 слов |
| Эпох обучения | 50 |
| Язык | Русский 🇷🇺 |
| Фреймворк | PyTorch |
| Формат | PyTorch (.bin) |
🧠 Что умеет Андрей
| Функция | Описание |
|---|---|
| 🗣️ Общение | Ведёт диалог как человек |
| 🧮 Математика | Решает примеры (2+2=4) |
| 😄 Шутки | Рассказывает анекдоты |
| 🧠 Память | Запоминает имя и историю |
| 🤗 Дружба | Всегда поддерживает |
| 🏠 Дом | Hugging Face |
📱 Примеры диалогов
👤 Вы: привет
🤖 Андрей: привет как дела
👤 Вы: 2+2
🤖 Андрей: 2 + 2 = 4
👤 Вы: расскажи шутку
🤖 Андрей: почему программисты не любят природу там слишком много багов
👤 Вы: кто тебя создал?
🤖 Андрей: меня создал евгений из openrussianai в твери
👤 Вы: где ты живёшь?
🤖 Андрей: я живу на hugging face это мой дом
🚀 Использование
Установка зависимостей
pip install torch transformers
Загрузка модели
import torch
from transformers import AutoModel, AutoTokenizer
# Загрузка модели
model = AutoModel.from_pretrained("root39058/AndreyBot")
tokenizer = AutoTokenizer.from_pretrained("root39058/AndreyBot")
# Функция генерации ответа
def generate_response(question):
inputs = tokenizer(question, return_tensors="pt")
outputs = model.generate(**inputs, max_length=14)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
return response
# Пример
print(generate_response("привет"))
Простой код для общения
# Минимальный код для диалога
import torch
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("root39058/AndreyBot")
tokenizer = AutoTokenizer.from_pretrained("root39058/AndreyBot")
while True:
user = input("Вы: ")
if user.lower() in ["пока", "выход"]:
break
inputs = tokenizer(user, return_tensors="pt")
outputs = model.generate(**inputs, max_length=14)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Андрей: {response}")
📁 Структура репозитория
andrey-ai/
├── pytorch_model.bin # Веса модели (22 МБ)
├── config.json # Конфигурация модели
├── vocab.json # Словарь (155 слов)
├── tokenizer_config.json # Настройки токенизатора
├── special_tokens_map.json # Специальные токены
└── README.md # Этот файл
🛠 Технические детали
Архитектура модели
class AndreyBot(nn.Module):
def __init__(self, vocab_size=155, hidden_size=512, num_layers=3, embedding_dim=128):
super().__init__()
self.embedding = nn.Embedding(vocab_size, embedding_dim)
self.lstm = nn.LSTM(embedding_dim, hidden_size, batch_first=True, num_layers=num_layers)
self.fc = nn.Linear(hidden_size, vocab_size)
Параметры генерации
- Temperature: 0.85
- Top-K: 6
- Max length: 14 токенов
🌍 Сравнение с другими ИИ
| Модель | Размер | Язык | Офлайн |
|---|---|---|---|
| Андрей AI | 22 МБ | 🇷🇺 Русский | ✅ Да |
| ChatGPT | 500+ ГБ | Много | ❌ Нет |
| GPT-2 | 500+ МБ | Английский | ✅ Да |
| Gemma 2B | 2+ ГБ | Много | ✅ Да |
💾 Загрузка и установка
Через Git
git clone https://huggingface.co/root39058/AndreyBot
cd AndreyBot
Через Hugging Face Hub
from huggingface_hub import snapshot_download
snapshot_download("root39058/AndreyBot", local_dir="./andrey-ai")
📝 Лицензия
MIT License
📞 Контакты
- Создатель: Евгений
- Компания: OpenRussianAI
- Город: Тверь, Россия 🇷🇺
- Платформа: Hugging Face
❤️ Сделано с душой в России ❤️
© 2026 OpenRussianAI