Instructions to use OpenPathAI/Orbit-0.2B-2837 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use OpenPathAI/Orbit-0.2B-2837 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="OpenPathAI/Orbit-0.2B-2837")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("OpenPathAI/Orbit-0.2B-2837")
model = AutoModelForCausalLM.from_pretrained("OpenPathAI/Orbit-0.2B-2837", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use OpenPathAI/Orbit-0.2B-2837 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "OpenPathAI/Orbit-0.2B-2837"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "OpenPathAI/Orbit-0.2B-2837",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/OpenPathAI/Orbit-0.2B-2837

SGLang

How to use OpenPathAI/Orbit-0.2B-2837 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "OpenPathAI/Orbit-0.2B-2837" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "OpenPathAI/Orbit-0.2B-2837",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "OpenPathAI/Orbit-0.2B-2837" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "OpenPathAI/Orbit-0.2B-2837",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use OpenPathAI/Orbit-0.2B-2837 with Docker Model Runner:
```
docker model run hf.co/OpenPathAI/Orbit-0.2B-2837
```

three commited on Jul 23

Commit

42811eb

verified ·

1 Parent(s): 92c2e33

Update README.md

Browse files

---
language: id
license: mit
tags:
- gpt2
- indonesian
- causal-lm
- 0.3B
- from-scratch
- tanyaAi
---

# TanyaAI-0.3B-2837

## 📌 Tentang Model Ini

**TanyaAI-0.3B-2837** adalah model bahasa Indonesia berukuran 0.3 miliar parameter (300 juta) yang dikembangkan dari awal (from scratch) menggunakan arsitektur GPT-2. Model ini dirancang khusus untuk memahami dan merespons pertanyaan dalam bahasa Indonesia dengan gaya percakapan yang alami.

Model ini merupakan hasil dari proses pelatihan intensif menggunakan ribuan sampel percakapan dan instruksi berbahasa Indonesia. Meskipun ukurannya tergolong kecil dibandingkan model AI modern lainnya, TanyaAI-0.3B-2837 menawarkan keseimbangan antara performa dan efisiensi, sehingga cocok untuk dijalankan di perangkat dengan sumber daya terbatas.

---

## 🎯 Untuk Apa Model Ini?

Model ini cocok digunakan untuk berbagai keperluan, antara lain:

### 1. Asisten Virtual Berbahasa Indonesia
- Menjawab pertanyaan umum sehari-hari
- Membantu pencarian informasi sederhana
- Bertindak sebagai asisten pribadi untuk tugas-tugas ringan

### 2. Chatbot dan Customer Service
- Dapat diintegrasikan ke dalam sistem layanan pelanggan
- Memberikan respons otomatis untuk pertanyaan yang sering diajukan
- Mendukung interaksi dalam bahasa Indonesia yang alami

### 3. Edukasi dan Pembelajaran
- Media pembelajaran interaktif untuk siswa
- Latihan tanya-jawab dalam berbagai topik
- Pendamping belajar untuk mata pelajaran umum

### 4. Kreativitas dan Hiburan
- Menghasilkan ide atau saran kreatif
- Membantu menulis cerita pendek atau puisi
- Menjawab pertanyaan ringan untuk hiburan

### 5. Prototipe Aplikasi AI
- Cocok untuk pengembang yang ingin menguji aplikasi AI berbasis teks
- Ringan dan mudah di-deploy di berbagai platform

---

## 📊 Spesifikasi Teknis

### Tabel 1: Arsitektur & Parameter

| Komponen | Spesifikasi | Keterangan |
|----------|-------------|------------|
| **Arsitektur** | GPT-2 (Decoder-only Transformer) | Berbasis arsitektur OpenAI GPT-2 |
| **Total Parameter** | 0.3B (300.000.000) | 300 juta parameter |
| **Lapisan (Layers)** | 16 | Jumlah hidden layers |
| **Attention Heads** | 12 | Multi-head attention heads |
| **Hidden Size** | 768 | Dimensi hidden state |
| **Context Length** | 512 token | Maksimal input per sesi |
| **Vocab Size** | 50.257 | Jumlah kosakata tokenizer |
| **Embedding Size** | 768 | Sama dengan hidden size |
| **Positional Encoding** | Learned | Dipelajari selama training |
| **Activation Function** | GELU | Gaussian Error Linear Unit |

### Tabel 2: Training Configuration

| Parameter | Nilai | Keterangan |
|-----------|-------|------------|
| **Batch Size (per device)** | 4 | Ukuran batch per GPU |
| **Gradient Accumulation** | 4 | Efektif batch = 16 |
| **Learning Rate** | 2e-4 | Learning rate awal |
| **Warmup Steps** | 10% dari total step | Agar training stabil |
| **Weight Decay** | 0.01 | Regularisasi untuk menghindari overfit |
| **Epochs** | 3 | Jumlah putaran training |
| **Optimizer** | AdamW | Optimizer standar |
| **Mixed Precision** | FP16 | Hemat VRAM |
| **Max Gradient Norm** | 1.0 | Clipping untuk stabilitas |

### Tabel 3: Dataset & Training Statistics

| Metrik | Nilai | Keterangan |
|--------|-------|------------|
| **Total Sample** | 49.969 | Jumlah sampel pelatihan |
| **Epochs** | 3 | 3 kali putaran data |
| **Total Steps** | ~8.007 | Jumlah langkah training |
| **Final Loss** | 1.62 | Nilai loss akhir |
| **Training Duration** | ~6 jam | Waktu pelatihan (T4 GPU) |

### Tabel 4: Performance & Requirements

| Aspek | Spesifikasi | Keterangan |
|-------|-------------|------------|
| **Inference (CPU)** | ~2-3 detik/respon | VPS 2 CPU |
| **Inference (GPU T4)** | ~0.5 detik/respon | Respons cepat |
| **VRAM (Training)** | ~10-12 GB | Saat training |
| **RAM (Inference)** | ~2-4 GB | Untuk inferensi |
| **Storage** | ~1.2 GB | Ukuran model terkompresi |

### Tabel 5: Support & Integration

| Platform | Status | Keterangan |
|----------|--------|------------|
| **Hugging Face Transformers** | ✅ Full Support | Format standar |
| **PyTorch** | ✅ Support | Load model |
| **CPU** | ✅ Support | Bisa jalan di CPU |
| **GPU** | ✅ Support | CUDA compatible |

---

## 🧠 Keunggulan Model

| Keunggulan | Keterangan |
|------------|------------|
| **Ringan** | Ukuran 0.3B memungkinkan model berjalan di perangkat dengan spesifikasi terbatas |
| **Bahasa Indonesia** | Dikembangkan khusus untuk bahasa Indonesia, bukan terjemahan dari bahasa lain |
| **Respons Cepat** | Proses inferensi yang efisien untuk interaksi real-time |
| **Dari Awal** | Dibangun dari nol, bukan fine-tune dari model asing |

---

## 🚀 Cara Menggunakan

### Instalasi Library

```bash
pip install transformers torch

Files changed (1) hide show

README.md +3 -0

README.md CHANGED Viewed

@@ -4,4 +4,7 @@ language:
 - id
 pipeline_tag: text-generation
 library_name: transformers
 ---

 - id
 pipeline_tag: text-generation
 library_name: transformers
+tags:
+- gpt2
+- indonesian
 ---