---
license: mit
tags:
  - llm
  - gguf
  - llama
  - langchain
  - ctransformers
  - python
  - code
  - code-assistant
  - local-inference
  - multimodal
library_name: pytorch_lightning
pipeline_tag: text-generation
language:
  - en
  - vi
---

# AI Python — Code Assistant (LangChain + CTransformers)

Demo chạy **LLM dạng GGUF** bằng `ctransformers` + `langchain` để trả lời theo prompt: **“chỉ trả lời bằng code Python”**.

## Demo nhanh

- **Input**: một yêu cầu/bài toán Python (text)
- **Output**: **chỉ code Python** (không giải thích)

File chạy chính: `app.py`  
Model mặc định: `Cube-Python.gguf`

## Cài đặt

Tạo môi trường ảo (khuyến nghị) rồi cài dependencies:

```bash
pip install -U langchain langchain-community ctransformers
```

## Chạy

Đảm bảo file model `Cube-Python.gguf` nằm cùng thư mục với `app.py`, rồi chạy:

```bash
python app.py
```

## Cấu hình (trong `app.py`)

- **`MODEL_FILE`**: tên file GGUF (mặc định `Cube-Python.gguf`)
- **`MODEL_TYPE`**: loại model cho CTransformers (mặc định `llama`)
- **`GPU_LAYERS`**:
  - `0` = chạy CPU
  - nếu máy có GPU VRAM đủ, tăng lên (ví dụ 10–20) để nhanh hơn
- **`CONTEXT_LENGTH`**: độ dài ngữ cảnh (mặc định `4096`)

## Cấu trúc repo

- `app.py`: prompt + chain (LangChain) + load model GGUF (CTransformers)
- `Cube-Python.gguf`: file model GGUF


## Ví dụ prompt

Bạn có thể thay biến `question` trong `app.py` bằng bài toán của bạn (tiếng Việt/tiếng Anh đều được).

## Credits

- LangChain
- CTransformers

## Nếu bạn thấy hay

Cho mình xin **1 follow** trên Hugging Face và **1 tym** (like) cho repo nhé. ❤️