Instructions to use somosnlp/LLM_SQL_BaseDatosEspanol_Mistral with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use somosnlp/LLM_SQL_BaseDatosEspanol_Mistral with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="somosnlp/LLM_SQL_BaseDatosEspanol_Mistral")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("somosnlp/LLM_SQL_BaseDatosEspanol_Mistral")
model = AutoModelForCausalLM.from_pretrained("somosnlp/LLM_SQL_BaseDatosEspanol_Mistral", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use somosnlp/LLM_SQL_BaseDatosEspanol_Mistral with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "somosnlp/LLM_SQL_BaseDatosEspanol_Mistral"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "somosnlp/LLM_SQL_BaseDatosEspanol_Mistral",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/somosnlp/LLM_SQL_BaseDatosEspanol_Mistral

SGLang

How to use somosnlp/LLM_SQL_BaseDatosEspanol_Mistral with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "somosnlp/LLM_SQL_BaseDatosEspanol_Mistral" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "somosnlp/LLM_SQL_BaseDatosEspanol_Mistral",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "somosnlp/LLM_SQL_BaseDatosEspanol_Mistral" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "somosnlp/LLM_SQL_BaseDatosEspanol_Mistral",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use somosnlp/LLM_SQL_BaseDatosEspanol_Mistral with Docker Model Runner:
```
docker model run hf.co/somosnlp/LLM_SQL_BaseDatosEspanol_Mistral
```

Asis41 commited on Apr 11, 2024

Commit

6a11ef9

verified ·

1 Parent(s): e72e54d

Update README.md

Browse files

Files changed (1) hide show

README.md +13 -4

README.md CHANGED Viewed

@@ -4,10 +4,15 @@ language:
 - es
 ---
-# Introducción al consultor de SQL
-La conversión de consultas de usuarios en comandos SQL, es una de las aplicaciones más importantes de los LLM en el mundo real en la actualidad, pudiendo facilitar el
-procedimiento de acceso a los datos para usuarios de bases de datos no profesionales que no están familiarizados con SQL.
 ## Detalles del modelo
@@ -24,7 +29,7 @@ Después de entrenar el modelo procedemos a una fase de pruebas se colocan instr
 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6529beddd78452c474eacc37/IKuxLT3JFnZyaPd1Hqccz.png)
-## Uso
 Aqui se muestra un link al github con los los notebooks de entreamiento de cada modelo
@@ -35,6 +40,10 @@ Como segundo modelo se utilizo Mistral7b este se hizo un fine-tuning con el mode
 - [Mistral](https://github.com/Asis41/LLM_SQL_BaseDatosEspanol/blob/main/trainer-llm-detect-ai-comp-mistral-7b%20(1).ipynb)
 ## Contribuciones
 Nuestras contribuciones se listan a continuación:

 - es
 ---
+# Implementar LLM y SQL para interactuar con una base de datos en español en un enfoque multimodal
+El desafío de generar SQL preciso para las consultas de los usuarios ha persistido durante mucho tiempo, ya que exige una comprensión profunda tanto de la consulta como de la base de datos.
+Existen soluciones se basan en las capacidades de los grandes modelos de lenguaje (LLM) para generar SQL que se alinee con el esquema de la base de datos y recupere con precisión los datos requeridos.
+Sin embargo, existen varios problemas como son
+- Estas soluciones se encuentran en idioma inglés
+- Hay algunos conocimientos necesarios que no están incluidos explícitamente en el esquema de la base de datos ni han sido aprendidos por los LLM.
+Por lo que se propone una herramienta que sea capaz de interactuar en español con una base de datos utilizando un enfoque multimodal, como primer paso se creó un conjunto de datos personalizado para posteriormente entrenarlo apoyados por PEFT (parameter-efficient fine-tuning) y por medio de comandos de voz poder generar instrucciones y que sus correspondientes respuestas puedan entregar resultados ya sea por respuesta de voz, texto o imagen según sea la respuesta
 ## Detalles del modelo
 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6529beddd78452c474eacc37/IKuxLT3JFnZyaPd1Hqccz.png)
+## Notebook
 Aqui se muestra un link al github con los los notebooks de entreamiento de cada modelo
 - [Mistral](https://github.com/Asis41/LLM_SQL_BaseDatosEspanol/blob/main/trainer-llm-detect-ai-comp-mistral-7b%20(1).ipynb)
+## Resutlados
+Después de aplicar la herramienta se logró que en un 80 % de los datos se entregaron sentencias favorables y al aplicar la auto-corrección se logro una cifra del 87%
 ## Contribuciones
 Nuestras contribuciones se listan a continuación: