blackdaqlabs/MiloX1

Milo X1

Milo X1 es un modelo de lenguaje conversacional en español, propiedad de BLACKDAQ, construido y entrenado completamente desde cero (arquitectura y tokenizer propios, sin partir de ningún modelo preentrenado de terceros).

Descripción

Milo X1 es un Transformer decoder-only autoregresivo, con atención causal multi-cabeza, codificación posicional rotatoria (RoPE), bloques feed-forward SwiGLU y normalización RMSNorm. Usa un tokenizer BPE a nivel de byte, entrenado desde cero sobre el propio corpus de Milo.

El modelo pasó por dos etapas de entrenamiento: un preentrenamiento sobre texto general en español, seguido de fine-tuning por instrucciones sobre miles de ejemplos de preguntas y respuestas, para que pueda seguir instrucciones y mantener una conversación.

Ficha técnica

Característica	Valor
Parámetros	~14.3M
Tamaño de vocabulario	14,000 tokens
Longitud de contexto	768 tokens
Idioma	Español
Arquitectura	Transformer decoder-only (RoPE, SwiGLU, RMSNorm)
Tokenizer	BPE byte-level, entrenado desde cero
Propietario	BLACKDAQ

Archivos de este repo

• model.safetensors: pesos del modelo.
• config.json: hiperparámetros de arquitectura.
• tokenizer.json: tokenizer BPE byte-level (formato nativo de la librería tokenizers).

Cómo usarlo

Milo X1 usa una arquitectura propia (no es una arquitectura estándar de transformers), así que no se carga con AutoModelForCausalLM. Se reconstruye la clase del modelo a partir de config.json y se cargan los pesos desde model.safetensors. El tokenizer sí es compatible directamente con la librería tokenizers de Hugging Face:

from tokenizers import Tokenizer
from safetensors.torch import load_file
import json

tokenizer = Tokenizer.from_file("tokenizer.json")
config = json.load(open("config.json"))
state_dict = load_file("model.safetensors")
# reconstruir la arquitectura de Milo X1 con `config` y cargar `state_dict`

Limitaciones

Milo X1 es un modelo pequeño (~14.3M parámetros) comparado con los grandes modelos comerciales de miles de millones de parámetros, y es un proyecto en desarrollo activo por parte de BLACKDAQ. Puede producir respuestas incoherentes, incompletas o incorrectas, especialmente fuera de temas cubiertos en su entrenamiento. No está pensado para producción crítica ni para reemplazar modelos de lenguaje a gran escala.

Licencia y propiedad

Milo X1 es propiedad de BLACKDAQ. Ver licencia del repo para términos de uso.