tankoooo/toxicity-classifier-ru

Toxicity Classifier for Russian Texts

Описание

Модель для бинарной классификации токсичности русскоязычных текстов.

Задача

• Класс 0: Нетоксичный текст
• Класс 1: Токсичный текст

Метрики на тестовой выборке

Метрика	Значение
Accuracy	0.0000
F1-Score	0.0000
Precision	0.0000
Recall	0.0000
ROC-AUC	0.0000
MCC	0.0000

Использование

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = 'tankoooo/toxicity-classifier-ru'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

def predict_toxicity(text):
    inputs = tokenizer(text, return_tensors='pt', max_length=128, truncation=True, padding=True)
    with torch.no_grad():
        outputs = model(**inputs)
        probs = torch.softmax(outputs.logits, dim=-1)
        return probs[0][1].item()

# Пример
print(predict_toxicity('Здравствуйте, чем могу помочь?'))

Датасет

Модель обучена на датасете: tankoooo/toxicity-classification-ru

Автор

tankoooo

Лицензия

MIT