Modelos predictivos sobre el LMSYS Chatbot Arena mediante métricas SCBN y RQTL

A continuación comparto el notebook que presenté (tarde) a la competición LMSYS – Predicciones de preferencias humanas de Chatbot Arena en Kaggle. Este cuaderno aplica técnicas de procesamiento del lenguaje natural (NLP) para clasificar texto con conocidas librerías de Python como scikit-learn y TextBlob, y mis propias versiones optimizadas de Distilbert. Esta colección de scripts constituye la primera versión estandarizada del modelo SCBN (Especificidad, Coherencia, Brevedad, Novedad) de valoraciones cuantitativas para evaluar respuestas de chatbots de LLM. Además, presento un nuevo parámetro de referencia para clasificar las prompts que he llamado RQTL (Solicitud vs. Pregunta, Prueba vs. Aprendizaje), que tiene como objetivo refinar las predicciones de elección humana y proporcionar contexto para las puntuaciones SCBN basadas en la intención del usuario inferida. Puedes consultar y ejecutar todo el código, las anotaciones y los gráficos en el widget de Kaggle a continuación.

Explorar y ejecutar el cuaderno en Kaggle

Introducción al índice de referencia SCBN

Batallas de chatbots SCBN en Talking to Chatbots