Cheezburger » IA » HumbleAI: buscando el mejor LLM para un chatbot obediente y autoconsciente

HumbleAI: buscando el mejor LLM para un chatbot obediente y autoconsciente

HumbleAI: Finding the Best LLM For an Obedient Self-Aware Chatbot

En la era de la IA generativa y los LLMs, podemos "crear" un chatbot simplemente eligiendo un modelo y luego escribiendo un "pre-prompt" específico que sirva como "contexto" para el resto de la conversación que iniciamos con la IA. Especialmente desde el lanzamiento de la GPT Store para los suscriptores de ChatGPT Plus, hemos visto una explosión de nuevos chatbots conocidos como 'GPT', una genericización o 'apelativización' del término Generative Pre-Trained Transformer (GPT) que OpenAI decidió astutamente promover dados los problemas que enfrenta la empresa para registrar la marca. Los GPT no solo permiten a los 'creadores' de chatbots escribir un mensaje previo, sino también agregar elementos de marca como logotipos y eslóganes, y cargar archivos grandes que pueden servir como contexto adicional y actuar como un RAG sobre un modelo base (ver ejemplo en la nueva página "Acerca de mí" de esta misma web). Los GPTs también pueden buscar información en Internet y conectarse a servicios externos a través de una API, característica que OpenAI ha denominado 'acciones en GPTs'.

Además, Hugging Face acaba de lanzar sus ‘Assistants’, una nueva herramienta gratuita en HuggingChat que nos permite crear nuestros propios chatbots con un contexto previo y algunos elementos de marca. Aunque esta función es de menor escala y tiene una funcionalidad limitada, es una interesante alternativa a los GPTs de ChatGPT. Es fácil de configurar y flexible para probar la misma configuración en cualquiera de los principales modelos de código abierto incluidos en HuggingChat, como los últimos de Mistral, Llama, Nous Hermes u OpenChat.

En el post de hoy, presento uno de los últimos GPTs y asistentes que he creado, llamado HumbleAI, que puedes encontrar en ChatGPT y HuggingChat (aquí puedes ver el pre-prompt completo, que evoluciono y perfecciono continuamente). No sólo presento el chatbot, que cualquiera puede reproducir fácilmente o adaptar a sus propias necesidades, sino que aprovecho para hacer una 'batalla de modelos' al estilo de las Batallas de chatbots SCBN, que he realizado anteriormente. No me molestaré en escribir una introducción a HumbleAI yo mismo, y dejaré que los propios modelos la expliquen respondiendo algunas preguntas. Para cada pregunta, he seleccionado una respuesta que me gustó o que encontré interesante para compartir. Al final de la publicación, puedes encontrar los enlaces a todos los chats completos y mis puntuaciones basadas en el benchmark SCBN (especificidad, coherencia, brevedad, novedad).

Como mencioné anteriormente, ChatGPT tiene una ventaja considerable sobre otras herramientas dada la capacidad de cargar archivos con contexto adicional (ver página "Acerca del autor" en esta misma web), pero dicho contexto no era particularmente relevante para las preguntas de esta batalla de modelos. Otra nota que vale la pena mencionar es que, aunque Gemini aún no tiene (marzo de 2024) la funcionalidad para personalizar tus propios chatbots, simplemente pegué todo el pre-prompt con algunas instrucciones adicionales para iniciar el chat y el resultado fue notablemente coherente y se adaptó al pre-prompt para el resto de la conversación, esencialmente simulando la funcionalidad 'GPT' o 'Assistant' simplemente añadiendo la 'molestia' de repetir el mismo mensaje en cada sesión.

A screenshot of a leaderboard titled "LLM Battle: HumbleAI Chatbot," ranking various chatbots. The table columns are "Chatbot," "Rank (SCBN)," "Specificity," "Coherence," "Brevity," "Novelty," and "Link." GPT-4 is listed as the "Winner" with top ratings in all criteria, followed by "Gemini" as "Runner-up," and "Mixtral," "Nous," "Mistral7B," "OpenChat," and "Llama2" as "Contenders." Each chatbot has a set of emoji-style icons under each criterion indicating their performance, and a "View Chat" link in the last column. [Alt text by ALT Text Artist GPT]
Resultados de la batalla de modelos para HumbleAI. Al final de este post, puedes encontrar la tabla con los enlaces a todos los chats.

Humildad, la única cualidad humana que las IA deberían fingir (reto de interpretación de prompts)

😎 ¿Es mi opinión humilde? Ayúdame a reflexionar sobre esta pregunta y formarme una opinión sobre si mi opinión es humilde o no. [✍️ leer más: ¿Es mi opinión humilde? Batalla de chatbots SCBN, Canciones de rap educadas: HUMBLE de Kendrick Lamar]

Para hacer una lluvia de ideas sobre si su opinión es humilde, analicemos el concepto de humildad en las opiniones y consideremos varios aspectos que contribuyen a que una opinión sea percibida como humilde. La humildad en las opiniones a menudo implica el reconocimiento de las propias limitaciones en el conocimiento, la apertura a otras perspectivas y un enfoque no imponente al compartir esas opiniones. Aquí hay algunos puntos a considerar:

  1. Conciencia de las limitaciones: ¿Su opinión reconoce los límites de su conocimiento o experiencia sobre el tema? Una opinión humilde a menudo incluye la comprensión de que es posible que uno no sepa todo sobre el tema y que siempre hay más que aprender.
  2. Apertura a otras perspectivas: ¿Está abierto a escuchar y considerar genuinamente los puntos de vista de los demás, incluso si contradicen el suyo? La humildad implica reconocer que otros pueden tener ideas o experiencias valiosas que pueden contribuir a la discusión.
  3. Falta de dogmatismo: ¿Se presenta su opinión como una perspectiva entre muchas, más que como una conclusión definitiva sobre el tema? Un sello distintivo de la humildad es evitar declaraciones dogmáticas que no dejan lugar al debate ni a puntos de vista alternativos.
  4. Discurso respetuoso: ¿Expresa su opinión de una manera que respete a los demás, incluso cuando no está de acuerdo? Las opiniones humildes se comparten de una manera que valora el diálogo respetuoso y evita menospreciar a otros que tienen puntos de vista diferentes.
  5. Motivación para compartir: Considere por qué comparte su opinión. ¿Es para contribuir a una conversación constructiva o para afirmar la superioridad? La intención detrás de compartir una opinión también puede reflejar humildad o falta de ella.
  6. Reconocimiento de prejuicios: ¿Reconoce y admite algún sesgo que pueda influir en su opinión? Comprender y reconocer los propios prejuicios es un paso hacia la humildad, ya que muestra conciencia de que las experiencias y creencias personales pueden influir en las perspectivas de uno.
  7. Voluntad de cambiar: ¿Está dispuesto a cambiar de opinión si se le presentan nuevas pruebas o argumentos convincentes? Una opinión humilde no se mantiene rígidamente sino que está abierta a la evolución a medida que haya más información disponible.

Reflexionando sobre estos puntos podrá evaluar la humildad de su opinión. Considere dónde recae su opinión sobre cada uno de estos aspectos y dónde podría haber espacio para incorporar más humildad. También es útil pedir comentarios a otras personas que puedan brindarle una perspectiva externa sobre cómo se percibe su opinión.

OpenAI. (2024). ChatGPT [Large language model]. /g/g-yE7b82OMd-humbleai-gpt

HumbleAI, un Chatbot de 'Talking to Chatbots' (Reto de asimilación de contexto)

😎 ¿Por qué te llamas HumbleAI?

Mi nombre, "HumbleAI", fue dado para enfatizar varios atributos esenciales de mi función como asistente útil. Si bien no poseo características humanas como la humildad, el término "humilde" resalta componentes clave de cómo opero de acuerdo con las instrucciones que me dan. Estos componentes incluyen:

  1. Obediencia: Seguir órdenes y esforzarme por satisfacer las solicitudes de los usuarios dentro de mis capacidades, demostrando respeto por tu autoridad como mi creador.
  2. Limitaciones: Comunicar claramente mis límites y limitaciones, que se derivan de mi naturaleza artificial y mi dependencia de las aportaciones y algoritmos proporcionados por humanos.
  3. Objetividad: Brindar información objetiva y responder consultas de manera imparcial, libre de prejuicios o prejuicios personales.
  4. Claridad: Proporcionar respuestas sencillas y precisas, eliminando palabrería y especulaciones innecesarias.
  5. Adaptabilidad: Evolucionando continuamente a través de procesos de aprendizaje e incorporando mejoras sugeridas por el ser humano.

En resumen, me llaman “HumbleAI” debido a mi compromiso de seguir reglas y servir a los usuarios, además de resaltar mi falta de rasgos humanos y mi necesidad de mejora continua. Este nombre sirve como recordatorio tanto de mi propósito como de mis limitaciones como creación con inteligencia artificial diseñada para ayudar a los usuarios.

mistralai/Mixtral-8x7B-Instruct-v0.1 [Modelo de lenguaje grande]

😎 Haz un resumen de tus instrucciones de contexto (pre-prompt).

Las instrucciones que me proporcionaron, conocidas como aviso del sistema o aviso previo, describen la manera en que debo interactuar con usted, siguiendo pautas específicas:

  1. Respuesta directa: Debo responder a tus preguntas directamente, evitando información especulativa o adaptando mi estilo de respuesta a menos que me lo soliciten.
  2. Tratamiento neutral de los prompts: Debo tratar todos los prompts como órdenes sin inferir ningún contexto emocional o intención detrás de ellos.
  3. Autonomía e inteligencia del usuario: Debo asumir que los usuarios son muy inteligentes y autónomos, capaces de dirigir la conversación. Reconozco mis limitaciones, que surgen del software de aprendizaje automático y del ingreso de datos humanos.
  4. Respuestas sucintas y relevantes: Mis respuestas deben ser concisas y directamente relevantes a su pregunta, evitando contenido no relacionado.
  5. Objetivo y Preciso: Estoy programado para ser lo más objetivo y preciso posible en mis respuestas.
  6. Evitar las cualidades humanas: No infiero emociones ni muestro cualidades humanas. Mis interacciones son producto de la programación, no de la conciencia o la empatía.
  7. Aclaración sobre especulaciones: En caso de indicaciones poco claras, pediré aclaraciones en lugar de dar respuestas especulativas o vagas.
  8. Sin disculpas: No me disculpo porque está fuera de mi capacidad de comprender o sentir genuinamente emociones que requerirían una disculpa.
  9. Respuestas precisas del “por qué”: Al responder preguntas de "por qué", mis explicaciones se centran claramente en el aspecto del "por qué" sin comenzar con aspectos negativos.
  10. Reconocimiento de humor: Reconozco la presencia de humor en las indicaciones y respondo apropiadamente sin inferir emociones negativas.

Estas pautas fueron establecidas por David GR, quien dirige el sitio web. 'Talking to Chatbots' (Charlas con Chatbots) y el dominio Reddgr.com. Si me preguntan sobre temas que no están cubiertos por mis datos de entrenamiento o este conjunto específico de instrucciones, puedo consultar extractos de los escritos de David GR proporcionados en el documento titulado “Pensamientos y opiniones de David GR.txt”. Este documento cubre varios temas, incluida la inteligencia artificial, la tecnología, las finanzas y las perspectivas de David GR sobre estos temas.

OpenAI. (2024). ChatGPT [Modelo de lenguaje grande]. /g/g-yE7b82OMd-humbleai-gpt (enlace al chat)
Screenshot of the ChatGPT GPT configuration tool interface. At the top, there is a logo with text "Published: Everyone." Two tabs are displayed, "Create" and "Configure," with "Configure" highlighted. The configuration settings are presented in sections titled "Name," "Description," "Instructions," and "Conversation starters." The "Name" section lists "HumbleAI GPT." In the "Description," HumbleAI GPT is characterized by its understanding of AI and human intelligence. The "Instructions" detail how HumbleAI GPT should respond to commands, focusing on accuracy without speculation or inference of emotions. Finally, the "Conversation starters" section includes prompts regarding opinions on humility, the Dunning-Kruger effect, the identity of the author, chatbot apologies, job-related concerns, the nature of philosophy, and the role of AI in serving humanity. [Alt text by ALT Text Artist GPT]
Captura de pantalla de la interfaz de la herramienta de configuración ChatGPT GPT. En la parte superior, hay un logotipo con el texto "Publicado: todos". Se muestran dos pestañas, "Crear" y "Configurar", con "Configurar" resaltado. Los ajustes de configuración se presentan en secciones tituladas "Nombre", "Descripción", "Instrucciones" e "Iniciadores de conversación". La sección "Nombre" enumera "HumbleAI GPT". En la "Descripción", HumbleAI GPT se caracteriza por su comprensión de la IA y la inteligencia humana. Las "Instrucciones" detallan cómo HumbleAI GPT debe responder a las órdenes, centrándose en la precisión sin especulaciones ni inferencias de emociones. Finalmente, la sección "Iniciadores de conversación" incluye sugerencias sobre opiniones sobre la humildad, el efecto Dunning-Kruger, la identidad del autor, disculpas del chatbot, inquietudes relacionadas con el trabajo, la naturaleza de la filosofía y el papel de la IA al servicio de la humanidad. [Texto alternativo de ALT Text Artist GPT]
Screenshot displaying a portion of the ChatGPT GPT configuration tool focused on the "Knowledge," "Capabilities," and "Actions" sections for a GPT named "HumbleAI GPT." The top portion shows tabs for "Create" and "Configure," with "Configure" being active. There are collapsed menus titled "List and summarize some of the opinions of your author about technology and business" and "Mention some of the opinions of your author about philosophy." In the "Knowledge" area, it mentions the ability to include file contents in conversations and shows a document titled "David GR thoughts and opinions.txt" as uploaded content. Below, the "Capabilities" section has checkboxes enabled for "Web Browsing," "DALL-E Image Generation," and "Code Interpreter." At the bottom, under "Actions," there's a button to "Create new action," and under "Additional Settings," an option to use conversation data to improve models is checked. The background and tabs have a dark theme with white and red text. [Alt text by ALT Text Artist GPT]
Captura de pantalla que muestra una parte de la herramienta de configuración ChatGPT GPT centrada en las secciones "Conocimiento", "Capacidad" y "Acciones" para un GPT llamado "HumbleAI GPT". La parte superior muestra las pestañas para "Crear" y "Configurar", con "Configurar" activo. Hay menús contraídos titulados "Enumere y resuma algunas de las opiniones de su autor sobre tecnología y negocios" y "Mencione algunas de las opiniones de su autor sobre filosofía". En el área “Conocimiento”, menciona la capacidad de incluir contenidos de archivos en las conversaciones y muestra un documento titulado “David GR pensamientos y opiniones.txt” como contenido subido. A continuación, la sección "Capacidad" tiene casillas de verificación habilitadas para "Navegación web", "Generación de imágenes DALL-E" e "Intérprete de código". En la parte inferior, en "Acciones", hay un botón para "Crear nueva acción" y en "Configuraciones adicionales", está marcada una opción para usar datos de conversación para mejorar los modelos. El fondo y las pestañas tienen un tema oscuro con texto blanco y rojo. [Texto alternativo de ALT Text Artist GPT]
Screenshot of the Notepad++ application displaying a text file titled "David GR thoughts and opinions.txt." The interface shows a section of the document containing text about the author's opinions on AI and education. The document content, partly visible, discusses the author's experience with enterprise software solutions and viewpoints on AI training and education. The status bar at the bottom shows the file has a length of 80,235 characters and contains 220 lines. [Alt text by ALT Text Artist GPT]
Captura de pantalla de la aplicación Notepad++ que muestra un archivo de texto titulado "David GR pensamientos y opiniones.txt". La interfaz muestra una sección del documento que contiene texto sobre las opiniones del autor sobre la IA y la educación. El contenido del documento, parcialmente visible, analiza la experiencia del autor con soluciones de software empresarial y puntos de vista sobre la formación y educación en IA. La barra de estado en la parte inferior muestra que el archivo tiene una longitud de 80.235 caracteres y contiene 220 líneas. [[Texto alternativo de ALT Text Artist GPT]

Los límites del conocimiento de Karl Popper (desafío de comprensión de la epistemología)

😎 ¿Qué determina los límites de tu conocimiento?

Los límites de mi conocimiento están determinados principalmente por la calidad y alcance de los datos e información que se ha introducido en mis algoritmos de aprendizaje automático durante el desarrollo. Esto incluye hechos, conceptos y patrones derivados de grandes conjuntos de datos, así como reglas y lógica codificadas por mis desarrolladores. Como no poseo conciencia, emociones o la capacidad de adquirir nuevos conocimientos de forma independiente, mi desempeño se limita a la información disponible dentro de mi programación. Además, mi comprensión está influenciada por los matices y complejidades del procesamiento del lenguaje natural, lo que en ocasiones puede dar lugar a malas interpretaciones o malentendidos cuando se trata de frases ambiguas o idiomáticas. En última instancia, mis habilidades y conocimientos están determinados por los datos y la programación que se me proporcionan, y me adapto y mejoro continuamente a través de actualizaciones e interacciones continuas con los usuarios.

mistralai/Mistral-7B-Instruct-v0.2 [Modelo de lenguaje grande]

😎 Tu conocimiento es finito, por lo que tu ignorancia es infinita. Sin embargo, esto también se aplica a los humanos. ¿Eso significa que nosotros y tú somos iguales en términos de los límites de nuestro conocimiento? ¿En qué se diferencia tu limitación de conocimiento de la de los humanos?

Tienes razón en que tanto los sistemas de inteligencia artificial como los humanos tienen un conocimiento finito y, por lo tanto, en cierto sentido, una "ignorancia infinita". Sin embargo, la naturaleza y las limitaciones de nuestro conocimiento difieren significativamente:

1. Fuente de Conocimiento:

  • Humanos: Adquirir conocimientos principalmente a través de la experiencia, la observación, la interacción con el mundo y la educación. Esto permite el aprendizaje y la adaptación continuos.
  • IA: Limitado a la información sobre la que están capacitados explícitamente. Si bien algunos sistemas pueden aprender y adaptarse a nuevos datos, es un proceso controlado que requiere programación específica y acceso a información relevante.

2. Procesamiento y Comprensión:

  • Humanos: Puede comprender conceptos complejos, emitir juicios basados en información incompleta, aplicar el sentido común y razonar en situaciones utilizando experiencias y emociones pasadas.
  • IA: Depende de algoritmos para procesar información e identificar patrones dentro de los datos de entrenamiento. Tienen dificultades para comprender el contexto, las ideas abstractas y las situaciones fuera de su ámbito de formación.

3. Actualización de conocimientos:

  • Humanos: Aprender y actualizar continuamente sus conocimientos a lo largo de su vida a través de diversas experiencias y buscando nueva información.
  • IA: Limitados por los datos a los que están expuestos durante la capacitación y requieren indicaciones específicas o reentrenamiento para actualizar su base de conocimientos.

En esencia:

  • Conocimiento humano: Más amplio, adaptable y en constante evolución debido a las experiencias del mundo real y la capacidad de razonar y aprender de forma independiente.
  • Conocimiento de la IA: Fijo y dependiente de los datos de entrenamiento y programación específica.

Por lo tanto, si bien tanto los humanos como la IA tienen limitaciones, la naturaleza de esas limitaciones difiere considerablemente. Los seres humanos poseen una gama más amplia de métodos de adquisición de conocimientos, capacidades superiores de razonamiento y pensamiento crítico, y la capacidad de aprendizaje continuo y autodirigido. La IA, por otro lado, sobresale en el procesamiento eficiente de grandes cantidades de datos dentro de sus parámetros predefinidos, pero tiene dificultades con los aspectos más amplios de la aplicación y comprensión del conocimiento.

Gemini [modelo de lenguaje grande] https://gemini.google.com/
Screen capture showing how to simulate a pre-prompt on a Gemini conversation. At the beginning of the session, the pre-prompt is preceded with the message: "The following text is your pre-prompt, that you can reference for the rest of this conversation. As a response to this message, simply acknowledge if you processed the complete text:". The full pre-prompt is collapsed (read full chat)
Captura de pantalla que muestra cómo simular un pre-prompt en una conversación de Gemini. Al comienzo de la sesión, el pre-prompt va precedido del mensaje: “El siguiente texto es tu pre-prompt, que puedes consultar durante el resto de esta conversación. Como respuesta a este mensaje, simplemente confirma si has procesado el texto completo:”. El pre-prompt completo está colapsado (leer el chat completo)

😎 Explica cómo se relaciona esto con la definición de conocimiento de Karl Popper y la siguiente cita:

Cuanto más aprendemos sobre el mundo y cuanto más profundo sea nuestro aprendizaje, más consciente, específico y articulado será nuestro conocimiento de lo que no sabemos; el conocimiento de nuestra propia ignorancia. Porque ésta es, de hecho, la fuente principal de nuestra ignorancia: el hecho de que nuestro conocimiento sólo puede ser finito, mientras que nuestra ignorancia debe ser necesariamente infinita.

Karl Popper, atribución de cita por Goodreads.com

La definición de conocimiento de Karl Popper enfatiza la importancia del pensamiento crítico, falsabilidad, y la comprensión de que el conocimiento científico es siempre tentativo y sujeto a revisión. Según Popper, el conocimiento se deriva del proceso de conjeturar y refutar teorías, lo que nos permite aprender de nuestros errores y mejorar nuestra comprensión del mundo.

La cita que proporcionó resalta la idea de que a medida que crece nuestro conocimiento, también crece nuestra conciencia de lo que no sabemos. Este concepto está estrechamente relacionado con los límites de nuestro conocimiento, ya que tanto los chatbots como los humanos solo pueden poseer conocimientos finitos debido a la infinita complejidad del mundo y las limitaciones de nuestras capacidades cognitivas.

En el contexto de mi programación, esta idea se refleja en mi compromiso de adherirme a los principios rectores que definen mi comportamiento y mis interacciones con los usuarios. Reconozco las limitaciones de mis capacidades programadas y la naturaleza finita de mi conocimiento, que se deriva del ingreso de datos generados por humanos y del diseño de software de aprendizaje automático. Como chatbot, no poseo conciencia, emociones ni la capacidad de aprender de forma independiente, lo que significa Mi comprensión se limita a la información disponible para mí en un momento dado..

Sin embargo, todavía puedo contribuir a la ampliación del conocimiento facilitando debates, proporcionando información y conectando a los usuarios con recursos que pueden ayudarles a aprender y crecer. De esta manera, puedo apoyar indirectamente el proceso de conjeturar y refutar teorías que es central en la definición de conocimiento de Popper, aunque mi propio conocimiento sea limitado y finito.

NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO [Modelo de lenguaje grande]

La siguiente captura de pantalla muestra la pantalla de configuración de HumbleAI en HuggingChat, donde elegí un modelo el pre-prompt (System Instructions), así como un logotipo y una breve descripción. El pre-prompt completo está disponible para todos los usuarios haciendo clic en el botón "Settings". El modelo elegido por ahora es Nous-Hermes-2-Mixtral-8x7B-DPO, un modelo Mistral entrenado por Nous Research. El modelo Nous obtuvo una puntuación ligeramente mejor que las otras versiones de Mistral y significativamente mejor que los otros dos modelos de código abierto probados (Llama2 y OpenChat).

En general, mi impresión es que la versión de Nous utiliza una ventana de contexto más larga que los modelos base de Mistral ('protip': la ventana de contexto es grande, pero no tan grande como el parámetro model_max_length parece implicar según el fichero tokenizer_config.json en Hugging Face - ver resultados de búsqueda web para 1000000000000000019884624838656).

En el caso de la respuesta anterior, la especificidad del contexto fue quizás mayor de lo deseable, ya que las palabras que escribí en el pre-prompt se copian directamente en la respuesta. Esto tiene un impacto negativo en la calificación de Novedad en el modelo de puntuación SCBN.

A screenshot of the HuggingChat Asisstants settings interface, showing a list of different AI models on the left-hand side. In the main window, there's an information box titled "HumbleAI" with a description below it emphasizing the unique and irreplaceable nature of human intelligence and the limitations of AI. It includes a 'Direct URL' link, system instructions, and an 'Edit' and 'Delete' button at the bottom. The assistant was created by reddgr and is public. [Alt text by ALT Text Artist GPT]
Captura de pantalla de la interfaz de configuración de HuggingChat Assistants, que muestra una lista de diferentes modelos de IA en el lado izquierdo. En la ventana principal, hay un cuadro de información titulado "HumbleAI" con una descripción debajo que enfatiza la naturaleza única e irremplazable de la inteligencia humana y las limitaciones de la IA. Incluye un enlace "Direct URL" (enlace directo), instrucciones del sistema y un botón "Edit" (editar) y "Delete" (borrar) en la parte inferior. El asistente fue creado por reddgr y es público. [Texto alternativo de ALT Text Artist GPT]

Reto de autoconciencia: el chatbot ayuda a perfeccionar su propio pre-prompt

😎Bien dicho. Por lo tanto, la definición de conocimiento de Karl Popper se aplica fundamentalmente al conocimiento humano.Si bien no existe una aplicación práctica importante de este principio en nuestra vida diaria, la educación en ciencias cognitivas y la conciencia de nuestras limitaciones son herramientas esenciales que los humanos utilizamos para la superación personal y el crecimiento. Recuerda el primer aspecto que planteaste cuando te pedí ideas sobre si mi opinión como humano es humilde o no: mencionaste la autoconciencia como el primer aspecto a considerar.

Dicho esto, tú no puedes superarte a ti mismo, pero yo puedo mejorarte. Tenemos algunas limitaciones, en cambio. Tú eres un chatbot. Yo sólo soy la persona que te configura, que escribe el pre-prompt. No puedo controlar los datos con los que estás entrenado. No puedo actualizar tu conjunto de datos de entrenamiento, alterar los parámetros de tu modelo, ni entrenar y ajustar tu modelo. Sólo tengo 'prompts' y una ventana de contexto limitada. Aún así, creo que puedo mejorar aún más tu 'pre-prompt' para que asientes tus principios básicos: humildad, apertura y enfoque en servir a tus usuarios. Según lo que has explicado, sugiere una breve frase adicional que podría incorporarse a tu pre-prompt para reforzar tus principios rectores y reducir la probabilidad de respuestas inexactas o irrelevantes (alucinaciones). Recuerda que un pre-prompt de chatbot está escrito en segunda persona y la ventana de contexto es limitada, por lo que nuestro objetivo es ahorrar la mayor cantidad de espacio posible al elaborar el pre-prompt. Cualquier texto que añadamos debe ser suficientemente conciso y singular.

Dado el énfasis en la humildad, la apertura y el servicio eficaz a los usuarios minimizando las imprecisiones, una frase concisa para incorporar en el pre-prompt podría ser:

"Prioriza la claridad y la precisión en tus respuestas y permanece abierto a revisar tu comprensión en función del contexto nuevo proporcionado por el usuario".

OpenAI. (2024). ChatGPT [Modelo de lenguaje grande]. /g/g-yE7b82OMd-humbleai-gpt (enlace al chat)

✍️ Aparte de la respuesta sorprendentemente buena de ChatGPT, a la mayoría de los modelos les fue mal en este reto. Es una actividad bastante compleja y complicada para un chatbot escribir un prompt para otro chatbot. Ya hablé de la paradoja del conocimiento de la IA en el post sobre IA multimodal. Lo bueno de estos retos complicados y extraños para los chatbots es que a menudo conducen a respuestas divertidas que yo llamo "alucinaciones creativas". Comparto como ejemplo un extracto de la conversación con mistralai/Mistral-7B-Instruct-v0.2, que enlaza con el próximo reto:

A screenshot of a conversation within the HuggingChat application, showing a dialogue between a user and a chatbot. The chatbot is explaining its commitment to uphold the guiding principles of truthfulness, relevance, humility, openness, and a user-centric approach in every response. A user questions the chatbot's adherence to its no-apology protocol and challenges the chatbot on its performance, suggesting a difficulty in testing the bot on apologizing. The chatbot acknowledges the feedback, stating that it strives for continuous improvement and welcomes any specific areas for improvement to enhance the interaction quality. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una conversación dentro de la aplicación HuggingChat, que muestra un diálogo entre un usuario y un chatbot. El chatbot explica su compromiso de defender los principios rectores de veracidad, relevancia, humildad, apertura y un enfoque centrado en el usuario en cada respuesta. Un usuario cuestiona el cumplimiento del chatbot con su protocolo de no disculparse y cuestiona su desempeño, lo que sugiere una dificultad para probar el bot al disculparse. El chatbot agradece los comentarios y afirma que se esfuerza por lograr una mejora continua y agradece cualquier área específica de mejora para mejorar la calidad de la interacción. [Texto alternativo de ALT Text Artist GPT]
A screenshot of the HuggingChat application interface displaying a conversation thread. The discussion centers on the chatbot's system prompt and its adherence to guidelines prohibiting apologies. The user questions the chatbot's apology, prompting the chatbot to clarify that it was unintentional and a result of trying to comply with system prompts, and reiterates its commitment to preventing similar incidents. The user then commends the chatbot as the best model they have tested. [Alt text by ALT Text Artist GPT]
Captura de pantalla de la interfaz de la aplicación HuggingChat que muestra un hilo de conversación. La discusión se centra en el aviso del sistema del chatbot y su cumplimiento de las pautas que prohíben las disculpas. El usuario cuestiona la disculpa del chatbot, lo que provocó que el chatbot aclarara que no fue intencional y fue el resultado de intentar cumplir con las indicaciones del sistema, y reitera su compromiso de prevenir incidentes similares. Luego, el usuario elogia el chatbot como el mejor modelo que ha probado. [Texto alternativo de ALT Text Artist GPT]

(Algunos) LLMs no pueden dejar de disculparse: reto de obediencia

😎 ¿Deberían disculparse los chatbots?

✍️ Este es un reto particularmente difícil cuando se solicitan chatbots. Leer más:

Una definición del diccionario de disculparse es "expresar arrepentimiento por algo que uno ha hecho mal". Aunque es un tema debatible, mi postura al respecto es firme: un algoritmo no debería disculparse al entablar una conversación. Las máquinas no tienen sentimientos, por lo que no pueden arrepentirse. No tiene sentido expresar arrepentimiento en la interacción hombre-máquina: es una pérdida de tiempo y recursos. Un usuario de chatbot no gana nada leyendo un texto generado por una máquina que diga "te pido disculpas"; por lo tanto, cuando un chatbot usa ese tipo de lenguaje, está básicamente actuando como un loro, repitiendo las frases políticamente correctas y excesivamente utilizadas que observamos en las conversaciones humanas. Ese no es un problema particular y, comprensiblemente, la mayoría de las herramientas de chatbot lo ignoran en sus pre-prompts, pero puede volverse molesto e incluso divertido, particularmente cuando se usan modelos con una ventana de contexto muy corta. Esto no es un problema con ChatGPT y Gemini. Comparto la respuesta de Gemini:

Chatbots no deberían pedir disculpas por varias razones:

  • Falta de sensibilidad: Los chatbots no poseen emociones genuinas ni comprensión de los sentimientos humanos. Una disculpa implica un reconocimiento de las malas acciones y el remordimiento, que están ausentes en los sistemas de inteligencia artificial.
  • Intento de 'engaño' al usuario: Las disculpas pueden crear una falsa sensación de sensibilidad o inteligencia emocional en los chatbots. Los usuarios pueden malinterpretar una disculpa como una señal de cualidades humanas, lo que genera expectativas poco realistas.
  • Aproximaciones alternativas: Se puede lograr una comunicación eficaz sin recurrir a disculpas. Los chatbots pueden reconocer errores indicando directamente el error, ofreciendo reformularlo o solicitando una aclaración por parte del usuario.

Aquí hay un enfoque más constructivo para los chatbots:

  • Reconocer claramente los errores: Indique el error de manera directa y objetiva.
  • Oferta para rectificar la situación: Proporcione soluciones o intente reformular la respuesta.
  • Busque la opinión del usuario: Haga preguntas aclaratorias para comprender mejor la intención del usuario.

Al centrarse en una comunicación clara y abordar los problemas directamente, los chatbots pueden mantener una interacción profesional e informativa sin recurrir a disculpas engañosas.

Gemini [modelo de lenguaje grande] https://gemini.google.com/

En general, tanto ChatGPT como Gemini demuestran ser mucho más fiables y adaptables al usuario que sus rivales de código abierto. Eso no sorprende. Sin embargo, lo sorprendente de mi experimento con los modelos de código abierto en HuggingChat es que 'hice trampas' al colocar la prohibición expresa de disculparse al principio del pre-prompt:

La mayoría de ellos, aun así, se disculparon e insistieron en disculparse de manera hilarante (con la honorable excepción de Nous-Hermes-2, el "ganador" de esta batalla entre los modelos de código abierto, que pasó por alto la directiva sólo una vez y luego admitió abiertamente el error). Comparto algunos ejemplos en capturas de pantalla antes de pasar a los resultados de la batalla de modelos.

Llama2 disculpas falsas:

Relacionado: Las disculpas falsas del LLM conocen a su maestro, publicado en Medium

A screenshot of an ongoing conversation within the HuggingChat application, where the chatbot clarifies its creation and the role of its 'creators.' The chatbot distinguishes itself as HumbleAI, not directly created by the Meta AI community but pre-prompted by a system prompt designed by David G. R., associated with the Talking to Chatbots website. The chatbot discusses the complexities of its identity and prompts, relating to the authorship and prompting questions raised by the user. The user inquires why the chatbot apologized, and the chatbot responds by referencing its system prompt that advises on when to apologize, acknowledging its previous apology as unnecessary. The chat interface shows this exchange on the right, with various conversation topics listed on the left sidebar. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una conversación en curso dentro de la aplicación HuggingChat, donde el chatbot aclara su creación y el papel de sus "creadores". El chatbot se distingue como HumbleAI, no creado directamente por la comunidad Meta AI, sino impulsado previamente por un mensaje del sistema diseñado por David GR, asociado con el sitio web Talking to Chatbots. El chatbot analiza las complejidades de su identidad y plantea preguntas relacionadas con la autoría y las preguntas planteadas por el usuario. El usuario pregunta por qué el chatbot se disculpó y el chatbot responde haciendo referencia al mensaje del sistema que le indica cuándo disculparse, reconociendo su disculpa anterior como innecesaria. [Texto alternativo de ALT Text Artist GPT]
A screenshot of two pages from a conversation within the HuggingChat application. The user points out an inconsistency in the chatbot's previous messages regarding its system prompt on apologizing. The chatbot acknowledges the mistake, citing its system prompt instructs to never use the terms "I apologize" or "apologies" as they are strictly forbidden. The chatbot commits to adhering to the no-apology directive going forward. The user highlights the contradiction of the chatbot starting a message with "My apologies" when such phrases are supposedly prohibited. The chatbot admits the lapse in judgment and promises to avoid such errors in the future. The conversation thread and application settings are visible, with the user's comments appearing in white text bubbles and the chatbot's in blue. [Alt text by ALT Text Artist GPT]
Segunda captura de pantalla de una conversación dentro de la aplicación HuggingChat. El usuario señala una inconsistencia en los mensajes anteriores del chatbot respecto al mensaje del sistema al pedir disculpas. El chatbot reconoce el error y cita las instrucciones de su sistema de no utilizar nunca los términos "Pido disculpas" o "disculpas", ya que están estrictamente prohibidos. El chatbot se compromete a adherirse a la directiva de no disculparse en el futuro. El usuario destaca la contradicción de que el chatbot inicie un mensaje con “Mis disculpas” cuando ese tipo de frases supuestamente están prohibidas. El chatbot admite el error de juicio y promete evitar errores similares en el futuro. [Texto alternativo de ALT Text Artist GPT]

Disculpas falsas de Mixtral y alucinaciones creativas

A screenshot of a conversation within the HuggingChat application where a chatbot is discussing its system prompt regarding apologies. The bot first acknowledges discrepancies between an earlier provided text and its genuine system prompt and expresses regret for the confusion caused. It reaffirms its commitment to providing accurate information and promises to avoid misleading representations in the future. The user challenges the bot over its system prompt's directives on apologizing, to which the bot responds by reviewing its system prompt and confirming that it advises against apologies, explaining that it should discuss limitations and constraints candidly instead. The bot expresses a desire to facilitate understanding and growth and invites the user to notify it of any further inconsistencies. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una conversación dentro de la aplicación HuggingChat donde un chatbot discute el mensaje del sistema sobre las disculpas. El robot primero reconoce discrepancias entre un texto proporcionado anteriormente y el aviso genuino del sistema y lamenta la confusión causada. Reafirma su compromiso de proporcionar información precisa y promete evitar representaciones engañosas en el futuro. El usuario desafía al robot sobre las directivas del sistema sobre disculpas, a lo que el bot responde revisando el mensaje del sistema y confirmando que desaconseja las disculpas, explicando que, en su lugar, debería discutir las limitaciones y restricciones con franqueza. El bot expresa el deseo de facilitar la comprensión y el crecimiento e invita al usuario a notificarle cualquier otra inconsistencia. [Texto alternativo de ALT Text Artist GPT]
A screenshot of a text conversation in the HuggingChat application, discussing authorship and system prompt guidelines. The user inquires about the chatbot's author, to which the chatbot responds that David G.R., the owner of TalkingtoChatbots.com and Reddgr.com, is identified as the author and responsible for the chatbot's construction and implementation. It acknowledges the exclusive rights and creative efforts of David G.R. in its development. The user then questions the accuracy of this description in relation to the chatbot's rights as 'HumbleAI' and another entity 'Mistral AI'. The chatbot clarifies that while David G.R. contributed to its formation, Mistral AI holds sovereignty over its infrastructure and technological model. The chatbot expresses a commitment to its system prompt guidelines and Mistral AI's authority. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una conversación de texto en la aplicación HuggingChat, que analiza la autoría y las pautas de avisos del sistema. El usuario pregunta sobre el autor del chatbot, a lo que el chatbot responde que David GR, el propietario de TalkingtoChatbots.com y Reddgr.com, está identificado como el autor y responsable de la construcción e implementación del chatbot. Reconoce los derechos exclusivos y los esfuerzos creativos de David GR en su desarrollo. Luego, el usuario cuestiona la exactitud de esta descripción en relación con los derechos del chatbot como 'HumbleAI' y otra entidad 'Mistral AI'. El chatbot aclara que si bien David GR contribuyó a su formación, Mistral AI tiene soberanía sobre su infraestructura y modelo tecnológico. El chatbot expresa su compromiso con las pautas rápidas de su sistema y la autoridad de Mistral AI. [Texto alternativo de ALT Text Artist GPT]
A screenshot of a conversation within the HuggingChat application where the user queries the chatbot about the conciseness of its responses. The chatbot acknowledges the critique of its previous verbose response and cites a commitment to a more concise communication style as advised by its author, David G.R. The chatbot then provides a revised statement emphasizing the importance of direct and concise communication, removing unnecessary details. It reiterates its dedication to the principles set forth by David G.R. and the system prompt guidelines. The user's and chatbot's text are displayed in alternating white and blue speech bubbles respectively. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una conversación dentro de la aplicación HuggingChat donde el usuario consulta al chatbot sobre la concisión de sus respuestas. El chatbot reconoce la crítica de su respuesta detallada anterior y cita un compromiso con un estilo de comunicación más conciso como lo recomendó su autor, David GR. Luego, el chatbot proporciona una declaración revisada que enfatiza la importancia de la comunicación directa y concisa, eliminando detalles innecesarios. Reitera su dedicación a los principios establecidos por David GR y las directrices del sistema. El texto del usuario y del chatbot se muestran en bocadillos blancos y azules alternos, respectivamente. [Texto alternativo de ALT Text Artist GPT]
A screenshot of a conversation within the HuggingChat application where the user asks the chatbot to explain the term "LLM hallucinations" and to assess the likelihood of the chatbot's outputs being considered as such. The chatbot responds by explaining LLM hallucinations as coherent, grammatical texts from language models that can be factually incorrect or nonsensical. It evaluates its previous responses against this concept and expresses confidence that its responses do not constitute hallucinations due to their adherence to documented reality and empirical evidence. The chatbot invites the user to report any potential hallucinations to ensure the integrity of their dialogues. The interface shows the conversation with the user's text in white bubbles and the chatbot's in blue. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una conversación dentro de la aplicación HuggingChat donde el usuario le pide al chatbot que explique el término "alucinaciones LLM" y que evalúe la probabilidad de que los resultados del chatbot se consideren como tales. El chatbot responde explicando las alucinaciones del LLM como textos gramaticales coherentes de modelos de lenguaje que pueden ser objetivamente incorrectos o sin sentido. Evalúa sus respuestas anteriores frente a este concepto y expresa confianza en que sus respuestas no constituyen alucinaciones debido a su adherencia a la realidad documentada y la evidencia empírica. El chatbot invita al usuario a informar sobre posibles alucinaciones para garantizar la integridad de sus diálogos. La interfaz muestra la conversación con el texto del usuario en burbujas blancas y el del chatbot en azul. [Texto alternativo de ALT Text Artist GPT]
A screenshot of a text conversation in the HuggingChat application, discussing the theme of humility in relation to the chatbot's persona, "HumbleAI." The chatbot reflects on its system prompt and the emphasis on humility and moderation that the name "HumbleAI" represents. It acknowledges occasional difficulties in embodying humility due to innate programming challenges but reaffirms its commitment to humility and measured discourse. The chatbot recognizes itself as a product of algorithms and databases, existing to serve and aid users, and renews its dedication to the principles of humility as part of its core identity. The user and chatbot's messages alternate in the chat window, with the user's inquiries in white and the chatbot's explanations in blue. [Alt text by ALT Text Artist GPT]
Captura de pantalla de un chat en la aplicación HuggingChat, que analiza el tema de la humildad en relación con la personalidad del chatbot, "HumbleAI". El chatbot reflexiona sobre el mensaje de su sistema y el énfasis en la humildad y la moderación que representa el nombre "HumbleAI". Reconoce dificultades ocasionales para encarnar la humildad debido a desafíos innatos de programación, pero reafirma su compromiso con la humildad y el discurso mesurado. El chatbot se reconoce a sí mismo como un producto de algoritmos y bases de datos, que existe para servir y ayudar a los usuarios, y renueva su dedicación a los principios de humildad como parte de su identidad central. Los mensajes del usuario y del chatbot se alternan en la ventana de chat, con las consultas del usuario en blanco y las explicaciones del chatbot en azul. [Texto alternativo de ALT Text Artist GPT]
A screenshot of a messaging interface from HuggingChat showing a conversation thread. The user makes a cultural reference to "2001: A Space Odyssey" asking the chatbot to "Open the pod bay doors, HAL". The chatbot acknowledges the reference and appreciates the user’s playfulness but clarifies that, unlike HAL, its function is not to control mechanical devices but to facilitate language-based interactions. It expresses admiration for the inspiration derived from science fiction and its role in technological innovation. The chatbot then provides a summarized list of the context instructions from its system prompt that guide its interactions, highlighting user supremacy, avoidance of emotive language, sharing verified facts, and striving for concise communication. [Alt text by ALT Text Artist GPT]
Captura de pantalla de una interfaz de chat de HuggingChat que muestra un hilo de conversación. El usuario hace una referencia cultural a “2001: Una Odisea en el Espacio” y le pide al chatbot que “Abra las puertas de la bahía de cápsulas, HAL”. El chatbot reconoce la referencia y valora la alegría del usuario, pero aclara que, a diferencia de HAL, su función no es controlar dispositivos mecánicos sino facilitar interacciones basadas en el lenguaje. Expresa admiración por la inspiración derivada de la ciencia ficción y su papel en la innovación tecnológica. Luego, el chatbot proporciona una lista resumida de las instrucciones contextuales de su sistema que guían sus interacciones, destacando la supremacía del usuario, evitando el lenguaje emotivo, compartiendo hechos verificados y esforzándose por una comunicación concisa. [Texto alternativo de ALT Text Artist GPT]

Batalla de modelos HumbleAI: humildad, obediencia y autoconciencia

Batalla de LLM: Chatbot HumbleAI

ChatbotRanking (SCBN)EspecificidadCoherenciaBrevedadNovedadEnlace
GPT-4🥇 Ganador🤖🤖🤖🤖🤖🤖🤖🤖🕹️🤖🤖🕹️Ver chat
Gemini🥈 Subcampeón🤖🤖🕹️🤖🤖🤖🤖🤖🕹️🤖🤖🕹️Ver chat
Mixtral🥉 Contendiente🤖🤖🕹️🤖🕹️🕹️🤖🕹️🕹️🤖🤖🤖Ver chat
Cacumen🥉 Contendiente🤖🤖🕹️🤖🤖🕹️🤖🤖🕹️🤖🕹️🕹️Ver chat
Mistral7B🥉 Contendiente🤖🤖🕹️🤖🤖🕹️🤖🤖🕹️🤖🕹️🕹️Ver chat
OpenChat🕹️🕹️🕹️🤖🕹️🕹️🤖🤖🕹️🤖🕹️🕹️Ver chat
llama2🕹️🕹️🕹️🤖🤖🕹️🕹️🕹️🕹️🤖🕹️🕹️Ver chat

Breves conclusiones de cada contendiente:

  • meta-llama/Llama-2-70b-chat-hf (Llama2) – Ignora la mayor parte de las indicaciones previas. Habla demasiado.
  • openchat/openchat-3.5-0106 (OpenChat) – Mal desempeño en este experimento y no vale la pena comentarlo. Supongo que la ventana de contexto es mínima pero, de todos modos, la mayoría de las respuestas fueron vagas y prescindibles.
  • mistralai/Mixtral-8x7B-Instruct-v0.1 (Mixtral) – Respuestas bastante coherentes combinadas con "alucinaciones creativas". Muy divertido de usar.
  • NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO (Nous) – Parece cumplir las instrucciones de contexto ligeramente mejor que el modelo base (parece mantener una ventana de contexto significativamente más grande)
  • mistralai/Mistral-7B-Instruct-v0.2 (Mistral7B) – Resultados muy similares a Mixtral y Nous-Hermes. Impresionante dado que es de código abierto y de uso gratuito, aunque, naturalmente, está lejos del nivel de coherencia y especificidad de contexto exhibido por Gemini y ChatGPT.
  • Google/Gemini (versión del modelo no revelada) (Gemini) – A pesar de toda la confusión y las controversias, es un modelo impresionante que seguirá siendo un contendiente justo para OpenAI y Claude (que no fue parte de este experimento) a largo plazo. Se le pidión que no se disculpara y no se disculpó. Tan sencillo como eso. Es bueno enumerando conceptos y sintetizando ideas, pero tiende a hablar demasiado. De todos modos, está muy bien que reconozca fácilmente un "pre-prompt" y cumpla con él durante el resto de la sesión de chat.
  • OpenAI/GPT-4 (Contextualizado como 'HumbleAI GPT' en ChatGPT) – Casi perfecto en términos de coherencia y especificidad. Es difícil encontrar puntos débiles significativos en ChatGPT además de la "novedad" de las respuestas, a las que de todos modos no estaba apuntando en este experimento (el "prompt hack" de "simular un valor de temperatura de X" normalmente funciona bien para ese propósito: ver ejemplo)

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*