Comprensión de la tokenización probabilística y estocástica en los LLM y el procesamiento del lenguaje humano
Cargando datos del conjunto de datos Talking to Chatbots reddgr/talking-to-chatbots-chats … 😎 “Tokenización probabilística” es un término que utilizo para referirme a ciertas arquitecturas de tokenización específicas utilizadas en NLP y LLM. Sin embargo, el término no se usa ampliamente. Sugiera otros adjetivos que se emparejen más ampliamente con la palabra “tokenización” y que aún se relacionen con la naturaleza no determinista o “probabilística” de la mayoría de los algoritmos de tokenización conocidos. 🤖 Teniendo en cuenta su enfoque en los aspectos no deterministas o probabilísticos de la tokenización en NLP y LLM, podría considerar términos como “tokenización estocástica”, “tokenización adaptativa”, “tokenización dinámica” o “tokenización contextual”. Cada uno de estos términos enfatiza diferentes aspectos de …