Optimizando mi configuración de LLMs locales para tareas por lotes
En una ejecución reciente tuve LLMs locales trabajando más de 28 horas, masticando cuatrocientos treinta y siete ficheros markdown. El modelo era qwen3.5:122b, servido vía Ollama en dos Mac Studio sobre una red local privada. La tarea, nada glamurosa: leer un fichero, devolver un JSON con un resumen de dos frases, las personas nombradas, las etiquetas de temas, las ideas clave que el fichero argumenta. Repetir. Agregar entre ficheros. Escribir los andamios por entrada.