Hosting VPS con Docker para Chroma

Chroma es una base de datos de embeddings de código abierto y nativa para IA, pensada para almacenar y consultar vectores de alta dimensión que las aplicaciones con LLM usan para recuperar contexto relevante en el momento de la consulta durante la inferencia. Se publica bajo la licencia Apache 2.0, es gratuita para uso comercial y ha reunido más de 26 000 estrellas en GitHub y más de 11 millones de descargas mensuales en 2025. El proyecto incluye un cliente de Python y JavaScript además de un binario de servidor, y trata el desarrollo local y los despliegues de producción como la misma superficie de API para el código de la aplicación.

El caso de uso predominante es la generación aumentada por recuperación, donde un chatbot fundamenta sus respuestas en un corpus de documentos privados mediante la búsqueda del vecino más cercano. La búsqueda semántica sobre documentos legales, artículos científicos, tickets de soporte o wikis internos sigue el mismo patrón a otra escala. Otros usos comunes incluyen la memoria a largo plazo para agentes de IA, sistemas de recomendación de escala pequeña a media y la búsqueda de código sobre un corpus de repositorios de código fuente convertido en embeddings. Cada patrón almacena embeddings en colecciones y los consulta por similitud con un vector de consulta.

Chroma admite tres modos de cliente para uso local y remoto. EphemeralClient almacena los datos solo en memoria para pruebas, PersistentClient escribe en un directorio local para desarrollo y despliegues pequeños, y HttpClient se conecta a un servidor Chroma que se ejecuta por separado. El modo servidor es la vía de producción habitual, iniciada con chroma run --path /your/db/path o desde la imagen Docker chromadb/chroma. El mismo código de Python o JavaScript se comunica con los tres modos, de modo que una aplicación puede pasar del desarrollo local a un VPS remoto sin cambios en el código.

La imagen oficial se publica como chromadb/chroma en Docker Hub para quienes autoalojan. El comando habitual es docker run -p 8000:8000 -v /path/on/host:/chroma/chroma chromadb/chroma, que expone el puerto 8000 y monta un directorio del host como volumen persistente. En un VPS con acceso root, el operador puede instalar Docker Engine, ejecutar la imagen como un servicio de larga duración y respaldar el volumen tomando una instantánea del directorio del host. Esa misma imagen es la que usan la mayoría de los tutoriales de Chroma autoalojado en 2025.

Chroma admite tres métricas de distancia HNSW. La distancia euclidiana al cuadrado L2 es la predeterminada, con el coseno y el producto interno como alternativas. La métrica se define al crear la colección y queda fija para esa colección, ya que el índice HNSW se construye en torno a ella. L2 y el producto interno son sensibles a la magnitud del vector, por lo que los embeddings suelen normalizarse antes de añadirse cuando se usan esas métricas. La distancia de coseno gestiona internamente el problema de la magnitud y es la opción segura para las cargas de trabajo de búsqueda semántica en general.

La versión de nodo único de código abierto es gratuita bajo la licencia Apache 2.0, sin límites en el número de colecciones, el número de documentos ni el uso comercial. Chroma Cloud es un servicio gestionado de pago aparte, de la misma empresa, con un nivel gratuito de hasta aproximadamente un millón de embeddings y precios según el uso del almacenamiento de unos dos centavos por gigabyte al mes por encima de eso. Autoalojar en un VPS mantiene predecibles tanto los datos como el coste para cualquier equipo que ejecute una canalización de recuperación privada.

Los documentos se convierten en embeddings numéricos mediante un modelo de embedding, se almacenan en una colección de Chroma junto con metadatos y se indexan en un grafo Hierarchical Navigable Small World. En el momento de la consulta, la pregunta se convierte en embedding de la misma forma y la base de datos devuelve los vectores más cercanos por distancia L2, de coseno o de producto interno. Cada colección tiene su propia función de embedding y su propio índice HNSW, con filtros de metadatos como $eq, $gt e $in aplicados en el mismo paso que la búsqueda vectorial.

La RAM mínima recomendada es de 2 GB en el host. Para el dimensionamiento en producción, la fórmula oficial es N (millones de vectores) igual a R (RAM del sistema en GB) por 0,245, con embeddings de mil veinticuatro dimensiones, tres registros de metadatos y un documento pequeño por embedding. Eso equivale a unos cuatro gigabytes de RAM por cada millón de vectores a 1024 dimensiones, con el índice HNSW residente en memoria en todo momento durante el funcionamiento. Los embeddings más pequeños, como el predeterminado de 384 dimensiones, necesitan proporcionalmente menos RAM.

La función de embedding predeterminada es Sentence Transformers all-MiniLM-L6-v2 a 384 dimensiones, ejecutada localmente mediante ONNX Runtime. No se requiere ninguna clave de API externa para empezar, que es una de las razones por las que la gente elige Chroma para crear prototipos en lugar de servicios que necesitan credenciales en la nube desde la primera instalación. Los proveedores alternativos se configuran por nombre en la configuración del cliente, incluidos OpenAI, Cohere, Google PaLM y Gemini, Hugging Face, Jina, Voyage y Ollama, además de funciones de embedding personalizadas escritas contra una interfaz de Python sencilla.

Un archivo chroma.sqlite3 en el directorio persistente contiene los metadatos del sistema para inquilinos, bases de datos, colecciones y segmentos. Cada colección obtiene un subdirectorio con nombre UUID que contiene sus archivos de índice HNSW junto con los metadatos del índice. Las copias de seguridad se realizan a nivel del sistema de archivos, tomando una instantánea o copiando el directorio persistente con el servidor brevemente detenido para obtener una copia coherente en un punto en el tiempo. El antiguo backend DuckDB se eliminó en la versión 0.4.0 en 2023 en favor de SQLite como almacén unificado tanto para despliegues locales como cliente-servidor.