○ unseen · kind concept · level 0 · 0h
- Implementa: Retrieval-Augmented Generation
MobileRAG es un sistema de Retrieval-Augmented Generation diseñado para funcionar en dispositivos móviles (phones, tablets) con recursos limitados de compute, memoria y batería, manteniendo la capacidad de recuperar context relevante y generar respuestas.
Mecanismo: MobileRAG combina:
- Retrieval eficiente: Usa embedding-based search con índices comprimidos y particionados por app/version para evitar contaminación, crítico en entornos móviles donde las UIs cambian frecuentemente
- Memory management: Estrategias de pruning y resumen jerárquico para evitar que la memoria crezca sin límite — embeddings viejos o poco usados se descartan, contexto relevante se resumen
- On-device inference: Modelos compactos (distilled, quantized) que corren en el device para RAG sin depender de servers externos, preservando privacidad y reduciendo latencia
Ventajas sobre RAG tradicional:
- Privacidad: datos no salen del dispositivo
- Latencia: sin round-trips a API externa
- Resiliencia: funciona offline o con conectividad intermitente
- Adaptación: las particiones por app/version permiten evolución sin retraining
Pitfall: Los dispositivos móviles tienen recursos limitados — los embeddings de alta dimensión y modelos grandes son inviables. MobileRAG requiere trade-offs: menor calidad de retrieval, menor capacidad de generación, y la gestión de memoria es un problema activo de investigación. La calidad de RAG offline es siempre menor que con modelos server-side.
Temas relacionados: Retrieval Augmented Generation, Mobile AI, On-Device Inference, Vector Search, Memory Management.
Enlaces
- Implementa: Retrieval-Augmented Generation