ProCat Solutions
Qué puede hacer hoy una IA en tu propio equipo, del PC con RTX a la PS5 liberada
Una PS5 liberada escribe veinte tokens por segundo y un mini PC del tamaño de un libro mueve un modelo de 235.000 millones. Cuánto cuesta y consume tu propio equipo de IA, y cuándo gana la nube.
Una PlayStation 5 liberada escribe unos veinte tokens por segundo, más o menos quince palabras, con un modelo de lenguaje de 27.000 millones de parámetros. En el procesador de la consola, el mismo modelo saca uno por minuto. La distancia entre esas dos cifras explica por qué la memoria es la pieza clave para quien quiera ejecutar inteligencia artificial en su propio equipo.
El experimento de la PS5 es un pasatiempo y no funciona sin jailbreak. El cambio que refleja, en cambio, es real. Los modelos abiertos, como Qwen, DeepSeek o la familia gpt-oss de OpenAI, ya son lo bastante buenos para que una empresa les encargue escribir código, resumir contratos o buscar en sus documentos sin que una sola línea salga de su sala de servidores. Lo que queda por resolver es cuánto cuesta el hardware y cuánto consume.
Manda la memoria
Un modelo de lenguaje repasa sus propios pesos para cada palabra que produce. Si no caben en la memoria de la tarjeta gráfica, el equipo recurre a la lenta memoria del sistema y la velocidad se desploma. El ritmo lo marcan, sobre todo, el tamaño y el ancho de banda de la memoria.
Hay dos trucos. La cuantización comprime los pesos de 16 a 4 bits, de modo que un modelo de 32.000 millones de parámetros cabe en unos 20 gigabytes sin una pérdida de calidad apreciable. En los modelos mixture-of-experts (MoE), solo trabaja una parte de la red en cada palabra, 3.000 millones de 30.000 en un caso típico, y por eso son mucho más rápidos de lo que su tamaño haría pensar. La velocidad se mide en tokens por segundo; hacia los 15-20, el texto aparece más o menos al ritmo de lectura.
La vía clásica: una tarjeta gráfica potente
La solución más sencilla es una tarjeta de gama alta pensada para juegos. Según las mediciones de hardware-corner.net, una RTX 5090 ejecuta Qwen3 32B a 4 bits a 44-61 tokens por segundo, y el MoE Qwen3-Coder-30B-A3B a más de 240. Nadie lee tan rápido.
Quien quiera ahorrar compra una RTX 3090 de segunda mano. La tarjeta, de 2020, tiene 24 GB de memoria y saca unos 37 tokens por segundo con un modelo de 32.000 millones; con dos, un modelo de 70.000 millones va a 15-20. La diferencia la cobra la compañía eléctrica: una 3090 consume 350 vatios por sí sola, el equipo completo ronda los 850 bajo carga, y en verano se nota en la habitación.
Equipos del tamaño de un libro, por debajo de 200 vatios
La sorpresa del último año han sido los mini PC. Las cajas con el AMD Ryzen AI Max+ 395, conocido como Strix Halo, llevan 128 GB de memoria compartida de la que puede tirar la gráfica integrada. Las mediciones sitúan Qwen3-30B-A3B en unos 100 tokens por segundo y el enorme Qwen3-235B en 11, mientras el equipo consume 120-140 vatios en el enchufe. El GMKtec EVO-X2 de 128 GB cuesta ahora entre 2.000 y 2.300 dólares, tras la subida de la memoria.
En la misma categoría compiten el DGX Spark de sobremesa de Nvidia (128 GB, 4.699 dólares), que mueve gpt-oss-120b a 38-55 tokens por segundo, y el Mac Studio de Apple. La versión con M3 Ultra y 512 GB de memoria carga el DeepSeek R1 completo, de 671.000 millones de parámetros, a 4 bits, y lo ejecuta a 17-18 tokens por segundo con menos de 200 vatios, según TechRadar.
El extremo raro de la escala
La PS5 no es la única máquina puesta a hacer algo para lo que no se diseñó.
- PlayStation 5. El proyecto PS5LM portó el popular llama.cpp a la consola liberada. Sus 16 GB de GDDR6 con 448 GB/s de ancho de banda superan sobre el papel a muchas tarjetas gráficas de oficina. Los modelos pequeños pasan de 100 tokens por segundo.
- Un clúster de Mac Studio. El software exo trata varios Mac como una sola máquina grande. Desde que macOS 26.2 admite RDMA sobre Thunderbolt 5, cuatro Mac Studio juntos ejecutan Qwen3 235B a 32 tokens por segundo. Jeff Geerling reunió así 1,5 terabytes de memoria compartida, por unos 40.000 dólares.
- Raspberry Pi 5. En la placa del tamaño de una tarjeta de crédito, un Llama 3.2 de 1.000 millones de parámetros va a 11-20 tokens por segundo y un Qwen de 3.000 millones a unos 5. Suficiente para una casa inteligente y tareas sencillas.
- Windows 98. EXO Labs ejecutó un modelo de lenguaje en un Pentium II de 1997 con 128 MB de RAM, comprado en eBay. Un modelo diminuto de 260.000 parámetros iba a 39 tokens por segundo; Llama 3.2 1B, a 0,0093: 107 segundos por un solo token.
En cifras
| Equipo | Memoria | Ejemplo medido | Consumo | Precio (aprox.) |
|---|---|---|---|---|
| PC con RTX 5090 | 32 GB | Qwen3 32B: 44-61 tok/s | alto (cientos de W) | solo la tarjeta ~2.000 $+ |
| 2× RTX 3090 (usadas) | 2×24 GB | modelo 70B: 15-20 tok/s | ~350 W por tarjeta | mercado de segunda mano |
| Mini PC Ryzen AI Max+ 395 | 128 GB compartida | Qwen3-235B: ~11 tok/s | 120-140 W | 2.000-2.300 $ |
| NVIDIA DGX Spark | 128 GB compartida | gpt-oss-120b: 38-55 tok/s | bajo | 4.699 $ |
| Mac Studio M3 Ultra | 512 GB compartida | DeepSeek R1 671B: 17-18 tok/s | <200 W | prémium |
| PS5 liberada | 16 GB GDDR6 | Qwen 27B: ~20 tok/s | consola | consola + jailbreak |
| Raspberry Pi 5 | 8-16 GB | Llama 3.2 1B: 11-20 tok/s | pocos W | barato |
Las cifras proceden de pruebas distintas, con ajustes distintos. Muestran órdenes de magnitud, no una clasificación.
Para qué se usa
- Programación. Qwen3-Coder y similares proponen código en local, explican el antiguo y le escriben tests. El código fuente no sale de la empresa, algo que muchos contratos con clientes exigen de todos modos.
- Texto. Borradores, resúmenes, traducciones, correos. En contratos y material interno, el argumento principal es que nada llega a terceros.
- Audio e imagen. Transcribir grabaciones, subtitular vídeos y generar imágenes, en el mismo hardware.
- Base de conocimiento de la empresa. Un asistente que responde a partir de los documentos propios. Lo contamos con más detalle a propósito de Abisearch.
¿Equipo propio o nube?
| Aspecto | Equipo propio | Nube (API o GPU alquilada) |
|---|---|---|
| Arranque | coste único de hardware | ninguno, empieza al momento |
| Coste continuo | electricidad, mantenimiento | según uso, caro con mucho volumen |
| Protección de datos | los datos no salen del equipo | depende del proveedor y del contrato |
| Mejores modelos | solo modelos abiertos | también los modelos cerrados más potentes |
| Escalado | lo que dé la máquina | prácticamente ilimitado |
| Uso sin conexión | sí | no |
| Operación | cosa nuestra | cosa del proveedor |
Quien no quiera comprar hardware puede alquilarlo: una GPU de servidor H100 cuesta en 2026 entre 2 y 4 dólares por hora, y Lambda y RunPod se mueven en esa franja. Con un uso diario y constante, el equipo propio se amortiza pronto; para picos ocasionales, sale más barato alquilar o usar una API en la nube.
Por dónde empezar
En una empresa, comprar una máquina rara vez es el primer paso. Antes hay que aclarar para qué se usará, qué tamaño de modelo basta y cuántas personas trabajarán con él a la vez. De ahí sale si basta un mini PC en una esquina de la oficina, hace falta un servidor con RTX o conviene que el modelo abierto funcione en la nube. Construimos sistemas así, incluidos modelos instalados en su propio servidor y la interfaz interna que los acompaña.
Fuentes
- PS5LM en GitHub, Tom’s Hardware sobre el fork nativo
- Mac Studio M3 Ultra y DeepSeek R1 (MacRumors), consumo (TechRadar)
- Pruebas de LLM en RTX 5090 (hardware-corner.net)
- RTX 3090 para LLM locales (llmhardware.io)
- Pruebas de Strix Halo (GitHub), consumo (TechPowerUp), GMKtec EVO-X2 (Tom’s Hardware)
- Pruebas de DGX Spark (Spheron)
- Clúster de Mac Studio con RDMA (Jeff Geerling), AppleInsider
- Llama en Windows 98 (Hackaday)
- Pruebas en Raspberry Pi 5
- Precios de alquiler de H100 (Spheron, Lambda), RunPod
