Un MoE de 188M en una GPU gratis: qué probó y qué no

¿Se puede armar un modelo MoE desde cero con una GPU gratis? Un dev diseñó 188M parámetros con 51M activos. Mirá qué midió y qué falta confirmar

#moe #deepseekmoe #llm #colab #mixtureofexperts