EcommerceDay.it learned that an AI developer successfully ran a language model with 28.9 million parameters on an ESP32-S3 microcontroller running locally without cloud, using 512 KB of SRAM and achieving a token rate of approximately 9.5 per second.
Published
Signal category
Research & Knowledge
Quote
“uno sviluppatore è riuscito a far funzionare un modello linguistico da 28,9 milioni di parametri su un microcontrollore ESP32-S3 da circa 8 dollari, con appena 512 KB di SRAM, eseguendo tutto localmente, senza cloud e con una velocità di circa 9,5 token al secondo.”
— Samuele Camatari|EcommerceDay.it team
Company
EcommerceDay.it
Dove si costruisce il futuro dell’ecommerce, si creano le idee, le partnership e i trend più innovativi.
- Industry
- Technology, Information and Internet
- Location
- torino, IT
- Company size
- 5 employees
EcommerceDay: Dove si costruisce il futuro dell’ecommerce, si creano le idee, le partnership e i trend più innovativi. 200.000+ persone formate, 2.000+ esperti coinvolti, 50.000+ persone presenti nella community e oltre 1.000 partner coinvolti. Knowledge sharing and EXPERIENCE that matters.
Founded 2010