Se domani un multimiliardario ti dicesse "dimmi che hardware vuoi e te lo costruisco", cosa risponderesti?
Ieri mi sono fermato un attimo a sognare, e ho immaginato un nuovo tipo di periferica.
Immaginiamo una semplice board che monta da 5 a 20 chip, numerati da 0 a 19. Ogni chip è programmato con un "expert": una rete neurale specializzata in un determinato compito - matematica, linguistica, coding, salute, e così via.
Il chip 0 è la gating network, il direttore d'orchestra: la rete neurale che decide quale expert tirare in ballo per ogni richiesta. Un protocollo standardizzato permette ai vari expert di dichiarare le proprie competenze al chip router, che le smista di conseguenza.
È la traduzione hardware di quello che oggi conosciamo come modello MoE (Mixture of Experts) - con una differenza enorme: il routing non è più un'astrazione software dentro un unico die, ma un instradamento fisico tra chip distinti.
La modularità che ne deriva cambia le carte in tavola. Un ufficio legale potrà scegliere solo gli expert pertinenti al proprio dominio. Il problema si scompone, e si può concentrare lo sviluppo su singoli expert invece che su un modello monolitico. E aggiornare un expert diventa semplice, veloce,…