Inference Enginering - Prefill vs decode

Questo è il mio primo blogpost in italiano. Questo è il primo appunto del learning path Inference engineering di Deep-ML. L'obiettivo è spiegare la differenza tra il prefill e il decode e perché vengono rispettivamente considerati compute-bandwith-bound e memory-bound. 1. Le due fasi dell'inferenza Nel contesto dell'inferenza di un LLM, prefill e decode sono i due step che ne caratterizzano il…