vLLM源码(V0)结构分析

vLLM使用通常如下（本地推理，非服务）： from vllm import LLM llm = LLM(model="facebook/opt-125m") outputs = llm.generate("Hello, my name is") for output in outputs: prompt = output.prompt generated_text = output.outputs[0].text print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}") vLLM代码结构有非常清晰的类层次结构，整体的数据结构关系如下：…