大模型是怎样跑起来的（轻科技）

“自回归，也就是说前面已经生成的内容，会成为后面继续生成的依据。”

“GPU上有一种很重要的内存，叫HBM，也就是高带宽内存。”

“一次推理大致可以分成两个阶段。第一个阶段叫Prefill，可以理解成“读题”。第二个阶段叫Decode，可以理解成“作答”。”

“上下文窗口不是一个随便设置的限制。它和模型结构、显存容量、内存带宽、推理成本都有关系。”

“与其问“大模型是不是真的会思考”，不如换一个更实用的问题：它生成这段话的依据是什么？这些依据可靠吗？我是否需要验证？”

“有了注意力机制，模型生成每个新Token时，都能回看前文。”