Cloudflare 发布面向 LLM 的边缘推理基础设施

Cloudflare 发布可在全球边缘网络运行大型 LLM 的基础设施，将输入预填充与输出解码拆分到不同服务器，并自研推理引擎优化 GPU 调度。