2025 Python 计算生态八月推荐榜 第90期

看见更大的世界，遇见更好的自己
See a better world to meet better for ourselves.

        LLM Inference，大语言模型推理是指使用已经训练好的大语言模型来执行具体任务（如文本生成、回答问题、内容摘要等）的过程。它通过接收用户输入的提示（Prompt），在模型内部进行复杂的计算，最终生成相应的输出。这个过程对计算资源，特别是GPU显存和算力，提出了极高要求。通常，开发者会将优化后的模型部署在云端服务器或本地设备上，通过API接口提供服务。LLM推理的优点在于能够利用最前沿的AI能力赋能应用，但缺点是部署和优化门槛高、运行成本昂贵，并且需要持续关注延迟和吞吐量等性能指标。

        在2025年8月，随着开源大语言模型的全面普及，业界关注的焦点逐渐从模型训练转向了高效、低成本的推理部署。为帮助开发者在众多工具中做出最佳选择，我们特别推荐了10款优秀的 Python 计算生态工具和框架，帮助开发者更好地驾驭大语言模型推理。

transformers

Hugging Face 出品的 Python 库，是访问和使用大语言模型事实上的标准，提供了统一的接口加载海量预训练模型，是几乎所有LLM应用的起点。

https://huggingface.co/docs/transformers/index

vLLM

一个为LLM推理设计的高吞吐量、高效率的服务引擎，通过创新的 PagedAttention 技术显著提升推理速度和GPU利用率，已成为生产环境部署的首选方案之一。

https://github.com/vllm-project/vllm

TensorRT-LLM

由 NVIDIA 官方推出的高性能推理优化库，深度整合了底层硬件能力，通过模型编译和内核融合等技术，在NVIDIA GPU上实现极致的推理性能。

https://github.com/NVIDIA/TensorRT-LLM

BentoML

一个开源的AI应用打包和部署框架，能够将任何LLM（或其他模型）轻松打包成标准化的、可移植的AI服务（Bentos），极大简化了从开发到生产的部署流程。

https://docs.bentoml.com/en/latest/get-started/hello-world.html

llama.cpp

一个在CPU和消费级硬件上实现LLM高效推理的C++库，其Python绑定（llama-cpp-python）让开发者能以极低的资源成本在本地或边缘设备上运行大模型。

https://github.com/ggerganov/llama.cpp

sentence-transformers

专为计算句子、文本和图像嵌入而优化的Python框架，能够轻松地将LLM用作高质量的语义向量生成器，是构建检索增强生成（RAG）应用的核心工具。

https://www.sbert.net

bitsandbytes

一个轻量级的Python封装库，专注于模型量化技术（如8-bit、4-bit），能够在不严重损失性能的情况下，大幅降低LLM对显存的需求，让大模型在消费级GPU上运行成为可能。

https://github.com/TimDettmers/bitsandbytes

Triton Inference Server

NVIDIA 开源的通用推理服务软件，支持多种深度学习框架和模型格式，专为大规模、高并发的生产环境设计，提供动态批处理、多模型部署等高级功能。

https://developer.nvidia.com/triton-inference-server

Text Generation Inference

Hugging Face 官方推出的生产级LLM推理容器，专为文本生成任务优化，支持流式输出、张量并行等特性，是快速部署Hugging Face生态模型的理想选择。

https://github.com/huggingface/text-generation-inference

ONNX Runtime

由微软主导的跨平台机器学习模型推理加速引擎，支持将PyTorch、TensorFlow等框架的模型转换为统一的ONNX格式，从而在不同硬件上实现标准化的高性能部署。

https://onnxruntime.ai