vllm-project
vLLM là một dự án nguồn mở, engine suy diễn và phục vụ mô hình ngôn ngữ lớn có hiệu suất cao. Bắt nguồn từ UC Berkeley’s Sky Computing Lab, nay là một dự án cộng đồng toàn cầu với sự đóng góp của nhiều viện đào tạo và công ty. Nó cung cấp khung để chạy và mở rộng LLM trong môi trường sản phẩm.