vllma环境安装及部署测试

vLLM 比 Ollama 快得多。

部署很简单，只需发出嘟嘟声。

旧的 GPU 使用 --dtype=half。

本地通话没问题。

新模型支持，效果满意。

独立的环境解决了冲突。

Lora和整个模型都很稳定。

内存效率高，吞吐量高。

自己掂量一下。

如何在Linux系统下配置Java开发环境