EvalByLMDeploy.md

使用 LMDeploy 加速评测推理

VLMEvalKit 支持测试由 LMDeploy 部署的 VLM 模型，下面以 InternVL2-8B 为例，展示如何测试模型

第0步 安装 LMDeploy

pip install lmdeploy

其他安装方式可以参考 LMDeploy 的文档

第1步 启动推理服务

lmdeploy serve api_server OpenGVLab/InternVL2-8B --model-name InternVL2-8B

Important

因为 VLMEvalKit 中的模型对于不同数据集在构建 prompt 时可能有自定义行为，如 InternVL2 对于 HallusionBench 的处理，所以，server 端在启动的时候需要指定 --model-name，这样在使用 LMDEploy api 时可以根据名字选择合适的 prompt 构建策略。

如果指定了 --server-port，需要设置对应的环境变量 LMDEPLOY_API_BASE

第2步 评测

python run.py --data MMStar --model InternVL2-8B --verbose --api_nproc 64