與大模型推理測試結(jié)果直接相關(guān)的,就是GPU的型號(hào)和數(shù)量。除此之外,我們還能看到更多信息,比如使用的服務(wù)器型號(hào)、CPU,以及軟件平臺(tái)環(huán)境等。參考上面截圖,實(shí)際上NVIDIA GPU在Llama-2-70b測試中基本都是用CUDA+TensorRT;而AMD則是ROCm+PyTorch+vLLM。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號(hào)-7 京ICP證161336號(hào)京公網(wǎng)安備 11010802021500號(hào)
舉報(bào)電話:010-62641205-5060 涉未成年人舉報(bào)專線:010-62641208 舉報(bào)郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報(bào)專區(qū):https://www.12377.cn