/
Llama3 關(guān)鍵字列表
2024-05-07
Unsloth微調(diào)Llama3-8B，提速44.35%，節(jié)省42.58%顯存，最少僅需7.75GB顯存
我們實測了Unsloth所帶來的訓(xùn)練增益，對Llama3-8B進(jìn)行QLoRA訓(xùn)練，最少僅需7.75GB顯存，這意味著我們可以在一張1080Ti上訓(xùn)練Llama3-8B，進(jìn)一步降低了大模型訓(xùn)練的硬件門檻。開啟Unsloth后，Llama3-8B的訓(xùn)練速度可提升44.35%，訓(xùn)練時間可減少30.72%，顯存占用可減少42.58%。更詳細(xì)的測試設(shè)置可參考第三節(jié)。
白皮書
- LinuxONE 客戶案例集錦
- IBM 存儲客戶案例集錦
- 智能超融合基礎(chǔ)設(shè)施 - HPE SimpliVity 解決方案
- 借助 HPE GreenLake 提供本地云體驗解決方案
- 掌控全局 — 推動業(yè)務(wù)創(chuàng)新：適用于 HPE SimpliVity 的 HPE 主動式系統(tǒng)支持服務(wù)
- 實現(xiàn)居家辦公高效率解決方案
- 實現(xiàn)關(guān)鍵業(yè)務(wù)革新 - HPE Primera解決方案
- 搭配Nutanix的HPE GreenLake私有云解決方案
- 重新定義 HCI， 助其更上一層樓
- 適用于 VDI 的 HPE GreenLake - 本地云服務(wù)解決方案
數(shù)字化轉(zhuǎn)型方略
京公網(wǎng)安備 11010802021500號
