從業(yè)務(wù)角度來說是反映模型的初始響應(yīng)速度,對于實時交互式應(yīng)用非常重要,較低的TTFT可以提高用戶體驗,使用戶感覺模型響應(yīng)迅速;從算法推理角度來說,其實主要是在掐大模型推理的 Prefill 時間,更加準(zhǔn)確一些的是上圖中的 Queueing Time + Prefill Latency 時間和。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號-7 京ICP證161336號京公網(wǎng)安備 11010802021500號
舉報電話:010-62641205-5060 涉未成年人舉報專線:010-62641208 舉報郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報專區(qū):https://www.12377.cn