挑戰(zhàn)

1GPU資源有限且資源利用率不高，難以支撐快速增長(zhǎng)的業(yè)務(wù)需求；

2缺乏IT人員，難以針對(duì)所有GPU資源、任務(wù)進(jìn)行監(jiān)控和告警；

3現(xiàn)有推理平臺(tái)較為陳舊，無(wú)法根據(jù)模型規(guī)模自動(dòng)分配資源，導(dǎo)致大量珍貴的GPU資源浪費(fèi)。

場(chǎng)景

實(shí)時(shí)推理

應(yīng)用

基于Yolo v5的圖形檢測(cè)應(yīng)用

效果

1重構(gòu)實(shí)時(shí)推理平臺(tái)，相同規(guī)模的GPU集群所支撐的業(yè)務(wù)規(guī)模提升40%；

2提供基于任務(wù)的監(jiān)控告警功能，故障響應(yīng)及排查效率從小時(shí)級(jí)提升到分鐘級(jí)。

價(jià)值

1平臺(tái)可面向模型提供可伸縮的推理服務(wù)；

2GPU資源池化，可更靈活地根據(jù)業(yè)務(wù)分配資源；

3平臺(tái)可支持在單個(gè)檢測(cè)任務(wù)中并發(fā)多個(gè)推理子任務(wù)。