DeepSeek发布后司内AI应用流量持续上涨，对推理算力的需求呈指数级增长。与此同时，开源社区提供的vllm/sglang等推理引擎存在gpu利用率低、推理速度慢，并发度低等问题，导致同等数量推理卡可服务业务规模较低，导致业务对卡量需求过于庞大。
关注时代Java
