网易云音乐申请推理服务负载均衡方法专利，有效提升了推理效率和响应速度

发布时间：2026-01-14 21:02:16  浏览量：7

国家知识产权局信息显示，杭州网易云音乐科技有限公司申请一项名为“推理服务的负载均衡方法、装置、存储介质、设备及产品”的专利，公开号CN121334158A，申请日期为2025年11月。

专利摘要显示，本申请公开了一种推理服务的负载均衡方法、装置、存储介质、设备及产品，该方法包括通过代理层接收推理请求，并获取推理请求携带的目标模型标识；获取推理服务集群当前各个推理节点的节点信息，节点信息包括节点标识、状态信息、当前负载及已缓存的模型标识；基于目标模型标识和节点信息，按照预设的优先级策略从多个推理节点中选择目标推理节点，其中，优先级策略优先选择已缓存的模型标识与目标模型标识相同且负载满足第一条件的推理节点；将推理请求路由至目标推理节点，并更新目标推理节点的节点信息。本申请提供一种推理服务的负载均衡方法，通过将请求优先路由至已缓存所需模型的轻负载推理节点，有效提升了推理效率和响应速度。

天眼查资料显示，杭州网易云音乐科技有限公司，成立于2016年，位于杭州市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本100000万美元。通过天眼查大数据分析，杭州网易云音乐科技有限公司共对外投资了7家企业，参与招投标项目11次，财产线索方面有商标信息455条，专利信息1400条，此外企业还拥有行政许可15个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

本文源自：市场资讯