AIStation推理平台是浪潮信息打造的一款AI推理服务平台,旨在解决推理服务上线流程繁琐、AI应用无法统一管理、计算资源分配不合理等问题,现已为多个政府、金融、能源交通及传统型企业等客户提了一站式AI服务部署与计算资源管理能力。下面,西安浪潮服务器代理商就来为您介绍一下AIStation推理平台的主要特点。
■ 兼容原生K8s社区版及商业版本,支持私有云、公有云、混合云架构部署;
■ 提供一站式服务部署能力,支持主流深度学习和机器学习推理引擎框架,支持ISV的AI应用对接与服务管理;
■ 提供计算资源统一管理、调度能力,支持超过20种GPU、FPGA及国产AI芯片适配,支持GPU细粒度切分与空分调度模式;
■ 完善的线上服务管理能力,提供基于资源状态、业务请求的自动弹性扩缩容能力,支持多业务超分资源池调度,支持平台核心服务状态监控、告警和高可用机制;
■ 提供云边端设备管理与服务协同构建,支持X86、ARM架构的边缘和端侧计算节点接入与应用下发,提供高性能、低延迟的推理能力。