恒电iDLP深度学习平台软件
一、概述
恒电iDLP深度学习平台软件是一款以容器技术为基础,将各种大数据和深度学习框架进行融合,实现多用户物理资源共享,运行环境隔离的人工智能基础环境平台,为各行业客户提供用于大数据、人工智能等计算场景的可运行环境。
恒电iDLP深度学习平台软件是一种基于强劲GPU容器云计算资源的一站式深度学习平台。通过采用微服务架构、K8S+Docker容器化集群等先进技术,向用户提供稳定、高并发的深度学习集群应用服务。基于恒电iDLP深度学习平台软件,算法工程师和数据科学家能够便捷地进行模型训练、评估及预测。目前平台支持Tensorflow、Caffe、Pytorch、Keras和MXNet等多种主流深度学习框架,集成了Jupyter Notebook、Hadoop-web、Spark-web等开发环境,并提供常用的深度学习算法和模型。恒电iDLP深度学习平台软件可以帮助用户极速搭建深度学习开发环境,释放数据潜力,打造未来AI应用和服务。
二、主要功能
恒电iDLP深度学习平台软件的主要功能包括:
容器申请与审核:系统具备多组户能力,能同时实现多个角色的无缝切换和线上管理。支持多用户权限管理,提供容器资源申请审核功能,能对申请的容器资源进行限制。
容器资源监控:支持认证用户管理,能实时监控各用户的资源消耗情况。支持多实例管理,能对实例的运行状态、CPU占用率、内存占用情况、占用容器数量等指标进行管理,支持实例的启动、关闭、生成、销毁及恢复。实时监测用户所有资源使用情况和资源配额分布情况,当资源不足时可根据自身需求向系统申请增加资源配额。
配额管理:提供配额管理功能,支持手动和自动两种方式调配硬件资源。
机时统计:平台记录用户各种实例的机时详细使用情况,用户可以查看每一个应用实例累计的机时使用情况。
定制化的应用模板管理:支持 TensorFlow、Caffe、Torch 、MXNet等主流深度学习框架,用户可以根据实际需求一键定制自己的应用案例,提交算法模型。
三、产品特点
恒电iDLP深度学习平台软件的产品特点如下:
1、基础部署:提供离线安装方式,部署过程简单。
2、NFS架构:通过NFS网络文件系统,支持扩展到上万个节点,且支持向主流后端存储扩展。
3、在线系统扩容:系统从节点扩展时服务保持在线,并且完全可用,扩展进程在后台运行,增加节点服务器,性能和容量线性增加。
4、负载管理:具有系统资源管控能力,并且可查询各实例分配的系统资源。
5、GPU运行实例:基于Nvidia-docker2实现容器GPU使用。
6、模板部署实例:通过实例模板部署实例,一键部署分布式集群,达到秒级创建实例。
7、多种云服务形式部署:支持公有云、私有云、混合云以及多种云平台部署。
8、高可用的网络调度系统:支持底层Kubernetes支持多种网络解决方案,例如:Openvswitch、Flannel、Calico等。
9、支持实例高可用:支持Kubernetes的容器高可用,支持平台实例高可用,服务不中断。
10、多租户管理:给予Oauth1.0权限认证,分级分角色认证,实现多租户管理。
11、模板管理:支持个性化定制、支持Tensorflow、Caffe、Pytorch、Mxnet等主流深度学习框架,用户可以根据实际需求一键定制自己的应用案例,提交算法模型,支持可插拔式模板管理。
12、计算资源灵活管理:支持计算资源配置灵活可变,支持资源配额增加或减少的申请。
13、实时性:支持实时机时统计,清楚呈现机时使用情况。
14、完善的管理机制:支持查看并管理全局集群应用和数据,有效防止恶意使用。
15、完善的用户实例管理:支持基于应用模板的实例创建和管理,用户可以通过命令行或Web图形界面登陆管理和操作应用实例。
16、多用户多作业:支持并行执行多任务。
四、主要解决的问题
(1)解决计算资源弹性按需供给的问题;
(2)解决多角色权限分级资源管理的问题;
(3)解决算法环境构建的高效问题;
(4)解决按需投资灵活扩展的问题;
(5)解决并行计算协同工作的问题;
(6)解决学习和计算环境切换的问题;
(7)解决计算架构和数据安全问题;
(8)解决AI用户设备利旧计算池构建问题;
(9)解决AI非技术型用户使用方便的问题;
(10)解决AI环境构建维护成本高昂的问题。
五、应用场景
教育行业客户:
科研场景:教师和学生用户可以便捷创建深度学习应用,结合GPU资源进行深度学习应用的开发与研究。科研用户能够利用深度习堂的服务环境和计算资源搭建自己专属的深度学习环境,快速搭建以文本、图像、语音等数据为基础的,以深度学习算法为核心的深度学习应用开发环境。
教学场景:iDLP深度学习平台软件从实验环境、教材PPT、实验手册、实验数据、技术支持等多方面为人工智能课程提供一站式服务,大幅度降低人工智能课程学习门槛,满足课程设计、课程上机实验、实习实训、科研训练等多方面需求。
竞赛场景:为高等职业院校技能大赛、大学生计算机设计大赛、RoboCup机器人竞赛、世界无人机锦标赛、中国机器人及人工智能大赛、挑战杯软件设计大赛等竞赛提供人工智能应用开发平台环境。
非教育行业客户:
适用于政府、医疗、教育、交通、金融、商贸、工业等行业的深度学习应用。
(1)金融领域:金融领域已经被充分的数据化,为人工智能的应用提供了充分的数据基础;同时,金融体系内各个分支领域界限相对明确,人工智能在垂直领域中进行应用。目前,将人工智能应用到金融领域最为炙手可热的领域包括了智能客服、智能征信及反欺诈以及智能投顾这三个领域。
(2)计算机视觉领域:动静态图像识别和人脸识别是计算机视觉领域主要研究方向。图像识别能够利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术。人脸识别涵盖用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术。计算机视觉的专用领域应用涵盖了目前国内人工智能应用的大多数应用,包括各领域的人脸和语音识别以及服务型机器人等方面,同时也包括侧重于金融、医疗、智能家居等领域的通用解决方案。
(3)智能驾驶领域:智能驾驶技术主要包括网络导航、自主驾驶和人工干预三个认知过程环节。智能驾驶的应用发展可分为四个等级,从低到高依次是初级辅助驾驶汽车、高级辅助驾驶汽车、自动驾驶汽车、无人驾驶汽车。主要包括编队行驶、主动变道、主动避障、汇入车流、自动泊车等功能。
(4)教育领域:当前人工智能及相关技术在教育领域的应用主要有以下五个方面: 自适应/个性化学习、虚拟导师、教育机器人、基于编程和机器人的科技教育、基于虚拟现实/增强现实的场景式教育。这些应用都需要涉及到人工智能的数据处理分析能力、智能决策及人机交互等能力。
(5)工业领域:人工智能在工业领域的应用主要可分为以下三个方面。第一类是比较简单的应用数据的可视化分析,工智能能够收集设备运行的各项数据如转速、能耗情况及生产力状况等;第二类则是让机器实现自我诊断,包括故障查找及排查等;第三类则是预测性维护,需要依赖机器感知判断及决策过程。
(6)医疗领域:以可穿戴设备等为代表,当前智能医疗被认为是人工智能大板块当中颇具潜力的领域之一。智能医疗通过采集 包含了计步器、血糖指数、心率、生活模式/习惯、睡眠质量等各方面的数据,通过聚合并处理,达到监测、诊断、治疗等目的。当前主要应用方向有医疗机器人、智能药物研发、智能诊疗、智能影像识别及智能健康管理等。
六、应用案例
目前已经在华南师范大学、广东工业大学、五邑大学、佛山科学技术学院、广州番禺职业技术学院等多所本科和高职院校部署使用和推广。