典型场景中AI落地挑战

• 智慧城市

  智慧城市的建设在国内已经如火如荼地开展了多年，智慧城市利用先进的信息技术，实现城市智慧式的管理和运行模式，为城市中的人们创造更加幸福的生活，有利于城市的可持续成长及和谐稳定。在云计算、大数据、物联网、人工智能等数字基础设施的支撑下，实现智慧城市的智慧政务、城市治理等业务是各级政府提升城市服务水平与城市治理能力的重要抓手。人工智能技术在智慧城市的建设中发挥了越来越重要的作用，典型的如比较成熟的面向人、车、交通违规事件等方面的智能应用，又比如近几年兴起的智能语音助手、智慧水务、智慧供暖等智能应用和方案。

  但是从AI应用落地的角度来看，智慧城市场景繁多，需求多样，整体方案系统复杂，AI模块众多，方案中的硬件设备和软件来自不同的厂商，运行AI所依赖的环境来自各个厂商的底层硬件芯片类型、操作系统和基础推理框架都各不相同而存在很大的差异，从而大大增加了AI应用开发、移植、部署和运营维护的复杂度。

• 工业互联网

  中国工业企业近年来面临诸多挑战，如劳动力成本持续上升、市场竞争增大等原因对企业经营管理效率提出更高要求；多数企业属于中低端制造，附加值低，需要转型高质量生产，提升产品技术创新能力，提升产业价值；大量中小型制造企业利润率低，需要将自身的能力融入社会化生产体系，获取更多市场机会，以促进商业模式创新。AI为核心的工业互联网对上述挑战提供了新模式和新路径，通过数字世界算力和算法来联接与驱动工业资源配置优化和价值链的协同，实现提质降本增效。

  然而制造业企业信息化水平参差不齐，多数中小型制造企业面临资金压力需要更低成本、更便捷的信息化产品服务，亟需降低AI应用门槛。而工业互联网AI应用落地目前还存在非常大的难度，不仅需要支持多模态数据接入与推理，还往往需要在推理时对机理模型和AI模型进行组合编排，并便捷部署AI应用到端边侧的设备，以达到实时高性能推理、保障低延时的要求。因为端边云AI应用运行框架不统一，造成AI处理数据接口不统一、应用打包格式不统一、AI管理和配置接口也不统一，所以难以将AI应用跟工业互联网的业务快速对接和扩展和监控，无法真正降低AI应用的门槛以实现提质降本增效。

• 人工智能教育

  人工智能作为新兴产业，在人才培养、师资培训、人工智能教育中都有大量AI技术人才需求，人工智能教育市场规模增长迅速。人工智能教育以在线AI课程进行理论知识培训，结合线下实验室，如机器人、无人车、机械臂等进行AI应用实践，获取广大AI学习者的认可。

  但是目前AI应用实践课程对普遍要求学习者有一定的开发环境搭建知识和编程基础等，开发环境的搭建和编程方式也往往因为目标运行硬件和AI软件基础推理框架的不同而存在很大差异，上手门槛高，而且AI应用在不同硬件形态的部署无法统一兼顾。AI应用传统部署流程复杂，不便于AI学习者随时迭代更新模型和逻辑代码用于验证学习效果等问题，都让人工智能教育推广大大受限。

• 其他场景

  不仅仅以上三个典型场景，其实在其他各个行业，当前都有大量对于AI的诉求，如智慧医疗、智慧交通、智慧供暖、智慧政务等等。而在AI应用落地的过程中，这些场景都涉及到端边云AI的协同部署以及大量边端侧设备的AI接入管理和智能化改造。由于设备类型繁多、算力能力不一、依赖的基础推理框架多样等原因，没有统一的AI应用格式和运行环境，为了做到端边云设备AI协同和快速部署、实时推理、保障低延时，AI应用开发和部署的重复开发占比大，管理维护成本高，迭代扩展更新难，以致行业AI落地普遍存在大量的难题。

• 综合以上各个业务场景，AI应用落地的主要挑战包括：

  • 如何让AI应用屏蔽各个厂商的硬件和AI框架差异
  • 如何规范化接口，方便业务快速对接使用
  • 如何灵活地在端边云部署，实现高性能低延时推理
  • 如何方便地对部署完成的AI应用进行运维监控

  • 如何让用户快速进行AI应用的更新迭代

  • 如何对机理模型和AI模型组合编排使用

  • 如何支持多模态AI推理
  • 如何提供业界成熟的计量功能，快速开发落地