AIoT操作系统的实践和反思 Reality & Retrospection of AIoT OS

2019.12.14 · 深圳 邹鹏程 CTO，中科创达

Copyright Thunder Technology Co., Ltd. 2008-2016 All right reserved http://www.thundersoft.com/

12/14/2019 1 关于中科创达（ThunderSoft）

❖ 读什么？

❖ 做什么？

高通智能手机参考设计 软银智能清扫机器人 兰博基尼智能驾驶舱

❖ 买什么？

12/14/2019 2 中科创达 (ThunderSoft) 智能视觉 智能物联网

智能车载

Global Carrier 智能系统

初创 快速发展 拓展领域 核心技术

2008 2009 2010 2011 2013 2014 2015 2016 2017 2018

初创 高通联合实 /微软联 Intel合资 ARM合资 高通合资公司 TurboX IoT平台 日本子公司 Smartbook 验室 合实验室 公司 公司 面向IoT SoM & OS Intel AI Dev Kit H5OS 收购 MID 高通/展讯 摄像头全套 IPO 收购MM 展讯联合实验室 终端安全 Rightware 拓展东南亚市场 方案 300496 Solution /ARM/Intel 投资 技术

12/14/2019 3 2009 - Smartbook

12/14/2019 4 2010 – Smartphone Reference Design

12/14/2019 5 2014 - AIoT

问题 • 碎片化严重； • 商务模式不清晰； • 纵向领域和横向平台缺乏连接； • 长尾市场急需技术和商业模式支持； • 国际合作不深入充分； • 缺乏AIoT相关标准；

方案 基于turn-key思想，软硬结合，端云结合， 开发易用、完善、开放和有特色的AIoT系 统参考设计和平台

结果 • 2年内支持了200+客户；

反思 • AI/5G/IoT不是最重要的因素； • turn-key思想可以应用到AI, IoT和车载 等领域；

12/14/2019 6 AIoT是一项系统工程，需要一个全新的操作系统

12/14/2019 7 操作系统的新生

12/14/2019 8 现实的AIoT操作系统

the Alive In Between the Dead and More …

❖ Linux Zephyr Project

❖ Google Android-Things

❖ Amazon FreeRTOS

❖

❖ RIOT

❖ TinyOS

❖ OpenWSN

❖ Wind River VxWorks

❖ LiteOS (Huawei)

❖ Windows IoT Core

❖ Nucleus RTOS

❖ Green Hill's Integrity

❖ Samsung's Tizen

❖ Micrium µC/OS-II

❖ LynxOS RTOS

❖ TI-RTOS

❖ RTEMS Harmony OS ❖ Microsoft ThreadX

❖ OS

❖ …

12/14/2019 9 理想的AIoT操作系统

• Better Documentation • IoT Solution Enabling • Integrated IoT Portal • Cloud Enabling • AIoT Dev Kit • OS Enabling • Easy Builder • AIoT Education Kit • Maintenance Plan • IHV/ISV Enabling Easy Complete Open Special • Better Linux • On-device AI • Open Standard Compliant • Multi-window • Open Licensing Scheme • Multi-camera • Open IoT Lab • Connectivity •

10 未来没有操作系统， 未来只有操作组块。

12/14/2019 11 智能操作系统架构

Edge Solution

Edge Block

人工智能 多媒体 人机交互 开放连接

机器人/AR/VR 系统安全 边缘计算 智能汽车 可穿戴 …

Devices Edge Connect Cloud

Edge Kit Edge SOM Edge Chip 智能操作系统架构

Core Apps 3rd Party Apps Cloud Services Develop Tools Stores Services API Extended API Open API Visual HW/SW Programming App store development Extended App Framework Visual Training Algorithm store Data analysis

IDE Device store Operating UI Module MM Module AI Module Cloud Module Device SDK Consulting Standard App UI SDK Camera Face FOTA Open App Engine Engine UI Module Audio Voice Connect UI Tools Radar Sensor Data Collect Open Module API

Interaction CV Algorith AI FW DM Security Module Platform

AI Modules APP Modules Device Mgmt Modules Core Lib & Runtime Data mgmt Code mgmt Extended System Framework with Lightweight Linux DM/FOTA Compile/ Training Debug Device mirror Inference HAL Enhanced HAL Data collect Connection Model mgmt Data storage App deploy Kernel Driver, Kernel Modules Cloud Kubernetes BigData Platform

Hardware Hardware 智能模块

TurboX AI Kit

TurboX 835 TurboX 845

TurboX RB3 机器人套件 TurboX 801 TurboX 821

TurboX 410 TurboX 625 TurboX Edge Kit

TurboX 9206 TurboX 210 Thsmartbot 智能车 12/14/2019 14 智能套件

• 嵌入式人工智能开发平台 • 高通首款机器人解决方案 • 低延时、高性能、强续航 • 全新DragonBoard™845c开发板 • 集成云侧和端侧AI，提供丰富的扩展接 • 集成高性能异构计算、4G/LTE连接、 口，快速导入新算法和新应用 Qualcomm®人工智能引擎AI Engine、 • 提供一站式算力+算法+数据+场景服务 高精度传感器、定位与导航算法等 • 面向消费级、企业级和工业级产品

Akx (AI Kit) RBx (Robot Kit)

EKx (Edge Kit) TK (Tracker Kit)

• 基于高通845平台，支持5G网络 • 多模式 eMTC/NB-IoT/GPRS • 集成CPU/GPU/DSP运算模块 • 预认证多频段 B3/B5/B8/B26 • 3TOPS AI算力 • 定位形式多样: GPS/BEIDOU/BT/WIFI • 模块化设计 • 语音播报/消息/提醒 • 微服务框架 • 多样传感器集成 加速度/温湿度/红外 • 多系统平台 AI套件

AI Devices

TurboX AI Kit

TurboX Edge Kit AI Algorithms AI Solutions

12/14/2019 AI Community 16 机器人套件 RB3

12/14/2019 17 操作环境 – 操作系统组块 (OS Blocks)

Edge Block AI Block

⚫ Device Connection ⚫ Algorithms

⚫ Microservice ⚫ Enhanced AI Engine

⚫ Virtualization ⚫ AI Store ⚫ Cloud Connection ⚫ AI Tools

Security Block App Block ⚫ Dual System ⚫ App Devel. API ⚫ Secure Camera/Audio ⚫ Devel. Tools ⚫ Device Authentication ⚫ Compatibility Layer ⚫ Blockchain Key Features UI Block Auto Block 1. TurboX Connect 5. Rule Engine ⚫ Kanzi UI ⚫ ADAS 2. Device Virtualization 6. Built-in Cloud Agent ⚫ HTML5 UI ⚫ Kanzi Connect 3. Sensor Virtualization 7. Multi-platform Support ⚫ UI Studio ⚫ E-cockpit 4. E2E Security 8. AI Module Store ⚫ Linux UI () ⚫ Hypervisor TurboX Connect

❖ 统一的、分布式的内容和服务共享

❖ 统一设备连接

► 通过设备自动发现和设备软总线实现分布式设备共享

► 通过设备可信认证和用户设备绑定保证信息安全

► 支持跨网络介质、OS、硬件系统

► 支持MQTT, BLE, LoRA, BLE, Modbus等多种协议

► 支持多种云端对接

❖ 统一内容连接

► 支持多屏幕多系统间的互动，实现不同UI间内容连接

► 支持Kanzi、H5、Qt、Android等OS UI系统

► 支持个性化换肤与个人档案 硬件虚拟化

12/14/2019 20 系统虚拟化

❖ 主要功能 ❖ 主要模块

► 双OS网络隔离 ► DomainManager

► 双OS文件系统架构 ● Guest OS的创建/生命周期管理

► 双OS显示系统 ● 文件系统管理

► 双OS电话系统 ► DomainEngine 设备资源控制与管理 ► 双OS认证切换 ● ● OS间通信 ► 双OS开关机流程 ● 服务代理(少量必须运行在HostOS ► 双OS功耗管理 的Service，比如TZ/Tele/Audio涉 ► 双OS异系统通知 及的部分服务)

12/14/2019 网络虚拟 文件系统虚拟 21 连接虚拟化

❖ 加速边缘应用交付

► 提供镜像管理、接口定义、持续部署等关键能力，简化微服务的 交付模式。 ❖ 屏蔽复杂性

► 通过屏蔽分布式开发的复杂性，在开发、服务、数据、运行、运 维等多个层面进行了能力聚合。 ❖ 构建API生态

► 在层级之间，模块之间使用基于标准化的数据接口和指令接口。 ❖ 业务功能微服务化，可扩展性强

► 整合业界主流技术架构体系，建立分布式架构的技术基线， ❖ 自主掌控

► 良好的扩展性，支持基于客户的需求实现高度的定制化能力

7/18/19 22 设备虚拟化 (Device Virtualization)

❖ Virtualized Camera, Audio, … ❖ Application sensor-agnostic ❖ via TurboX Connect Bus ❖ Unified Programming I/F AIoT 应用框架

• 基于H5开放标准 • 高效混合渲染引擎

• 跨平台支持

• 支持IoT和移动终端

• 基于容器的AI软件模块 • 应用和服务都以容器的方式打包 • 使用不同的容器同时运行Linux和Android应用 • 使用应用商店进行应用和模块管理

• 丰富的AI模块 • 人脸识别，物体识别，语音识别，手势识别，文字 识别，动物识别，等等.

• Low Code 编程环境

2019/12/14 24 Kanzi UI

❖ 汽车UI/UE设计师的Photoshop ❖ 完全的UI设计和功能开发分离 ❖ 模拟器和实机协同仿真验证 ❖ 高效的渲染和多系统优化 ❖ 高效的开发效率 ❖ 高度的复用和可扩展性 ❖ 提升10倍 HMI开发效率 ❖ 缩短50% HMI开发时间

12/14/2019 UI/UE设计师 软件工程师 25 端云协同

❖ SAAS & DEVICE PAAS ❖ 资源协同

► 根据算法步骤的分部署计算资源分配

► 根据实际计算资源的动态资源编排 ❖ 应用协同

► 算法应用商城，容易化部署

► 规则引擎，云端编辑，边缘执行 ❖ 数据协同

► 数据可视化

► 数据安全 ❖ 管理协同

► DM - 设备管理系统

► FOTA-远程固件升级系统

12/14/2019 26 Boot-time Optimization Field Key Tech Explanation Linux kernel Load compiled-in modules in multi-. ❖ Technical Solution Reduce unnecessary commands in init.rc, disable irrelevant native services. init total solution for optimizing the whole Android boot sequence. Tune the order of native services in init.rc. Parallelize some commands Optimizations will be done in Bootloader, Linux kernel, Init Disable preloading from Zygote. Defer a class preloading. , Zygote, SystemServer, PMS, and so on. Some Zygote Reduce reduplicate loaded classes. technologies are common ideas customized by ThunderSoft, Make multi-thread preloading. Reduce unnecessary resources. while others are ThunderSoft proprietary. The key tech points are Disable unnecessary services. listed in the right table. Decouple services from critical path. SystemServer Postpone non-essential services. Suspend to RAM (experimental) Optimize services in the critical path, e.g. PMS, AMS. Package Reduce unnecessary packages. Manager Delay unimportant packages scanning. Service

Android M @ Qualcomm S820/S820A: • 2s to show rear camera image • 12s to boot completed

Android O @ Qualcomm S820/S820A ( MP): • 2s to show rear camera image • <15s to boot completed 案例1 – 智能车载系统平台

车厂

Tier-1

芯片

合作 伙伴 Hardware – Qualcomm, Renesas, NXP, MTK, TI, ST, …

12/14/2019 28 案例2 – AliOS-Things on QC platform

❖ A7支持增强 – MMU支持 ❖ TLS和TZ的互通 ❖ 兼容AOS API和QAPI ❖ 用户空间和内核空间分离 ❖ 通过文件系统动态加载APP ❖ Linkkit端云互联 ❖ 4G/NB多模支持

7/18/19 29 案例3 – AIoT教学实验平台

AI Edge AI Kit Edge Kit 通用服务器4U Robot Atlas200 RB3 GPU工作站 ...... 千兆以太网交换机 终端 服务器 云端

AIoT教学管理平台

实验室

12/14/2019 课程 师资 项目 30 案例4 – Edge Kit

❖ 多设备层/应用层协议相互转化 ❖ 本地功能微服务化，功能集成方便化 ❖ 设备注册/配置简单化

7/18/19 31 1. OS是一个生态问题，不是一个技术问题。 2. 移动平台的OS之战已经结束。当年红旗桌面无法打败微软，不是技术的问题，甚至不 是股权的问题，是时机的问题。 反思 3. 新的OS只有从更高维度去打。正如PC OS (DOS, Windows, Linux) 打小型机 (Unix)， 移动OS (Android, iOS) 打PC，打败移动的不是另一个移动OS（包括meego, tizen, Retrospection KaiOS等），而是更高维度的 OS，也就是智能物联网 OS。

4. 智能物联网操作系统的时间窗口正在打开，需要依靠新的技术架构和组织架构才能抓 住。

5. OS是一个生态问题，也是一个组织问题。垂直整合的组织方式和狼性的管理风格难以 让一个OS成功，当然之前政府主导的红旗模式更无法成功。

6. 智能物联网时代，传统意义的操作系统已经过时，未来只有操作环境，也就是边界清 晰的操作系统模块（微服务）。

7. 不会再有一个厂商主导的OS，各个厂商能够在某个操作环境上找到自己的位置。开放 标准（不是开放代码）是必由之路，

8. 开放标准需要开放的心态，更需要开放的商业模式。 9. OS是一个生态问题，也是一个组织问题，更是一个人才问题。

10.只有政府推动，非盈利组织主导（包括大学院校），有技术实力、经济实力和国际视 野的厂商领军，广泛参与（包括国际厂商），基于开放标准（比如 H5），面向全新领 域（比如边缘计算），才有可能抓住千载难逢的智能物联网操作系统的机会。

12/14/2019 32 Together, Enrich an Intelligent World! 共同创造丰富多彩的智能世界！

12/14/2019 33 谢谢！ http://www.thundersoft.com [email protected] +86-10-62662686

12/14/2019 34