EnOS上的资源

一个OU在创建时会被赋予默认的资源量以满足在EnOS上的基本操作(比如,设备接入),如需扩展或调整EnOS集群的能力,可在线进行资源的申请,扩容,缩容,管理等操作。

哪些资源可以在线管理?

根据业务需求,可在线申请以下计算和存储资源:

流式计算资源

运行流数据处理任务前,需要申请流式计算资源。否则流数据处理任务不能启动运行。

时序数据库

配置TSDB存储策略前,需要申请时序数据库资源。

批处理计算资源

运行数据集成、数据开发等离线数据分析任务前,需要申请批处理计算资源。

数据仓库

运行离线数据分析任务将数据存储到EnOS Hive数据库前,需要申请数据仓库资源。

文件存储系统HDFS

运行数据分析任务将文件存储到HDFS前,或运行数据归档任务将归档文件存储到HDFS前,需要申请文件存储系统HDFS资源。

不同的资源规格对应着不同的数据处理和存储能力。有关单位资源对应的能力,参见 资源规格说明

何时需要进行资源管理操作

申请新类型的资源

EnOS的基础部署仅包含设备管理相关基础能力,如需进行流数据处理、时序数据存储或大数据计算与存储等,需要申请相关资源。

对现有资源进行扩容

随着业务增长,现有资源可能无法满足新的业务需求。可以通过资源扩容,申请更高规格的资源。

对现有资源进行缩容

随着业务趋于稳定,已申请资源可能高于业务所需的资源。可以通过资源缩容,降低资源规格,节约成本。

对资源用量设置阈值和告警

为避免因资源不足而影响业务的正常运行,可以通过配置资源使用率阈值告警,实时监测资源使用情况。资源使用率一旦高于设定的阈值,系统即发送告警通知,以便及时进行处理,保证业务稳定运行。

相关概念

资源管理相关的专有名词及术语的定义及解释如下,方便你理解相关概念,按需申请资源。

流式计算资源规格

不同规格的流式计算资源,对应着不同的数据处理能力。规格越高,处理效率越高,单位时间内处理的数据量越大。

数据点

数据点,即运行流式计算任务时,单位时间内能够处理的数据总量。对于一个流数据处理任务,其数据点等于:输入的测点数量 x 设备实例数

时序数据库写入规格 数据写入能力,即数据写入时序数据库时,每秒能写入的数据点数。

批处理计算规格 根据离线计算任务的特点,选择适合的计算规格。若CPU占用率更高,则可以选择计算密集型;若内存占用率更高,则可以选择内存密集型。

资源容限及使用限制

  • 对于同一个用户,流式计算资源、时序数据库、数据仓库及文件存储HDFS仅允许申请一个资源实例。
  • 对于同一个用户,批处理计算资源最多允许申请三个资源实例,且自定义的队列名称全局唯一。

有关标准资源实例的容限,参见资源规格说明