For investors
股价:
5.36 美元 %
认识达内从这里开始
认真做教育 专心促就业
数据仓库技术随着互联网的不断发展而被越来越多的企业所应用，而本文我们就通过案例分析来简单了解一下，数据仓库技术应用调度处理方法都有哪些。
调度模块：调度模块主要负责客户端交互、维护调度器、拉起运维任务执行模块。
客户端交互：调度器服务端通过grpc与客户端进行通信，调度器启动时将占用默认端口49851，若该端口已被占用，则随机选取空闲端口，并将该端口写入配置文件。客户端启动时，将读取该配置文件，与服务端通信。
维护调度器：调度模块内包含一个常驻维护线程，该维护线程负责维护调度器正常执行，该维护线程通过轮询方式执行多个维护项，目前版本维护项包括：
1.执行模块维护：轮询所有的执行模块，查看执行模块是否已经完成，若完成，则释放该执行模块。
2.运维任务清理：清理调度器历史数据。
3.查询调度任务：从数据库中查询当前时间节点是否有需要做的运维任务，并调用动态调度模块，依据集群资源负载情况，判断该运维任务是否可以执行。
动态调度模块：依据集群实时状态，提供调度决策，决定是否执行该运维任务。
通常情况下，用户在注册运维任务时，会配置该运维任务执行的时间窗。调度器会从时间窗开始的时间点，调用动态调度模块，判断该运维任务是否可以执行，若不可以执行，则进行下一次轮询判断，若可以执行，则拉起运维任务对应的执行模块。
执行模块：负责运维任务的执行。
调度器可同时执行多个运维任务，每个运维任务对应一个单独的执行模块，执行模块之间未实现资源隔离，执行模块之间会争抢集群资源。当执行模块被拉起以后，执行模块从数据库中读取对应的作业，并执行该作业。在执行模块执行完以后，执行模块退出，并等待调度模块执行清理操作。
分析模块：负责运维任务的分析。
在用户注册运维任务以后，分析模块将该运维任务拆分为多个作业，并分析每个作业的IO、CPU、MEM负载、执行时长预估等信息，作业信息为静态调度和动态调度提供了调度依据。
静态调度模块：依据集群历史信息，提供静态调度策略。
相比于动态调度策略，静态调度策略仅依据集群历史负载信息，对运维任务进行粗略的调度，该运维任务真正被调起的时间实际取决于动态调度。静态调度的意义是，粗略估计运维任务的执行时间，判断用户提供时间窗是否合理。
数据持久化模块：调度器通过调用libpq.so.5.5动态库与gauss内核进行通信。相比于gsql，libpq的通信方式更轻量。
采集模块：负责采集集群信息。
采集模块目前仅包括两个采集项，集群IO负载和集群网络负载，其中IO负载通过读取gs_wlm_instance_history实现，网络负载通过读取视图pgxc_comm_status实现。
【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。
< 上一篇：合肥达内电脑培训数据迁移常见问题都有哪些
下一篇：合肥达内电脑培训数据结构常见类型与特性分享 >
2024-11-01
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 11月27日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 11月27日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 11月27日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 11月27日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 11月27日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
预约申请试听课
开设课程
开课城市
友情链接
Copyright © 2024 Tedu.cn All Rights Reserved 京ICP备08000853号-56 京公网安备 11010802029508号达内时代科技集团有限公司 版权所有
注：学员信息+企业信息均来自达内教育内部CRM系统真实统计，非宣传使用。
课程适用人群：成人
400-996-5531
lihm@tedu.cn
