Apache DolphinScheduler中ZK与CDH不兼容问题的解决方案大数据开发针对ZK与CDH不兼容问题不兼容的问题,需要自己重新编译一个新包。 原因是DS默认是使用zk-3.8的配置,所以会出现不兼容问题。因此,使用zk-3.4配置编译一个DS新包即可适配zk-3.4.x。2024-5-23 ZooKeeper Dolphinscheduler CDH
CDH Kafka 安装配置大数据开发本文以在CDH安装过组件后需要重新安装的情况为场景,以Kafka为例。 其实在CDH安装组件的时候出错,大多数原因都是由于之前安装或者使用过组件,删除时只时在CM上删除了,但实际上组件的文件仍在节点机器上存在,再次在CM上傻瓜式安装就会出错。2024-4-1 CDH Kafka
CDH集群配置目录汇总大数据开发Cloudera Manager是一种集中化的管理软件,用于管理和监控Hadoop集群。它提供了一个易于使用的Web界面,使管理员能够轻松地管理Hadoop环境,从而节省时间和精力。2023-3-2 CDH
CDH 6.3.2 升级 Spark 3大数据开发由于 CDH6.3.2版本以上已不开源,目前常用组件只能自编译升级,比如 Spark 。 看网上的资料,有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%,本人未验证,但是 Spark3 的 AE 功能的确很香,能自适应解决 Spark SQL 的数据倾斜。2023-1-10 CDH Spark
CDH 6.3.2 升级 Hive 2.3.9大数据开发CDH 6.3.2 初始的 Hive版本为2.1.1,在不对开源版souce源码包进行重新编译的前提下试着去升级Hive3(3.1.2、3.1.3),结果均失败,最终选择先升级Hive2(2.3.9),这种升级方式的好处是不需要对source源码tar包进行重新编译。 由于CDH6.3.2版本中默认的Spark组件版本为2.4.0,参考Compatibility with Apache Hive - Spark 2.4.0 Documentation官网,Spark2.4.0版本支持的Hive Metastore版本最高至2.3.3,也就是说理论上如果想获得CDH6.3.2中的默认Spark支持,升级的Hive版本最高为2.3.3。2023-1-8 CDH Hive
CDH 6.3.2 Hive on Spark 报错Required executor memory大数据开发CDH 6.3.2 Hive on Spark 报错Required executor memory2023-1-4 Spark Hive CDH 报错
CDH 6.3.2 Hue 报错Could not connect to xx:10000大数据开发CDH 6.3.2 Hue 报错Could not connect to xx:10000 (code THRIFTTRANSPORT): TTransportException2023-1-2 CDH Hue 报错
CDH 6.3.2 Hue 报错 1366大数据开发CDH 6.3.2 Hue 报错(1366, “Incorrect string value: ‘\xE3\x80\x81\xE6\x8C\x89…’ for column ‘search’ at row 1”)2022-12-31 CDH Hue 报错
CDH - 请求 Service Monitor 超时大数据开发CDH运行一段时间就提示 • 请求 Service Monitor 超时 ◦ 这可能会导致页面响应缓慢,请查看 Service Monitor 的状态 ◦ 有时候服务器宕机重启后CMS未成功启动,也会出现这种问题2022-12-29 CDH 报错