4 | Page | PH3C’S NOTION BLOG

code-server - 在服务器上运行 VS_Code

VScode 是目前非常流行的编辑器之一，是一种基于 Electron 开发的桌面版应用。作为一种桌面软件限制了在服务器端的应用。而目前比较流行额服务器端的编辑器主要是 vim 和 emacs 。想利用 VScode 远程调试程序，需要在控制端安装 VScode 和相应插件，这样在本地安装 VScode 是一种前提。目前 Coder Technologies Inc, an Austin TX company 公司开源了一个基于服务器端的 VScode -- code-server，只要服务器端配置好 code-server，就可以在任何浏览器上使用 VScode 。

code-server - 在服务器上运行 VS_Code

Python 2.7安装pymssql和pymysql

现在CentOS_7.9服务器上python的默认安装不包括pymysql和pymssql，有时偶尔跑一个导出导入数据的脚本，就需要安装pymysql和pymmsql之类的。

Python 2.7安装pymssql和pymysql

oh my zsh - 一款社区驱动的命令行工具

shell 的类型有很多种，Linux 下默认的是 bash 相比于默认的 bash ，zsh 有更多的自定义选项，并支持扩展。因此 Zsh 可以实现更强大的命令补全，命令高亮等一系列酷炫功能。不过代价就是启动速度稍微有点慢（1 秒左右，不过相比 Bash 还是慢了点），而且据说语法和标准 shell 有点区别（至少我是在使用中完全没有碰到兼容性问题）。因此现在几乎所有的 Linux / Unix 版本的默认 shell 仍然是 bash 。虽然 bash 的功能已经很强大，但对于以懒惰为美德的程序员来说，bash 的提示功能不够强大，界面也不够炫，并非理想工具。而 zsh 的功能极其强大，只是配置过于复杂，起初只有极客才在用。后来，有个穷极无聊的程序员可能是实在看不下去广大猿友一直只能使用单调的 bash , 于是他创建了一个名为【oh-my-zsh麻省理工学院许可下发布的】的开源项目 https://github.com/robbyrussell/oh-my-zsh 自此，只需要简单的安装配置，小白程序员们都可以用上高档大气上档次，有 idea 感觉 oh my zsh http://ohmyz.sh/

oh my zsh - 一款社区驱动的命令行工具

umami - 轻量化网站统计分析系统

umami.is 则可以看作是 Google Analytics 的精简版解决方案，它完全免费且开源，非常适合中小站点的网络流量统计分析。相对于复杂的 Google Analytics，umami.is 的界面也更加简洁，只关注于核心指标，并方便分享出去。

umami - 轻量化网站统计分析系统

OneNav - 轻量的自建导航页

OneNav 是一款开源免费的书签（导航）管理程序，由 @xiaoz 大佬使用 PHP + SQLite 3 开发，界面简洁，安装简单，使用方便。 OneNav 可帮助你你将浏览器书签集中式管理，解决跨设备、跨平台、跨浏览器之间同步和访问困难问题，做到一处部署，随处访问。项目说明：https://doc.xiaoz.me/books/onenav/

OneNav - 轻量的自建导航页

Docker安装Portainer汉化版

原作者地址：https://gitee.com/g-devops/lang-replacement 按照作者说明，可以直接拉取使用，注意这种启动是前端启动且没有进行端口映射

Docker安装Portainer汉化版

filebrowser- 服务器部署轻量级文件管理系统

filebrowser 是一个使用 go 语言编写的软件，功能是可以通过浏览器对服务器上的文件进行管理。可以是修改文件，或者是添加删除文件，甚至可以分享文件，是一个很棒的文件管理器，你甚至可以当成一个网盘来使用。总之使用非常简单方便，功能很强大。官方项目地址：@filebrowser DockerHub镜像地址：https://hub.docker.com/r/filebrowser/filebrowser

filebrowser- 服务器部署轻量级文件管理系统

DataX - 异构数据源离线同步工具

DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。源码地址：https://github.com/alibaba/DataX

DataX - 异构数据源离线同步工具

Dolphinscheduler 3.1.4 部署

部署 dolphinscheduler 进行大数据调度，以三台主机的集群为例。

Dolphinscheduler

Dolphinscheduler 3.1.4 部署

HDFS 报错Permission denied user=dr.who

HDFS 报错Permission denied user=dr.who

HDFS 报错Permission denied user=dr.who

CDH 6.3.2 升级 Spark 3

由于 CDH6.3.2版本以上已不开源，目前常用组件只能自编译升级，比如 Spark 。看网上的资料，有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%，本人未验证，但是 Spark3 的 AE 功能的确很香，能自适应解决 Spark SQL 的数据倾斜。

CDH 6.3.2 升级 Spark 3

CDH 6.3.2 升级 Hive 2.3.9

CDH 6.3.2 初始的 Hive版本为2.1.1，在不对开源版souce源码包进行重新编译的前提下试着去升级Hive3（3.1.2、3.1.3），结果均失败，最终选择先升级Hive2（2.3.9），这种升级方式的好处是不需要对source源码tar包进行重新编译。由于CDH6.3.2版本中默认的Spark组件版本为2.4.0，参考Compatibility with Apache Hive - Spark 2.4.0 Documentation官网，Spark2.4.0版本支持的Hive Metastore版本最高至2.3.3，也就是说理论上如果想获得CDH6.3.2中的默认Spark支持，升级的Hive版本最高为2.3.3。

CDH 6.3.2 升级 Hive 2.3.9

1 2 3 4 5

PH3C

PH3C

一个普通的干饭人🍚

最新发布

typecho创建类知识库网站

Cloudflare Workers 配置 Docker 加速

Java项目设为系统服务进行管理

Apache DolphinScheduler中ZK与CDH不兼容问题的解决方案

IT-Tools - 在线工具集合

CDH Kafka 安装配置