持续更新中….
Flink 集群安装
印象中Flink集群安装非常简单,很久没有操作了,现在用空再来了解Flink,发现参考网上的教程安装了半天都没成功,莫名其妙的报错。索性直接去Apache Flink官方文档看看怎么安装的,参考文档几分钟就安装呢成功了。
经历这个过程,非常想吐槽网上乱七八糟的安装教程,充满着复制粘贴,所以以后想要了解一些技术,先尝试看看官方文档,大部分官方文档写的非常清晰和完善。
下载Flink
直接从Apache Flink官方下载非常慢,推荐使用清华的开源库下载,速度还是很可观
清华大学开源软件镜像站
通过tar命令解压下载下来的压缩包
配置Standalone Flink
为了避免因为Flink版本变化,配置有多改动,所以这里直接链接到官方文档(选择自己安装的版本对应的文档)
Standalone Flink
Flink有很多种安装方式,但目前就我安装Flink的目的来说,Standalone
模式已经满足我的需求,如果想通过其他方式安装Flink,也可以参考官方文档。
文档里面已经包含了安装、启动等内容,这里就不再赘述,这里重点记录几个问题。
配置同步
修改完了配置,将Flink的整个目录重新打包,通过scp
再传给其他服务器,并在其他服务器上对Flink包进行解压,使得Flink集群中的每个服务器配置一致。
Flink IDE
问题记录
无法访问Web UI
修改
flink-conf.yaml
中的配置rest.bind-address
为0.0.0.0
,使得rest服务可以被其他机器访问worker节点日志报错
akka.remote.ReliableDeliverySupervisor [] - Association with remote system [akka.tcp://flink@master:6123] has failed, address is now gated for [50] ms. Reason: [Association failed with [akka.tcp://flink@master:6123]] Caused by: [java.net.ConnectException: Connection refused: master/192.168.31.160:6123]
修改
flink-conf.yaml
中的配置jobmanager.bind-host
为0.0.0.0
,使得rest服务可以被其他机器访问