fenlan

Everything gonna be fine in the end, if it's not fine, it's not the end.

0%

Apache Flink

持续更新中….

印象中Flink集群安装非常简单,很久没有操作了,现在用空再来了解Flink,发现参考网上的教程安装了半天都没成功,莫名其妙的报错。索性直接去Apache Flink官方文档看看怎么安装的,参考文档几分钟就安装呢成功了。
经历这个过程,非常想吐槽网上乱七八糟的安装教程,充满着复制粘贴,所以以后想要了解一些技术,先尝试看看官方文档,大部分官方文档写的非常清晰和完善。

直接从Apache Flink官方下载非常慢,推荐使用清华的开源库下载,速度还是很可观
清华大学开源软件镜像站

通过tar命令解压下载下来的压缩包

为了避免因为Flink版本变化,配置有多改动,所以这里直接链接到官方文档(选择自己安装的版本对应的文档)
Standalone Flink

Flink有很多种安装方式,但目前就我安装Flink的目的来说,Standalone模式已经满足我的需求,如果想通过其他方式安装Flink,也可以参考官方文档。
文档里面已经包含了安装、启动等内容,这里就不再赘述,这里重点记录几个问题。

配置同步

修改完了配置,将Flink的整个目录重新打包,通过scp再传给其他服务器,并在其他服务器上对Flink包进行解压,使得Flink集群中的每个服务器配置一致。

Zeppelin

问题记录

  • 无法访问Web UI

    修改flink-conf.yaml中的配置rest.bind-address0.0.0.0,使得rest服务可以被其他机器访问

  • worker节点日志报错akka.remote.ReliableDeliverySupervisor [] - Association with remote system [akka.tcp://flink@master:6123] has failed, address is now gated for [50] ms. Reason: [Association failed with [akka.tcp://flink@master:6123]] Caused by: [java.net.ConnectException: Connection refused: master/192.168.31.160:6123]

    修改flink-conf.yaml中的配置jobmanager.bind-host0.0.0.0,使得rest服务可以被其他机器访问