[Flink]Flink1.3 Batch指南二集群运行-白红宇

Flink程序可以分布在许多机器的群集上。有两种方式可以将程序发送到集群上运行： (1) 命令行接口 (2) 远程环境

1. 命令行接口

命令行接口允许你将打包程序(JAR)提交到集群(或单机配置)。

详细请参阅。

2. 远程环境

远程环境允许你直接在集群上运行Flink Java程序。远程环境指的是你要在上面运行程序的集群。

2.1 Maven依赖

使用下面依赖关系添加flink-clients模块：


         
        
         org.apache.flink
          
        
         flink-clients_2.10
          
        
         1.3.2

2.2 Example

下面说明了如何使用RemoteEnvironment：

public static void main(String[] args) throws Exception {
           ExecutionEnvironment env = ExecutionEnvironment.createRemoteEnvironment("flink-master", 6123, "/home/user/udfs.jar");    DataSet
       
         data = env.readTextFile("hdfs://path/to/file");    data.filter(new FilterFunction
        
         () {
                   public boolean filter(String value) {
                       return value.startsWith("http://");            }        })        .writeAsText("hdfs://path/to/result");    env.execute();}

备注:

该程序包含了用户自定义代码，因此需要一个包含代码类的JAR文件。远程环境的构造函数需要指定路径来指向JAR文件。

备注:

Flink版本:1.3

原文: