网易首页 > 网易号 > 正文 申请入驻

(2)FlinkSQL流计算-滚动窗口demo演示

0
分享至

滚动窗口(Tumbling Windows) 滚动窗口有固定的大小,是一种对数据进行均匀切片的划分方式。窗口之间没有重叠,也不会有间隔,是“首尾相接”的状态。滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个,就是窗口的大小(window size)。

demo演示:

场景:接收通过socket发送过来的数据,每30秒触发一次窗口计算逻辑

(1)准备一个实体对象,消息对象

package com.pojo;
import java.io.Serializable;
/**
* Created by lj on 2022-07-05.
*/
public class WaterSensor implements Serializable {
private String id;
private long ts;
private int vc;
public WaterSensor(){
}
public WaterSensor(String id,long ts,int vc){
this.id = id;
this.ts = ts;
this.vc = vc;
}
public int getVc() {
return vc;
}
public void setVc(int vc) {
this.vc = vc;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public long getTs() {
return ts;
}
public void setTs(long ts) {
this.ts = ts;
}
}

(2)编写socket代码,模拟数据发送

package com.producers;
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.Random;
/**
* Created by lj on 2022-07-05.
*/
public class Socket_Producer {
public static void main(String[] args) throws IOException {
try {
ServerSocket ss = new ServerSocket(9999);
System.out.println("启动 server ....");
Socket s = ss.accept();
BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(s.getOutputStream()));
String response = "java,1,2";
//每 2s 发送一次消息
int i = 0;
Random r=new Random();
String[] lang = {"flink","spark","hadoop","hive","hbase","impala","presto","superset","nbi"};
while(true){
Thread.sleep(2000);
response= lang[r.nextInt(lang.length)] + "," + i + "," + i+"\n";
System.out.println(response);
try{
bw.write(response);
bw.flush();
i++;
}catch (Exception ex){
System.out.println(ex.getMessage());
}
}
} catch (IOException | InterruptedException e) {
e.printStackTrace();
}
}
}

(3)从socket端接收数据,并设置30秒触发执行一次窗口运算

package com.examples;
import com.pojo.WaterSensor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.Tumble;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
import static org.apache.flink.table.api.Expressions.$;
import static org.apache.flink.table.api.Expressions.lit;
/**
* Created by lj on 2022-07-06.
*
* 滚动窗口(Tumbling Windows) 滚动窗口有固定的大小,是一种对数据进行均匀切片的划分方式。窗口之间没有重叠,也不会有间隔,
* 是“首尾相接”的状态。滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个,
* 就是窗口的大小(window size)。
*/
public class Flink_Group_Window_Tumble {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
DataStreamSource streamSource = env.socketTextStream("127.0.0.1", 9999,"\n");
SingleOutputStreamOperator waterDS = streamSource.map(new MapFunction() {
@Override
public WaterSensor map(String s) throws Exception {
String[] split = s.split(",");
return new WaterSensor(split[0], Long.parseLong(split[1]), Integer.parseInt(split[2]));
}
});
// 将流转化为表
Table table = tableEnv.fromDataStream(waterDS,
$("id"),
$("ts"),
$("vc"),
$("pt").proctime());
tableEnv.createTemporaryView("EventTable", table);
Table result = tableEnv.sqlQuery(
"SELECT " +
"id, " + //window_start, window_end,
"COUNT(ts) ,SUM(ts)" +
"FROM TABLE( " +
"TUMBLE( TABLE EventTable , " +
"DESCRIPTOR(pt), " +
"INTERVAL '30' SECOND)) " +
"GROUP BY id , window_start, window_end"
);
// tableEnv.toChangelogStream(result).print("count");
// tableEnv.toDataStream(result).print("toDataStream");
// tableEnv.toAppendStream(result, Row.class).print("toAppendStream"); //追加模式
tableEnv.toRetractStream(result, Row.class).print("toRetractStream"); //缩进模式
env.execute();
}
}

(4)效果演示

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京专机还没到中国,美国就连下4道反击书,中资银行或被踢出局

普京专机还没到中国,美国就连下4道反击书,中资银行或被踢出局

绝对军评
2024-05-03 09:52:55
53岁大妈因丈夫不和她过性生活,不给她钱花,睡梦中将丈夫杀害

53岁大妈因丈夫不和她过性生活,不给她钱花,睡梦中将丈夫杀害

胖胖侃咖
2024-04-20 08:00:15
光伏企业全军覆没 一季报业绩惨不忍睹巨亏登场 红利时代终结?

光伏企业全军覆没 一季报业绩惨不忍睹巨亏登场 红利时代终结?

惜别的海岸
2024-05-03 17:17:45
有一种“反噬”叫林生斌,保姆纵火案7年后,善恶终有报被应验了

有一种“反噬”叫林生斌,保姆纵火案7年后,善恶终有报被应验了

影孖看世界
2024-04-26 19:54:38
50岁苏有朋高调宣布喜讯!全网泪目:终于等到这一天了!

50岁苏有朋高调宣布喜讯!全网泪目:终于等到这一天了!

娱乐的小灶
2024-05-03 21:25:45
久攻人民币不下,美国无计可施,再出三大损招,将沦为全球笑柄

久攻人民币不下,美国无计可施,再出三大损招,将沦为全球笑柄

小明哗扑
2024-05-03 18:55:33
中国又一世界第一,中国将拥有世界第一城市,或超日本东京

中国又一世界第一,中国将拥有世界第一城市,或超日本东京

三金观察
2024-05-01 02:01:12
广东38岁女子带4孩被海浪卷走致4死,大量隐情被扒,官方通报回应

广东38岁女子带4孩被海浪卷走致4死,大量隐情被扒,官方通报回应

求实者
2024-05-03 22:37:32
180剑桥高材生为胯下30cm巨物苦恼!曾想一割了之!

180剑桥高材生为胯下30cm巨物苦恼!曾想一割了之!

新欧洲
2024-05-03 19:03:32
“县城婆罗门”背后:体制内薪酬开支,远高于当地财政收入

“县城婆罗门”背后:体制内薪酬开支,远高于当地财政收入

户外阿崭
2024-05-02 23:12:06
记者:图赫尔为拜仁敞开大门,诺伊尔等关键球员已表态支持

记者:图赫尔为拜仁敞开大门,诺伊尔等关键球员已表态支持

懂球帝
2024-05-04 01:42:33
发现凶手!中国空间站遭多次撞击,神舟十八携带装甲,目标已锁定

发现凶手!中国空间站遭多次撞击,神舟十八携带装甲,目标已锁定

白茶之清欢
2024-05-01 21:44:21
致敬!广州梅大高速塌方事件,四位挺身相救的英雄已经全部找到

致敬!广州梅大高速塌方事件,四位挺身相救的英雄已经全部找到

笔墨V
2024-05-03 19:05:25
原本想看baby美照 结果无意中发现坐她后排的华晨宇 真替他捏把汗

原本想看baby美照 结果无意中发现坐她后排的华晨宇 真替他捏把汗

娱乐八卦木木子
2024-05-03 19:34:01
41岁拿到生涯首个联赛冠军,曾被视为布冯接班人,如今无人知晓

41岁拿到生涯首个联赛冠军,曾被视为布冯接班人,如今无人知晓

体坛老球迷
2024-05-02 11:11:58
69岁女港星刚做手术就北上逛街,服装一言难尽,结三次婚却无子女

69岁女港星刚做手术就北上逛街,服装一言难尽,结三次婚却无子女

八卦先生
2024-05-01 23:31:41
私人影院提供特色观影服务?我试图前往体验,却发现掉入桃色陷阱

私人影院提供特色观影服务?我试图前往体验,却发现掉入桃色陷阱

亲爱的落落
2024-04-15 10:57:58
张韶涵演唱会拉肚子歌迷被臭到  知情人透露更多细节

张韶涵演唱会拉肚子歌迷被臭到 知情人透露更多细节

阿SIR观察
2024-05-02 21:01:37
左边是轩逸,右边是比亚迪秦,网友:但凡犹豫一秒都是对秦不尊重

左边是轩逸,右边是比亚迪秦,网友:但凡犹豫一秒都是对秦不尊重

资本百科
2024-04-30 10:01:36
沉默的日本,衰落的国运

沉默的日本,衰落的国运

枫冷慕诗
2024-04-24 19:57:46
2024-05-04 02:26:44
NBI大数据可视化分析
NBI大数据可视化分析
分析大数据知识、技术、产品
53文章数 503关注度
往期回顾 全部

科技要闻

人类首次!去月背取样,中国人再进一步

头条要闻

民进党提案偷改对大陆的称呼 被傅崐萁当场揭穿驳回

头条要闻

民进党提案偷改对大陆的称呼 被傅崐萁当场揭穿驳回

体育要闻

多特蒙德4月最佳进球:萨比策vs门兴凌空抽射破门

娱乐要闻

黄子韬被曝求婚徐艺洋 大量亲密照曝光

财经要闻

远超想象?"股神"巴菲特的AI投资布局

汽车要闻

北京车展上的概念车,AI如何点评?小米SUV发布?

态度原创

旅游
家居
亲子
数码
军事航空

旅游要闻

景区“顶流”生意,为何越骂越火?

家居要闻

心之所栖 黑白灰色系打造设计专属感

亲子要闻

家有萌娃欢乐多,一岁多的宝宝抱着鸭腿啃不停,这娃吃饭真香

数码要闻

各大巨头纷纷入局,智能穿戴市场未来可期?还是前景堪忧?

军事要闻

俄"硬核军事展览"开幕 现场"人山人海"

无障碍浏览 进入关怀版