中科信软Flink 实时计算培训课程定制

培训对象：

• 具有 Java/Scala 基础的开发工程师
• 实时计算平台研发人员
• 大数据架构师
• 希望从批处理转向流处理的技术人员

培训目标：
使学员深入掌握 Flink 流式计算框架的核心原理与实战技巧，理解状态管理、容错机制、时间语义等高级特性，能够独立设计开发高吞吐、低延迟、 Exactly-Once 语义的实时计算应用，解决企业级实时数仓、实时风控、实时大屏等场景中的实际问题。

培训内容介绍：

1. 实时计算技术选型与 Flink 架构深度解析
   剖析 Storm、Spark Streaming、Flink 的技术演进与选型对比；详解 Flink 四层架构（Deploy/ Core/ API/ Libraries）、JobManager-TaskManager 通信机制、任务调度与数据流图执行原理。
2. DataStream API 核心算子与业务逻辑开发
   掌握 map/flatmap/filter/keyby 等基础算子；深入讲解 connect、coGroup、intervalJoin 等双流连接算子；实现自定义函数（RichFunction）与侧输出流（Side Output）在复杂业务中的应用。
3. 时间语义与 Watermark 机制在乱序数据中的应用
   详解 EventTime/ProcessingTime/IngestionTime 的适用场景；Watermark 生成策略（周期性/标记性）、传播机制；结合真实业务处理乱序、迟到数据（Allowed Lateness）与窗口二次触发。
4. 窗口计算全解析
   深入讲解滚动窗口（Tumbling）、滑动窗口（Sliding）、会话窗口（Session）的触发机制；窗口函数选择策略（增量聚合 vs 全量聚合）；自定义窗口（GlobalWindow）在特殊业务场景下的实现。
5. 状态后端与状态一致性保证
   详解 Keyed State 与 Operator State 的区别与应用场景；对比 Memory/Fs/RocksDB 三种状态后端；深入剖析 Checkpoint 与 Savepoint 机制，实现 Exactly-Once 语义的端到端一致性（Source-Flink-Sink）。
6. Flink SQL 与 Table API 在实时数仓中的应用
   学习动态表（Dynamic Table）与连续查询（Continuous Query）原理；使用 Flink SQL 实现实时 ETL、分组聚合、窗口计算；维表关联（Async I/O）与 Upsert 输出流的实际应用。
7. Flink CDC 实时数据同步技术
   基于 Flink CDC 2.0/3.0 捕获 MySQL/PostgreSQL 数据库增量日志；实现异构数据源实时同步；构建实时数仓 ODS 层，打通业务库与消息队列的实时通道。
8. 复杂事件处理（CEP）与风控规则引擎
   掌握 Pattern API 定义事件模式（严格近邻/宽松近邻/非确定近邻）；实现超时检测、循环模式与组合模式；基于 CEP 构建实时风控规则引擎，识别用户异常行为序列。
9. Flink 与消息队列的深度集成
   详解 Kafka Source/Sink 的参数配置与语义保证；实现 Kafka 分区与 Flink 并行度的智能映射；处理 Kafka 消息膨胀、Rebalance 带来的数据倾斜问题；基于 Pulsar/RocketMQ 的集成方案对比。
10. Flink 作业性能调优与问题诊断
    剖析反压（Back Pressure）的产生原因与定位方法；Checkpoint 超时/失败调优策略；State 数据倾斜解决方案；TaskManager 内存模型与 GC 调优；使用 Flink Web UI 与 Metrics 系统监控作业健康度。
11. 生产环境下的 Flink 部署与运维
    基于 YARN/Kubernetes 的 Flink 作业提交模式对比；资源隔离与动态资源分配配置；作业升级与状态迁移（Savepoint 的使用）；高可用配置与故障恢复策略。
12. 综合实战：实时风控与实时大屏双项目
    项目一：构建实时交易风控系统，从 Kafka 读取支付流水，结合 CEP 规则引擎识别盗刷行为，实时阻断高风险交易并输出告警。项目二：开发电商实时大屏，使用 Flink SQL 计算实时 GMV、UV、热门商品 TopN，利用窗口实现滑动趋势分析，结果输出至 Redis 并通过 WebSocket 推送至前端展示。