🏗️ 数据工程实战课程

从零掌握数据工程 · 25课 · 5个阶段 · Python实战验证

📘 阶段一：ETL基础（1-5课）

建立数据提取、转换、加载的核心能力

🌐 数据工程概述

五层架构模型、技能矩阵、生态系统构建

🔧 ETL管道设计

ETL/ELT范式、可扩展框架、可靠性设计

📥 数据提取：API/数据库/文件

分页限速、CDC、文件格式处理

🔄 数据转换：清洗与标准化

缺失值/去重/异常值处理、格式标准化

📤 数据加载：批量与增量

Upsert/SCD/批量优化、增量策略

📗 阶段二：数据存储（6-10课）

掌握现代数据存储架构与优化技术

🏛️ 数据仓库原理

星型模型、维度建模、OLAP查询、数仓分层

🌊 数据湖架构

Schema-on-Read、湖仓一体、多区域管理

💾 Parquet与Avro格式

列式存储原理、谓词下推、Schema演进

📂 分区与分桶策略

分区裁剪、分桶Join、数据倾斜处理

📋 元数据管理

数据目录、血缘追踪、影响分析

📙 阶段三：流处理（11-15课）

从批处理迈向实时数据处理

🌊 流处理概述

流批对比、状态管理、交付语义

📡 Kafka入门

Topic/Partition/Consumer、Offset管理

⚡ 流批一体架构

Lambda/Kappa架构、统一方案、一致性

⏱️ 窗口与水位线

滚动/滑动/会话窗口、乱序数据处理

CDC变更捕获、有状态计算、端到端秒级

📕 阶段四：编排与治理（16-20课）

构建可靠可管控的数据平台

⚙️ Airflow调度

DAG定义、Operator、Cron与数据感知调度

🕸️ DAG设计模式

5种常见拓扑、动态生成、错误恢复

📦 dbt数据转换

SQL+Jinja模板、模型分层、增量模型

📊 数据质量

5大质量维度、规则引擎、异常检测

🔄 数据血缘

列级/表级血缘、SQL解析、合规审计

📒 阶段五：实战项目（21-25课）

综合运用所学构建完整系统

📋 日志分析管道

日志采集→解析→存储→分析全流程

💡 实时监控平台

指标采集、异常检测、告警、可视化

🎯 推荐数据管道

行为收集→特征工程→训练数据准备

🏛️ 数据治理平台

数据目录+质量监控+血缘+权限管理

🎉 毕业项目：企业数据平台

全栈能力综合运用，构建企业级数据平台