上一篇
广发银行数据开发岗笔试难吗？2024年笔试真题及答案解析
广发银行数据开发岗位的笔试通常侧重于考察候选人的数据库基础、SQL编写能力、大数据生态组件原理以及Java/Python编程语言基础，以下是对该岗位笔试内容的详细解析，涵盖核心考点、题型分布及备考建议。
核心考察模块详解
SQL 高级查询与优化
这是数据开发笔试中最核心的部分，通常占据总分的40%-50%，题目往往不是简单的单表查询，而是涉及多表关联、窗口函数、复杂聚合以及执行计划分析。
- 常见考点：
- 窗口函数：ROW_NUMBER(), RANK(), DENSE_RANK(), LEAD(), LAG() 的使用场景及区别。
- 复杂关联：LEFT JOIN vs INNER JOIN 对结果集的影响,自连接处理层级结构。
- 数据倾斜处理：在面试或笔试中可能会询问当Key分布不均时,如何优化Join操作。
- 递归查询：使用 WITH RECURSIVE 处理树状结构数据。
| 考点类型 | 典型题目示例 | 关键解题思路 |
|---|---|---|
| 排名问题 | 找出每个部门工资前三高的员工 | 使用 DENSE_RANK() 按部门分区，再筛选 rank <= 3 |
| 连续登录 | 找出连续3天登录的用户 | 使用 DATE_SUB(login_date, INTERVAL row_number() DAY) 构造分组键 |
| 空值处理 | 计算平均值时忽略空值，但保留0值 | 注意 AVG() 自动忽略NULL，但需区分业务上的0和NULL |
| 性能优化 | 查询耗时过长，如何优化？ | 检查索引、避免SELECT 、减少子查询、使用EXPLAIN分析 |
大数据组件原理与应用
广发银行作为大型股份制银行，其数据仓库通常基于Hadoop生态或云原生数据湖架构，笔试会涉及Hive、Spark、Flink等组件的基础原理。
- Hive：
- 内部表与外部表的区别及删除行为。
- 数据倾斜的原因及解决方案（如加盐、MapJoin）。
- 小文件合并策略。
- Spark：
- RDD、DataFrame、Dataset 的区别。
- 宽依赖与窄依赖,Stage的划分机制。
- 缓存策略（cache vs persist）及存储级别选择。
- Flink（若涉及实时数仓）：
- 状态后端（State Backend）的作用。
- Watermark机制处理乱序数据。
- Exactly-Once 语义的实现原理。
编程语言基础（Java/Python）
数据开发岗通常要求掌握至少一门编程语言，Java在银行体系中更为常见,Python在数据分析脚本中常用。
- Java重点：
- 集合框架：HashMap 底层实现、扩容机制、线程安全问题。
- 多线程：ThreadLocal 原理、线程池参数配置、synchronized 与 ReentrantLock 区别。
- JVM：内存模型、垃圾回收算法、常见OOM排查。
- Python重点：
- 数据类型：列表推导式、生成器、迭代器。
- 装饰器、闭包原理。
- Pandas/NumPy 常用操作及内存优化。
数据库理论与分布式系统
- 关系型数据库：
- ACID特性详解，隔离级别及其导致的问题（脏读、不可重复读、幻读）。
- 索引数据结构（B+树 vs Hash）,聚簇索引与非聚簇索引。
- 分布式理论：
- CAP定理与BASE理论。
- 一致性哈希算法原理。
- MapReduce 基本流程。
笔试题型与时间分配
| 题型 | 占比 | 特点与建议 |
|---|---|---|
| 单选题 | 30% | 覆盖范围广，包括计算机基础、SQL语法、组件原理，建议快速作答，遇到不确定的先标记。 |
| 多选题 | 10% | 通常考察细节，如Spark算子的副作用、JVM内存区域，需仔细甄别每个选项。 |
| SQL编程题 | 40% | 2-3道大题，难度中等偏上，建议先在草稿纸上画表结构，理清逻辑后再写代码，注意边界条件。 |
| 简答/论述题 | 20% | 如“如何设计一个实时数仓分层架构？”或“解释数据倾斜的解决方案”，需条理清晰，分点作答。 |
备考策略与注意事项
- 刷题重点：重点练习LeetCode数据库板块中等难度题目，特别是涉及窗口函数和自连接的题目，回顾《Hive性能优化》、《Spark内核解析》等书籍的关键章节。
- 环境模拟：银行笔试系统通常不支持IDE的智能提示，建议在本地使用纯文本编辑器模拟手写SQL，注意关键字的大小写规范（虽然大多数SQL引擎不敏感，但养成好习惯很重要）。
- 业务理解：银行数据开发非常注重数据准确性和一致性，在回答架构设计或优化问题时，务必提及“数据一致性”、“容错机制”和“监控告警”。
- 时间管理：SQL题耗时较长，建议控制在每道题15-20分钟内，如果卡壳，先写出核心逻辑，再补充细节,避免留白。
相关问题与解答
在Hive中，当遇到数据倾斜导致任务运行缓慢时，有哪些具体的优化手段？请列举至少三种。
解答：
数据倾斜是指Reduce阶段某些Task处理的数据量远大于其他Task，导致整体任务等待最慢的Task完成,常见的优化手段包括：
- 开启MapJoin：对于小表关联大表的情况，设置 hive.auto.convert.join=true 和 hive.mapjoin.smalltable.filesize，将小表加载到内存中,避免Shuffle阶段的数据倾斜。
- 加盐（Salting）处理：对于大表与大表关联且Key分布不均的情况，可以在关联Key上添加随机前缀（如0-99），将倾斜的Key打散到不同的Reduce中，先进行局部聚合,然后再去掉前缀进行全局聚合。
- 过滤无效Key：在Join之前，先过滤掉值为NULL或空字符串的Key，因为这些Key通常会汇聚到同一个Reduce节点,造成严重倾斜。
- 调整Reduce数量：适当增加Reduce的数量，分散单个Reduce的处理压力，但这只是缓解手段,根本解决仍需上述方法。
请简述Spark中宽依赖（Wide Dependency）和窄依赖（Narrow Dependency）的区别，并说明它们对Stage划分的影响。
解答：
- 区别：
- 窄依赖：父RDD的每个分区最多被子RDD的一个分区所依赖。map、filter、union 操作,数据不需要跨节点Shuffle。
- 宽依赖：父RDD的每个分区可能被子RDD的多个分区所依赖，通常涉及Shuffle操作。groupByKey、reduceByKey、join（Shuffle Join）操作,数据需要跨节点传输。
- 对Stage划分的影响：
- Spark DAGScheduler会根据依赖关系划分Stage。窄依赖不会打断Stage，属于同一个Stage内的计算；而宽依赖是Stage的边界。
- 每当遇到宽依赖，就会触发一次Shuffle,从而划分出新的Stage。
- 一个Spark作业由多个Stage组成，Stage之间通过Shuffle数据连接，减少宽依赖的数量和优化宽依赖的性能（如使用 reduceByKey 代替 groupByKey）是提升Spark作业性能的关键。
