大数据开发工程师

1. 架构设计：负责公司 PB 级用 户行为数据（AppList + GPS）仓库的建设。设计基于StarRocks + MinIO 的 存算分离 架构，在私有化物理机环境下实现低成本存储与秒级多维 查询。 2. ETL 与 Python 工程化：放弃传统 Java 开发模式，主导使用 PySpark 编写高性能数据清洗脚本。解决海量JSON/GPS 日志处理中的数据倾斜与内存溢出 (OOM) 问题，建立 Python Native 的数据工程体系。 3. AI 数据管道建设：负责搭建数据湖 -> 训练集群的高速数据传输通道。解决海量小文件读取瓶颈，优化 I/O 吞吐，确保清洗后的语料能高速流向 GPU 集群，保障AI训练效率。 4. 集群稳定性：负责私有云环境下大数据组件（Spark on K8s/YARN, StarRocks）的部署与监控。配合 AI 团队进行资源隔离（CPU vs GPU），确保数据处理与模型训练互不干扰。