项目背景
2023-02 ~ 2023-05
使用Trino搭建新的数据引擎平台，目标是取代 SAS。
角色&技能
DevOps
{ GCP, Trino, Hive Metastore, Hadoop, GKE, k8s }
我的工作
- 单机部署 Trino ，容器部署 Trino，k8s部署 Trino
- k8s配置pod自动伸缩的 Trino
- 验证数据源源为 GCS 的连接器
- 验证平文件的连接器
- 验证 Jupytor Notebook和 Trino 的集成
- 部署 Hive Metastore ，验证 HDFS 连接器
- 协助 Java SPI 开发测试，排查故障
业绩
- 提前完成服务部署，加快 Java SPI 开发。
- 按时验证完毕相关连接器，为后续决策提供证据。