基本情報

技術スタック

仕事の内容

主な作業はETLの実装と、インフラの構築です。 iPhoneの注文や配送情報の元データはログのように積み上がっており、そのデータ量の多さから検索等のパフォーマンスかなり悪かったため、 ビジュアライズ用に集計したETLの実装が必要でした。 フロントエンドやインフラは一般的な技術力でカバーできる内容でしたが、ETLの実装は苦労しました。 PySparkでパフォーマンスを出しつつ、AWS Glueの実行コストを抑える必要があったからです。 当時のアーキテクトはオンデマンドなアドホック検索を実現するために、KinesisやOpenSearch Service, Redshiftの利用も検討し、悩みながらもコストや規模感の観点でGlue で実装することを選択していました。 プロジェクトが走り出すと、POからの検索パターンの変更要望が多々あり、ETLの実装修正コストが膨らみがちだったので、結果として正しい選択だったかはわかりません。 リリース前に自社都合で退場せざるを得なかったのですが、とても楽しくお仕事させていただきました。