仕事詳細
プラットフォームを構成するビッグデータ基盤における視聴データの収集
データレイクからデータウェアハウス / データマートまでのワークフローの開発・運用をお任せします。
フルリモートを想定
初日のみ、PCの受け渡しとオリエンテーションの為、出社をお願いします
【業務内容】
・ビッグデータを処理するワークフロー
・ELTの実装
・急激なスパイクにも耐えうるインフラの運用・保守及び改善
・システム自動化の推進やパフォーマンス改善
・基盤としての運用改善(構成管理/CI/CDなど) までお任せします。
【金額】
月給:50万以上 経験により相談可
【開発環境】
・主要開発技術:Googleクラウド環境でのワークフロー開発
・開発言語:Python, JavaScript, SQL
・ローカル環境 : Macbook Pro(13inc, Corei7, 16GB), Docker, docker-compose
・クラウドプラットフォーム : Googleクラウド
(BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun)
・データウェアハウス : BigQuery
・コミュニケーションツール:Slack
・開発手法:アジャイル(一部ウォーターフォール)
・開発支援ツール・環境:GitHub, GitHub Actions(CI/CD)
・構成管理 : Terraform
・エディタ/IDE:VSCode Vim ※お好みのエディタを使用していただいてOKです。