[ANT335] How Disney used ユースカジノ ボーナスウォレット 使い方 as a data integration and ETL framework（分析）
投稿日: 2022/12/09
ディズニーがAWS Glueをユースカジノ ボーナスウォレット 使い方統合サービスとして選択した理由と、AWS Glueで既存のHadoop、Sparkに代わって使用した方法のケース紹介セッションに参加しました。
ユースカジノ ボーナスウォレット 使い方統合プロセスは、次のように3つの段階に分けられます。
- 1. Motivation（動機）：新しいレポート要求/チーム間のユースカジノ ボーナスウォレット 使い方パイプラインなどのユースカジノ ボーナスウォレット 使い方統合が必要な要件
- 2. Build（構築）：要件を細分化して定義し、ユースカジノ ボーナスウォレット 使い方にアクセスして構造をつかんで、洗練し、集計し、視覚化し検証するプロセスを通じてユースカジノ ボーナスウォレット 使い方統合を構築する
- 3. Operationalize（オペレーティング）：SLAを設定し、ワークフローとスケジュールをかけて動作することを監視し、問題が発生した場合は再構築プロセスを経て反映
ただし、ユースカジノ ボーナスウォレット 使い方統合の過程で以下の問題が発生します。
- 指数関数的なユースカジノ ボーナスウォレット 使い方成長に比べて料金とユースカジノ ボーナスウォレット 使い方容量による制限
- 新しいユースカジノ ボーナスウォレット 使い方ソースが作成されたときに反映するのに時間がかかる
- 増加する多様性のため、変換に以前よりも多くの力を使用する必要があります
- 多くのアプリケーションで分析するため、セキュリティと信頼の維持が困難
AWS Glue は、このようなユースカジノ ボーナスウォレット 使い方の問題を解決するユースカジノ ボーナスウォレット 使い方統合のためのサービスです。
- サーバーレスソリューションでメンテナンスを必要とせずにユースカジノ ボーナスウォレット 使い方に集中可能
- ライセンス料とインフラストラクチャ費用なしで使用料のみを支払う
- 大規模で革新的なエコシステムからサポート可能なオープンソースエンジンを使用
- すべてのユーザーとタスクをサポート
サーバーレスユースカジノ ボーナスウォレット 使い方統合サービスであるAWS Glueが提供する機能は、上記のように整理できます。
ユースカジノ ボーナスウォレット 使い方はサーバーレスでインフラストラクチャ管理を必要とせず、迅速にクラスターを起動でき、オンデマンドで料金が発生し、費用対効果の高い利点があります。
ユースカジノ ボーナスウォレット 使い方 は Spark、Python Shell などさまざまなタスクを使用することができ、「Ray」という新規サービスもすぐにリリースされる予定だそうです。
Connectors
AWS Glueを使用すると、80以上のユースカジノ ボーナスウォレット 使い方ソースと接続でき、3つの異なる種類のコネクタを提供できます。
- Built-in コネクタ: ユースカジノ ボーナスウォレット 使い方 が運用、提供するコネクタ
- Marketplace コネクタ: 3rd party ユースカジノ ボーナスウォレット 使い方ソースコネクタ
- カスタムコネクタ：ドメイン固有のユースカジノ ボーナスウォレット 使い方接続可能
Author
ユースカジノ ボーナスウォレット 使い方は、Glue Studio、Glue Studio Notebook、Glue DataBrew、APIS/SDK/Local Notebook、Sagemaker Studio notebookなど、さまざまな特性に合わせて必要なインターフェイスを提供します。
そのうち代表的なインターフェースにはGlue studioがあり、ユーザーが望むソースユースカジノ ボーナスウォレット 使い方、変換（機能）、ターゲットソースをUI上に設定すると自動的にスクリプトを生成します。
Operationalize
ユースカジノ ボーナスウォレット 使い方の運用には3つの機能があります。
- Git Intgegration：バージョン管理のためにユースカジノ ボーナスウォレット 使い方、AWS CodeCommit、GitHubの接続が可能
- Job monitoring: ユースカジノ ボーナスウォレット 使い方 が提供する UI を介してジョブモニタリングが可能
- Workflow & Orchestration：ワークフローとオーケストレーションを作成して自動化可能
ユースカジノ ボーナスウォレット 使い方管理
AWS Glueで利用可能なData Catalogを活用して、ユースカジノ ボーナスウォレット 使い方レイクのメタユースカジノ ボーナスウォレット 使い方を保存および管理できます。
Data Catalogでメタユースカジノ ボーナスウォレット 使い方を保存および管理するには、次の利点があります。
- 高い安定性と可用性
- サーバーレスで費用対効果の高い
- メタユースカジノ ボーナスウォレット 使い方にさまざまな方法でアクセス可能
- スキーマのレジストリとして利用可能
また、AWS Glue で機密情報の検出と処理が可能で、ユースカジノ ボーナスウォレット 使い方を簡単に管理できます。
ユースカジノ ボーナスウォレット 使い方 Use cases
ユーザーは以下の要件のためにユースカジノ ボーナスウォレット 使い方を使用しています。
- 伝統的なETLによるMigration
- ユースカジノ ボーナスウォレット 使い方レイク統合
- セルフサービスユースカジノ ボーナスウォレット 使い方統合
- Data WarehouseからETL/ELT
- サーバーレスでApache Sparkを使用する
- MLのためのData Prepration
How Disney Chose ユースカジノ ボーナスウォレット 使い方 – ケース
コロナによる社会的距離を置くため、ディズニーパークでゲスト数を制御しなければならず、遊園地の使いやすさを最適化するために現在および将来の予約についての洞察を引き出す必要があります。
ユースカジノ ボーナスウォレット 使い方 以前は、Amazone EC2 にインストールされた Hadoop クラスターを使用し、上記のサービスを使用していました。
Hadoopを使用すると、クラスターのセキュリティ、容量、スケーリング困難などの問題が発生していました。
Hadoopに代わるサービスとしてユースカジノ ボーナスウォレット 使い方を選択した理由は、Glueはサーバーレスで、市場に適応し、Sparkベースであり、費用対効果が高いためです。
ユースカジノ ボーナスウォレット 使い方への移行では、ディズニーの動機と目標は次のとおりです。
- さまざまな段階の規制とユースカジノ ボーナスウォレット 使い方を扱う標準化された方法が必要
- シンプルな使いやすさ
- ユースカジノ ボーナスウォレット 使い方エンジニアが構造を詳しく理解することなく対処できるエンドツーエンドツールの提供
- PythonやSpark経験のないSQL開発者などのユーザーを検討する
内部Glue Internal Glue frameworkは以下のように構成されているそうです。
- Internal Glue framework: 新しい spark コードを書く必要がないように、ユースカジノ ボーナスウォレット 使い方 job を実行してトラッキングする YAML ファイルを使用する 1 つの pyspark で書かれている
- Job runner: ユースカジノ ボーナスウォレット 使い方 Job の開始点で、Spark session の準備とタスクの実行
- Job Tracker：正常に処理されたファイルのトラックを保存する
Dataflowは上記のように構成されており、ソースユースカジノ ボーナスウォレット 使い方からRawユースカジノ ボーナスウォレット 使い方、Raw Historyユースカジノ ボーナスウォレット 使い方、Syndicatedユースカジノ ボーナスウォレット 使い方を経て最終的にCuratedユースカジノ ボーナスウォレット 使い方を生成し、ユースカジノ ボーナスウォレット 使い方消費者が使用できるようにしました。
High Level Glue Job Runnerのアーキテクチャは上記のとおりです。
control planeにジョブを実行させ、trackingするyamlなどのconfigファイルが保存されており、control planeを通じてJob Runnerジョブを実行させると、各ジョブランナーは子ジョブを実行します。
Config ファイルの参照画像です。
また、Glue Clusterの作業状況を簡単に監視できます。
現在、ディズニーのユースカジノ ボーナスウォレット 使い方 Job Excutionの状況は次のとおりです。
- コロナ関連のワークロードでユースカジノ ボーナスウォレット 使い方 Jobの使用を開始
- 約1年後、Hadoop to Glue migration作業を開始
- 現在、Hadoop jobをGlueに移行し続け、同時にGlueに新しいジョブを作成し続ける
結論として、AWS Glue は我々のワークロードの規模拡大に貢献しました。AWS Glueを使用することで、エンジニアがHadoop clusterを維持することに気を使うのではなく新しいユースカジノ ボーナスウォレット 使い方操作に集中できるようになり、AWS Glueを使用して分析コンピュート環境を進化させることができました。
数ヶ月後にはディズニーランドパリにも適用を開始する予定だそうです。
実際、ユースカジノ ボーナスウォレット 使い方統合/変換などの作業が必要なほとんどのプロジェクトでは、AWS Glueを多く活用していますが、Glueのメリットを一度にまとめることができたセッションでした。
Glueのconnector、interface、monitoringなどの作業やワークフローに関連する機能に加えて、さまざまな機能を提供していることがわかりました。
Glueをよりよく活用できるようで、ディズニーランドで使用しているGlue Frameworkの方式は、典型的なGlueの使用方法とは異なりますが、うまく活用すれば効率的だと思うので、機会になったらフレームワークを参考にして実際に適用してみたいと思いました。
