[ANT335] How Disney used AWS ユースカジノ ボーナスウォレット 使い方 as a data integration and ETL framework（分析）
投稿日: 2022/12/09
ディズニーがAWS ユースカジノ ボーナスウォレット 使い方をデータ統合サービスとして選択した理由と、AWS ユースカジノ ボーナスウォレット 使い方で既存のHadoop、Sparkに代わって使用した方法のケース紹介セッションに参加しました。
データ統合プロセスは、次のように3つの段階に分けられます。
- 1. Motivation（動機）：新しいレポート要求/チーム間のデータパイプラインなどのデータ統合が必要な要件
- 2. Build（構築）：要件を細分化して定義し、データにアクセスして構造をつかんで、洗練し、集計し、視覚化し検証するプロセスを通じてデータ統合を構築する
- 3. Operationalize（オペレーティング）：SLAを設定し、ワークフローとスケジュールをかけて動作することを監視し、問題が発生した場合は再構築プロセスを経て反映
ただし、データ統合の過程で以下の問題が発生します。
- 指数関数的なデータ成長に比べて料金とデータ容量による制限
- 新しいデータソースが作成されたときに反映するのに時間がかかる
- 増加する多様性のため、変換に以前よりも多くの力を使用する必要があります
- 多くのアプリケーションで分析するため、セキュリティと信頼の維持が困難
AWS ユースカジノ ボーナスウォレット 使い方 は、このようなデータの問題を解決するデータ統合のためのサービスです。
- サーバーレスソリューションでメンテナンスを必要とせずにデータに集中可能
- ライセンス料とインフラストラクチャ費用なしで使用料のみを支払う
- 大規模で革新的なエコシステムからサポート可能なオープンソースエンジンを使用
- すべてのユーザーとタスクをサポート
サーバーレスデータ統合サービスであるAWS ユースカジノ ボーナスウォレット 使い方が提供する機能は、上記のように整理できます。
AWS ユースカジノ ボーナスウォレット 使い方はサーバーレスでインフラストラクチャ管理を必要とせず、迅速にクラスターを起動でき、オンデマンドで料金が発生し、費用対効果の高い利点があります。
AWS ユースカジノ ボーナスウォレット 使い方 は Spark、Python Shell などさまざまなタスクを使用することができ、「Ray」という新規サービスもすぐにリリースされる予定だそうです。
Connectors
AWS ユースカジノ ボーナスウォレット 使い方を使用すると、80以上のデータソースと接続でき、3つの異なる種類のコネクタを提供できます。
- Built-in コネクタ: AWS ユースカジノ ボーナスウォレット 使い方 が運用、提供するコネクタ
- Marketplace コネクタ: 3rd party データソースコネクタ
- カスタムコネクタ：ドメイン固有のデータ接続可能
Author
AWS ユースカジノ ボーナスウォレット 使い方は、ユースカジノ ボーナスウォレット 使い方 Studio、ユースカジノ ボーナスウォレット 使い方 Studio Notebook、ユースカジノ ボーナスウォレット 使い方 DataBrew、APIS/SDK/Local Notebook、Sagemaker Studio notebookなど、さまざまな特性に合わせて必要なインターフェイスを提供します。
そのうち代表的なインターフェースにはユースカジノ ボーナスウォレット 使い方 studioがあり、ユーザーが望むソースデータ、変換（機能）、ターゲットソースをUI上に設定すると自動的にスクリプトを生成します。
Operationalize
AWS ユースカジノ ボーナスウォレット 使い方の運用には3つの機能があります。
- Git Intgegration：バージョン管理のためにAWS ユースカジノ ボーナスウォレット 使い方、AWS CodeCommit、GitHubの接続が可能
- Job monitoring: AWS ユースカジノ ボーナスウォレット 使い方 が提供する UI を介してジョブモニタリングが可能
- Workflow & Orchestration：ワークフローとオーケストレーションを作成して自動化可能
データ管理
AWS ユースカジノ ボーナスウォレット 使い方で利用可能なData Catalogを活用して、データレイクのメタデータを保存および管理できます。
Data Catalogでメタデータを保存および管理するには、次の利点があります。
- 高い安定性と可用性
- サーバーレスで費用対効果の高い
- メタデータにさまざまな方法でアクセス可能
- スキーマのレジストリとして利用可能
また、AWS ユースカジノ ボーナスウォレット 使い方 で機密情報の検出と処理が可能で、データを簡単に管理できます。
AWS ユースカジノ ボーナスウォレット 使い方 Use cases
ユーザーは以下の要件のためにAWS ユースカジノ ボーナスウォレット 使い方を使用しています。
- 伝統的なETLによるMigration
- データレイク統合
- セルフサービスデータ統合
- Data WarehouseからETL/ELT
- サーバーレスでApache Sparkを使用する
- MLのためのData Prepration
How Disney Chose AWS ユースカジノ ボーナスウォレット 使い方 – ケース
コロナによる社会的距離を置くため、ディズニーパークでゲスト数を制御しなければならず、遊園地の使いやすさを最適化するために現在および将来の予約についての洞察を引き出す必要があります。
AWS ユースカジノ ボーナスウォレット 使い方 以前は、Amazone EC2 にインストールされた Hadoop クラスターを使用し、上記のサービスを使用していました。
Hadoopを使用すると、クラスターのセキュリティ、容量、スケーリング困難などの問題が発生していました。
Hadoopに代わるサービスとしてAWS ユースカジノ ボーナスウォレット 使い方を選択した理由は、ユースカジノ ボーナスウォレット 使い方はサーバーレスで、市場に適応し、Sparkベースであり、費用対効果が高いためです。
AWS ユースカジノ ボーナスウォレット 使い方への移行では、ディズニーの動機と目標は次のとおりです。
- さまざまな段階の規制とデータを扱う標準化された方法が必要
- シンプルな使いやすさ
- データエンジニアが構造を詳しく理解することなく対処できるエンドツーエンドツールの提供
- PythonやSpark経験のないSQL開発者などのユーザーを検討する
内部ユースカジノ ボーナスウォレット 使い方 Internal ユースカジノ ボーナスウォレット 使い方 frameworkは以下のように構成されているそうです。
- Internal ユースカジノ ボーナスウォレット 使い方 framework: 新しい spark コードを書く必要がないように、AWS ユースカジノ ボーナスウォレット 使い方 job を実行してトラッキングする YAML ファイルを使用する 1 つの pyspark で書かれている
- Job runner: AWS ユースカジノ ボーナスウォレット 使い方 Job の開始点で、Spark session の準備とタスクの実行
- Job Tracker：正常に処理されたファイルのトラックを保存する
Dataflowは上記のように構成されており、ソースデータからRawデータ、Raw Historyデータ、Syndicatedデータを経て最終的にCuratedデータを生成し、データ消費者が使用できるようにしました。
High Level ユースカジノ ボーナスウォレット 使い方 Job Runnerのアーキテクチャは上記のとおりです。
control planeにジョブを実行させ、trackingするyamlなどのconfigファイルが保存されており、control planeを通じてJob Runnerジョブを実行させると、各ジョブランナーは子ジョブを実行します。
Config ファイルの参照画像です。
また、ユースカジノ ボーナスウォレット 使い方 Clusterの作業状況を簡単に監視できます。
現在、ディズニーのAWS ユースカジノ ボーナスウォレット 使い方 Job Excutionの状況は次のとおりです。
- コロナ関連のワークロードでAWS ユースカジノ ボーナスウォレット 使い方 Jobの使用を開始
- 約1年後、Hadoop to ユースカジノ ボーナスウォレット 使い方 migration作業を開始
- 現在、Hadoop jobをユースカジノ ボーナスウォレット 使い方に移行し続け、同時にユースカジノ ボーナスウォレット 使い方に新しいジョブを作成し続ける
結論として、AWS ユースカジノ ボーナスウォレット 使い方 は我々のワークロードの規模拡大に貢献しました。AWS ユースカジノ ボーナスウォレット 使い方を使用することで、エンジニアがHadoop clusterを維持することに気を使うのではなく新しいデータ操作に集中できるようになり、AWS ユースカジノ ボーナスウォレット 使い方を使用して分析コンピュート環境を進化させることができました。
数ヶ月後にはディズニーランドパリにも適用を開始する予定だそうです。
実際、データ統合/変換などの作業が必要なほとんどのプロジェクトでは、AWS ユースカジノ ボーナスウォレット 使い方を多く活用していますが、ユースカジノ ボーナスウォレット 使い方のメリットを一度にまとめることができたセッションでした。
ユースカジノ ボーナスウォレット 使い方のconnector、interface、monitoringなどの作業やワークフローに関連する機能に加えて、さまざまな機能を提供していることがわかりました。
ユースカジノ ボーナスウォレット 使い方をよりよく活用できるようで、ディズニーランドで使用しているユースカジノ ボーナスウォレット 使い方 Frameworkの方式は、典型的なユースカジノ ボーナスウォレット 使い方の使用方法とは異なりますが、うまく活用すれば効率的だと思うので、機会になったらフレームワークを参考にして実際に適用してみたいと思いました。
