Papermill環境でAmazon SageMaker ユースカジノ 手数料 Jobを動かしてみた

投稿日: 2025/03/17

はじめに

こんにちは、伊藤忠テクノソリューションズ 阪本です。
データ処理やモデル評価の作業を実行するときに、本番ユースカジノ 手数料を作成し、どのような挙動を示すか一連の流れを確認すると思います。ただ、まだ動作検証段階で本番ユースカジノ 手数料を何度も作成するのは効率的ではありません。また、Jupyter Notebookはデータ分析や機械学習モデル開発のための主要ツールとして広く活用されています。これらのノートブックを、本番ユースカジノ 手数料で定期的な実行やバッチ処理を行う際に、手動操作で実行することは現実的ではありません。
この問題を解決するのが、Amazon SageMaker ユースカジノ 手数料 Jobとノートブック実行ツールのPapermillの組み合わせです。本記事では、この二つを活用してJupyter Notebookを自動的にバッチ処理する方法を、シンプルなコード例を交えながら解説します。

1．全体概要

今回のシナリオの全体概要は以下のようになっています。Papermillを使用できるコンテナイメージの環境でユースカジノ 手数料処理を行います。ユースカジノ 手数料処理の中では、notebook実行が内部で行われ、各処理結果がS3に保存されます。

2．Amazon SageMaker ユースカジノ 手数料 Job

SageMaker ユースカジノ 手数料 Jobは、AWSもしくは独自のコンテナ上で処理を実行し、処理が完了するとインスタンスが自動で停止されるジョブサービスです。通常のSageMaker学習ジョブとは異なり、モデルの学習以外の様々なデータ処理タスクやLambdaで扱えない複雑な処理に適しています。
主な特徴としては、以下となります。

ユースカジノ 手数料 Jobは、指定されたコンテナイメージを使って処理環境を構築し、S3からデータを取得して処理を実行します。カスタムイメージを使用することで本番環境のコンテナや本番データを使って、動作検証が簡単に行えます。
処理が完了すると、結果をS3に保存し、ユースカジノ 手数料を終了します。これにより、「データの取得」→「処理」→「結果の保存」という一連のワークフローを実現できます。

3．ユースカジノ 手数料

ユースカジノ 手数料は、Jupyter Notebookをパラメータ化して実行するPythonライブラリです。通常、Jupyter Notebookはインタラクティブに実行するものですが、ユースカジノ 手数料を使うことで、コマンドラインやPythonプログラムからノートブックを実行できるようになります。下図はユースカジノ 手数料によるNotebook処理の例を示しています。

ユースカジノ 手数料の主な機能として、以下のような機能があります。

※ユースカジノ 手数料の詳細については以下をご参照ください。
https://ユースカジノ 手数料.readthedocs.io/en/latest/

4．コンテナイメージの作成

では、実際にユースカジノ 手数料 Jobの挙動を見ていきましょう。今回は通常のPython環境に加え、Papermillを使用できる環境でユースカジノ 手数料処理を行うことを目指していきます。

まず準備として、ユースカジノ 手数料 Jobの実行環境となるコンテナイメージを作成します。
ユースカジノ 手数料 Studioをセットアップします。こちらの記事に従って、セットアップしてみてください。

ユースカジノ 出金できない SageMakerについ

次にSageMaker ユースカジノ 手数料 Jobでノートブックを実行するために、Papermillを含むカスタムコンテナイメージが必要です。SageMaker Studioをセットアップ後、下記の記事を参考に、SageMaker内からコンテナイメージをECRに作成もしくは保存してください。

ユースカジノ 手数料によるカスタムイメージ構築とStudioへのコンテナ適用

今回、カスタムイメージ作成に必要なDockerfileは以下で定義しています。

FROM python:3.11-slim-buster

RUN python -m pip install --upgrade pip
RUN python -m pip install -U jupyter jupyter-client ipykernel
RUN python -m pip install -U 'ユースカジノ 手数料[all]'

5．ユースカジノ 手数料 Jobの準備と実行

Papermill環境でのユースカジノ 手数料 Job実行は主に次の4ステップで進めます：

前章でも述べたように、4.で作成済みのPapermill実行環境を活用し、ユースカジノ 手数料 Jobでの処理を行う様子を解説します。これらのステップを順番に詳しく見ていきましょう。

⓪ IAMロール設定

ユースカジノ 手数料 Jobを扱う上でSageMaker、ECR、S3に関するIAM権限が必要となります。今回はSageMakerのユーザプロファイルに付与されているIAMロールを使用します。別途IAMロール権限が必要な場合は以下をご参照ください。

https://docs.aws.amazon.com/ja_jp/ユースカジノ 手数料/latest/dg/build-and-manage-access.html

① ユースカジノ 手数料実行用ファイルの作成

次に、ユースカジノ 手数料で実行するためのNotebookファイルを作成します。本記事では例として、テキストファイルの作成処理をNotebookで行います。具体的には、任意のテキストファイル名とファイルに書き込む処理を行う形です。

今回、ユースカジノ 手数料により変更されるパラメータ（変数）の対象は「file_name」と「word」になります。これをユースカジノ 手数料実行時に変更できるよう、タグ付けを行う必要があります。
まず、JupyterLabの右のメニューにある「Property Inspector（歯車マーク）」をクリックします。そして、Add Tagの中に「parameters」と記載し、+ボタンを選択します。

すると、parametersのタグが付与されるので、Notebookの保存をしましょう。これでまずNotebookの準備ができました。

② ユースカジノ 手数料実行ファイルの作成

次に、①で作成したNotebookをユースカジノ 手数料で実行するためにpythonファイルを作成しましょう。作成するpythonファイルは以下となります。

import papermill as pm

# papermillで実行（ファイル名に変換ユースカジノ 手数料_sample.txt）
pm.execute_notebook(
    '/opt/ml/processing/input/papermill_test.ipynb',
    '/opt/ml/processing/output/output1.ipynb',
    parameters=dict(file_name='ユースカジノ 手数料_sample', word='ユースカジノ 手数料')
)

# papermillで実行（ファイル名に変換aws_sample.txt）
pm.execute_notebook(
    '/opt/ml/processing/input/papermill_test.ipynb',
    '/opt/ml/processing/output/output2.ipynb',
    parameters=dict(file_name='aws_sample', word='aws')
)

今回は1.で作成したNotebookのファイル名と記載内容を変えて、同時に2つのNotebookを実行し、2つのテキストファイルとNotebookを出力させます。

※上記のコードでは、parametersで定義される変数が、Notebookでタグ付けした「parameters」と一致するように設定する必要があります。

③ ユースカジノ 手数料 Jobの実行

ここで本題となるユースカジノ 手数料 Jobを行います。今回はユースカジノ 手数料 JobをSageMakerのJupyterLab内で実行していきます。
まず、①と②で作成したNotebookとpythonファイルをS3にアップロードします。新しくNotebookを作成し、以下コマンドを実行してください。

※バケットとプレフィックスは適宜入力をお願いします

# 格納するバケットとプレフィックスを定義
bucket = <your-bucket-name
key_prefix = <your-prefix
s3_prefix = f's3://{bucket}/{key_prefix}'

# S3にアップロード（Notebook名とpythonファイル名は任意）
!aws s3 cp ユースカジノ 手数料_test.ipynb $s3_prefix/input/
!aws s3 cp ユースカジノ 手数料_check.py $s3_prefix/input/

すると、対象のS3のパスにファイルがアップロードされていることが確認できます。

作成した上記のNotebookにユースカジノ 手数料処理の実行コードを以下のように記入し、実行を行いましょう。

from sagemaker.ユースカジノ 手数料 import Processor, ユースカジノ 手数料Output, ユースカジノ 手数料Input
from sagemaker import get_execution_role
import sagemaker

# ユーザプロファイルのロールを使用
role = get_execution_role()

# ユースカジノ 手数料 Job定義
processor = Processor(
    image_uri=ユースカジノ 手数料_repository_uri,
    entrypoint=["python3", "/opt/ml/ユースカジノ 手数料/input/papermill_check.py"],
    role=role,
    instance_count=1,
    instance_type="ml.m5.2xlarge", #指定のインスタンスは任意
)

# ユースカジノ 手数料 Job実行
%%time
processor.run(inputs=[ユースカジノ 手数料Input(source=f"{s3_prefix}/input", 
                                        destination="/opt/ml/ユースカジノ 手数料/input/")],
                outputs=[ユースカジノ 手数料Output(source="/opt/ml/ユースカジノ 手数料/output/", 
                                        destination=f"{s3_prefix}/output")],
                # arguments=job_args,
                wait=True, 
                logs=True)

実際に実行した例の一部が以下となります。

④ 実行結果の確認

Notebookファイルの実行が完了した後、実際にユースカジノ 手数料処理が行われているか、確認を行いましょう。
まずは、ユースカジノ 手数料処理自体の完了ステータスを見ていきます。SageMakerのコンソール画面に移動し、「ユースカジノ 手数料」が最新の処理ジョブを確認します。すると、ステータスが「Completed」となっていますので、ユースカジノ 手数料処理の完了が確認できます。

※CloudWatchでもユースカジノ 手数料 Jobの実行結果が確認可能です。

次に、実際にファイルが作成できているかを確認します。出力先に指定したS3のパスに移動します。すると、Notebookで定義したパラメータとは異なるファイル名で2つのファイルが作成されていることが見て取れます。これは、ユースカジノ 手数料により②で定義した実行用pythonファイルの通りにパラメータの変換が行われているからです。また、notebookも2つS3に出力され、バッチ実行が行われていることも確認できます。

実際にテキストファイルをS3からダウンロードして、中身を見てみましょう。下記の図のように中身も変更されて入力できていることが確認できます。

6．ユースカジノ 手数料 Jobの応用例

今回ご紹介したユースカジノ 手数料 JobはSageMaker内で実行を行いましたが、EventBridgeやLambdaと組み合わせることで、より効果が大きくなります。実装自体は非常に簡単で、以下のように設定が可能です。

2.で示した図にLambdaとEventBridgeを加えたものが下図となります。

これにより、定期的もしくは各イベントで実行が可能となり、様々な処理に応用ができます。ユースケースの例として

などが可能となり、常時稼働のサービスよりコストも最適化されます。

7．まとめ

いかがでしたでしょうか。今回、Papermill環境を作成し、その環境内でユースカジノ 手数料 Jobによりファイル処理を行いました。ユースカジノ 手数料 Jobのご紹介ということで、コンテナ内で行った処理自体は簡単なファイル処理でしたが、より複雑な処理や各AWSサービスを組み合わせることで業務効率化やコスト最適化が可能です。また、今回はユースカジノ 手数料 Jobのみのご紹介でしたが、SageMakerではモデルの学習に用いられるTraining Jobなどもございます。もしご興味ございましたら、他のジョブ機能も試してみてください。

ユースカジノ 手数料は、AWSのビジネス利活用に向けて、お客様のステージに合わせた幅広い構築・運用支援サービスを提供しています。
経験豊富なエンジニアが、ワンストップかつ柔軟にご支援します。
ぜひ、お気軽にユースカジノ 登録ください。