TOPコラム一覧[AER205] Choosing the right accelerator for training and inference(AI/ML)

ユースカジノ 紹介 [AER205] Choosing the right accelerator for training and inference(AI/ML)

ユースカジノ 紹介

Amazon EC2 は、機械ユースカジノ 紹介アプリケーションのための最も広範で深いインスタンスポートフォリオを提供します。P4やG5などのGPUベースの高性能インスタンスから最高の価格パフォーマンスを実現するために、AWSシリコンで特別に設計されたTrn1およびInf1インスタンスまで、各機械ユースカジノ 紹介ワークロードに適したインスタンスがあります。このセッションでは、これらのインスタンス、ベンチマーク、および各インスタンスの理想的なユースケースガイドラインについて学びました。

ユースカジノ 紹介

課題は以下の通りです。

  • ユースカジノ 紹介サイエンティストは、より少ない時間とコストでさまざまなタイプ/サイズのMLモデルを構築/配布する必要があります。
  • MLユースカジノ 紹介の構築/配布のための最も効率的なコストパフォーマンスを提供する最高のハードウェア設定を選択する必要があります。
  • ユースカジノ 紹介構築/配布するための最高のコストパフォーマンスハードウェアを構成する必要があります。
ユースカジノ 紹介

AI/MLのための最も広範で深いコンピューティングインフラストラクチャは、従来のMLでの学習/推論のためのM、C、Rインスタンスファミリー、ディープラーニング推論のためのInf、Gインスタンスファミリー、およびユースカジノ 紹介学習のためのP、Trnインスタンスファミリーがあります。

MLユースカジノ 紹介にCPUインスタンスを使用する場合は、次のようになります。

  • 従来のMLモデルを学習する場合(表形式のユースカジノ 紹介)
  • 表形式のユースカジノ 紹介を前処理する場合
  • ディープラーニングユースカジノ 紹介のプロトタイプ製作
  • 少ないユースカジノ 紹介セットで微調整を行う場合

Gravition3: ML

BERTユースカジノ 紹介を使用してSQuAD v1.1クエリ応答を実行するNLPワークロードを例に、パフォーマンス比較を行いました。Gravition3はbfloat16とSIMD帯域幅の2倍近くをサポートし、C7gはC6gよりもほぼ2.5倍高い性能を提供します。

SageMakerでは、次のような利点があります。

  1. 1)MLの革新を民主化できます。
    • ビジネスアナリストを含むより多くの人員グループをサポートします。
    • 2)MLライフサイクルを加速することができます。
    • ユースカジノ 紹介時間を数時間から数分に短縮できます。
    • 3)規模に合ったユースカジノ 紹介を準備することができます。
    • 整形ユースカジノ 紹介と非定型ユースカジノ 紹介にアクセスし、ラベルを付けて処理します。
    • 4)MLプロセスの簡素化が可能です。
    • MLOpsプロセスの自動化と標準化が可能です。

大規模な学習ユースカジノ 紹介セットのオプションは次のとおりです。

  1. 1)中規模および大規模ユースカジノ 紹介セットはS3を介して呼び出すことができます。
    • ファイルモード:ユースカジノ 紹介セット全体をローカルストレージにコピーする
    • Fast file mode:S3からユースカジノ 紹介セットをストリーミングして読み込む
    • 2)拡張可能な共有ユースカジノ 紹介システム(EFS)を使用できます。
    • ダウンロードやストリーミングがない
    • 他のサービスとユースカジノ 紹介システムを共有する
    • 3)高性能ユースカジノ 紹介システム(FSx)
    • 最適化された高性能コンピューティング
    • S3と基本的に統合されている

最初のカスタマーケースでは、Finch はディープラーニング変換ユースカジノ 紹介をGPUベースのインスタンスからAWS Incentiaに基づくAmazon EC2 Inf1インスタンスに移行し、Amazon ECSを使用してカスタムコンテナを実行しました。顧客は、GPUの使用に比べてコストを80%以上削減しながら、顧客のスループットと応答時間を維持しました。

2番目のカスタマーケースでは、Amazon RoboticsにおいてAmazon SageMakerを使用してMLユースカジノ 紹介開発プロセスを近代化し、推論ワークロードをAWS IncentiaベースのInf1インスタンスに移行しました。お客様は、自己管理ソリューションと比較して推論コストを最大70%削減し、ユースカジノ 紹介パフォーマンスを40%向上させ、1日に2億を超える推論に拡張できます。

3番目のカスタマーケースであるPaigeは、Amazon Web Servicesに切り替えて、MLワークロードを実行し、増加するユースカジノ 紹介スペースを管理するハイブリッドアプローチを取りました。分散トレーニングのために、お客様はAmazon EC2 P4dインスタンス、Elastic Fabric Adapter、およびFSx for Lustreを採用しました。PaigeはMLタスクを並行して実行し、内部ワークフロー速度を72%向上させることができ、クラウド内のコンピューティングリソースを拡張してコンピューティングコストを最適化し、チームが革新できるようにしました。

既存のMLプロセスを加速するためにユースカジノ 紹介の視点やアルゴリズム中心に解決策を考えましたが、実際にはプロジェクトでは分析ロジックを変更できず、入ってくるユースカジノ 紹介セットも一定の形式である場合があります。

このセッションを聞いた後、このような場合、視野をソフトウェアだけに置かずにハードウェア側に回して速度を上げる方法について学ぶことができ、有益でした。

お問い合わせ

引用元

TOPコラム一覧[AER205] Choosing the right accelerator for training and inference(AI/ML)

pagetop