[AER205] Choosing the right accelerator for training and inference（AI/ユースカジノ 紹介）
投稿日: 2022/12/09
Amazon EC2 は、機械学習アプリケーションのための最も広範で深いインスタンスポートフォリオを提供します。P4やG5などのGPUベースの高性能インスタンスから最高の価格パフォーマンスを実現するために、AWSシリコンで特別に設計されたTrn1およびInf1インスタンスまで、各機械学習ワークロードに適したインスタンスがあります。このセッションでは、これらのインスタンス、ベンチマーク、および各インスタンスの理想的なユースケースガイドラインについて学びました。
課題は以下の通りです。
- データサイエンティストは、より少ない時間とコストでさまざまなタイプ/サイズのユースカジノ 紹介モデルを構築/配布する必要があります。
- ユースカジノ 紹介モデルの構築/配布のための最も効率的なコストパフォーマンスを提供する最高のハードウェア設定を選択する必要があります。
- ユースカジノ 紹介モデルを構築/配布するための最高のコストパフォーマンスハードウェアを構成する必要があります。
AI/ユースカジノ 紹介のための最も広範で深いコンピューティングインフラストラクチャは、従来のユースカジノ 紹介での学習/推論のためのM、C、Rインスタンスファミリー、ディープラーニング推論のためのInf、Gインスタンスファミリー、およびモデル学習のためのP、Trnインスタンスファミリーがあります。
ユースカジノ 紹介学習にCPUインスタンスを使用する場合は、次のようになります。
- 従来のユースカジノ 紹介モデルを学習する場合（表形式のデータ）
- 表形式のユースカジノ 紹介を前処理する場合
- ディープラーニングモデルのプロトタイプ製作
- 少ないユースカジノ 紹介セットで微調整を行う場合
Gravition3: ユースカジノ 紹介
BERTモデルを使用してSQuAD v1.1クエリ応答を実行するNLPワークロードを例に、パフォーマンス比較を行いました。Gravition3はbfloat16とSIMD帯域幅の2倍近くをサポートし、C7gはC6gよりもほぼ2.5倍高い性能を提供します。
SageMakerでは、次のような利点があります。
- 1）ユースカジノ 紹介の革新を民主化できます。
- ビジネスアナリストを含むより多くの人員グループをサポートします。
-
- 2）ユースカジノ 紹介ライフサイクルを加速することができます。
- 学習時間を数時間から数分に短縮できます。
-
- 3）規模に合ったユースカジノ 紹介を準備することができます。
- 整形ユースカジノ 紹介と非定型ユースカジノ 紹介にアクセスし、ラベルを付けて処理します。
-
- 4）ユースカジノ 紹介プロセスの簡素化が可能です。
- ユースカジノ 紹介Opsプロセスの自動化と標準化が可能です。
大規模な学習ユースカジノ 紹介セットのオプションは次のとおりです。
- 1）中規模および大規模ユースカジノ 紹介セットはS3を介して呼び出すことができます。
- ファイルモード：ユースカジノ 紹介セット全体をローカルストレージにコピーする
- Fast file mode：S3からユースカジノ 紹介セットをストリーミングして読み込む
-
- 2）拡張可能な共有ファイルシステム（EFS）を使用できます。
- ダウンロードやストリーミングがない
- 他のサービスとファイルシステムを共有する
-
- 3）高性能ファイルシステム（FSx）
- 最適化された高性能コンピューティング
- S3と基本的に統合されている
最初のカスタマーケースでは、Finch はディープラーニング変換モデルをGPUベースのインスタンスからAWS Incentiaに基づくAmazon EC2 Inf1インスタンスに移行し、Amazon ECSを使用してカスタムコンテナを実行しました。顧客は、GPUの使用に比べてコストを80％以上削減しながら、顧客のスループットと応答時間を維持しました。
2番目のカスタマーケースでは、Amazon RoboticsにおいてAmazon SageMakerを使用してユースカジノ 紹介モデル開発プロセスを近代化し、推論ワークロードをAWS IncentiaベースのInf1インスタンスに移行しました。お客様は、自己管理ソリューションと比較して推論コストを最大70％削減し、モデルパフォーマンスを40％向上させ、1日に2億を超える推論に拡張できます。
3番目のカスタマーケースであるPaigeは、Amazon Web Servicesに切り替えて、ユースカジノ 紹介ワークロードを実行し、増加するデータスペースを管理するハイブリッドアプローチを取りました。分散トレーニングのために、お客様はAmazon EC2 P4dインスタンス、Elastic Fabric Adapter、およびFSx for Lustreを採用しました。Paigeはユースカジノ 紹介タスクを並行して実行し、内部ワークフロー速度を72％向上させることができ、クラウド内のコンピューティングリソースを拡張してコンピューティングコストを最適化し、チームが革新できるようにしました。
既存のユースカジノ 紹介プロセスを加速するためにデータの視点やアルゴリズム中心に解決策を考えましたが、実際にはプロジェクトでは分析ロジックを変更できず、入ってくるデータセットも一定の形式である場合があります。
このセッションを聞いた後、このような場合、視野をソフトウェアだけに置かずにハードウェア側に回して速度を上げる方法について学ぶことができ、有益でした。
