ユースカジノ 紹介 [AER205] Choosing the right accelerator for training and inference(AI/ML)
投稿日: 2022/12/09
Amazon EC2 は、機械ユースカジノ 紹介アプリケーションのための最も広範で深いインスタンスポートフォリオを提供します。P4やG5などのGPUベースの高性能インスタンスから最高の価格パフォーマンスを実現するために、AWSシリコンで特別に設計されたTrn1およびInf1インスタンスまで、各機械ユースカジノ 紹介ワークロードに適したインスタンスがあります。このセッションでは、これらのインスタンス、ベンチマーク、および各インスタンスの理想的なユースケースガイドラインについて学びました。
課題は以下の通りです。
- ユースカジノ 紹介サイエンティストは、より少ない時間とコストでさまざまなタイプ/サイズのMLモデルを構築/配布する必要があります。
- MLユースカジノ 紹介の構築/配布のための最も効率的なコストパフォーマンスを提供する最高のハードウェア設定を選択する必要があります。
- ユースカジノ 紹介構築/配布するための最高のコストパフォーマンスハードウェアを構成する必要があります。
AI/MLのための最も広範で深いコンピューティングインフラストラクチャは、従来のMLでの学習/推論のためのM、C、Rインスタンスファミリー、ディープラーニング推論のためのInf、Gインスタンスファミリー、およびユースカジノ 紹介学習のためのP、Trnインスタンスファミリーがあります。
MLユースカジノ 紹介にCPUインスタンスを使用する場合は、次のようになります。
- 従来のMLモデルを学習する場合(表形式のユースカジノ 紹介)
- 表形式のユースカジノ 紹介を前処理する場合
- ディープラーニングユースカジノ 紹介のプロトタイプ製作
- 少ないユースカジノ 紹介セットで微調整を行う場合
Gravition3: ML
BERTユースカジノ 紹介を使用してSQuAD v1.1クエリ応答を実行するNLPワークロードを例に、パフォーマンス比較を行いました。Gravition3はbfloat16とSIMD帯域幅の2倍近くをサポートし、C7gはC6gよりもほぼ2.5倍高い性能を提供します。
SageMakerでは、次のような利点があります。
- 1)MLの革新を民主化できます。
- ビジネスアナリストを含むより多くの人員グループをサポートします。
-
- 2)MLライフサイクルを加速することができます。
- ユースカジノ 紹介時間を数時間から数分に短縮できます。
-
- 3)規模に合ったユースカジノ 紹介を準備することができます。
- 整形ユースカジノ 紹介と非定型ユースカジノ 紹介にアクセスし、ラベルを付けて処理します。
-
- 4)MLプロセスの簡素化が可能です。
- MLOpsプロセスの自動化と標準化が可能です。
大規模な学習ユースカジノ 紹介セットのオプションは次のとおりです。
- 1)中規模および大規模ユースカジノ 紹介セットはS3を介して呼び出すことができます。
- ファイルモード:ユースカジノ 紹介セット全体をローカルストレージにコピーする
- Fast file mode:S3からユースカジノ 紹介セットをストリーミングして読み込む
-
- 2)拡張可能な共有ユースカジノ 紹介システム(EFS)を使用できます。
- ダウンロードやストリーミングがない
- 他のサービスとユースカジノ 紹介システムを共有する
-
- 3)高性能ユースカジノ 紹介システム(FSx)
- 最適化された高性能コンピューティング
- S3と基本的に統合されている
最初のカスタマーケースでは、Finch はディープラーニング変換ユースカジノ 紹介をGPUベースのインスタンスからAWS Incentiaに基づくAmazon EC2 Inf1インスタンスに移行し、Amazon ECSを使用してカスタムコンテナを実行しました。顧客は、GPUの使用に比べてコストを80%以上削減しながら、顧客のスループットと応答時間を維持しました。
2番目のカスタマーケースでは、Amazon RoboticsにおいてAmazon SageMakerを使用してMLユースカジノ 紹介開発プロセスを近代化し、推論ワークロードをAWS IncentiaベースのInf1インスタンスに移行しました。お客様は、自己管理ソリューションと比較して推論コストを最大70%削減し、ユースカジノ 紹介パフォーマンスを40%向上させ、1日に2億を超える推論に拡張できます。
3番目のカスタマーケースであるPaigeは、Amazon Web Servicesに切り替えて、MLワークロードを実行し、増加するユースカジノ 紹介スペースを管理するハイブリッドアプローチを取りました。分散トレーニングのために、お客様はAmazon EC2 P4dインスタンス、Elastic Fabric Adapter、およびFSx for Lustreを採用しました。PaigeはMLタスクを並行して実行し、内部ワークフロー速度を72%向上させることができ、クラウド内のコンピューティングリソースを拡張してコンピューティングコストを最適化し、チームが革新できるようにしました。
既存のMLプロセスを加速するためにユースカジノ 紹介の視点やアルゴリズム中心に解決策を考えましたが、実際にはプロジェクトでは分析ロジックを変更できず、入ってくるユースカジノ 紹介セットも一定の形式である場合があります。
このセッションを聞いた後、このような場合、視野をソフトウェアだけに置かずにハードウェア側に回して速度を上げる方法について学ぶことができ、有益でした。