機械学習基盤の選択肢 Kubernetes や Amazon Sagemaker での構築

機械学習基盤の選択肢 Kubernetes や Amazon SageMaker での構築

アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト針原佳貴 AWS AI/ML Tokyo #5 (2020-07-09)

• 針原佳貴 (はりばらよしたか) • 博士 (情報理工学) • Startup Machine Learning Solutions Architect • スタートアップの技術支援・機械学習導入支援 • 好きな AWS のサービスは Amazon SageMaker, Amazon Braket

機械学習基盤の技術選定における意思決定を助けるための情報を提供する

• 機械学習基盤に求められること • Kubernetes (k8s) と Kubeflow を使った Amazon EKS での構築例 • 機械学習のマネージドサービス Amazon SageMaker で実現可能なこと • 技術選定のための総所有コスト (Total Cost of Ownership; TCO) の観点

ビジネス課題 NO

データ特徴量ビジネス ML の問題にデータ収集データ可視化エンジニアモデル学習モデル評価ゴールの落とし込む・取込前処理・分析リング評価

YES

本番環境デプロイ

https://d1.awsstatic.com/whitepapers/architecture/wellarchitected-Machine-Learning-Lens.pdf

• データレイク • 構造化・非構造化データを格納 • 高可用性・耐久性を備えたスケーラブルなストレージ • モデルの開発 • Python と深層学習フレームワーク (TensorFlow, PyTorch, Apache MXNet など) • データサイエンティストには Jupyter Notebook, JupyterLab を好む人も多い • トレーニング • 深層学習の場合は行列演算を大量に行うので GPU を使う • 複雑なモデルで大量のデータに対しては、複数 GPU で分散学習を行うケースも • デプロイ・推論 • 作ったモデルをプロダクション環境に組み込むためホスティングする必要がある • モデルが呼び出されたらいつでも推論結果を返せるようスケーラビリティ・高可用性が求められる

• 作ったモデルを一貫性のある形で推論用にデプロイするためには環境の統一化が必要 • 深層学習フレームワーク・バージョンなどの依存関係が開発環境・本番環境などの複数環境で一貫している必要がある

• 複数のデータサイエンティスト・機械学習エンジニアやインフラエンジニアが関わる • 開発者に技術選定が委ねられているが、機械学習モデルを作る人とデプロイ・インフラ管理する人のスキルセットが異なる場合がある

CUDA, cuDNN Python スクリプト

深層学習フレームワーク設定・ハイパーパラメータ

v11.0 v10.1 v9.0

ローカルラップトップ GPU サーバー本番

トレーニングスクリプト train.py

深層学習フレームワーク

CUDA, cuDNN

AWS Cloud

Docker コンテナ

開発者 EC2 インスタンス

「Kubernetesは、宣言的な構成管理と自動化を促進し、コンテナ化されたワークロードやサービスを管理するための、ポータブルで拡張性のあるオープンソースプラットホームです。」

https://kubernetes.io/ja/docs/concepts/overview/what-is-kubernetes/

• ライブラリ・依存関係の管理をコンテナで容易に • 環境の統一化と、再現性・追跡可能性

• トレーニング・デプロイの際に宣言的にインフラ環境をコントロールしたい • 環境のコード化とインフラの再現性

• ML パイプラインを構築するためのオープンソースエコシステム • Kubeflow Pipelines, MLflow, Metaflow,... • Custom Resource Definition (CRD) を使って自分で記述することも可能

Kubernetes (k8s) と Kubeflow を使った構築例

Upstream Kubernetes Kubernetes certified なマネージドサービス、コミュニティによるツールと協調。

Highly available プロダクション環境向けに構築、複数 AZ にまたがり高い可用性。

Integrated AWS エコシステムとの統合: VPC Networking, Elastic Load Balancing, IAM Permissions, CloudWatch など。

Model training Model serving / inference

Pod Pod Pod

Auto-scaling nodegroup Amazon Elastic Container Registry (ECR) Amazon Elastic Kubernetes Service Docker images for (EKS) training/serving Worker Worker Worker Worker

Amazon EKS Workshop > Advanced > Machine Learning using Kubeflow

from kubeflow.fairing import TrainJob train_job = TrainJob(HousingServe, input_files=['ames_dataset/train.csv', "requirements.txt"], docker_registry=DOCKER_REGISTRY, backend=BackendClass(build_context_source=BuildContext)) train_job.submit()

from kubeflow.fairing import PredictionEndpoint endpoint = PredictionEndpoint(HousingServe, input_files=['trained_ames_model.dat', "requirements.txt"], docker_registry=DOCKER_REGISTRY, service_type='ClusterIP', backend=BackendClass(build_context_source=BuildContext)) endpoint.create()

• ハイパーパラメータ最適化とニューラルアーキテクチャサーチ (NAS)

• 機械学習パイプライン構築

• Kubernetes, Kubeflow 環境のメンテナンス • Kubernetes クラスターのバージョンアップ (3ヶ月ごと) • 参考: ドキュメント「Amazon EKS クラスターの Kubernetes バージョンの更新」 • Kubeflow のアップグレード (alpha; limited support) • 参考: ドキュメント “Upgrading a Kubeflow Deployment”

• 機械学習モデル構築とインフラ・ワークフローエンジンを扱うスキルセットの乖離 • データサイエンティスト・機械学習エンジニアはインフラ運用を必ずしも得意としておらず、多くの場合、インフラエンジニアによる運用と継続的なメンテナンスが求められる。

• モデルを作ってデプロイできることが重要、必要に応じた技術選定を • 例えば Kubeflow などのオープンソースで構築した部分をマネージドサービスで代用することは可能か？

すべての開発者とデータサイエンティストのための機械学習マネージドサービス

データ準備モデル構トレーニング&チューニングデプロイ&管理築機械学習のための Web ベース統合開発環境 (IDE)

モデルの自動構築・トレーニング

完全マネージドなクリックでコンセプト 1クリックのクリックで可視化して 1 オートスケーリングデータ処理ジョブと 1 デプロイとドリフトの予測結果にコラボレーションとトレーニングデバッグ・最適化トラッキング・比較によるコスト削減ラベリングのビルトインの高性能なオートスケーリング自動検知人手のレビューワークフローアルゴリズム・モデル

101011010 010101010 000011110

モデルのトレーニング・機械学習トレーニング環境の実験管理本番環境へのモデルのデータ収集・準備デバッグ・アルゴリズム構築セットアップデプロイ監視チューニング

• Jupyter Notebook/Lab をマネージドで使える • インスタンスタイプを選んで立ち上げるだけ • DL フレームワーク等はインストール済

Jupyter Notebook/Lab

開発

Amazon S3

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. Amazon SageMaker Amazon ECR ビルド済みの Docker イメージが予め用意されている Amazon EC2 Jupyter Notebook/Lab P3 Instances

開発学習

Amazon S3

トレーニングでのメリット: Amazon EC2 • API でインスタンス起動、 Jupyter Notebook/Lab P3 Instances 学習が完了すると自動停止 • 高性能なインスタンスを秒課金で • 簡単にスポットインスタンスでコスト削減開発学習 • 指定した数のインスタンスを同時起動、分散学習も容易

Amazon S3

Amazon EC2 Jupyter Notebook/Lab P3 Instances

開発学習

Amazon S3

Endpoint/ Jupyter Notebook/Lab Batch transform

開発推論

Amazon S3

機械学習に特化したコンテナオーケストレーションサービスとも

• 環境は Docker イメージとして用意 • トレーニング・デプロイ先の環境はインスタンスタイプ・台数を選びコンテナを SageMaker 側で配置 • API 経由で呼び出すため、過去のトレーニングジョブの履歴・生成物が残り、実験管理も可能

import sagemaker

from sagemaker.pytorch import PyTorch # 各フレームワークに対応した Estimator クラス estimator = PyTorch("train.py", # トレーニングスクリプトなどを指定して初期化 role=sagemaker.get_execution_role(), train_instance_count=1, train_instance_type="ml.p3.2xlarge", framework_version="1.5.0")

estimator.fit("s3://mybucket/data/train") # fit でトレーニング

predictor = estimator.deploy(initial_instance_count=2, # 2以上にすると Multi-AZ instance_type="ml.m5.xlarge") # deploy でエンドポイント作成

スポットインスタンスで最大90%トレーニング料金を削減

• 最大待ち時間を指定 • 中断が発生する可能性があるので checkpoints に途中経過を書き出し • 事例は AWS ブログを参照:

• Python でワークフローを記述し機械学習パイプラインを自動化 • AWS Step Functions Data Science SDK • Amazon SageMaker, AWS Lambda をはじめとした各サービスに対応 • マネージドサービス

git push Git webhook docker push

Data AWS CodeCommit AWS CodeBuild Amazon Scientists/ or Elastic Container Developers 3rd party Registry Git repository (ECR)

AWS Step Functions workflow

Test data Train data Endpoint

Amazon SageMaker Amazon S3 AWS Glue Amazon S3 Amazon SageMaker Amazon S3 Batch Transform / (raw data) (data) Training Job / HPO (trained model) Endpoint deploy

• Python で記述した DAG (有向非巡回グラフ) でワークフロー管理 • SageMaker Operator も用意されている • マネージドサービスではない (EC2 + RDS は別途必要) • 参考: 「Amazon SageMaker と Apache Airflow でエンドツーエンドの機械学習ワークフローを構築する」

Test data Raw data Cleaned data

Model artifact Prediction results Train data

Amazon SageMaker Amazon SageMaker Training / HPO Batch transform

Operator PythonOperator PythonOperator SageMakerTrainOperator/ SageMakerTransformOperator PythonOperator SageMakerTuningOperator

Airflow DAG

sparse data format Analyze model performance Filter long-tailed data → RecordIO protobuf based on test data

準備構築トレーニング・チューニングデプロイ・管理

Amazon SageMaker Studio 機械学習のための統合開発環境 (IDE)

Amazon SageMaker Autopilot One Click Deployment ML モデルを自動で構築・トレーニングリアルタイム・バッチ・複数モデル

Amazon SageMaker GroundTruth Amazon SageMaker Notebooks One Click Training Amazon SageMaker Model Monitor トレーニングデータセットの構築 1クリックで利用できるノートブック教師あり・教師なし・強化学習コンセプトドリフトの自動検知

Amazon SageMaker Processing AWS Marketplace Automatic Model Tuning Amazon SageMaker Neo Python, Spark でデータ前処理構築済アルゴリズム・モデル・データ 1クリックハイパーパラメータ探索一度のトレーニングでどこへでもデプロイ

Amazon SageMaker Experiments Amazon Elastic Inference 各ステップで取得・管理・比較オートスケーリングで最大75%コスト削減

Amazon SageMaker Debugger Amazon Augmented AI トレーニングのデバッグ・プロファイリング推論結果に人手のレビューを追加

Total Cost of Ownership (TCO)

• 総所有コスト (Total Cost of Ownership; TCO) の観点がとても大事 • インフラコスト (トレーニング・推論に使う CPU/GPU) だけでない • 基盤自体の運用負荷 • セキュリティ・コンプライアンス・ガバナンス • エンタープライズや、B-to-B で提供する企業は特に重要 • どういう観点が必要かは AWS Well-Architected Framework ML Lens のセキュリティの柱を参照

一般論として、自由度を手に入れるためには運用負荷の増加を受け入れる必要がある

Capability 考慮事項インスタンスのプロビジョン、環境構築の容易さインスタンスの • パッチ適用等のメンテナンスプロビジョン・運用 • • スポットインスタンスなどの活用によるコスト削減 • 転送時・保管時のデータ暗号化セキュリティ・ • 権限管理コンプライアンスの管理 • 証跡管理 • SOC, PCI, ISO, FedRAMP, HIPAA などのコンプライアンス対応トレーニングジョブ毎の独立したパフォーマンスインフラ • 分散学習に適したストレージやネットワークのチューニングパフォーマンス最適化 • • 推論のための最適なインフラ選択とチューニング • データやモデル成果物の可用性・耐久性高可用なインフラ管理 • トレーニング・推論環境のモニタリング、ログの取得や管理 • 推論環境の可用性 (Multi-AZ 対応やオートスケーリング)

• SageMaker • トレーニングごとにインスタンスを立ち上げ、終わったら勝手に落ちる • Kubernetes • クラスタを共有するので、無駄なコストをかけないためには Cluster Autoscaler などでジョブが流れない時にはインスタンスを落とすようにする必要がある

GPU の利用率が低い時間帯がある場合、インスタンスの上げ下げがコストに大きく効いてくる

• ML インフラストラクチャ自体のコストに加え、運用・管理コストも考慮 • 特に、組織が小さいうちは Amazon SageMaker を使った方がお得

でのコスト削減組織規模 Amazon SageMaker 自社運用Kubernetes (EKS) との比較小 5 data scientists -90% 中 15 data scientists -85% 大 50 data scientists -65% 巨大 250 data scientists -54%

https://pages.awscloud.com/NAMER-ln-GC-400-machine-learning-sagemaker-tco-learn-ty.html

Kubernetes から Amazon SageMaker を呼びモデルをトレーニング・チューニング・デプロイ • 「SageMaker 自体は便利そうだが既存 Kubernetes クラスターがあり SageMaker API や SDK の使い方を覚えるのが面倒」という方に • Kubernetes でインフラ管理を行いながらも部分的に SageMaker でトレーニング・チューニング・デプロイ • SageMaker 側でインフラを完全にマネージ • Managed Spot Training や分散学習などの機能も利用可能

Kubeflow Pipelines から Amazon SageMaker を呼びモデルをトレーニング・チューニング・デプロイ • 「SageMaker 自体は便利そうだが Kubeflow Pipelines を使いたくて SageMaker API や SDK を直接呼びたくない」という方に • Kubeflow でパイプラインとワークフローの作成を行いながらも部分的に SageMaker でトレーニング・チューニング・デプロイ • SageMaker 側でインフラを完全にマネージ • Managed Spot Training や分散学習などの機能も利用可能

1. Kubernetes (k8s) を Amazon EKS で運用 • Kubernetes に慣れている企業 • Kubeflow を使った構成例を紹介した 2. Amazon SageMaker を使う • TCO の面で多くの企業にとって合理的 • 環境は Docker コンテナで管理できる 3. Kubernetes/Kubeflow Pipelines から Amazon SageMaker を呼ぶ (mix) • 既存 Kubernetes クラスターから、機械学習部分だけを切り出し • SageMaker Operator for Kubernetes や SageMaker Components for Kubeflow Pipelinesで呼ぶ

• メルカリ様 • 「メルカリ写真検索における Amazon EKS の活用事例」 • https://bit.ly/eks-mercari

• ABEJA 様 • 「顧客のアプリケーションコードが動くマルチテナント環境における課題とEKSにたどり着くまで」 • https://bit.ly/eks-abeja-20

• 【開催報告】 AI/ML@Tokyo • 過去開催分のブログです • https://aws.amazon.com/jp/blogs/news/tag/ai-mltokyo/

• 【開催報告】 Amazon SageMaker 事例祭り • 2019年の事例イベントをブログにまとめています • https://aws.amazon.com/jp/blogs/news/tag/amazon- sagemaker-fes/

• 機械学習ワークロードをコンテナ管理するメリットは多大にある • 環境の統一化・再現性・追跡可能性

• コンテナオーケストレーションはいくつかの選択肢がある • TCO も考慮して最適なものを選択、多くの場合は Amazon SageMaker が第一候補

• ツール選定は開発速度にも影響 • 選択肢が多すぎて迷ったら AWS の Solutions Architect に相談

@_hariby

• EKS Workshop: Machine Learning Using Kubeflow • https://www.eksworkshop.com/advanced/420_kubeflow/ • Kubeflow 環境の構築手順が丁寧に説明されています

• eks-kubeflow-cloudformation-quick-start • https://github.com/aws-samples/eks-kubeflow-cloudformation-quick- start • とにかく手っ取り早く Kubeflow on EKS を試したい方に

• SageMaker Examples JP • https://github.com/aws-samples/amazon-sagemaker-examples-jp • 日本語サンプルノートブック

• SageMaker Examples • https://github.com/awslabs/amazon-sagemaker-examples • サンプルノートブック