Amazon Sagemaker Ground Truth 第9回 Amazon Sagemaker 事例祭り #Sagemaker Fes

Amazon SageMaker Ground Truth 第9回 Amazon SageMaker 事例祭り #sagemaker_fes

大渕麻莉アマゾンウェブサービスジャパン株式会社機械学習ソリューションアーキテクト

October 30, 2019

• 機械学習のワークフローとアノテーション (5分) • Amazon SageMaker Ground Truth (15分) • 6種類の組み込みラベリングツールと3種類のワーカー • 自動ラベリングとラベルの統合 • ラベリングジョブの作り方 • Demo (25分)

データ収集

クリーンモデルのデプロイ推論・監視学習データの生成アップ

本番環境にデータ変換・デプロイラベル付け

モデル評価トレーニングモデルの学習

入力データモデル (Neural Network) 予測値

“イヌ”

勾配損失

クリーン推論・監視アップ

本番環境にデータ変換・デプロイラベル付け

モデル評価トレーニング

• 深層学習には大規模なデータセットが必要 • 大量のデータへのラベル付けはしんどい • ラベル付けの精度も求められる • 時間もお金もかかる • ツールの準備 (認証・UI・進捗管理)

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker Ground Truth 簡単かつ正確にデータセットのラベル付けができるサービス • アノテーションの一般的なワークフローをサポート • 6種類の組み込みラベリングツールを提供 • アノテーション作業を行うワーカーとの連携・管理機能を提供 • 大規模データセットに対しては自動ラベリング機能で最大70%のコスト削減

迅速なラベル付けワーカーとの連携が容易高精度

カスタム

AWS Lambda AWS Lambda

• パブリック • Amazon Mechanical Turk で 24時間 x 365日、50万人以上のワーカー

• プライベート • 社員などを登録。データを組織内でのみ使用 • ワーカー管理は Amazon Cognito を利用 (OIDC や SAML とも連携可)

• ベンダー • AWS Marketplace 登録済みの 3rd パーティーベンダーに依頼

自動でラベル付け

入力データセットアクティブ精度の高いラーニング学習用データセット

自動でラベル付け

入力データセットアクティブ精度の高いラーニング学習用データセット

信頼度の低いデータはアノテーターの評価は!? 人間がラベル付け

bulldog sharpei bulldog bulldog bulldog

(犬に詳しい人) 正しいラベルを選ぶ確率

0.7 0.9 0.5 0.3 bulldog sharpei bulldog bulldog bulldog 0.1 sharpei 0.9

• 単純な多数決ではなく、ワーカーの正答率をもとにラベルを決定することでアノテーションの質を担保 • 何人のワーカーの結果をまとめるかはジョブ作成時に指定

1. データセットの準備 2. タスクの定義 3. ワーカーの選択 4. ラベリングツールの設定

• データとを保存するためのS3バケットを用意 • アノテーション対象の画像群をS3バケットに保存（テキスト分類の場合は Text/CSV ファイル） • 画像群のパスを記述したマニフェストファイルを作成し、S3バケットに保存（マニフェストファイルは自動生成も可能）

input.manifest Amazon S3 JSON Lines フォーマット © 2019, Amazon Web Services, Inc. or its Affiliates. 1. データセットの準備 (マニフェストファイル) input.manifest {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00001.JPG"} {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00002.JPG"} {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00003.JPG"} {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00004.JPG"} {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00005.JPG"} {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00006.JPG"} {"source-ref": "s3://sagemaker-groundtruth-demo/SSDB00007.JPG"}

“source-ref” で S3 のパスを指定。あるいは “source” に直接テキストを書くこともできる

• Public • Amazon Mechanical Turkを利用 • Private • 社員などワーカーを自ら調達 •ベンダー • 3rd パーティーベンダーに依頼

• 追加オプションも選べる • 自動ラベリング • 複数ワーカーによるラベル付け

• アノテーションの指示書を書く • 良い例・悪い例を記載 • ラベルを設定

© 2019, Amazon Web Services, Inc. or its Affiliates. 出力 (拡張マニフェストファイル) output.manifest { "source-ref": "s3://sagemaker-groundtruth-demo/SSDB00001.JPG", "GroundTruthDemo": { "annotations": [ {"class_id": 0, "width": 54, "top": 482, "height": 39, "left": 337}, {"class_id": 0, "width": 69, "top": 495, "height": 53, "left": 461}, {"class_id": 0, "width": 52, "top": 482, "height": 41, "left": 523} ], "image_size": [{"width": 1280, "depth": 3, "height": 960} ] }, "GroundTruthDemo-metadata": { "job-name": "labeling-job/groundtruthdemo", "class-map": {"0": "Car"}, "human-annotated": "yes", "objects": [ {"confidence": 0.94}, {"confidence": 0.94}, {"confidence": 0.94},], "creation-date": "2018-11-26T04:01:09.038134", © 2019, Amazon"type": Web Services, "groundtruth/objectInc. or its Affiliates. -detection" } } 拡張マニフェストファイルをトレーニングジョブに渡す notebook.ipynb

https://aws.amazon.com/jp/sagemaker/groundtruth/customers/

価格 • ラベル付けした対象の数に応じた利⽤料 $0.08 / 個 (5万個以上はより安価) • Amazon Mechanical Turk および外部ベンダの利⽤料 • ⾃動ラベリング利⽤時は Amazon SageMaker での学習/推論の利⽤料 • 詳細は「Amazon SageMaker Ground Truth の料⾦」

提供リージョン • アジアパシフィック (東京・ソウル・ムンバイ・シンガポール・シドニー)・カナダ (中部)・EU (フランクフルト・アイルランド・ロンドン)・⽶国東部 (バージニア北部・オハイオ)・⽶国⻄部 (オレゴン)

• データに正解ラベル (Ground Truth) を付与するのためのサービス • 6種類の組み込みラベリングツール • ラベル付け作業を行うワーカー (Public/Private/3rd party) との連携・管理 • 大規模データセットに対しては自動ラベリング機能で最大70%のコスト削減 • Example • Amazon SageMaker Examples にいくつかあります (英語) • 日本語サンプル「SageMaker Ground Truth カスタムラベリングキーポイント」 • ブログ(固有表現抽出がサポートされる前)「Amazon SageMaker Ground Truth を使ったカスタムデータラベリングワークフローの構築」

[email protected]