Google Cloud Platform (GCP): возможности и преимущества Дмитрий Новаковский, Олег Ивонин Январь 2017 Кто мы? Дмитрий Новаковский / [email protected] ● Customer Engineer @ Google Netherlands B.V. ● Поддержка продаж и разработка решений на основе GCE, GKE, GAE ● В прошлом: ○ IaaS/PaaS (OpenStack @ Mirantis) ○ SaaS (ETAdirect @ TOA Technologies/Oracle) Олег Ивонин / [email protected] ● Cloud Web Solutions Engineer @ Google Netherlands B.V. ● Разработка инструментов для анализа стоимости конфигураций и планирования архитектуры облачных решений на основе GCP ○ Google Cloud Platform Pricing Calculator и другие О чем мы расскажем? ● Часть 1: Google Cloud Platform 101 ○ Наборы облачных сервисов и их назначение ○ Преимущества на рынке ● Часть 2: Инфраструктурные сервисы GCP (IaaS/PaaS) ○ GCE - Виртуальные машины ○ GKE - Оркестрация Docker контейнеров ○ GAE - NoOps/PaaS окружения ● Часть 3: Big Data и Machine Learning инструменты GCP ● Часть 4: Примеры, итоги и вопросы/ответы Disclaimer Google Cloud Platform 4 Часть 1: Google Cloud Platform 101 Google Cloud Platform 5 Путь IT-инфраструктуры в “облако” Storage Processing Memory Network Storage Processing Memory Network Physical / Self-Service / Serverless / Colo / VPS Elastic / IaaS NoOps / PaaS Google Cloud Platform 6 Что такое Google Cloud Platform? GCP - это набор коммерческих облачных сервисов, основанных на разработках и опыте Google в для собственных продуктов: ● Google Search ● YouTube ● Google Maps ● и др. Google’s Data Research Flume MapReduce Dremel Millwheel TensorFlow GFS Megastore BigTable Colossus PubSub Spanner F1 2002 2004 2006 2008 2010 2012 2014 2016 Google’s Data Products DataFlow DataProc BigQuery DataFlow Cloud ML Cloud Storage DataStore BigTable Cloud Storage PubSub 2002 2004 2006 2008 2010 2012 2014 2016 Google Cloud Platform сегодня Вычисления Compute App Container Container Cloud Engine Engine Engine Registry Functions Сетевые сервисы Хранение данных Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk Machine Learning Big Data Cloud Machine Speech Natural Translation Cloud Vision API Cloud Cloud Cloud Learning API Language API API BigQuery Dataflow Dataproc Pub/Sub Datalab Google Cloud Platform 10 Преимущества Google Cloud Platform ● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и Безопасность программная инфраструктура (датацентры, сервера, ПО) ● Шифрование данных клиента at rest и in transit ● Самая большая в мире сеть облачного провайдера, построена и Глобальная управляется Google сеть ● 70 точек присутствия, глобальный load balancing, low latency, CDN ● Обширный набор сервисов для хранения и обработки больших данных Big Data и ML ● Google разбрабатывает предлагает лучшие open-source инструменты (Tensorflow, MapReduсe и др), GCP делает их легко доступными ● Google App Engine, BigQuery, Dataproc и другие managed сервисы ускоряют и упрощают разработку проектов и обработку данных. Время и NoOps затраты на поддержку инфраструктуры становятся не нужны Снижение ● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в затрат зависимости от конфигурации ВМ Google Cloud Platform 11 Google Cloud Platform снижает затраты Детали Калькуляторы Google Cloud Platform 12 Google Cloud Platform снижает затраты Google Cloud Platform 13 Part 2: Инфраструктурные сервисы GCP Google Cloud Platform 14 IaaS / PaaS сервисы в Google Cloud Вычисления Compute App Container Container Cloud Engine Engine Engine Registry Functions Сетевые сервисы Хранение данных Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk Machine Learning Big Data Cloud Machine Speech Natural Translation Cloud Vision API Cloud Cloud Cloud Learning API Language API API BigQuery Dataflow Dataproc Pub/Sub Datalab Google Cloud Platform 15 Cloud Functions Serverless платформа для event-based микросервисов App Engine (GAE) PaaS решение от Google - готовые к использованию runtimes для Python, Java, PHP, Go и других языков. Google Container Engine (GKE) Kubernetes-as-a-service - оркестрация задач в Docker контейнерах Compute Engine (GCE) Полный контроль: “Классические” виртуальные машины 16 Google Innovations Глобальная сеть Более 70 точек присутствия POPs в 33 странах создают самую крупную сеть облачного провайдера. Сервисы Google достигают пользователей по этой сети! Google Cloud Storage Retrieval Frequency Coldline Nearline Regional Multi-Regional Cold Infrequent Access Regional Geo-redundant 99% SLA 99% SLA 99.9% SLA 99.95% SLA Milliseconds Milliseconds Milliseconds Milliseconds Archive Backup Transcoding Video Source file backup Long-tail content Data Analytics Multimedia Disaster recovery Rarely accessed docs General compute Business continuity Google Cloud Platform 18 GCS storage classes vs AWS S3/Glacier/CRR S3 Std + S3 Std with Cross Regional 4.2c+ CRR Replication results in: - 2x storage cost GCS Coldline is better than S3 Glacier on: - network charges for - simple predictable access pricing (5c GB) replication - availability SLA (99%) - SLA as Standard of 99.9%. - online latency access (ms) - consistent API across storage classes S3 GCS Multi-Regional at 2.6c / 2.3c Standard GCS GB-mo includes: 2.1-2.6c Mult-Reg - storage of geo-redundant GCS replicas 2.0c - cost of network replication Regional - 99.95% SLA. S3 IA 1.25c GCS 1.0c Price per GB-mo Nearline GCS 0.7c Glacier Coldline Slow Cold Infrequent Regional Geo-redundant, access archive Access storage highly available Retrieval frequency Google Cloud Platform 19 Part 3: Big Data и Machine Learning на основе GCP Google Cloud Platform 20 Big Data, ML и хранение данных в GCP Вычисления Compute App Container Container Cloud Engine Engine Engine Registry Functions Сетевые сервисы Хранение данных Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk Big Data Machine Learning Cloud Cloud Cloud Cloud Cloud Machine Speech Natural Translation BigQuery Vision API Dataflow Dataproc Pub/Sub Datalab Learning API Language API API Google Cloud Platform 21 1 Петабайт - это много x5000 100 27 years x50 27 лет скачивания Стопка дискет в 5 100 Библиотек 50 х всех когда-либо по каналу 4G тысяч раз выше башни Конгресса написанных твитов Федерация в Москве Google Cloud Platform 22 1 Петабайт - это мало 2 микрограмма ДНК Объем видео загруженных на Объем логов 200 серверов. 50 YouTube за 1 день записей в секунду за три года. Google Cloud Platform 23 BigQuery Fully managed DWH (хранилище данных) для обработки и аналитики Cloud Dataflow ETL инструментарий для обработки потоковых и пакетных данных Cloud Dataproc Fully managed Hadoop и Spark кластеры с высокой производительностью в облаке Cloud Pub/Sub Fully managed сервис очередей сообщений для обмена данными между приложениями 24 Right at the start of the partnership we were able to reduce time to “ insight from 96 hours to 30 minutes by using BigQuery. Gary Sanders Head of Digital Analytics Lloyds Banking Group Big Data, ML и хранение данных в GCP Вычисления Compute App Container Container Cloud Engine Engine Engine Registry Functions Сетевые сервисы Хранение данных Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk Big Data Machine Learning Cloud Cloud Cloud Cloud Cloud Machine Speech Natural Translation BigQuery Vision API Dataflow Dataproc Pub/Sub Datalab Learning API Language API API Google Cloud Platform 26 Machine Learning ● Что: ○ Алгоритмы, находящие новый смысл в входных данных на основе обучения по прошлым выборкам ● Зачем: ○ Чтобы решать сложные аналитические задачи быстрее, точнее и на большем объеме данных чем способен человек ● Как: ○ Посредством поиска и анализа закономерностей в данных Google Cloud Platform 27 Обнаружение Идентификация Идентификация лиц логотипов объектов Cloud Определение Идентификация Vision Распознавание запрещенного достопримеча- API текста контента тельностей DEMO Machine Learning APIs Полностью обученные ML модели от Google Cloud, которые позволяют разработчикам использовать всю мощность машинного обучения с помощью простых REST сервисов. Beta Beta Cloud Cloud Cloud Cloud Stay tuned... Translate Vision Natural Language Speech Google Cloud Platform 29 Google Machine Learning Open source tool for building and running neural network models ● Гибкая архитектура: ○ CPU или GPU ○ ПК, мобильное устройство, сервер или облако ● Разработано исследователями и инженерами Google Brain ● ML проект #1по на GitHub (дата релиза ноябрь 2015) Fully managed ML service -- no Ops ● Высокая скорость, тренировка индивидуальных моделей, максимальная точность ● Оптимизация для инфраструктуры GCP, интеграция с BigQuery и GCS - Cloud ML прогнозирование в масштабе Platform ● Совместимость с TensorFlow моделями Google Cloud Platform 30 Part 4: Примеры и итоги Google Cloud Platform 31 Host Wix Editor on App Engine ~11 Million files uploaded per day Uses Google Cloud Storage to store static media files 600TB 8.6M Serve production media of storage managed images resized traffic from Compute per day per day Engine “We chose Google Cloud Platform because of its ease of management, scalability and speed of development.” Google Confidential and Proprietary “App Engine enabled us to focus on developing the application. We wouldn’t have gotten here without the ease of development that App Engine gave