Platform (GCP): возможности и преимущества

Дмитрий Новаковский, Олег Ивонин

Январь 2017 Кто мы?

Дмитрий Новаковский / [email protected] ● Customer Engineer @ Google Netherlands B.V. ● Поддержка продаж и разработка решений на основе GCE, GKE, GAE ● В прошлом: ○ IaaS/PaaS (OpenStack @ ) ○ SaaS (ETAdirect @ TOA Technologies/Oracle)

Олег Ивонин / [email protected] ● Cloud Web Solutions Engineer @ Google Netherlands B.V. ● Разработка инструментов для анализа стоимости конфигураций и планирования архитектуры облачных решений на основе GCP ○ Pricing Calculator и другие О чем мы расскажем?

● Часть 1: Google Cloud Platform 101 ○ Наборы облачных сервисов и их назначение ○ Преимущества на рынке

● Часть 2: Инфраструктурные сервисы GCP (IaaS/PaaS) ○ GCE - Виртуальные машины ○ GKE - Оркестрация контейнеров ○ GAE - NoOps/PaaS окружения

● Часть 3: Big Data и Machine Learning инструменты GCP

● Часть 4: Примеры, итоги и вопросы/ответы Disclaimer

Google Cloud Platform 4 Часть 1: Google Cloud Platform 101

Google Cloud Platform 5 Путь IT-инфраструктуры в “облако”

Storage Processing Memory Network Storage Processing Memory Network

Physical / Self-Service / Serverless / Colo / VPS Elastic / IaaS NoOps / PaaS

Google Cloud Platform 6 Что такое Google Cloud Platform?

GCP - это набор коммерческих облачных сервисов, основанных на разработках и опыте Google в для собственных продуктов: ● ● YouTube ● ● и др. Google’s Data Research

Flume MapReduce Dremel Millwheel TensorFlow

GFS Megastore Colossus PubSub F1

2002 2004 2006 2008 2010 2012 2014 2016 Google’s Data Products

DataFlow DataProc BigQuery DataFlow Cloud ML

Cloud Storage DataStore BigTable PubSub

2002 2004 2006 2008 2010 2012 2014 2016 Google Cloud Platform сегодня

Вычисления

Compute App Container Container Cloud Engine Engine Engine Registry Functions

Сетевые сервисы Хранение данных

Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk

Machine Learning Big Data

Cloud Machine Speech Natural Translation Cloud Cloud Cloud Cloud Vision API BigQuery Learning API Language API API Dataflow Dataproc Pub/Sub Datalab

Google Cloud Platform 10 Преимущества Google Cloud Platform

● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и Безопасность программная инфраструктура (датацентры, сервера, ПО) ● Шифрование данных клиента at rest и in transit

● Самая большая в мире сеть облачного провайдера, построена и Глобальная управляется Google сеть ● 70 точек присутствия, глобальный load balancing, low latency, CDN

● Обширный набор сервисов для хранения и обработки больших данных Big Data и ML ● Google разбрабатывает предлагает лучшие open-source инструменты (Tensorflow, MapReduсe и др), GCP делает их легко доступными

● , BigQuery, Dataproc и другие managed сервисы ускоряют и упрощают разработку проектов и обработку данных. Время и NoOps затраты на поддержку инфраструктуры становятся не нужны

Снижение ● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в затрат зависимости от конфигурации ВМ

Google Cloud Platform 11 Google Cloud Platform снижает затраты

Детали

Калькуляторы

Google Cloud Platform 12 Google Cloud Platform снижает затраты

Google Cloud Platform 13 Part 2: Инфраструктурные сервисы GCP

Google Cloud Platform 14 IaaS / PaaS сервисы в Google Cloud Вычисления

Compute App Container Container Cloud Engine Engine Engine Registry Functions

Сетевые сервисы Хранение данных

Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk

Machine Learning Big Data

Cloud Machine Speech Natural Translation Cloud Cloud Cloud Cloud Vision API BigQuery Learning API Language API API Dataflow Dataproc Pub/Sub Datalab

Google Cloud Platform 15 Cloud Functions Serverless платформа для event-based микросервисов

App Engine (GAE) PaaS решение от Google - готовые к использованию runtimes для Python, Java, PHP, Go и других языков.

Google Container Engine (GKE) -as-a-service - оркестрация задач в Docker контейнерах

Compute Engine (GCE) Полный контроль: “Классические” виртуальные машины

16 Google Innovations Глобальная сеть Более 70 точек присутствия POPs в 33 странах создают самую крупную сеть облачного провайдера. Сервисы Google достигают пользователей по этой сети!

Google Cloud Storage

Retrieval Frequency

Coldline Nearline Regional Multi-Regional

Cold Infrequent Access Regional Geo-redundant 99% SLA 99% SLA 99.9% SLA 99.95% SLA Milliseconds Milliseconds Milliseconds Milliseconds

Archive Backup Transcoding Video Source file backup Long-tail content Data Analytics Multimedia Disaster recovery Rarely accessed docs General compute Business continuity

Google Cloud Platform 18 GCS storage classes vs AWS S3/Glacier/CRR

S3 Std + S3 Std with Cross Regional 4.2c+ CRR Replication results in: - 2x storage cost GCS Coldline is better than S3 Glacier on: - network charges for - simple predictable access pricing (5c GB) replication - availability SLA (99%) - SLA as Standard of 99.9%. - online latency access (ms) - consistent API across storage classes

S3 GCS Multi-Regional at 2.6c / 2.3c Standard GCS GB-mo includes: 2.1-2.6c Mult-Reg - storage of geo-redundant GCS replicas 2.0c - cost of network replication Regional - 99.95% SLA. S3 IA 1.25c GCS 1.0c

Price per GB-mo Nearline GCS 0.7c Glacier Coldline

Slow Cold Infrequent Regional Geo-redundant, access archive Access storage highly available Retrieval frequency

Google Cloud Platform 19 Part 3: Big Data и Machine Learning на основе GCP

Google Cloud Platform 20 Big Data, ML и хранение данных в GCP Вычисления

Compute App Container Container Cloud Engine Engine Engine Registry Functions

Сетевые сервисы Хранение данных

Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk

Big Data Machine Learning

Cloud Cloud Cloud Cloud Cloud Machine Speech Natural Translation BigQuery Vision API Dataflow Dataproc Pub/Sub Datalab Learning API Language API API

Google Cloud Platform 21 1 Петабайт - это много

x5000 100

27 years x50

27 лет скачивания Стопка дискет в 5 100 Библиотек 50 х всех когда-либо по каналу 4G тысяч раз выше башни Конгресса написанных твитов Федерация в Москве

Google Cloud Platform 22 1 Петабайт - это мало

2 микрограмма ДНК Объем видео загруженных на Объем логов 200 серверов. 50 YouTube за 1 день записей в секунду за три года.

Google Cloud Platform 23 BigQuery Fully managed DWH (хранилище данных) для обработки и аналитики

Cloud Dataflow ETL инструментарий для обработки потоковых и пакетных данных

Cloud Dataproc Fully managed Hadoop и Spark кластеры с высокой производительностью в облаке

Cloud Pub/Sub Fully managed сервис очередей сообщений для обмена данными между приложениями

24 Right at the start of the partnership we were able to reduce time to “ insight from 96 hours to 30 minutes by using BigQuery.

Gary Sanders Head of Digital Analytics Lloyds Banking Group Big Data, ML и хранение данных в GCP Вычисления

Compute App Container Container Cloud Engine Engine Engine Registry Functions

Сетевые сервисы Хранение данных

Cloud Virtual Cloud Load Cloud Cloud Cloud Cloud Cloud Persistent Cloud DNS Cloud SQL Network Balancing CDN Interconnect Storage Bigtable Datastore Disk

Big Data Machine Learning

Cloud Cloud Cloud Cloud Cloud Machine Speech Natural Translation BigQuery Vision API Dataflow Dataproc Pub/Sub Datalab Learning API Language API API

Google Cloud Platform 26 Machine Learning

● Что: ○ Алгоритмы, находящие новый смысл в входных данных на основе обучения по прошлым выборкам ● Зачем: ○ Чтобы решать сложные аналитические задачи быстрее, точнее и на большем объеме данных чем способен человек ● Как: ○ Посредством поиска и анализа закономерностей в данных

Google Cloud Platform 27 Обнаружение Идентификация Идентификация лиц логотипов объектов

Cloud Определение Идентификация Vision Распознавание запрещенного достопримеча- API текста контента тельностей

DEMO Machine Learning APIs

Полностью обученные ML модели от Google Cloud, которые позволяют разработчикам использовать всю мощность машинного обучения с помощью простых REST сервисов.

Beta Beta

Cloud Cloud Cloud Cloud Stay tuned... Translate Vision Natural Language Speech

Google Cloud Platform 29 Google Machine Learning

Open source tool for building and running neural network models ● Гибкая архитектура: ○ CPU или GPU ○ ПК, мобильное устройство, сервер или облако ● Разработано исследователями и инженерами ● ML проект #1по на GitHub (дата релиза ноябрь 2015)

Fully managed ML service -- no Ops ● Высокая скорость, тренировка индивидуальных моделей, максимальная точность ● Оптимизация для инфраструктуры GCP, интеграция с BigQuery и GCS - Cloud ML прогнозирование в масштабе Platform ● Совместимость с TensorFlow моделями

Google Cloud Platform 30 Part 4: Примеры и итоги

Google Cloud Platform 31 Host Wix Editor on App Engine ~11 Million uploaded per day Uses to store static media files 600TB 8.6M Serve production media of storage managed images resized traffic from Compute per day per day Engine

“We chose Google Cloud Platform because of its ease of management, scalability and speed of development.”

Google Confidential and Proprietary “App Engine enabled us to focus on developing the application. We wouldn’t have gotten here without the ease of development that App Engine gave us.” Bobby Murphy, CTO

Snapchat sends 700 million photos and videos each day Google App Engine Small team is able scaled seamlessly to innovate quickly during growth to and expand millions of users globally Music for Everyone

75M+ Users Data is the center With GCP, data 2B+ Playlists of the Spotify teams get big data 30M+ Songs music experience insights in minutes versus hours “Ulmart can now create actionable dashboards, analyze its pricing against the market, and maximize its margin without losing market leadership.”

Ulmart выбрал Google BigQuery для решения сложных аналитических задач. Familiar syntax and super-fast queries in Google BigQuery allow Ulmart to process massive amounts of data and make real-time decisions. And because most users can create reports based on preset queries with dynamic parameters, Ulmart saved thousands of dollars on employee training and purchasing of expensive software licenses.

Google Cloud Platform 35 “This is no small achievement as the transition means moving approximately three to 3.5 petabytes of user data from Evernote's two current data centers into the Google Cloud Platform.”

fortune.com cloudplatform.googleblog

Google Cloud Platform 36 Google Cloud Platform - это:

IaaS/PaaS NoOps

Снижение Полнофункциональная издержек и платформа с повышение экономией затрат Big Data / эффективности Лучшее от Machine разработки ПО Google Learning Все сервисы Масштабируемые спроектированы и облачные сервисы опробованы для для работы с данными задач Google

Google Cloud Platform 37 Thank you

Google Cloud Platform 38