Yandex scale что это
Страховка от киберрисков, антирутинный сервис для разработчиков и ещё 15 новинок
Итоги Yandex Scale 2021.
24 сентября состоялась Yandex Scale — крупная ежегодная конференция, посвящённая возможностям и продуктам облачной платформы «Яндекса». В этом году она получилась особенно масштабной: более 30 докладов, около 50 спикеров и полтора десятка новых анонсов. Самые главные мы собрали в этом тексте.
Yandex.Cloud выходит за пределы России. До конца 2022 года компания планирует открыть в Германии на базе трёх независимых дата-центров первый европейский регион, который будет предоставлять облачные услуги местным компаниям.
Также платформа выделяет группу оборудования в дата-центре для государственных информационных систем. Госорганизации не могут пользоваться общественными облаками: требования к безопасности их данных гораздо выше. Благодаря Yandex G-Cloud госорганизации смогут воспользоваться всеми преимуществами облачных продуктов площадки для создания, тестирования и запуска новых цифровых сервисов. В настоящий момент G-Cloud проходит государственную аттестацию. Ожидается, что он станет доступен для использования к концу следующего года.
Ещё один новый продукт для компаний и частных клиентов — первая в России программа по страхованию от киберрисков. Её Yandex.Cloud запускает вместе с компанией «АльфаСтрахование». Программа позволяет компаниям застраховаться, например, от потери или «слива» чувствительных данных, простоя сервисов в облаке. Программа предусматривает как базовые ставки страхования, так и индивидуальные предложения для крупных клиентов.
В стадию Public Preview вышел Cloud Desktop, который обеспечивает терминальный доступ к виртуальным машинам с установленными рабочими программами. С его помощью можно создать любое количество удалённых рабочих мест в облаке (а также унифицировать офисные и удалённые). Стоимость рабочего места составит от 3,65 руб. в час.
С 24 сентября в открытый доступ переходят три инфраструктурных сервиса, упрощающих управление трафиком и масштабирование приложений: Yandex Cloud CDN, Yandex Cloud DNS и Yandex Application Load Balancer.
Yandex Cloud CDN предназначен для частичного переноса нагрузки с источников данных на CDN-сервера, что ускоряет загрузку контента для конечных пользователей.
Yandex Cloud DNS благодаря общему интерфейсу упрощает управление доменами, купленными у любого регистратора.
Yandex Application Load Balancer используется для распределения трафика между приложениями и создания управляемых балансировщиков, что облегчает построение микросервисной архитектуры.
Также теперь любой пользователь платформы может воспользоваться Yandex Data Transfer — новым сервисом для логического переноса данных между разными СУБД (системы управления базами данных), объектными хранилищами и брокерами сообщений.
Сервис позволяет синхронизировать данные из различных гетерогенных источников — например, сделать в аналитической СУБД автоматически обновляемую копию базы данных под пользовательской нагрузкой.
Также в Yandex Data Transfer можно работать с произвольными потоками данных: перенаправлять в ClickHouse для анализа, в Object Storage (или в любую другую поддерживаемую систему) — для долговременного хранения.
Не все функции сервиса пока есть в публичном доступе: некоторые остаются на стадии Preview, и пользоваться ими только разработчики.
Также пользователям стал доступен Yandex Data Streams — масштабируемый и отказоустойчивый сервис для передачи и обработки информации в режиме реального времени. Он собирает данные из истории посещения сайтов, логов работы приложений, записей в лентах социальных сетей и данных телеметрии.
Сервис упрощает обмен данными между компонентами микросервисных архитектур, позволяет передавать информацию в облачные системы хранения без написания кода. А ещё — анализировать данные посетителей сайта и предсказывать их поведение. Кроме того, Yandex Data Streams полностью совместим с сервисом потоковой передачи данных AWS Kinesis Data Streams.
Serverless-подход (позволяет заниматься разработкой без обслуживания серверной инфраструктуры) становится всё более популярным среди пользователей платформы. Так, функция MDB Proxy позволяет подключать к бессервеной экосистеме базы данных.
А сервис Yandex Serverless Containers упрощает миграцию микросервисных приложений в облако: запустить контейнер там можно, не используя инфраструктуры Kubernetes и не взаимодействуя с виртуальными машинами напрямую. Контейнер автоматически интегрируется с другими облачными компонентами сразу после развёртывания.
Ещё один новый бесплатный сервис Yandex Cloud Logging собирает всю информацию о работе платформы. Он позволяет читать, записывать и хранить логи пользовательских приложений, а также добавлять собственные события. Встроенные механизмы поиска и фильтрации событий упрощают отладку запущенных в облаке приложений. Сервис уже доступен в рамках Public Preview.
На прошлой Yandex Scale платформа объявила о запуске программы Free Tier: при соблюдении базовых лимитов вся serverless-экосистема становилась для клиента бесплатной. С этого года программа останется бесплатной навсегда.
Yandex Scale 2021 — третья большая конференция про облачные технологии от Yandex.Cloud
24 сентября облачная платформа Yandex.Cloud проведёт третью большую конференцию про облачные технологии — Yandex Scale. В этом году в онлайн-формате и абсолютно бесплатно для всех желающих, достаточно только зарегистрироваться. Сегодня я расскажу про основные треки и анонсы нашей конференции. Stay tuned и поехали.
Что будет
Yandex Scale 2021 — это более 30 выступлений по 5 тематическим трекам: Infrastructure, Data Platform, Security, Cloud-native, ML & AI. Да, это конференция облачной платформы Яндекс и на ней команда Yandex.Cloud расскажет о запусках и обновлениях сервисов платформы. Конечно, у нас будет много гостей — ИТ-эксперты и клиенты поделятся реальными бизнес-кейсами использования облачных технологий.
Откроет Yandex.Scale главный доклад от руководителей платформы — Олега Коверзнева и Алексея Башкеева. Они расскажут, чего мы уже достигли, и анонсируют стратегические планы по развитию платформы.
Конференция Yandex Scale 2020
Infrastructure
В Yandex.Cloud разработано и запущено большое количество базовых инфраструктурных сервисов — вычислительные ресурсы (Compute Cloud), хранилища данных (Object Storage и NBS), сетевая инфраструктура (VPC).
Среди сетевых сервисов важное место занимает Domain Name System (DNS) — она всем знакома, но мало кто знает все её возможности. Управление этой системой было самым желанным предложением в нашем сообществе. И мы это сделали — выделили DNS в отдельный управляемый сервис. Расскажем о его внутреннем устройстве, возможностях и новых сценариях, которые вы можете реализовать в облаке с его помощью.
Второй инфраструктурный сервис — Cloud Desktop, или сервис виртуальных рабочих столов, который позволяет разместить в облаке не только серверную часть, но и клиентские вычислительные ресурсы: рабочие станции, рабочие места программистов, дизайнеров, аниматоров, офисных сотрудников.
Что дальше? Расскажем, что нового появилось за последний год в сетевом блочном хранилище и около него: повышение производительности дисков, возможность мгновенно создавать диски из образов, выход нереплицируемых дисков в GA, выход сетевого файлового хранилища в Private Preview и прочее.
Примеры? На докладе «Облако № 9: из fintech-мечты в реальность» Александр Есин из Альфа-Банка расскажет, как встроить облако в продуктовый процесс разработки и как в компании запустить переход в облачную инфраструктуру.
Data Platform
Мы активно развиваем Платформу данных — сейчас в неё входят управляемые сервисы PostgreSQL, MySQL, ClickHouse, Apache Kafka, Data Proc, Elasticsearch, SQL Server и сервис визуализации данных DataLens. В этом году в неё добавили и Managed Greenplum. На докладах в рамках трека «Data Platform» мои коллеги расскажут, например, как создать Data Warehouse в Yandex.Cloud, рассмотрят типовую архитектуру решений в применении к облаку, обсудят поставку данных из систем источников, их визуализацию и дальнейшую интеграцию Greenplum с другими сервисами Yandex.Cloud.
Также, мы покажем новые инструменты миграции данных в облако. Теперь вы можете перенести в облако можно не только ваши СУБД, но и любые другие данные с помощью нового сервиса Yandex Data Streams.
Примеры? Представители компаний Level.Travel, Urent и m2.ru поделятся опытом оптимизации хранения и анализа больших данных.
Security
Поговорим о безопасности в облаке: как распределяется ответственность между клиентом и провайдером, какие наиболее частые ошибки совершают пользователи и как избежать инцидентов ИБ. Также, расскажем о сервисе организаций, который упрощает раздачу доступов и управление множеством облаков для корпоративных пользователей, и о сервисе для сбора и анализа аудитных логов, который позволяет нашим клиентам получать все логи безопасности, связанные с действиями на платформе.
Для фанатов Kubernetes мы расскажем про безопасное развёртывание контейнерных приложений в облаке на примере нашего управляемого сервиса Yandex Managed Service for Kubernetes.
Cloud-native
Экосистема контейнеров в облаке стремительно развивается из года в год. Она предоставляет вам максимум из того, что даёт сообщество Kubernetes и Yandex.Cloud. Мы расскажем, к чему мы пришли в 2021 году и как вы можете получить гораздо больше. Также вы узнаете об эволюции Yandex Database как Distributed SQL базы данных и продвинутых возможностях управления HTTP-трафиком с Application Load Balancer.
Второе направление Cloud-native в Yandex.Cloud — экосистема бессерверных вычислений. Мы активно развиваем serverless внутри облачной платформы и продвигаем на Хабре. Наш коллега golodnyj курирует целый хаб, посвященный этой технологии. За прошедший год в Yandex.Cloud появилось много новых возможностей, но мы не останавливаемся на достигнутом и на конференции расскажем о совершенно новых сервисах, которые помогут вам идти в ногу со временем.
Примеры? Компания Мерседес-Бенц поделится опытом локализации приложения в России, а Газпромбанк Инвестиции расскажет, как облако помогло запустить современный брокерский сервис с нуля в кратчайшие сроки.
ML & AI
Современные облака предоставляют доступ к своим ресурсам на языке системных администраторов, который не всегда понятен аналитикам или специалистам по data science. Чтобы преодолеть эту пропасть, облака занимаются разработкой специализированного инструментария — от виртуальных машин (DSVM) до полноценных экосистем вроде Azure ML или DataSphere. На первом докладе в треке ML & AI проанализируем возможные направления развития облачного инструментария для ML.
Что дальше?
Представим интерфейс DataSphere, который позволяет запускать и использовать ML-модели в промышленных масштабах. Также разберем, как получить максимум от работы с сервисом синтеза и распознавания речи Yandex SpeechKit и создать рекомендательную систему для предложения клиентам подходящих товаров и услуг с Yandex DataSphere.
В Yandex.Cloud есть специальная программа получения вычислительных ресурсов для учебно-исследовательской работы по машинному обучению, компьютерному зрению и анализу данных. Подробнее о ней вы также узнаете на конференции.
Полезные ссылки:
Почитать отчёт за прошлый год.
Почитать трансляцию главного доклада за прошлый год.
Yandex Scale 2020 — экосистема бессерверных вычислений, новые технологии синтеза и распознавания речи для создания голосовых роботов и многое другое
Если вы пропустили мою трансляцию с секретного доклада Yandex Scale 2020, то вам сюда. А здесь расскажу подробнее, что команда Yandex.Cloud с партнёрами представила на конференции.
Первая облачная платформа в России, которая предлагает полноценную экосистему бессерверных вычислений
Yandex.Cloud расширила экосистему сервисов с технологиями бессерверных (serverless) вычислений собственной разработки.
Бессерверные вычисления — это новый этап развития облачных технологий во всем мире, позволяющие снизить затраты до 90%, ускорить время создания и внедрения новых решений, повысить устойчивость приложений в периоды пиковых нагрузок, освободить компании от задач по масштабированию сервиса.
Экосистема бессерверных технологий Yandex.Cloud теперь включает в себя шесть сервисов:
На все сервисы экосистемы бессерверных вычислений Yandex.Cloud в течение первого года (до октября 2021-го) действуют специальные тарифы, которые позволяют пользователям бесплатно создавать и размещать свои сервисы, не превышающие определенный уровень нагрузки.
Первое в мире применение технологии бессерверных вычислений при разработке моделей машинного обучения
Yandex.Cloud открывает общий доступ к сервису для разработчиков машинного обучения — Yandex DataSphere. С его помщью можно снизить стоимость создания и эксплуатации моделей машинного обучения, автоматически управлять объемом и типом вычислительных ресурсов, сократить потерю времени на создание и организацию среды разработки.
В Yandex DataSphere впервые в мировой практике публичных облаков применена технология бессерверных вычислений при разработке моделей машинного обучения. Технология автоматизирует управление ресурсами и позволяет добиться значительной экономии. В DataSphere при редактировании и просмотре кода не задействуются вычислительные ресурсы CPU или GPU, виртуальная машина нужного типа подключается только на время непосредственных расчетов (обучение моделей, запуск, другие вычисления). В результате пользователь платит только за реально потребленный вычислительный ресурс. Время редактирования и просмотра кода, работа случайно не выключенной виртуальной машины не тарифицируется. По результатам тестирования DataSphere, в котором приняли участие 200 пользователей из различных сфер, время простоя вычислительных мощностей при разработке машинного обучения составляет 50—70%. При использовании DataSphere это время не будет тарифицироваться.
Также впервые в мире в Yandex DataSphere реализовано бесшовное переключение между разными типами вычислительных ресурсов. Это значит, что в рамках одного сценария обучения модели пользователь может применять разные типы виртуальных машин — экономичные с обычными процессорами (CPU) и быстрее с GPU (графические ускорители). Прогресс обучения модели при этом сохранится. В большинстве облачных сред разработки машинного обучения расчет модели обучения может вестись только на машине одного типа.
Третья уникальная функция DataSphere, которой нет в других облаках — сохранение версий расчетов модели, включая данные, код и состояния. Эта делает процесс разработки машинного обучения более выгодным для бизнеса: достигнутый прогресс в обучении не теряется, его можно воспроизвести при необходимости.
В открытом доступе Yandex DataSphere будет с 1 октября.
Четыре новых сервиса для хранения и управления данными
В Yandex.Cloud уже были доступны по кнопке практически все самые популярные на рынке решения в области хранения и обработки данных. В этом году были добавлены два новых сервиса, которые упрощают перенос данных между любыми источниками, — Managed Service for Kafka, и специализированное решение для переноса данных между базами данных — Data Transfer. Data Transfer помогает быстро и безопасно выполнить миграцию баз данных из других облачных платформ или локальных баз данных в сервисы управляемых баз данных Yandex.Cloud. Также с помощью Data Transfer можно перемещать данные между различными базами данных на платформе и настраивать резервное копирование.
В сегменте баз данных общего назначения облако стало еще доступнее для Enterprise-пользователей — появился новый сервис Managed Service for SQL Server. В семействе аналитических решений появился Managed Service for Elastic Search – популярное решение, поддерживающее сценарии полнотекстового поиска и ad hoc аналитики.
Всего на платформе Yandex.Cloud теперь доступно 9 сервисов управляемых баз данных, закрывающих большинство сценариев хранения и обработки данных.
Новый уровень речевых технологий
Для решения этих задач Yandex.Cloud предоставляет партнерам дополнительные инструменты разработки в рамках специализации SpeechKit Pro.
Вместе с интересом бизнеса к возможностям речевых технологий, выросли и требования к точности распознавания в конкретных сценариях взаимодействия голосовых роботов и человека, возможности быстро адаптировать разработки под новые задачи. Например, для компании из сферы доставки принципиально важно, чтобы робот не путался в оценке значений фраз «перенесите заказ» или «занесите заказ», а для телекоммуникационных компаний — чтобы без ошибок отличал фразы «включить услугу» и «отключить услугу». Приоритет бизнеса — точность именно в его сфере, возможность развивать опыт применения в конкретном бизнес-сценарии на основе объективных показателей.
Теперь компании-партнеры смогут пользоваться разметкой аудиоданных, обучать индивидуальные модели распознавания речи на данных заказчиков, контролировать метрики качества распознавания речи и адаптировать модели распознавания к конкретному потоку данных.
Специализацию SpeechKit Pro уже получили компании Neuro.net, Just.ai, Авиационные технологии связи, Naumen, Robovoice и Voximplant.
Решение для создания гибридных облаков данных
Газпром нефть» и Yandex.Cloud представили решение для создания гибридных облаков данных. С его помощью государственные организации и частные компании смогут внедрять технологии Yandex.Cloud, даже если для них действуют технические или нормативные ограничения на использование публичных сервисов хранения и обработки данных.
Пользователь IT-решения получает полностью готовый к работе программно-аппаратный комплекс, созданный на базе оборудования и технологий Yandex.Cloud. Комплекс устанавливается в дата-центре заказчика и становится частью его собственной платформы для работы с данными. Дальнейший сервис — профилактика, настройка, обновление и другие регламентные работы — проводятся по стандартам Yandex.Cloud.
Новый IT-продукт интегрируется с локальными корпоративными системами хранения и обработки данных и публичными облачными сервисами. В результате получается гибридное облако, которое расширяет возможности цифровой инфраструктуры компании, позволяет устанавливать повышенные стандарты безопасности и учитывать другую специфику деятельности конкретного пользователя.
Платформа цифрового университета
Высшая Школа Экономики будет использовать облачные сервисы Yandex.Cloud для развития системы управления образованием, внедрения цифровых технологий обучения, индивидуализации обучения и повышения экономической эффективности подготовки специалистов и научной работы.
Уже сейчас платформа используется для работы веб-сервисов университета. В планах университета использовать Yandex.Cloud для разработки и внедрения рекомендательных и прогнозных систем. Сервисы на основе машинного обучения помогут студентам и преподавателям выбирать дополнительные предметы для изучения, подсказывать наиболее полезные конференции, показывать прогнозы на спрос и предложения работодателей в конкретной области. Создать и внедрить такие сервисы поможет облачная технология разработки машинного обучения Yandex DataSphere.
Также НИУ ВШЭ планирует использовать сервисы Yandex.Cloud в системах информационной защиты и безопасности, для хранения и обработки данных, для разработки и запуска новых сервисов.
«Геослои» в маркетплейсе
В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей. Например, пользователи могут оценивать потенциальный спрос на продукты или перспективы открытия торговых точек, планировать расширение зон поставок или маркетинговые кампании.
В разделе уже доступен контент двух партнеров — «Центра пространственных исследований» на коммерческой основе и Росстата на безвозмездной, а также два примера геоаналитики от Яндекса — «Аудитория: интересы и соцдем» и «Организации: спрос и предложение». С помощью DataLens пользователи могут комбинировать и анализировать все пресеты данных для принятия бизнес-решений.
Мобильное приложение и партнёрская программа
В ответ на просьба сообщества в Yandex.Cloud будет реализована реферальная программа. Можно делиться ссылкой и получать доход с нового клиента.
Также, в маркетах стало доступно мобильное приложение Yandex.Cloud. Скачать: App Store и Google Play.
Полностью секретный доклад можно посмотреть на канале Yandex.Cloud:
Спасибо, что читаете! Подписывайтесь на мои каналы в Telegram, Яндекс.Мессенджере и Яндекс.Дзен. Только там последние обновления блога и новости мира информационных технологий.
Респект за пост! Спасибо за работу!
Хотите больше постов? Узнавать новости технологий? Читать обзоры на гаджеты? Для всего этого, а также для продвижения сайта, покупки нового дизайна и оплаты хостинга, мне необходима помощь от вас, преданные и благодарные читатели. Подробнее о донатах читайте на специальной странице.
Заранее спасибо! Все собранные средства будут пущены на развитие сайта. Поддержка проекта является подарком владельцу сайта.
Yandex Scale. 1 октября мы проведем первую большую конференцию про облачные технологии
Виртуальные машины, управляемые базы данных, объектные хранилища – всем этим пользуются и отдельные разработчики, и небольшие стартапы, и крупные корпорации. Но облачная платформа – это не просто набор полезных сервисов. Это экосистема, которая живет, растет и развивается. И именно об этом мы хотим поговорить 1 октября на первой большой конференции Яндекс.Облака – Yandex Scale.
Yandex Scale – это, пожалуй, первая большая российская облачная конференция, где разработчики будут подробно рассказывать о собственных продуктах, делиться знаниями, реальными бизнес-историями и помогут вам на практике познакомиться с действующими и новыми сервисами платформы. И, конечно, наша конференция не обойдется без крупных анонсов.
Доклады
Доклады будут поделены на три секции: между синим, красным и желтым залами. Полный перечень докладов вы найдете здесь, а мы коротко скажем о самом главном. О докладах, которые, как нам кажется, будут интересны самому широкому кругу участников.
Секретный доклад: Тигран Худавердян, Ян Лещинский и Олег Коверзнев анонсируют всё самое важное и интересное, что произойдет с Яндекс.Облаком в ближайшее время.
Yandex DataLens — больше, чем визуализация данных. Руководитель сервиса Роман Колеченков расскажет, как именно DataLens помогает превращать данные в понятные, содержательные и красивые визуализации. Вы узнаете, сколько кликов нужно, чтобы развернуть дашборд, и чем они могут быть полезны.
Разработка приложений в экосистеме контейнеров. Глава подразделения API Gateway & Managed Service for Kubernetes Алексей Баранов покажет, как выглядит работа с контейнерами в Яндекс.Облаке: от тестовых сред до высоконагруженных проектов. Текущие возможности, новые функции и планы на будущее. Опытом использования Yandex Managed Service for Kubernetes поделится компания «Ренессанс Жизнь».
Разработка, эксплуатация и улучшение моделей машинного обучения. Игорь Куралёнок, руководитель подразделения AI & Machine Learning, поделится знаниями о разработке ML-сервисов в Яндекс.Облаке. Представит концепцию облачной ML-платформы и подробно разберет основные вопросы и проблемы, с которыми чаще всего сталкиваются разработчики при работе с ML-сервисами.
Когнитивные сервисы в Яндекс.Облаке. Менеджер по развитию бизнеса ML-сервисов Никита Ткачёв расскажет, как можно применять сервисы распознавания и синтеза речи, машинного перевода и компьютерного зрения. Вы узнаете, почему Яндекс.Облако уделяет когнитивным сервисам столько внимания, какие задачи решают наши пользователи и как мы планируем развивать эти сервисы. О своем опыте расскажут представители компаний «Транслинк» и «Мегафон».