Если инфорация оказалась интересна и/или полезна, не побрезгуйте, оставьте комментарий ;)

вторник, 10 ноября 2020 г.

MS Azure Synapse. Если нет доступа к рабочему пространству (WorkSpace) из "Synapse Studio"

 Был у нас на работе пару недель назад курс по основам машинного обучения. Так себе курс. До этого был курс от той же компании по Kubernetes. Очень-очень неплохой курс. Основы разобрали. Баланс между теорией и практикой. А в этом всё шло не так. Но речь не об этом. Одно из практических заданий было настроить Azure Synapse Analytics (workspaces preview) и модельку в нем запустить.

Самое интересное, что практические задания - это инструкции для начинающих от самой Microsoft. Последовательность действий.

Lab 1. Quickstart: Create a Synapse workspace

Lab 2. Quickstart: Create a serverless Apache Spark pool (preview) using Synapse Studio

Lab 3. Quickstart: Create a serverless Apache Spark pool in Azure Synapse Analytics using web tools

Lab 4. Tutorial: Build a machine learning app with Apache Spark MLlib and Azure Synapse Analytics

Но вот в первой же части что-то пошло не так. Synapse Studio не имел доступа к созданному Рабочему пространству (WorkSpace). На мой взгляд, первая инструкция написана плохо. По ней в принципе не получится сделать нормальное Рабочее пространство.

Из него в принципе никак не следует, что "File System" - это контейнер в Storage Account типа Data Lake Storage Gen 2. Предлагает создать контейнер на месте, но если вы это сделаете, что у контейнера не будет нужных свойств и ничего не заработает.

Диалог создания рабочего пространства:

 

На самом деле к этому моменту у вас должны быть:

1. 3 группы безопасности в AD. Думаю, можно обойтись одной, если вы не беспокоитесь о безопасности или работаете под Ажуровской учеткой в одиночестве.

2. Resource Group. Скорее всего она уже есть

3. "Storage Account" типа "Data Lake Storage Gen 2" с верными настройками прав доступа.

Снимок экрана: создание учетной записи хранения на портале Azure

Здесь как правильно создать учетную запись. Обратите внимание, что при создании учетки надо активировать Hierarchical Name Space (HNS).

4. Контейнер внутри Storage Account с верными настройками безопасности

Полностью настройки безопасности тут.

Только после этого можно приступать к созданию Рабочего пространства  в Synapse. File system name - это имя контейнера, созданно на предыдущих шагах.

 Не ставил себе цели написать полную инструкцию. Но хотел рассказать о граблях, по которым прошелся сам.

Всем удачи!

Комментариев нет: