Datalore
Collaborative data science platform for teams
Публикации и ответы на комментарии в блогах JetBrains не выходят на русском языке с 2022 года.
Приносим извинения за неудобства.
Datalore Enterprise 2021.3: ячейки SQL, подключение Jupyter-ноутбуков к БД, интерактивные отчеты и многое другое
Datalore Enterprise — это data science платформа для совместной работы с Jupyter-ноутбуками. Ее можно установить в частное облако или на приватный сервер компании.
Новая версия 2021.3 позволяет специалистам по анализу и обработке данных работать с базами данных и SQL-кодом внутри Jupyter-ноутбуков, а также легко делиться результатами работы с коллегами. Также мы интегрировали поддержку ноутбуков R и Scala, добавили новый реактивный режим, реализовали конструкторы графиков и множество других функций.
Читайте дальше, чтобы узнать о новых возможностях Datalore Enterprise 2021.3!
Если вы не знакомы с продуктом Datalore Enterprise, рекомендуем посмотреть короткий видеообзор платформы.
Подключение к БД из редактора и запуск нативного SQL-кода
Подключение к БД из ноутбуков
Новая версия Datalore Enterprise позволяет напрямую подключать Jupyter-ноутбуки к базам данных всего за нескольких кликов. Создав подключение, вы сможете просматривать схему таблиц и получать данные с помощью SQL-ячеек, при этом пароль подключения не будет передан в среду.
Datalore Enterprise поддерживает аутентификацию через user/password для баз данных Amazon Redshift, Azure SQL Database, MariaDB, MySQL, Oracle, PostgreSQL, Snowflake и др. Если у вас появятся вопросы по подключению к базам данных, вы всегда можете задать их нам.
SQL-ячейки
Для выгрузки данных из базы данных можно использовать нативные SQL-ячейки. В них поддерживается подсветка синтаксиса и автодополнение кода на основе интроспекции таблиц базы данных. Результат запроса автоматически передается в pandas DataFrame, после чего вы сможете продолжить анализ данных с помощью Python.
Запросить 30-дневную пробную версию Datalore Enterprise для своей команды можно на нашем сайте.
Превращение Jupyter-ноутбуков в интерактивные отчеты
Чтобы наглядно представить результаты своей работы с данными, порой приходится сильно постараться. Просто делиться Jupyter-ноутбуком не всегда удобно, так как в нем бывает слишком много кода, в том числе для промежуточных этапов анализа. Сборка дашборда в Tableau занимает слишком много времени, а слайды Powerpoint требуют ручного обновления при любых изменениях результатов анализа.
Datalore Enterprise предлагает выход — публиковать интерактивные отчеты!
Публикация интерактивных отчетов
Теперь вы можете быстро превратить ноутбук в интерактивный отчет. Делиться интерактивными отчетами можно по ссылке. При этом вы можете скрыть ячейки кода, которые не нужны для презентации.
Каждый, кто получит ссылку на отчет, сможет также работать с ним — изменять элементы управления и запускать соответствующий ноутбук.
Хотите узнать больше о возможностях Datalore? Запланируйте демо с нашей командой.
Конструкторы графиков, раскрывающиеся списки и другие интерактивные элементы
Чтобы сделать ваши ноутбуки и отчеты более интерактивными, мы добавили новые типы ячеек:
- Вы можете добавлять в ноутбуки раскрывающиеся списки, слайдеры и текстовые поля, а также присваивать входные значения переменным.
Раскрывающиеся списки в Datalore - Вы можете легко создавать визуализации при помощи конструкторов графиков в ячейках диаграмм. При этом состояние ячеек обновится и у других пользователей, редактирующих ваш ноутбук, а значит, вы сможете работать над визуализацией вместе.
Ячейки диаграмм
Настройка параметров видимости ячеек
Предоставляя доступ к ноутбукам или отчетам, вы можете скрыть определенные данные, чтобы не перегружать пользователя информацией. В новой версии Datalore можно скрыть любую ячейку, а также выборочные входные и выходные данные.
Создание R и Scala ноутбуков
Мы добавили поддержку языков R и Scala. Теперь для них можно пользоваться умным автодополнением. Для R также доступен менеджер пакетов conda.
Реактивный режим для воспроизводимых вычислений
В течение последних трех лет мы экспериментировали с решением проблемы воспроизводимости ноутбуков. Сегодня мы рады представить новый реактивный режим!
При включении реактивного режима Datalore вычисляет ячейки кода сверху вниз, а при изменении ячейки автоматически пересчитывает все ячейки ниже. Подробнее о проблеме воспроизводимости кода и о новом реактивном режиме читайте здесь.
Другие улучшения
Скрипты инициализации
Помимо возможности настройки базовых сред и установки библиотек через менеджер пакетов, теперь вы можете добавлять специальные настройки в скрипт, который запускается перед стартом ноутбука. Внутри init.sh вы можете указать все инструменты сборки и зависимости, необходимые для вашего ноутбука.
Поддержка версий Python 3.6+
В Datalore Enterprise 2021.3 вы можете выбрать из множества версий Python (3.6 и более поздние) и пользоваться умными возможностями анализа-кода Datalore для любой из них. Достаточно предварительно настроить несколько базовых сред, и ваша команда сможет переключаться между различными версиями Python буквально в несколько кликов.
Новые графики на вкладке Visualize
Если результатом выполнения кода является pandas DataFrame, Datalore автоматически покажет полученные графики на вкладке Visualize. Мы добавили поддержку:
- Point plots
- Bar plots
- Area plots
- Correlation plots
Кроме того, теперь вы можете настроить цвет графика на основе определенных значений столбца.
Монтирование бакетов GCS
Помимо бакетов AWS S3, теперь вы также можете монтировать в ноутбук бакеты Google Cloud Storage. Для этого просто укажите имя бакета и содержимое файла аутентификации .json — смонтированный бакет отобразится в виде отдельной папки.
Информация о последнем запуске ячейки
Наведя указатель мыши на время выполнения ячейки, вы увидите полную дату последнего выполнения.
Сворачивание ячеек
Чтобы сосредоточиться на написании кода, теперь вы можете сворачивать любые входные и выходные данные.
Попробуйте бесплатно!
Вы можете попробовать Datalore Enterprise бесплатно в течение 30 дней. Чтобы запросить пробную версию или задать какие-либо вопросы, свяжитесь с нами или назначьте встречу с нашей командой. Все компании, которые пробуют Datalore Enterprise, могут общаться с нами через специальный канал в Slack или тред Zendesk.
Запросить пробную версию или забронировать демо можно на нашем сайте.
Чтобы оставаться в курсе новостей от Datalore, подпишитесь на наш блог и Twitter!
Ваша команда Datalore
The Drive to Develop
Оригинал статьи опубликован на Habr.com.
Subscribe to Datalore News and Updates
