Découvrez Big Data Tools : Intégration de Spark et Notebooks Zeppelin dans IntelliJ IDEA
Hourra ! Nous avons une excellente nouvelle à vous annoncer. Après tout, ce n’est pas si souvent que JetBrains propose de nouveaux outils pour les développeurs. Maintenant que nous avons éveillé votre curiosité, il est temps de vous présenter Big Data Tools : un nouveau plugin IntelliJ IDEA intégrant Spark et permettant de prendre en charge l’édition et l’exécution des notebooks Zeppelin. Avec le plugin Big Data Tools, vous pouvez maintenant créer, éditer et exécuter des notebooks Zeppelin sans avoir à quitter votre EDI favori. Il propose la navigation intelligente, la saisie automatique du code, des inspections & et des correctifs rapides, ainsi que des refactorisations dans les notebooks.
Concrètement, qu’est-ce que ce plugin prend en charge ?
- Navigation, création et suppression des notebooks
- Aide au codage pour les paragraphes Scala
-
- Saisie automatique du code
- Refactorisation Rename
- Extraction de variables, méthodes ou paramètres
- Go to declaration
- Afficher les utilisations
- Création et suppression de paragraphes
- Exécution de paragraphes
- Parcourir la sortie des paragraphes
- Prise en charge de la visualisation de base
Remarque : l’assistance au codage est actuellement limitée au code Scala. D’autres langages seront pris en charge ultérieurement. Nous prévoyons d’aller au-delà des notebooks Zeppelin et d’ajouter des fonctionnalités pus générales afin de rationaliser l’expérience de développement pour les ingénieurs et scientifiques de données, et plus largement pour les métiers lies au Big Data.
Si vous préférez une démonstration à une description écrite, regardez cette courte vidéo :
Ou mieux, n’attendez-plus et testez par vous-même ! Voici comment démarrer :
Comment utiliser le plugin ?
- Vous devez utiliser la version 2019.2 d’IntelliJ IDEA Ultimate (Remarque : il ne fonctionne pas encore avec la version 2019.3 EAP).
- Vérifiez que les plugins BashSupport, Python et Scala soient installés (ce qui est normalement le cas avec les versions les plus récentes). Pour l’instant, leur installation est manuelle, mais nous allons améliorer cela prochainement.
- Installez la dernière version du plug-in Big Data Tools.
- Si tout a bien fonctionné, après redémarrage de l’EDI vous devriez voir la fenêtre d’outils Big Data Tools sur la droite. Ouvrez-la, cliquez sur l’icône “+” dans la barre d’outils de cette fenêtre et choisissez Zeppelin.
- Dans le dialogue de connexion Zeppelin, entrez les paramètres de connexion de votre instance Zeppelin (tels que l’hôte, le port, les informations d’identification, etc.). Utilisez Test Connection pour vérifier la connexion.
- Une fois la configuration de Zeppelin terminée, vous en verrez l’instance dans la fenêtre d’outils, ainsi que l’arborescence des notebooks. N’hésitez pas à gérer les notebooks ou à les ouvrir dans l’éditeur.
Qu’est-ce qui est prévu ?
Tout d’abord, nous voulons améliorer l’intégration de Zeppelin et de Spark Nous prévoyons aussi davantage d’intégrations spécifiques au Big Data. Cela comprend l’intégration avec des systèmes de fichiers distribués tels que HDFS et S3, la visionneuse intégrée des fichiers Parquet et une meilleure prise en charge du code SQL.
Voici un calendrier provisoire pour les différentes fonctionnalités que nous avons sur notre feuille de route :
- Novembre : Compatibilité avec IntelliJ IDEA Ultimate 2019.3 EAP
- Novembre 2019 : Intégration avec S3 (explorateur de fichiers)
- Décembre 2019 : assistance au codage basique pour SQL (surlignage, saisie automatique, formatage automatique, etc.)
- Janvier 2020 : intégration avec HDFS (explorateur de fichiers) et la visionneuse Parquet
- Février : intégration basique avec Hadoop et Spark (YARN et Spark UI, etc.).
- Printemps/été 2020 : prise en charge de Python dans les notebooks Zeppelin (nous envisageons aussi de rendre le plugin compatible avec PyCharm Professional Edition, nous le confirmerons plus tard).
Cette feuille de route n’est pas gravée dans le marbre. Nous tenons à l’ajuster en fonction de vos retours pour nous assurer que nous allons dans la bonne direction. Alors n’hésitez pas à nous faire part de votre avis, qu’il s’agisse de votre avis sur une fonctionnalité, d’une demande de fonctionnalité supplémentaire ou d’un bug.
Qu’y a-t-il d’autre à savoir sur ce nouveau plugin ?
Le plugin Big Data Tools est maintenant compatible avec IntelliJ IDEA Ultimate. Cela signifie qu’il n’est pas disponible avec la version Community Edition. Nous ne savons pas encore si il sera inclus dans la version Community Edition mais ela n’est pas prévu pour l’instant.
De même, nous ne savons pas encore si la compatibilité du plugin sera assurée pour d’autres EDI. Pour le moment, nous prévoyons d’abord d’étendre la compatibilité à PyCharm Professional Edition. Nous serons ensuite plus à même d’envisager les évolutions possibles concernant les autres EDI.
Je n’ai pas de licence pour IntelliJ IDEA Ultimate. Comment puis-je essayer le plugin ?
- Si vous êtes un contributeur actif à un projet open source en relation avec le Big Data, n’hésitez pas à nous contacter.
- Si vous voulez écrire au sujet de Big Data Tools, contactez-nous et nous vous fournirons une version d’essai prolongée pour vous donner le temps de tester le plugin.
- Si vous n’êtes ni contributeur, ni blogueur, mais êtes particulièrement intéressé par le Big Data, contactez-nous pour demander une version d’essai prolongée (jusqu’à 3 mois). Attention, cette offre est limitée.
Commentaires
Vos retours sur le plugin nous intéressent. Tout d’abord, vous pouvez nous faire part de vos commentaires et nous poser des questions ici.
Si vous trouvez des bugs ou souhaitez suggérer une fonctionnalité, vous pouvez créez un ticket via notre système de suivi de suivi des incidents.
Si vous avez essayé le plugin, vous pouvez nous faire part de votre retour d’expérience en répondant à ce court questionnaire.
Vos commentaires comptent pour nous car nous souhaitons rendre votre expérience de Spark, Zeppelin et Big Data aussi simple et agréable que possible et vous nous y aidez en partageant des retours constructifs.
Communauté Slack
Nous avons mis en place un espace de travail sur Slack pour faciliter la collaboration et le partage de commentaires. Rejoignez-le pour partager votre expérience avec notre équipe de développement de plugins et les autres utilisateurs.
The Drive to Develop!
L’Équipe JetBrains
Auteur de l’article original en anglais : Andrey Cheptsov
Subscribe to JetBrains Blog updates
