{"id":34243,"date":"2020-03-03T09:57:35","date_gmt":"2020-03-03T08:57:35","guid":{"rendered":"https:\/\/blog.jetbrains.com\/fr\/?p=550"},"modified":"2020-03-03T09:57:35","modified_gmt":"2020-03-03T08:57:35","slug":"mise-a-jour-du-plugin-big-data-tools-spark-hdfs-parquet-et-plus","status":"publish","type":"post","link":"https:\/\/blog.jetbrains.com\/fr\/2020\/03\/03\/mise-a-jour-du-plugin-big-data-tools-spark-hdfs-parquet-et-plus\/","title":{"rendered":"Mise \u00e0 jour du plugin Big Data Tools : Spark, HDFS, Parquet et plus"},"content":{"rendered":"Notre derni\u00e8re mise \u00e0 jour remonte d\u00e9j\u00e0 \u00e0 quelque temps. Vous vous souvenez peut-\u00eatre que nous avons annonc\u00e9 l'ann\u00e9e derni\u00e8re l'int\u00e9gration d'IntelliJ IDEA avec Apache Zeppelin, S3, et son int\u00e9gration exp\u00e9rimentale avec Apache Spark. Cette derni\u00e8re int\u00e9gration avait \u00e9t\u00e9 propos\u00e9e sous forme de fonctionnalit\u00e9 exp\u00e9rimentale et n'\u00e9tait disponible que sur le canal des mises \u00e0 jour non stables. Mais nous avons d'excellentes nouvelles :\u00a0la nouvelle version du plugin rend la prise en charge de Spark totalement disponible publiquement. Cette nouvelle version prend \u00e9galement en charge HDFS et Parquet.\r\n\r\nSuivi de Spark\r\n\r\nMaintenant que l'int\u00e9gration avec Spark est disponible en mise \u00e0 jour publique, permettez-nous de vous rappeler ses avantages.\r\n\r\nPour le suivi de vos jobs Spark, il vous suffit maintenant d'acc\u00e9der aux param\u00e8tres Big Data Tools Connections et d'ajouter l'URL de votre serveur d'historique Spark :\r\n\r\n\r\n\r\nUne fois cette op\u00e9ration termin\u00e9e, fermez les param\u00e8tres et ouvrez la fen\u00eatre d'outils Spark en bas \u00e0 droite de l'EDI. La fen\u00eatre d'outils Spark affiche la liste des applications Spark termin\u00e9es et en cours d'ex\u00e9cution (dans l'onglet Applications, qui est r\u00e9duit par d\u00e9faut), la liste des jobs, leur \u00e9tat, et leurs t\u00e2ches.\r\n\r\n\r\n\r\nEn cliquant sur l'onglet Executor, vous pourrez voir les informations sur les agents d'ex\u00e9cution actifs et non actifs :\r\n\r\n\r\n\r\nPour le moment, l'onglet SQL affiche une liste des requ\u00eates r\u00e9centes, mais elle n'inclut pas encore le SQL en tant que tel. De plus, si vous utilisez Kerberos avec Spark, il se peut que l'EDI ne vous permette pas de vous connecter au serveur. Nous travaillons actuellement sur ce point afin que le probl\u00e8me soit corrig\u00e9 dans l'une de nos prochaines mises \u00e0 jour. Si vous utilisez Kerberos, n'h\u00e9sitez pas \u00e0 nous le faire savoir, afin que nous traitions ce probl\u00e8me en priorit\u00e9.\r\n\r\nHDFS\r\n\r\nTout comme pour la prise en charge de S3 que nous avons annonc\u00e9e en d\u00e9cembre, le plugin vous permet d\u00e9sormais de vous connecter \u00e0 vos serveurs HDFS pour explorer et g\u00e9rer vos fichiers depuis l'EDI. Pour activer cette fonctionnalit\u00e9, il vous suffit d'aller dans les param\u00e8tres Big Data Tools Connections pour ajouter une configuration HDFS :\r\n\r\n\r\n\r\nIl vous faudra sp\u00e9cifier le chemin de la racine et le mode de connexion au serveur : Configuration Files Directory ou Explicit URI.\r\n\r\nUne fois les serveurs HDFS configur\u00e9s, vous les verrez s'afficher dans la fen\u00eatre d'outils Big Data Tools (\u00e0 c\u00f4t\u00e9 de vos notebooks Apache Zeppelin et de vos buckets S3, si vous en avez configur\u00e9s) :\r\n\r\n\r\n\r\nLa fen\u00eatre d'outils Big Data Tools affiche les fichiers et dossiers qui sont stock\u00e9s dans les serveurs configur\u00e9s. Comme pour S3, les fichiers CSV et Parquet dans HDFS peuvent \u00eatre d\u00e9velopp\u00e9s dans l'arborescence pour afficher leurs sch\u00e9mas de fichiers. Le menu contextuel associ\u00e9 aux fichiers ou dossiers propose plusieurs actions :\r\n\r\n\r\n\r\nCes options vous permettent de g\u00e9rer des fichiers, de les copier sur votre machine locale, ou de les pr\u00e9visualiser dans l'\u00e9diteur. La pr\u00e9visualisation vous permet de consulter la premi\u00e8re partie du contenu du fichier sans avoir \u00e0 le copier enti\u00e8rement sur votre machine.\r\n\r\nParquet\r\n\r\nComme indiqu\u00e9 plus haut, cette mise \u00e0 jour fournit une prise en charge initiale pour les fichiers Parquet. Vous pouvez maintenant ouvrir vos fichiers Parquet dans l'EDI et consulter leur contenu sous forme de tableau :\r\n\r\n\r\n\r\nLors de l'ouverture de fichiers Parquet, le plugin n'en affiche pas l'int\u00e9gralit\u00e9 mais seulement la premi\u00e8re partie. Cela est particuli\u00e8rement utile si vous travaillez avec de tr\u00e8s gros fichiers.\r\n\r\nNotez que, tout comme pour Spark, vous avez besoin d'un acc\u00e8s physique aux serveurs pour acc\u00e9der aux fichiers. Cela signifie que si vos serveurs sont derri\u00e8re un tunnel SSH, vous devez \u00e9tablir le tunnel vous-m\u00eame. Nous vous invitons \u00e0 nous signaler tout probl\u00e8me ou incident rencontr\u00e9 lors de l'acc\u00e8s \u00e0 vos fichiers. Cela nous permettra d'identifier d\u2019\u00e9ventuels sc\u00e9narios sp\u00e9cifiques qui ne seraient pas encore pris en charge. Plus t\u00f4t vous nous ferez part de vos retours, plus vite nous pourrons identifier et traiter les probl\u00e8mes !\r\n\r\nPour voir la liste compl\u00e8te des correctifs de bugs de cette mise \u00e0 jour, veuillez vous reporter aux notes de publication.\r\n\r\nSi vous avez besoin d'aide pour utiliser une fonctionnalit\u00e9 du plugin, veuillez consulter la documentation. Vous avez toujours besoin d'aide ? N'h\u00e9sitez pas \u00e0 nous laisser un message, soit ici dans les commentaires, soit sur Twitter.\r\n\r\nP.S. : Comme le plugin n'en est encore qu'aux premi\u00e8res \u00e9tapes de son d\u00e9veloppement, il est probable que ses int\u00e9grations ne prennent pas en charge toute la diversit\u00e9 des sc\u00e9narios. C'est pourquoi nous comptons particuli\u00e8rement sur vos retours d'exp\u00e9rience. Si vous constatez qu'un sc\u00e9nario utilisateur important (par exemple un certain type d'autorisation) n'est pas pris en charge, n'h\u00e9sitez pas \u00e0 nous l'indiquer, ici dans les commentaires, dans notre outil de suivi des tickets, ou dans notre enqu\u00eate.\r\n\r\nAuteur de l'article original en anglais :\u00a0Andrey Cheptsov","protected":false},"excerpt":{"rendered":"Notre derni\u00e8re mise \u00e0 jour remonte d\u00e9j\u00e0 \u00e0 quelque temps. Vous vous souvenez peut-\u00eatre que nous avons annonc\u00e9 l'ann\u00e9e derni\u00e8re l'int\u00e9gration d'IntelliJ IDEA avec Apache Zeppelin, S3, et son int\u00e9gration","protected":false},"author":{"name":"Delphine Massenhove","link":"https:\/\/blog.jetbrains.com\/fr\/author\/delphine-massenhovejetbrains-com"},"featured_media":34244,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[],"tags":[5487,5489,5494,5331,5492],"cross-post-tag":[],"acf":[],"featured_image":"https:\/\/blog.jetbrains.com\/wp-content\/uploads\/2020\/03\/fr-Big-Data-Tools-Plugin-EAP5.jpg","_links":{"self":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/posts\/34243"}],"collection":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/users\/813"},{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/users\/813"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/comments?post=34243"}],"version-history":[{"count":0,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/posts\/34243\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/media\/34244"}],"wp:attachment":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/media?parent=34243"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/categories?post=34243"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/tags?post=34243"},{"taxonomy":"cross-post-tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/cross-post-tag?post=34243"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}