Big Data Toolsのご紹介: IntelliJ IDEAにおけるSparkの統合とZeppelinノートブック
本日は素晴らしいニュースを皆様にお届けします。 JetBrainsが新しい開発者ツールを導入することはそうそうありません。 今回は皆様にも喜んでいただけると思います。弊社はこの度、Spark環境における、Zeppelinノートブックの編集と実行に対応した新しいIntelliJ IDEAのプラグイン、Big Data Toolsを発表しました。
Big Data Toolsプラグインを使用することで、IDEを離れることなくZeppelinノートブックを作成・編集・実行できるようになります。 このプラグインはノートブック内のスマートなナビゲーション、コード補完、インスペクション、クイックフィックス、リファクタリングを提供します。
このプラグインは具体的に何をサポートしているのでしょうか？
- ノートブックの閲覧・作成・削除
- Scalaパラグラフ対応のコーディング支援
- コード補完
- Renameリファクタリング
- 変数、メソッド、パラメータの抽出
- Go to declaration（宣言に移動）
- 使用箇所の表示
- パラグラフの作成と編集
- パラグラフの実行
- パラグラフの出力の閲覧
- 基本的な可視化のサポート
現在、コーディング支援はScalaコードにのみ対応しています。 他の言語は追って対応します。 また、将来的にはZeppelinノートブックに留まらず、データエンジニア、データサイエンティスト、およびビッグデータを取り扱うその他の専門家の開発作業を合理化する一般的な機能を拡充する予定です。
この記事を単に読むのではなく、実際に内容を確認されたい場合はこちらの短い動画をご覧ください。
あるいは、思い切ってご自身でお試しください！ 以下に作業を始めるための簡単な手引きを掲載しています。
このプラグインを使用するには？
- 現在、IntelliJ IDEA Ultimate 2019.2を使用中であることを確認してください（2019.3 EAPにはまだ対応していません）。
- BashSupport、Python、Scalaの各プラグインがインストールされていることを確認してください（最新リリースが適しています）。 現時点ではこれらのプラグインを手動でインストールする必要がありますが、まもなく改善される予定です。
- Big Data Toolsプラグインの最新ビルドをインストールしてください。
- 上記準備が問題なく作業が終了したら、IDEを再起動してください。右側にBig Data Toolsツールウィンドウが表示されます。 それを開き、ツールウィンドウのツールバーにある ‘+’ アイコンをクリックしてZeppelinを選択してください。
- Zeppelinの接続ダイアログで、Zeppelinインスタンスの接続パラメータ（ホスト、ポート、資格情報など）を入力してください。 Test Connectionを使用して接続を確認できます。
- Zeppelinの設定が完了すると、ツールウィンドウにインスタンスとノートブックツリーが表示されます。 自由にノートブックを管理し、エディタで開くことができます。
今後の計画
弊社はZeppelinとSparkの統合に対する継続的な改善はもちろんのこと、それ以上を目指しています。 具体的には、ビッグデータの処理に特化した統合をさらに進める予定です。 このような改善には、HDFSやS3などの分散ファイルシステムとの統合、組み込みのParquetファイルビューア、SQLのサポート強化などが含まれます。
こちらに弊社ロードマップにおける各機能の実現計画を掲載しています：
- 2019年11月：IntelliJ IDEA Ultimate 2019.3 EAPへの対応
- 2019年11月：S3との統合（ファイルエクスプローラー）
- 2019年12月：SQLの基本的なコーディング支援（ハイライト、補完、自動整形など）
- 2020年1月：HDFSとの統合（ファイルエクスプローラー）とParquetビューア
- 2月：HadoopとSparkの基本的な統合（YARNとSpark UIなど）
- 2020年春季または夏季：ZeppelinノートブックでのPythonのサポート（プラグインにPyCharm Professionalエディションとの互換性を持たせることも検討中です）
このロードマップは確定したものではありません。 弊社は多くの皆様にとって価値のあるエリアに確実に注力できるよう、皆様からのフィードバックに沿ってロードマップを調整したいと考えています。 弊社にご連絡いただき、機能の動作、不足している機能、お困りのバグに関するご意見などのフィードバックをお寄せください。
新しいプラグインに関して知っておくべきその他の重要事項はありますか？
現在、Big Data ToolsプラグインはIntelliJ IDEA Ultimateとのみ互換性があります。 従って、このプラグインはCommunityエディションではご利用いただけません。 このプラグインがCommunityエディションでご利用いただけるようになるかどうかは未定です。 現時点ではそのような計画はありません。
これは他のIDEについても同様です。 このプラグインが他のIDEに対応するかどうかも未定です。 現時点では、このプラグインがPythonをサポートした後にPyCharm Professionalエディションに対する互換性を拡張する予備計画があるだけです。 このプラグインが成熟するにつれて、他のIDEでの対応を進められるかどうかがより明確になるかもしれません。
IntelliJ IDEA Ultimateのライセンスを所有していません。 このプラグインを試す方法はありますか？
- ビッグデータ関連のオープンソースプロジェクトに活発にコミットされている方は、弊社までお気軽にお問い合わせください。
- Big Data Toolsに関する記事を執筆中の方は、弊社までご連絡ください。このプラグインを試すための延長体験版をご提供します。
- コミット者にもブロガーにも該当しないものの、ビッグデータに強い関心をお持ちの方も弊社までご連絡いただき、延長体験版（例：最大3カ月）をお申し込みください。このオファーには制限があります。
フィードバック
プラグインに関するご意見をお寄せください。 まず第一に、このブログ記事に対するコメントをここに残していただけますと非常に助かります。 何らかのバグを発見した場合、あるいは機能をご提案いただく場合は、弊社課題トラッカーに投稿をお願いいたします。
プラグインをお試しいただいた結果、バグレポートや機能リクエストの作成、全体的なフィードバックの提供をご希望の場合は、こちらの1分アンケートにぜひご協力ください。
皆様のフィードバックは弊社に不可欠なものであり、弊社はSpark、Zeppelin、およびビッグデータを使った開発作業を可能な限り楽しく、単純明快にしたいと考えています。 建設的なフィードバックを弊社にお寄せいただき、弊社がその目的を達成できるよう支援をお願いいたします。
Slackコミュニティ
弊社はコラボレーションと意見交換を促進するため、Slackワークスペースを開設しています。 ワークスペースにご参加いただき、あなたの体験をプラグイン開発チームや他のユーザーに共有してください。
The Drive to Develop!
JetBrainsチーム
[原文] Original post in English is written by Andrey Cheptsov
Subscribe to JetBrains Blog updates
