Big Data Tools 소개 – IntelliJ IDEA 내에서 Spark 통합 및 Zeppelin 노트북 지원
Hooray! 오늘은 여러분들께 빅데이터 툴 소식을 전해드리려고 합니다. JetBrains가 새로운 개발자 도구를 도입하는 것은 자주 있는 일이 아니기 때문에 오늘의 블로그 글은 기쁜소식 일거라고 생각합니다. 여러분도 기대하고 계셨을지 모르지만, 저희도 Big Data Tools를 발표하게 되어 매우 기쁩니다. 이 새로운 IntelliJ IDEA 플러그인은 Spark를 통합하고 Zeppelin 노트북 편집 및 실행을 지원합니다. 이제 Big Data Tools 플러그인을 사용하여 여러분이 사용하는 IDE에서 벗어날 필요 없이 Zeppelin 노트북을 생성, 편집 및 실행할 수 있습니다. 이 플러그인은 노트북 안에서 스마트 탐색, 코드 완성, 검사 및 빠른 수정, 리팩토링을 제공합니다.
그렇다면, 이 플러그인이 지원하는 것은 정확히 무엇일까요?
- 노트북 탐색, 생성 및 삭제
- Scala 구문에 대한 코딩 지원
-
- 코드 완성
- 이름 변경 리팩토링
- 변수, 메소드 또는 매개 변수 추출
- 선언으로 이동
- 사용 위치 표시
- 구문 생성 및 삭제
- 구문 실행
- 구문의 아웃풋 탐색
- 기본적인 시각화 지원
코딩 지원은 현재 Scala 코드로 제한되어 있습니다. 향후 기타 언어가 추가될 예정입니다. 또한, 향후에는 Zeppelin 노트북 뿐 아니라 데이터 엔지니어, 데이터 과학자 및 빅 데이터를 취급하는 기타 전문가들의 개발 환경을 간소화해 줄 일반적인 기능이 더 많이 추가될 예정입니다.
글로 읽는 것보다 실제 어떻게 작동하는지 확인하고 싶으시면 이 짧은 동영상을 시청해보세요:
아니면, 직접 사용해 보세요! 다음은 이 플러그인을 시작하는 방법에 대한 간단한 설명입니다.
플러그인을 어떻게 사용할 수 있나요?
- IntelliJ IDEA Ultimate 2019.2를 사용하고 있는지 확인하세요(아직 2019.3 EAP와 는 호환되지 않습니다).
- BashSupport, Python 및 Scala 플러그인이 설치되어 있는지 확인하세요(최신 버전이면 괜찮습니다). 이제 수동으로 설치해야 합니다. 이 점은 곧 개선될 예정입니다.
- Big Data Tools 플러그인의 최신 빌드를 설치합니다.
- IDE를 다시 시작한 후 모든 기능이 제대로 작동하고 있다면, 오른쪽에 Big Data Tools 도구 창이 표시됩니다. 이것을 열고 도구 창 도구 모음에서 ‘+’ 아이콘을 클릭한 후 Zeppelin을 선택합니다.
- Zeppelin 연결 대화 상자에서 Zeppelin 인스턴스에 대한 연결 매개 변수(호스트, 포트, 자격 증명 등)를 입력합니다. Test Connection을 사용해 연결 상태를 확인합니다.
- Zeppelin 설정이 완료되면 노트북 트리와 함께 도구 창에 인스턴스가 표시됩니다. 이제 노트북을 관리하거나 에디터에서 열 수 있습니다.
향후의 계획은 무엇인가요?
가장 우선적으로 Zeppelin 및 Spark의 통합을 더욱 개선할 계획입니다. 빅 데이터에 특화된 통합이 더 많이 추가될 계획입니다. HDFS 및 S3와 같은 분산 파일 시스템과의 통합, Parquet 파일용 빌트인 뷰어, SQL에 대한 지원 강화가 포함됩니다.
다음은 로드맵 상에서 각 기능의 타임라인입니다.
- 2019년 11월: IntelliJ IDE Ultimate 2019.3 EAP과의 호환
- 2019년 11월: S3(파일 탐색기)와의 통합
- 2019년 12월: SQL에 대한 기본적인 코딩 지원 (강조 표시, 코드 완성, 자동 서식 지정 등)
- 2020년 1월: HDFS(파일 탐색기)와의 통합 및 Parquet 뷰어
- 2020년 2월: Hadoop 및 Spark와의 기본적인 통합 (YARN 및 Spark UI 등)
- 2020년 봄 / 여름: Zeppelin 노트북에서 Python에 대한 지원 (PyCharm Professional Edition과 호환되는 플러그인 제작도 고려 중이며, 향후에 결정될 예정입니다)
이 로드맵은 확정된 것은 아닙니다. 여러분의 피드백에 따라 로드맵을 조정하여 올바른 방향으로 나아가도록 하려고 합니다. 여러분의 의견을 저희에게 공유해주세요. 기능의 동작 방식, 누락된 기능, 성가신 버그 등 어떤 의견이든 환영입니다.
새로운 플러그인에 대해 알아야 하는 기타 중요 사항은 무엇입니까?
Big Data Tools 플러그인은 IntelliJ IDEA Ultimate에서만 호환됩니다. 즉, Community Edition에서는 이 플러그인을 사용할 수 없습니다. 이 플러그인이 Community Edition을 지원하게 될지는 아직 미정이며 현재로서는 계획에 포함되어 있지 않습니다.
다른 IDE에 대해서도 마찬가지입니다. 이 플러그인이 다른 IDE와도 호환될지는 아직 미정입니다. 현재로서는 플러그인이 Python을 지원하게 된 후 PyCharm Professional Edition까지 호환성을 확대하려는 예비 계획이 있습니다. 플러그인이 성숙해지면서, 다른 IDE와 관련해서 어떤 방향으로 나아갈지에 대해 더 명확해질 것입니다.
IntelliJ IDEA Ultimate의 라이선스가 없습니다. 플러그인을 어떻게 사용해 볼 수 있습니까?
- 빅 데이터와 관련된 오픈 소스 프로젝트에서 활동하고 계시는 커미터이신 경우, 저희에게 연락해 주세요.
- Big Data Tools에 관한 글을 집필하시는 분의 경우, 저희에게 연락해 주시면 플러그인을 사용해볼 수 있도록 기간이 연장된 체험판을 제공해 드리겠습니다.
- 커미터도 아니고 블로거도 아니지만 빅 데이터에 많은 관심이 있으시면 저희에게 연락해서 기간이 연장된 체험판(예: 최대 3개월)을 받으실 수 있습니다. (한정된 혜택)
피드백
플러그인에 대한 여러분의 피드백을 듣고 싶습니다. 이 블로그 게시글의 댓글에 질문이나 의견을 남겨주세요. 버그를 찾으셨거나 기능을 제안하고 싶으시면 이슈 트래커로 제출해 주세요.
플러그인을 사용해 보셨고 버그 신고, 기능 요청 또는 전반적인 피드백 공유를 하시고 싶으면 1분 설문조사를 작성해 주세요.
여러분의 피드백은 저희에게 매우 중요합니다. 저희는 Spark, Zeppelin 및 빅 데이터를 사용한 개발 작업을 최대한 즐겁고 간단하게 만들고 싶습니다. 여러분의 건설적인 피드백을 공유하여 이 작업을 도와 주시기 바랍니다.
Slack 커뮤니티
공동 작업과 피드백 공유를 용이하게 하기 위하여 Slack 워크스페이스를 개설했습니다. 이곳에 가입하여 플러그인 개발팀 및 다른 사용자들과 경험을 공유하실 수 있습니다.
P.S. 우리는 이 발표가 우리 팀이 Spark AI Summit에 합류하는 동시에 우연히 이루어질 것을 특히 기쁘게 생각합니다. 이 컨퍼런스에 참가하시는 경우 꼭 우리 부스에 방문해주셔서 저희와 인사를 나누고, 플러그인이 작동하는 모습을 직접 확인하시고, 여러분의 피드백을 공유해 주세요.
The Drive to Develop!
The JetBrains 팀
이 글은Andrey Cheptsov의 Meet Big Data Tools – Spark Integration and Zeppelin Notebooks in IntelliJ IDEA 글을 번역하여 기재하였습니다.
Subscribe to JetBrains Blog updates
