Big Data Tools 2023.1 버전 출시!
최신 릴리스에는 사용자 피드백을 기반으로 적용된 새로운 기능 및 개선 사항이 포함되어 있습니다. Kafka 스키마 레지스트리 통합, Kerberos 인증 및 Big Data Tools의 모든 클라우드 스토리지에 대한 확장된 지원이 이 릴리스에 추가되었습니다. 이 게시물을 읽고 Big Data Tools 플러그인의 주요 변경 사항을 확인하거나 IntelliJ IDEA Ultimate, PyCharm Professional, DataSpell 또는 DataGrip 2023.1에 플러그인을 설치해 바로 사용해 보세요.
새로운 기능: Kafka 스키마 레지스트리 연결
다수의 요청에 따라 Kafka 스키마 레지스트리 연결을 Big Data Tools 플러그인 2023.1에 통합했습니다. 스키마 레지스트리는 데이터 구조를 정의하고, Kafka 애플리케이션에 데이터 변경 사항을 동기화하는 데 도움이 됩니다. 최신 업데이트에 따라 Avro 또는 Protobuf에서 직렬화된 Kafka 주제를 IDE에서 직접 탐색할 수 있습니다.
또한 보안 SSH 터널을 통해 스키마 레지스트리에 연결하면 로컬 시스템에서 메시지를 사용하고 생성할 수 있습니다.
더욱 편리한 클라우드 스토리지 작업
지원되는 모든 원격 파일 스토리지(예: Amazon S3, Google Cloud Storage 및 Microsoft Azure Blob Storage) 간 기능을 조정했습니다. 주요 개선 사항은 다음과 같습니다.
- 이제 IDE에서 바로 버킷 객체의 버전을 보고 관리할 수 있습니다.
- 스토리지를 분류를 위해 객체 또는 버킷 태그 지정을 사용하는 경우, 에디터 창에서 스토리지를 보고 변경할 수 있습니다.
- 새로운 컨텍스트 검색 기능을 활용하면 관련 키워드를 입력해 클라우드 스토리지에서 특정 버킷을 빠르게 찾을 수 있습니다.
확장된 Hive Metastore 통합
플러그인은 이제 Hive 3 및 Hive 2를 모두 지원하므로 사용자가 IDE에서 데이터를 미리 보고 이해할 수 있습니다. Hive Metastore 또는 특정 카탈로그, 데이터베이스 및 테이블을 에디터에서 별도의 탭으로 열 수 있습니다.
Apache Zeppelin 통합 개선 사항
IDE에서 Zeppelin Notebook 사용 시 Spark 잡 코드를 Scala 파일로 추출하여 IDE 프로젝트에서 계속 작업할 수 있습니다. 선택한 Scala 코드와 단락의 코드를 모두 추출하는 옵션이 이 릴리스에 추가되었습니다.
Zeppelin의 PySpark 단락에 대한 코드 완성 기능이 추가되었습니다. 이 기능을 사용하면 DataFrame에서 추론된 열 목록을 제공하여 열 이름이 완성됩니다.
또한 종속성 및 인터프리터 설정이 단일 창으로 통합되어 필요한 설정을 더 쉽게 찾을 수 있습니다.
Kerberos 인증
이제 Kerberos 인증을 사용해 Kafka, HDFS 및 Hive Metastore에 연결할 수 있습니다.
AWS 서비스의 단일 인증
이제 AWS S3, AWS Glue 및 AWS EMR 연결에 AWS 인증을 공유할 수 있습니다. 반복적으로 키를 입력하거나 연결 시마다 MFA 인증을 수행할 필요가 없습니다.
빅데이터 바이너리 파일 보기
Big Data Tools 플러그인을 사용하면 IDE에서 바로 빅데이터 파일 형식의 콘텐츠를 편리하게 미리 확인할 수 있습니다. 최신 릴리스에서는 zstd, Brotli 및 LZ4와 같은 압축 방식을 사용하는 Parquet 파일을 열 수 있습니다.
새로운 기능 및 개선 사항의 전체 목록은 Big Data Tools 플러그인 페이지의 변경 로그를 참조하세요. 여러분의 의견을 JetBrains와 공유해 주시고 사용 중 문제가 발생한 경우 이슈 트래커에 보고해 주세요.
Big Data Tools 팀 드림
게시물 원문 작성자
Subscribe to Big Data Tools Blog updates
