OpenZL: 개방형 구조 인식 압축 프레임워크로 데이터 센터 압축 성능 혁신

메타가 오픈소스 데이터 압축 프레임워크 'OpenZL'을 공개했다. OpenZL은 구조화된 데이터에 특화된 손실 없이 고성능 압축을 제공하며, 일반 압축기와 비교해 압축률은 약 2배, 속도는 최대 3배 빠르다. 핵심은 데이터의 구조(예: 열 기반, 열거형, 반복 필드 등)를 명시적으로 입력받아 맞춤형 변환 과정을 적용하는 점이다. 사용자는 데이터 형식을 간단한 설명 언어(SDDL)로 기술하거나 파서를 직접 작성하면, 오프라인 트레이너가 최적의 압축 계획을 생성한다. 이 계획은 압축 시 프레임에 포함되며, 단일 유니버설 디코더만으로 모든 데이터를 해제할 수 있다. 실제 테스트에서는 SAO 파일에서 OpenZL이 압축률 2.06배를 달성하며 zstd보다 2배 이상 우수했고, 압축 속도는 340MB/s, 해제 속도는 1.2GB/s를 기록했다. 특히 시간 시리즈, ML 텐서, 데이터베이스 테이블 등 구조화된 데이터에서 두드러진 성능을 보였다. 반면 순수 텍스트 파일에서는 구조가 없어 zstd로 자동 전환되며 성능 차이가 크지 않다. OpenZL의 가장 큰 장점은 압축 계획이 변경되더라도 디코더는 그대로 사용 가능하다는 점이다. 보안 검토, 업데이트, 운영 관리가 단순해지고, 기존 데이터와 새 데이터 모두 호환된다. 메타는 이를 기반으로 ‘관리형 압축’ 시스템을 운영하며, 지속적인 재학습과 런타임 제어를 통해 데이터 변화에 유연하게 대응한다. OpenZL은 오픈소스로 공개되었으며, GitHub에서 소스코드와 예제를 제공한다. 구조화된 데이터를 다루는 개발자와 기업은 즉시 도입 가능하며, 커뮤니티 참여를 통해 변환기 확장, 성능 최적화, 새로운 형식 지원 등에 기여할 수 있다.