Valkey: 오픈 소스 인메모리 데이터 저장소의 미래

• Valkey는 Redis의 라이선스 변경에 대응해 커뮤니티 주도로 분기된 오픈 소스 인메모리 데이터 저장소로, 벤더 종속 없이 완전한 투명성을 보장하는 Apache 2.0 라이선스를 제공합니다.

• 차세대 고성능 컴퓨팅을 위해 설계된 Valkey는 마이크로초 수준의 지연 시간과 초당 수백만 건의 연산을 제공하며, 캐싱, 실시간 애널리틱스, 세션 저장, 속도 제한, 큐잉 등 고성능이 요구되는 다양한 사용 사례를 지원합니다.

• Valkey는 Redis 생태계와의 완전한 하위 호환성을 제공해 최소한의 변경만으로 마이그레이션이 가능하며, 기존 클라이언트와 통합을 그대로 사용할 수 있습니다.

• 개방형 거버넌스 모델을 통해 개발 전반의 투명성과 커뮤니티 소유권을 보장하고, 이를 바탕으로 빠른 혁신과 장기적인 안정성을 동시에 확보합니다.

• 기존의 키 값 저장을 넘어 복제, 클러스터링, 퍼블리시 서브스크라이브, 서버 측 스크립팅은 물론 AI 및 검색 활용 사례를 위한 초고속 벡터 데이터베이스 연산 등의 최신 기능을 지원합니다.

• Valkey는 단순한 Redis 대체재를 넘어, 현대적인 엔터프라이즈와 개발자 요구에 부합하는 오픈 소스 인메모리 데이터 인프라의 진화를 대표합니다.

인메모리 데이터 저장소는 현대 애플리케이션 아키텍처의 핵심 구성 요소로 자리 잡았습니다. 캐싱과 속도 제한부터 실시간 애널리틱스와 분산 시스템에 이르기까지, 개발자는 거의 즉각적인 성능을 제공하기 위해 초고속 데이터 연산에 의존합니다. 오랫동안 Redis가 이 영역을 주도해 왔지만, 이제 오픈 소스 커뮤니티에는 강력한 새로운 대안인 Valkey가 있습니다.

Valkey는 향후 10년의 고성능 컴퓨팅을 염두에 두고 설계된 커뮤니티 주도의 완전한 오픈 소스 인메모리 데이터 저장소입니다. 이 블로그 게시물에서는 Valkey가 무엇인지, 왜 등장했는지, 핵심적인 장점은 무엇인지, 그리고 생태계를 어떻게 재편하고 있는지를 살펴봅니다.

Valkey는 OpenBSD 라이선스를 따르는 오픈 소스 인메모리 키 값 데이터베이스이자 캐시입니다. Redis가 오픈 소스 라이선스에서 소스 공개(source-available) 모델로 전환한 이후인 2024년에, 커뮤니티 주도로 Redis에서 분기되어 만들어졌습니다. 

Valkey는 현재 Linux Foundation 일부로 운영되고 있으며, 완전한 오픈 소스 상태를 유지하고 Redis 프로토콜과 데이터 구조와의 호환성을 보장하는 것을 목표로 합니다. 또한 많은 Redis 사용 사례에서 별도의 변경 없이 대체해 사용할 수 있도록 설계되었습니다.

Valkey는 오픈 소스 세계의 중요한 전환점에서 탄생했습니다. Redis Labs가 Redis의 라이선스 조건을 변경해 기존의 관대한 오픈 소스 모델에서 벗어나자, 진정한 오픈 기술에 의존하던 오픈 소스 기여자, 클라우드 벤더, 그리고 기업들 사이에 큰 불확실성이 생겼습니다.

이에 따라 커뮤니티 소유의 관대한 라이선스를 유지하는 Apache 기반 대안을 보존하기 위해, 주요 오픈 소스 지지자와 엔지니어들이 힘을 모아 Valkey를 출범시켰습니다.

Valkey는 다음과 같은 가치를 지향합니다.

• 완전한 오픈 소스 거버넌스

• 커뮤니티 소유권

• 투명한 개발

• 장기적인 안정성 및 호환성

Valkey는 다음과 같은 특징을 통해 오픈 소스 커뮤니티의 핵심 가치를 구현합니다.

• 라이선스 제약이 전혀 없는 100% 오픈 소스 데이터 저장소

• 최신 워크로드를 위한 고성능

• 하위 호환성에 대한 강한 중점

• 투명한 커뮤니티 거버넌스

Valkey는 다음과 같은 특징을 통해 오픈 소스 커뮤니티의 핵심 가치를 구현합니다.

• 라이선스 제약이 전혀 없는 100% 오픈 소스 데이터 저장소

• 최신 워크로드를 위한 고성능

• 하위 호환성에 대한 강한 중점

• 투명한 커뮤니티 거버넌스

Valkey는 Redis와 마찬가지로 모든 데이터를 메모리에서 처리하며, 마이크로초 수준의 지연 시간과 초당 수백만 건의 연산 성능을 제공합니다. 웹 애플리케이션, 마이크로서비스, 게임 시스템, AI/ML 워크로드, 사물 인터넷(IoT) 스트리밍 파이프라인, 실시간 개인화 엔진 등 다양한 환경을 지원하도록 설계되었습니다. 

독립적인 성능 벤치마크 결과에 따르면, Valkey는 처리량과 지연 시간 측면에서 이미 기존 경쟁 제품과 동등하거나 일부 경우에는 이를 상회하는 성능을 보여주고 있습니다.

Valkey는 하위 호환성을 매우 중요하게 다룹니다. 대부분의 Redis 기반 애플리케이션은 코드 변경이 거의 없거나 전혀 없이 Valkey로 전환할 수 있습니다. Redis 프로토콜, Redis 와이어 포맷, 일반적인 Redis 명령어, 그리고 널리 사용되는 Redis 클라이언트와의 호환성을 제공해, 기존 시스템을 재작성하지 않고도 이전할 수 있도록 합니다.

Valkey의 방향성은 누구나 접속 가능한 공개 RFC(Request for Comments) 프로세스를 통해 결정됩니다. 클러스터링부터 새로운 데이터 유형에 이르기까지 다양한 개선 사항이 공개적으로 논의됩니다. 이러한 개방형 거버넌스는 의사 결정이 커뮤니티에 의해 이루어지도록 보장하며, 기능과 로드맵의 투명성, 더 빠른 혁신 주기, 비공개 결정에 따른 변화가 없는 개발 환경을 가능하게 합니다.

Valkey는 다양하고 최적화된 데이터 구조를 폭넓게 지원해, 복잡한 아키텍처 없이도 개발자가 고효율 솔루션을 구축할 수 있도록 합니다. 

프로덕션 환경에서의 안정성과 수평 확장을 위해 기본 제공 복제, 장애 복구, 클러스터링 기능을 지원합니다.

또한 메시징, 이벤트 알림, 실시간 애플리케이션에 적합한 경량 저지연 퍼블리시 서브스크라이브(pub/sub) 메커니즘을 제공합니다. 

서버 측 스크립팅(Lua 스크립팅)도 지원해, 클라이언트와의 왕복 통신 없이 최신 원자적 연산을 수행할 수 있습니다. Redis와의 호환성을 바탕으로 명령줄 인터페이스 툴, 모니터링 통합 툴, 클라이언트 라이브러리, 인프라 오케스트레이션 툴(Helm, Terraform) 등 동일한 생태계를 그대로 활용할 수 있습니다.

Valkey는 다음과 같은 다양한 사용 사례에서 뛰어난 성능을 발휘합니다.

• 캐싱 

• 실시간 애널리틱스

• 세션 저장

• 속도 제한 및 스로틀링

• 큐잉 및 스트리밍

Valkey는 특히 트래픽이 많거나 지연 시간이 중요한 애플리케이션에서 캐싱 레이어로 사용하기에 매우 적합합니다. 캐싱 레이어는 자주 접속되는 데이터를 메모리(RAM)에 저장해 데이터베이스 쿼리, 디스크 읽기, API 호출, 연산과 같은 비용이 큰 작업을 줄여줍니다.

Valkey는 마이크로초 수준의 읽기 및 쓰기 지연 시간, 인메모리 구조, 수평 확장성, 오픈 소스 특성, 그리고 Redis와의 호환성을 갖추고 있어 캐싱 환경에 이상적입니다.

Valkey는 다음과 같은 환경에 특히 적합합니다.

• 이커머스 및 리테일 애플리케이션: 캐싱을 통해 상품 카탈로그 검색, 장바구니 세션, 플래시 세일 트래픽 급증, 재고 가용성 확인, 개인화 추천 처리를 효과적으로 지원할 수 있습니다.

• 게임 애플리케이션: 실시간 리더보드, 플레이어 세션 상태, 매칭 데이터, 게임 내 이벤트 추적에 캐싱이 활용됩니다.

• 미디어 스트리밍 서비스: 콘텐츠 메타데이터 조회, 사용자 시청 선호도, CDN 사이드카 캐시, 실시간 애널리틱스 데이터를 유지하는 데 캐싱이 사용됩니다.

Valkey는 빠르고 대용량이며 지연 시간이 매우 낮은 데이터 처리가 필요한 업계 전반에서 실시간 애널리틱스 용도로 널리 활용됩니다. 마이크로초 단위의 연산 성능과 인메모리 저장 방식, 스트림, 퍼블리시 서브스크라이브(pub/sub), Redis 호환 명령을 제공해 일괄 처리보다 즉각적인 인사이트가 필요한 실시간 파이프라인에 적합합니다.

• 이커머스 애플리케이션: 실시간 애널리틱스를 통해 개인화 추천, 동적 가격 책정, 장바구니 이탈 분석, 실시간 사용자 행동 추적, 재고 및 수요 예측을 제공합니다.

• 광고 및 마케팅 기술: 실시간 입찰(RTB), 캠페인 성과 지표, 고객 세분화, 클릭스트림 분석에 실시간 애널리틱스가 사용됩니다.

• IoT, 스마트 디바이스, 산업 자동화: 센서 데이터 모니터링, 장비 성능 분석, 예지 정비 신호, 환경 이상 징후 탐지에 실시간 애널리틱스가 활용됩니다.

Valkey는 빠른 인메모리 접속, TTL(Time to Live) 만료, 웹 및 모바일 애플리케이션과의 원활한 통합을 제공해 세션 저장 용도로 매우 적합합니다. 이로 인해 짧은 지연 시간의 인증, 사용자 추적, 높은 동시성이 요구되는 다양한 업계에서 사용됩니다.

• 여행, 숙박, 교통 애플리케이션: 예약 세션 유지, 사용자 여정의 연속성, 항공권이나 호텔 검색 세션을 지원하는 데 세션 저장이 활용됩니다.

• 소셜 미디어 및 메시징 플랫폼: 사용자 로그인 세션, 접속 상태 표시, 세션 기반 속도 제한, 임시 상호작용 상태 관리에 사용됩니다.

• SaaS(Software as a Service) 및 클라우드 애플리케이션: 멀티 테넌트 인증, 기능 플래그와 사용자 설정, API 세션 토큰, SSO(Single Sign-On) 상태 관리에 세션 저장이 활용됩니다.

Valkey는 트래픽 제어와 오남용 방지, 고부하 환경에서의 안정적인 저지연 서비스를 유지해야 하는 업계에서 속도 제한과 스로틀링 용도로 자주 사용됩니다. 원자적 연산, 고속 카운터, TTL 지원, 마이크로초 지연 성능을 제공해 사용자 단위, IP 단위, API 단위 제한을 적용하는 데 적합합니다.

• 사이버 보안 및 ID 공급업체: 무차별 대입 공격 방어, 사용자 및 IP 요청 제한, 행위 기반 속도 제한, 액세스 토큰 발급 제한에 사용됩니다.

• 통신사 및 ISP: API 사용량 제한, 디바이스 및 IoT 트래픽 제어, 네트워크 요청 전송률 제어에 활용됩니다.

• 핀테크 및 뱅킹: 로그인 시도 제한, 거래 요청 속도 제한, 사기 방지 임계값 설정, 파트너 API 접속 제어에 사용됩니다.

Valkey는 높은 처리량과 낮은 지연 시간의 실시간 이벤트 처리가 필요한 다양한 업계에서 큐잉과 스트리밍 용도로 널리 사용됩니다. Redis와 호환되는 리스트, 스트림, 퍼블리시 서브스크라이브, 원자적 연산을 제공해 백그라운드 작업 큐, 실시간 파이프라인, 이벤트 기반 아키텍처에 적합합니다.

• 이커머스 및 온라인 리테일 애플리케이션: 주문 처리 파이프라인, 재고 업데이트, 알림 및 이벤트 큐, 실시간 사용자 행동 스트림에 큐잉과 스트리밍이 활용됩니다.

• 교통, 물류, 여행 애플리케이션: 실시간 차량 추적 이벤트, 배송 워크플로 단계, 경로 최적화 파이프라인, 예약 처리 워크플로 큐에 사용됩니다.

• SaaS 및 클라우드 플랫폼: 이메일, 결제, 알림과 같은 백그라운드 작업 큐, 작업 스케줄링, 분산 워커 시스템, 이벤트 기반 마이크로서비스에 활용됩니다.

Valkey는 벡터 데이터베이스로 동작할 수 있어, 임베딩 기반 검색, 유사도 매칭, 추론, 검색 증강 생성(RAG)에 적합합니다. 수치형 임베딩 벡터를 메모리에 저장하고, 근사 최근접 이웃(ANN) 알고리즘을 사용해 고속 유사도 질의를 수행합니다.

Valkey로 가능한 작업은 다음과 같습니다. 

• 대규모 언어 모델(LLM), 이미지, 오디오 등에서 생성된 고차원 벡터(임베딩) 저장 

• HNSW(Hierarchical Navigable Small World) 그래프와 같은 ANN 기법을 활용한 고속 유사도 검색

• 벡터와 정형 메타데이터 또는 전체 텍스트 검색을 결합한 하이브리드 검색 

• 낮은 지연 시간이 요구되는 애플리케이션에 적합한 실시간 인덱싱 및 검색

이러한 특성으로 Valkey는 LLM 검색 시스템을 위한 저지연 벡터 저장소로 적합합니다. 현재 Akamai Inference Cloud 사용자는 Akamai 관리형 PGSQL 데이터베이스의 pgVector 및 pgVectorScale 확장만 사용할 수 있습니다. Valkey가 제공되면 데이터베이스 선택지가 하나 더 추가됩니다. 

Akamai Inference Cloud를 살펴보셨나요?

Valkey는 투명성, 커뮤니티 주도 개발, 그리고 속도를 핵심으로 하는 오픈 소스 혁신을 대표합니다. 실시간 애플리케이션을 구축하거나 백엔드 시스템을 최적화하고, 마이크로서비스를 확장하는 경우에도 Valkey는 생태계에 필요한 견고하고 개방적인 대안을 제공합니다.

라이선스 제한 없이 Redis와 유사한 성능, 기능, API를 원하면서 강력한 오픈 소스 커뮤니티의 지원을 기대한다면 Valkey가 적합합니다.

Valkey는 단순한 Redis 대체재가 아니라 인메모리 데이터 인프라의 진화입니다.

애플리케이션을 지원하는 Valkey 관리형 데이터베이스에 관심이 있으신가요? 지금 대기자 명단에 등록하세요.