데이터 레이크
data lake실무다른 이름: 데이터레이크, 데이터 호수
뜻풀이
쉬운 AI 사전
- [명사] (데이터) 글, 사진, 영상, 표 같은 온갖 데이터를 가공하지 않은 채 그대로 쏟아 넣어 두는 큰 저장소.
실무 AI 사전
- [명사] (데이터) 원본 형태의 정형, 반정형, 비정형 데이터를 값싼 객체 저장소에 모아 두는 방식. 이미지와 문서 같은 학습 자료를 대량으로 보관하기 좋지만, 정리하지 않으면 무엇이 어디 있는지 알 수 없는 데이터 늪이 되기 쉽다.
전문 AI 사전
- [명사] (데이터) 스키마를 저장 시점이 아니라 읽을 때 적용하는 스키마 온 리드 방식의 저장소. 보통 객체 저장소 위에 Parquet 같은 열 기반 파일 형식으로 쌓으며, 메타데이터 카탈로그와 접근 통제가 없으면 데이터 품질과 거버넌스가 무너진다.
관용구/함께 쓰는 말
- 데이터 늪 - 관리되지 않은 채 쌓이기만 해서 쓸 수 없게 된 데이터 레이크를 비꼬는 말.
- 원본 보관 - 가공 전 데이터를 그대로 남겨 두는 레이크의 기본 원칙.
쉬운 비유
여러 강물이 흘러들어 모이는 호수와 같다. 맑은 물도 흙탕물도 일단 한곳에 모이고, 마실 때는 정수해서 쓴다.
예문
- 로그와 이미지 원본은 일단 데이터 레이크에 쌓아 두고 필요할 때 꺼내 쓴다.
- 레이크에 파일이 너무 많아서 카탈로그 없이는 찾기 힘들다.
- 학습용 말뭉치를 데이터 레이크에서 골라 모델 팀에 넘겼다.
헷갈리는 용어 비교
- 데이터 웨어하우스
- 레이크는 원본을 구조 없이 담고 나중에 해석하고, 웨어하우스는 미리 정리한 데이터를 구조에 맞춰 담는다. 이미지나 로그처럼 형태가 다양한 AI 학습 자료는 레이크가 편하고, 확정된 지표 집계는 웨어하우스가 편하다.
맞춤법/표기법
- 바른 표기
- 데이터 레이크
- 주의할 표기
- 데이터 래이크
- 원어
- data lake
- 다른 이름
- 데이터레이크, 데이터 호수
- 참고
- 외래어 표기법상 '레이크'.