데이터 파이프라인

뜻풀이

쉬운 AI 사전

1. [명사] (데이터) 여러 곳에 흩어진 데이터를 모아서 쓸 수 있는 모양으로 바꾼 뒤, 필요한 곳까지 자동으로 옮겨 주는 길.

실무 AI 사전

1. [명사] (데이터) 앱 로그, 데이터베이스, 외부 API 같은 원천에서 데이터를 가져와 정제하고 저장소나 분석 도구, 학습 환경으로 전달하는 자동 흐름. AI 모델은 신선하고 깨끗한 데이터가 계속 들어와야 하므로 파이프라인이 불안정하면 학습과 서비스 품질이 함께 흔들린다.

전문 AI 사전

1. [명사] (데이터) 수집, 검증, 변환, 적재 단계로 이루어진 데이터 이동 체계. 배치 방식과 스트리밍 방식이 있으며, 재실행해도 결과가 같은 멱등성, 스키마 변화 대응, 지연과 누락 감시가 설계의 핵심이다. ETL과 ELT는 이 구조에서 변환 위치를 달리한 방식이다.

관용구/함께 쓰는 말

• 데이터 파이프라인을 구축하다 - 데이터가 자동으로 모이고 가공되어 흐르는 체계를 만드는 것.
• 파이프라인 지연 - 데이터가 목적지에 도착하는 시간이 예정보다 늦어지는 상태.

쉬운 비유

수도관 공사와 같다. 강이나 우물에서 물을 끌어와 정수장에서 깨끗하게 만들고, 각 집 수도꼭지까지 끊기지 않게 보내는 설비다.

예문

• 고객 로그가 매시간 데이터 웨어하우스로 쌓이도록 데이터 파이프라인을 만들었다.
• 어제부터 데이터 파이프라인이 멈춰서 대시보드 숫자가 갱신되지 않았다.
• 모델 성능이 갑자기 떨어졌는데 알고 보니 데이터 파이프라인에서 한 칼럼이 누락되고 있었다.

헷갈리는 용어 비교

파이프라인

데이터 파이프라인은 데이터를 옮기고 다듬는 일에 초점이 있고, 파이프라인은 학습과 배포 등 더 넓은 단계를 잇는 말이다. 데이터 파이프라인은 파이프라인의 한 종류로 보면 쉽다.

ETL

ETL은 추출, 변환, 적재라는 데이터 파이프라인의 한 처리 방식 이름이다. 데이터 파이프라인은 ETL 말고도 ELT나 실시간 스트리밍 처리 등을 모두 포함하는 상위 개념이다.

맞춤법/표기법

바른 표기

데이터 파이프라인

주의할 표기

데이터파이프 라인

원어

data pipeline

다른 이름

데이터 흐름 파이프라인

참고

붙여 쓰는 경우가 많지만 원칙적으로는 띄어 쓴다.

관련어