AWS Data Pipeline은 활동의 내결함성 실행을 위해 설계된 고가용성의 분산 인프라에 구축되어 있습니다. 활동 로직 또는 데이터 소스에 장애가 발생하면 AWS Data Pipeline에서 자동으로 해당 활동을 다시 시도합니다. 장애가 지속되면 AWS Data Pipeline가 AWS Simple Notification Service(AWS SNS)를 통해 실패 알림을 보냅니다. 실행 성공, 계획된 활동의 지연 또는 실패에 대한 알림을 구성할 수 있습니다.

Amazon의 드래그 앤 드롭 콘솔을 사용하여 쉽고 빠르게 파이프라인을 만들 수 있습니다. 일반적인 사전 조건은 서비스 내에 구축되므로 이를 사용하기 위해 추가 논리를 작성하지 않아도 됩니다. 예를 들어 검사할 AWS S3 버킷의 이름 및 파일 경로만 간단히 제공하면 AWS Data Pipeline이 나머지 작업을 수행하여 AWS S3 파일이 있는지 검사합니다. AWS Data Pipeline은 편리한 시각적 Pipeline Creator뿐만 아니라 파이프라인 템플릿 라이브러리를 제공합니다. 이러한 템플릿을 사용하면 정기적으로 로그 파일을 처리하고 AWS S3에 데이터를 보관하거나 주기적으로 SQL 쿼리를 실행하는 등의 더 복잡한 사용 사례에 대한 파이프라인을 매우 간편하게 만들 수 있습니다.

AWS Data Pipeline을 사용하면 일정 예약, 종속성 추적, 오류 처리 등의 다양한 기능을 활용할 수 있습니다. AWS에서 제공하는 활동 및 사전 조건을 사용하거나 사용자 지정 활동 및 사전 조건을 작성할 수 있습니다. 따라서 AWS Data Pipeline에서 AWS EMR 작업을 실행하거나 데이터베이스에서 직접 SQL 쿼리를 실행하거나 AWS EC2 또는 자체 데이터센터에서 실행 중인 사용자 지정 애플리케이션을 실행하는 등의 조치를 취하도록 구성할 수 있습니다. 이렇게 하여 안정적으로 애플리케이션 논리를 예약하고 실행하는 등 복잡하게 처리하지 않고도 데이터를 분석하고 처리할 수 있는 강력한 사용자 지정 파이프라인을 만들 수 있습니다.

AWS Data Pipeline은 작업을 하나 또는 여러 대의 머신에 직렬 또는 병렬 방식으로 디스패치할 수 있습니다. AWS Data Pipeline의 유연성 있는 설계 덕분에 다수의 파일 처리도 단일 파일 처리만큼 쉽습니다.

AWS Data Pipeline은 저렴한 비용으로 사용할 수 있으며 월 사용료가 낮습니다. AWS 프리 티어를 통해 무료료 사용해 보실 수 있습니다.

사용자는 비즈니스 논리를 실행하는 컴퓨팅 리소스를 완벽하게 제어하고 쉽게 논리를 개선하거나 디버깅합니다. 또한, 전체 실행 로그가 자동적으로 AWS S3로 전송되므로 사용자는 파이프라인의 상황에 대한 지속적이고 자세한 레코드를 받을 수 있습니다.