G 사 Azure 기반 DW 및 DM 구성도

G사 프로젝트 

- 기존 IDC 내 DW 솔루션 EoS

- 대용량 데이터 수집 및 처리, 온프레미스 구현 한계 인지

- 주요 보고서 데이터 시각화 필요성

ETL 구성

• 각 SaaS, PaaS servic는 Private Link를 통해 Azure 가상 네트워크(VNet) 내부로 연결

• Azure VNet – AWS, Onprem 네트워크는 ipsec VPN을 통해 inside 통신

• ADF의 통제를 받아 각 onprem IR서버가 SQL 및 AWS RDS 내 데이터 이동

• 외부 제공 ‘날씨 데이터'는 Open APi를 통해 ADF가 Blob storage로 이동

• DataBricks는 이동된 Data를 Bronse → Sliver → Gold로 변환

• 변환된 최종 데이터 Gold는 DataBricks SQL instance를 통해 보고서로 활용

• 변환된 최종 데이터 Gold는 ADF가 SQL Mi로 이동 G사 내부 User 및 Application이 활용