Azure Data Factory (ADF) is Microsoft's cloud-based data integratie service voor het bouwen van ETL/ELT pipelines. Deze tutorial helpt beginners om data van Azure SQL naar Azure Data Lake te kopiëren en te visualiseren met Power BI.
Stap 1: Setup
- Maak een Azure account (gratis trial beschikbaar)
- Creëer een Data Factory instance via Azure Portal
Stap 2: Linked Services
- Configureer connecties naar je databronnen (SQL Database, Data Lake Storage)
- Gebruik Managed Identity voor veilige authenticatie
Stap 3: Datasets
- Definieer je source en sink datasets
- Specificeer file formats (CSV, Parquet, JSON)
Stap 4: Pipeline Creation
- Gebruik de visual designer
- Sleep Copy Data activity
- Configureer source naar sink mapping
Stap 5: Triggers
Schedule pipelines met tijd-based triggers of event-based triggers.
Monitoring
ADF biedt uitgebreide monitoring voor pipeline runs, foutafhandeling, en performance metrics.
Advanced features
- Data Flows voor complexe transformaties
- Integration Runtime voor hybrid scenarios
- Parameters voor dynamic pipelines
U-SQL integratie mogelijk via Azure Data Lake Analytics activities.
Best practices
- Gebruik naming conventions
- Implement error handling
- Optimize voor kosten door juiste compute sizes
Power BI integratie
Gebruik ADF om data voor te bereiden, connect Power BI rechtstreeks naar Data Lake.
Start klein, leer de basics, schaal geleidelijk op naar complexere scenarios.