ETL Flujo de datos end-to-end

CopperPrint

Producción y huella hídrica de la minería del cobre en Chile

Arquitectura del pipeline

  1. 01 Fuentes
    Comisión chilenadel cobre (COCHILCO)
  2. 02 Python ETL
    pandasSQLAlchemygoogle-cloud-bigquery
  3. 03 Docker
    Docker Composelazydockervolumen mssql-data
  4. 04 SQL Server
    T-SQLesquema OLTPmodelo estrella7 tablas
  5. 05 BigQuery
    Data Warehouse6 vistas analíticassouthamerica-west1
  6. 06 Power BI
    DirectQueryDAXpbix Service
Dashboard interactivo DirectQuery · BigQuery · 3 páginas

Sobre el proyecto

Pipeline

ETL completo en Python que extrae datos públicos de la Cochilco, los transforma en un modelo en SQL Server conectado a BigQuery

Resultado

Dashboard interactivo en Power BI sincronizado por DirectQuery a Google Cloud, con KPIs, DAX y seis vistas analíticas

Workspace: Linux Debian 12 · Conda environment · Docker Compose · Microsoft SQL Server · LazyDocker + VSCode + DBeaver · Datasource desplegada en Google Cloud BigQuery

El sistema en acción

Vistas analíticas en DBeaver
Vistas analíticas en DBeaver SQL Server · T-SQL
Entorno Docker con lazydocker
Entorno Docker con lazydocker Docker Compose · SQL Server
Flujo ETL
Flujo ETL Python · pandas · SQLAlchemy
Modelo estrella en Power BI
Modelo estrella en Power BI DAX · Cardinalidad · DirectQuery