#14537 | 2019-08-26 Virum, Denmark

Data Engineer

For a client in the energy sector, we are looking for a data engineer.

Scope to be covered by the consultant:

POC
  • Transform the delivered CSV files into Azure DW load format (Azure PolyBase based)
  • Simple SQL modelling.
  • Create model for handling documents connected to the SQL data model (assumed to be based on Data Lake storage gen. 2 BLOB to be accessed via http).
  • Create simple model for user access to data (assumed to be based to a simple Azure Power BI Dashboard).
  • Support the POC process to a stage where accepted by the stakeholders.
  • Build authorisations to restrict access to critical data (GDPS)

Data migration
  • Finalise the POC into production maturity.
  • Support the ongoing load process.
  • Adapt data type deviation as the occur during the data migration process.

Build/enhance user interface / reports.
  • Based on the developed data model.


General qualifications to solve the task:

General profile:
  • General understanding of DW/BI in an Azure Cloud technology environment
  • Experienced in Azure technology
  • SQL and data modeling
  • Data transformation in relation to loading data into the * Azure data containers
  • Experience with DataBricks (Python/SQL mapping) is an advantage

Data containers:
  • Azure DW
  • Azure SQL DB
  • Azure Data Lake storage gen 2 and BLOB storage

Data transformation:
  • Polybase (transformation and load data into Azure DW)
  • Python (data transformation)
  • Blob storage to handle documents/pictures etc. (incl. mime handling)

Data access:
  • Experienced with utilise Azure AD to protect access to data (authentication/authorisation)
  • Simple dashboards to support guided access to data.
  • SQL based access to support super users.


Start: ASAP
Duration: 30. Maj 2020
Work location: Virum, Denmark
Requirements: Min. 5 years of professional IT experience.
Job type: Freelance

Projekt avslutat

Tyvärr söker vi inte längre konsulter till det här projektet.

Klicka på ”Till uppdragslistan” för att visa aktuella projekt.

Om du är kund och letar efter den här typen av profil kan du använda formuläret "Visa konsult-CV" på vår andra webbplats.

ProData Consult lagrar data i din webbläsare / enhet med hjälp av cookies i syfte att framställa statistik och optimera våra webbplatser och eventuellt för riktade annonser. Genom att acceptera, ger du oss ditt samtycke till denna användning av cookies. Läs vår sekretesspolicy för mer information. Du kan alltid återkalla ditt samtycke här: Integritetspolicy & cookies

Webbplatsen kräver användning av "Nödvändiga cookies". Våra nödvändiga cookies används bara för att leverera en fungerande webbplats och webbservice.

Valda tredjepartstjänster kan lagra cookies för att placera relevanta annonser som ska levereras till dig på tredje parts webbplatser.