Data Engineer vacature
Als data engineer ben je bezig met het ontwerpen, bedenk en ontwikkelen van technische oplossingen die het mogelijk maken data te verzamelen, op te slaan en vervolgens te analyseren. Die data is afkomstig uit interne en externe offline en online bronnen en worden bijvoorbeeld gebruikt om strategieën uit te stippelen en beleidskeuzes te maken.
Er zijn verschillende typen data:
* Transactiedata
* Sensorische data
* Data uit CRM-systemen
* GPS-gegevens
* Data uit social media.
Er wordt onderscheid gemaakt tussen gestructureerde (structured) en ongestructureerde (unstructured) big data. Gestructureerde data zijn kwantitatieve gegevens die eenvoudig te verwerken zijn en opgeslagen kunnen worden in databases, bijvoorbeeld woonplaats of leeftijd. Het merendeel van data die bestaat is ongestructureerd. Deze data kun je zien als kwalitatief en zijn - in tegenstelling tot gestructureerde data - niet te vatten in formats of cijfers. Voorbeelden van ongestructureerde data zijn gegevens uit interacties op social media.
Onder het takenpakket van een Data Engineer vallen verschillende werkzaamheden zoals:
* Combineren van interne en externe bronnen
* Streaming- en batchprocessen ontwikkelen om data te verzamelen
* Meebouwen aan datalandschap en cloudoplossingen en microservices zoals AWS
* Beheren en optimaliseren van datastromen en datawarehouse
* Infrastructuur ontwerpen voor big data lakes (opslag van ongestructureerde datastromen)
* Onderhouden en optimaliseren van de (cloud) infrastructuur
Een data engineer heeft kennis van en ervaring met een of meer van de volgende systemen, tools en technieken:
* Dataverwerkingsprocessen: SQL (Structured Query Language) en ETL (Extract, Transform, Load)
* Cloud computing: AWS en Azure
* Programmeertalen: Python, Scala, Java, R
* Datasystemen: Spark, Hadoop, MongoDB, Redis, Cassandra
Op zoek naar een uitdagende data engineer functie?
Visser & Van Baars assisteert je graag bij het vinden van een geschikte data engineer functie!