Importante empresa de Software incorpora Data Engineer
Responsabilidades
Diseñar, desarrollar, probar y mantener arquitecturas de datos complejas, a gran escala y de alto rendimiento, que den soporte a la integración de datos (por lotes y en tiempo real, patrones ETL y ELT de sistemas de datos heterogéneos: APIs y plataformas), almacenamiento (data lakes, warehouses, marts, etc), procesamiento, orquestación e infraestructura. Garantizar la escalabilidad, la fiabilidad y el rendimiento de los sistemas de datos.
Contribuir al diseño detallado, discusiones de arquitectura y sesiones de requisitos del cliente.
Participar activamente en el diseño, desarrollo y prueba de productos de big data..
Evaluar las mejores prácticas y diseñar esquemas que se ajusten a las necesidades empresariales para ofrecer una solución analítica moderna (descriptiva, de diagnóstico, predictiva, prescriptiva).
Diseñar y desarrollar código claro y mantenible con pruebas automatizadas utilizando Pytest, unittest, etc.
Colaborar con equipos interfuncionales y de Producto, Ingeniería, Científicos de Datos y Analistas para entender los requerimientos de datos y desarrollar soluciones de datos, incluyendo componentes reutilizables que cumplan con los entregables del producto.
Evaluar e implementar nuevas tecnologías y herramientas para mejorar la integración, el procesamiento, el almacenamiento y el análisis de datos.
Evaluar, diseñar, implantar y mantener soluciones de gobernanza de datos: catalogación, linaje, calidad de datos y marcos de gobernanza de datos adecuados para una solución analítica moderna, teniendo en cuenta las mejores prácticas y patrones estándar del sector.
Garantizar la calidad y precisión de los datos.
Skills tecnológicos solicitados:
Sólidos conocimientos de programación en uno o más lenguajes como Python (imprescindible), Scala, y competencia en la escritura de código eficiente y optimizado para la integración, almacenamiento, procesamiento y manipulación de datos.
Sólida experiencia en el uso de Markdown para documentar código o herramientas de documentación automatizada (por ejemplo, PyDoc).
Sólida experiencia con Tecnologías de Procesamiento de Datos escalables y distribuidas como Spark/PySpark (imprescindible: experiencia con Azure Databricks es un plus), DBT y Kafka, para poder manejar grandes volúmenes de datos.
Sólida experiencia en el diseño e implementación de procesos ELT/ETL eficientes en Azure y utilizando soluciones de código abierto siendo capaz de desarrollar soluciones de integración personalizadas según sea necesario.
Habilidad en la integración de datos de diferentes fuentes como APIs, bases de datos, archivos planos, streaming de eventos.
Experiencia en limpieza, transformación y validación de datos.
Dominio de bases de datos relacionales (Oracle, SQL Server, MySQL, Postgres o similares) y bases de datos no SQL (MongoDB o Table).
Buena comprensión de los principios de modelado de datos y diseño de bases de datos. Ser capaz de diseñar e implementar esquemas de bases de datos eficientes que cumplan con los requisitos de la arquitectura de datos para soportar soluciones de datos.
Sólidos conocimientos de SQL.
Sólida experiencia en el diseño e implementación de soluciones de Data Warehousing en Azure con Azure Synapse Analytics y/o Snowflake.
Sólida comprensión del ciclo de vida de desarrollo de software (SDLC), especialmente metodologías Agile.
Sólido conocimiento de las herramientas y tecnologías SDLC Azure DevOps, incluyendo software de gestión de proyectos (Jira, Azure Boards o similar), gestión de código fuente (GitHub, Azure Repos, Bitbucket o similar), sistema CI/CD (GitHub actions, Azure Pipelines, Jenkins o similar) y gestor de repositorios binarios (Azure Artifacts o similar).
Sólido conocimiento de los principios DevOps, incluyendo integración continua, entrega continua (CI/CD), infraestructura como código (IaC), gestión de la configuración, pruebas automatizadas y gestión de costes.
Conocimientos en computación en la nube, específicamente en servicios de Microsoft Azure relacionados con datos y análisis, como Azure Data Factory, Azure Databricks, Azure Synapse Analytics (anteriormente SQL Data Warehouse), Azure Stream Analytics, SQL Server, Azure Blob Storage, Azure Data Lake Storage, Azure SQL Database, etc.
Experiencia en orquestación utilizando tecnologías como Apache Airflow
Fuertes habilidades analíticas para identificar y abordar problemas técnicos, cuellos de botella de rendimiento y fallas del sistema.
Competencia en la depuración y resolución de problemas en entornos y pipelines de datos y análisis complejos.
Buena comprensión de la calidad y la gobernanza de datos, incluida la aplicación de controles de calidad de datos y procesos de supervisión para garantizar que los datos sean precisos, completos y coherentes.
Experiencia con soluciones BI incluyendo PowerBI y Tableau es un plus.
Conocimiento de contenedores y sus entornos (Docker, Podman, Docker-Compose, Kubernetes, Minikube, Kind, etc.).
Buenas habilidades de resolución de problemas: ser capaz de solucionar problemas de tuberías de procesamiento de datos e identificar cuellos de botella de rendimiento y otros problemas.
Fuertes habilidades de comunicación escrita y verbal para colaborar con equipos interfuncionales, incluidos arquitectos de datos, ingenieros de DevOps, analistas de datos, científicos de datos, desarrolladores y equipos de operaciones.
Capacidad para documentar procesos, procedimientos y configuraciones de despliegue.
Comprensión de las prácticas de seguridad de Azure, incluidos los grupos de seguridad de red, Azure Active Directory, cifrado y normas de cumplimiento.
Habilidad para implementar controles de seguridad y mejores prácticas dentro de las soluciones de datos y análisis, incluyendo conocimiento competente y experiencia de trabajo en varias vulnerabilidades de seguridad en la nube y formas de mitigarlas.
Automotivación y capacidad para trabajar en equipo.
Disposición para mantenerse actualizado con los últimos servicios de Azure, las tendencias de ingeniería de datos y las mejores prácticas en este campo.
Preocupación por la arquitectura, la observabilidad, las pruebas y la creación de infraestructuras y data pipelines.
BENEFICIOS:
Trabajo en relación directa, efectiva y con continuidad laboral.
Obra Social-Prepaga OSDE 210 incluye Grupo Familiar.
Actualizaciones salariales
Home Office full . (De lunes a viernes)Flex Time en las puntas
Capacitación continua.
Día del cumpleaños LIBRE!
Clases de Inglés (luego de los 3 meses de permanencia en la Compañía).
Gimnasio
Horario de trabajo: De Lunes a Viernes de 9 a 18 hs o 8.30 a 17.30 hs o 8 a 17 hs (pueden elegir el esquema de horarios)
Las oficinas quedan en Nuñez CABA aunque actualmente, se trabaja full REMOTO.
Los interesados enviar CV actualizado con remuneración pretendida a : info@consultoriait.com.ar