Principal Data Engineer

Job title: Principal Data Engineer

Company: Gulf States Toyota

Job description: Vivir nuestros valores
Todos los asociados se guían por Nuestros Valores. Nuestros Valores son la base unificadora de nuestras empresas. Nos esforzamos por garantizar que cada decisión que tomamos y cada acción que realizamos demuestre Nuestros Valores. Creemos que poner en práctica Nuestros Valores genera beneficios duraderos para todos nuestros asociados, accionistas y las comunidades en las que vivimos.¿Por qué unirse a nosotros?

• Crecimiento profesional: avance en su carrera con oportunidades de liderazgo y desarrollo personal.
• Cultura de excelencia: sea parte de un equipo de apoyo que valore sus aportes y fomente la innovación.
• Beneficios competitivos: disfrute de un paquete integral de beneficios que atiende tanto a sus necesidades profesionales como personales.

Recompensas totales

Nuestro paquete Total Rewards subraya nuestro compromiso de reconocer sus contribuciones. Ofrecemos una estructura de compensación competitiva y justa que incluye salario base y recompensas basadas en el desempeño. La compensación se basa en el conjunto de habilidades, la experiencia, las calificaciones y los requisitos relacionados con el trabajo. Nuestro paquete integral de beneficios incluye seguro médico, dental y de la vista, programas de bienestar, planes de jubilación y generosas licencias remuneradas. Descubra más sobre lo que ofrecemos visitando nuestra página.Un día en la vida

El ingeniero de datos principal dentro del equipo de análisis y ciencia de datos desempeña un papel crucial en la arquitectura, implementación y gestión de plataformas de datos sólidas y escalables. Este puesto exige una combinación de conocimientos de ingeniería de datos en la nube, ingeniería de sistemas, integración de datos y sistemas de aprendizaje automático para mejorar las capacidades de datos de GST, respaldando análisis avanzados, proyectos de aprendizaje automático y necesidades de procesamiento de datos en tiempo real. Guiarás a otros miembros del equipo y colaborarás estrechamente con equipos multifuncionales para diseñar e implementar soluciones de datos modernas que permitan la toma de decisiones basada en datos en toda la organización.Como ingeniero principal de datos podrás:

• Colabore con expertos funcionales de TI y negocios para recopilar requisitos o problemas, realizar análisis de brechas y recomendar/implementar mejoras de procesos y/o tecnología para optimizar las soluciones de datos.
• Diseñe soluciones de datos en Databricks, incluidos Delta Lake, Data Warehouse, Data Mart y otros, para respaldar las necesidades analíticas y de ciencia de datos de la organización.
• Diseñe e implemente canalizaciones de datos escalables y confiables para ingerir, procesar y almacenar diversos datos a escala, utilizando tecnologías como Databricks, Apache Spark, Kafka, Flink, AWS Glue u otros servicios de AWS.
• Trabaje en entornos de nube como AWS para aprovechar servicios que incluyen, entre otros, EC2, RDS, S3, Athena, Glue, Lambda, EMR, Kinesis y SQS para un manejo y procesamiento de datos eficiente.
• Desarrollar y optimizar modelos de datos y soluciones de almacenamiento (SQL, NoSQL, Key-Value DBs, Data Lakes) para soportar aplicaciones operativas y analíticas, garantizando la calidad y accesibilidad de los datos.
• Utilice herramientas y marcos de ETL (por ejemplo, Apache Airflow, Talend) para automatizar los flujos de trabajo de datos, garantizando una integración de datos eficiente y una disponibilidad oportuna de los datos para análisis.
• Implemente canalizaciones con un alto grado de automatización para flujos de trabajo de datos y canalizaciones de implementación utilizando herramientas como Apache Airflow, Terraform y marcos CI/CD.
• Colabore estrechamente con analistas de negocios, científicos de datos, ingenieros de aprendizaje automático e ingenieros de optimización, proporcionando la infraestructura de datos y las herramientas necesarias para modelos analíticos complejos, aprovechando Python, Scala o R para scripts de procesamiento de datos.
• Garantice el cumplimiento de las políticas de gobierno de datos, cumplimiento y seguridad, implementando mejores prácticas en cifrado de datos, enmascaramiento y controles de acceso dentro de un entorno de nube.
• Establezca las mejores prácticas para la documentación, las pruebas y el control de versiones del código, garantizando prácticas de ingeniería de datos consistentes y reproductivas en todo el equipo.
• Supervise y solucione problemas de canalizaciones de datos y bases de datos para detectar problemas de rendimiento, aplicando técnicas de ajuste para optimizar el acceso y el rendimiento de los datos.
• Garantice el uso eficiente de los recursos de AWS y Databricks para minimizar los costos mientras mantiene un alto rendimiento y escalabilidad.
• Trabajo multifuncional para comprender el panorama de datos, desarrollar pruebas de conceptos y demostrar a las partes interesadas.
• Lidera uno o más proyectos de datos y apoya con recursos internos y externos. Entrenar y orientar a ingenieros de datos junior.
• Manténgase al tanto de las tecnologías y metodologías emergentes en ingeniería de datos, abogando e implementando mejoras en el ecosistema de datos.

Lo que necesitamos de ti

• Licenciatura en Ciencias de la Computación, Ciencias de Datos, MIS, Ingeniería, Matemáticas, Estadística u otra disciplina cuantitativa con 5 a 8 años de experiencia práctica en ingeniería de datos, con un historial comprobado en el diseño y operación de arquitecturas y canales de datos a gran escala.
• Experiencia comprobada en el diseño de canalizaciones y arquitectura de datos escalables y tolerantes a fallas en Databricks delta lake, lakehouse, unity catalog, streaming, AWS, desarrollo ETL/ELT y modelado de datos, con un enfoque en la optimización del rendimiento y la mantenibilidad.
• Amplia experiencia en plataformas y servicios como Databricks y ofertas de datos nativos de AWS.
• Sólida experiencia con tecnologías de big data (Databricks, Apache Spark, Kafka) y servicios en la nube de AWS relacionados con el procesamiento y almacenamiento de datos.
• Se requiere una sólida experiencia práctica con el desarrollo de canalizaciones ETL/ELT utilizando herramientas de AWS y flujos de trabajo de Databricks
• Se requiere sólida experiencia en servicios en la nube de AWS, con experiencia práctica en la integración de servicios informáticos y de almacenamiento en la nube con Databricks.
• Competente en SQL y lenguajes de programación relevantes para la ingeniería de datos (se requiere Python, Java, Scala).
• Experiencia práctica en RDBMS y almacenamiento de datos (modelado de datos, análisis, programación, procedimientos almacenados) Requerido
• Buen conocimiento de la arquitectura del sistema y los patrones de diseño para diseñar y desarrollar aplicaciones utilizando estos principios. Requerido
• Competencia con sistemas de control de versiones como Git y experiencia con canalizaciones de CI/CD para automatizar implementaciones de ingeniería de datos.
• La familiaridad con las prácticas de implementación y gestión del modelo de aprendizaje automático es una ventaja. Preferido
• Se valora experiencia con SAP, BW, HANA, Tableau o Power BI. Preferiblemente
• Se valora experiencia en industrias automotrices, manufactureras o de cadena de suministro. Preferiblemente
• Liderazgo del ciclo de vida del proyecto y soporte para el taller de requisitos, diseño, desarrollo, ciclos de prueba y transición de producción, soporte posterior a la puesta en marcha y estrategia ambiental. Fuerte conocimiento de metodologías ágiles Requerido
• Fuertes habilidades de comunicación, capaz de colaborar eficazmente entre equipos técnicos y no técnicos en un entorno acelerado. Requerido
• Se prefiere el arquitecto de soluciones certificado por AWS
• Preferiblemente desarrollador asociado certificado de Databricks para Apache Spark
• u otras certificaciones relevantes. Privilegiado

Requisitos físicos y ambientales Los requisitos físicos descritos aquí son representativos de aquellos que debe cumplir un asociado para realizar con éxito las funciones esenciales del trabajo. Mientras realiza las tareas del trabajo, el asociado debe analizar e interpretar datos diariamente, comunicarse y permanecer en una posición estacionaria durante una cantidad significativa de la jornada laboral y acceder, ingresar y recuperar información de la computadora con frecuencia. y otros dispositivos de productividad de oficina. El asociado debe desplazarse periódicamente por la oficina y por el campus corporativo. El asociado debe mover frecuentemente hasta 10 libras y ocasionalmente hasta 25 libras.Requisitos de viaje

20% Ocasionalmente se requiere que el asociado viaje a otros sitios, incluso fuera del estado, cuando corresponda, por negocios.Únase a nosotros
Friedkin Group y sus afiliados están comprometidos a garantizar la igualdad de oportunidades laborales, incluida la provisión de adaptaciones razonables a personas con discapacidades. Si tiene una discapacidad y desea solicitar una adaptación, contáctenos en [email protected]. Celebramos la diversidad y estamos comprometidos a crear un entorno inclusivo para todos los asociados.Buscamos candidatos legalmente autorizados para trabajar en Estados Unidos, sin Patrocinio.#HP125#LI-BM1

Expected salary:

Location: Houston, TX

Job date: Sun, 03 Nov 2024 08:05:24 GMT

Apply for the job now!