Дата инженер

Как следует из названия должности, инженеры по обработке данных принимают непосредственное участие в доставке, хранении и обработке информации. Они создают рабочие процессы, конвейеры данных и процессы ETL (обработка и преобразование информации).

Другими словами, инженеры строят все каналы связи, начиная с процесса сбора информации и заканчивая ее преобразованием в нужный формат. Например, промышленные симуляторы, такие как Factorio или Satisfactory, они находят источник данных и трубопровод для их передачи и создания инфраструктуры для обработки и преобразования информации.

С появлением больших данных сфера ответственности кардинально изменилась. Если раньше мы использовали такие инструменты, как Informatica ETL, Pentaho ETL и Talend для написания больших SQL-запросов и извлечения данных, то сейчас растет спрос на инженеров по обработке данных.

Многие компании, желающие нанять инженеров по обработке данных, предъявляют следующие требования:

• Отличное знание SQL и Python.
• Опыт использования облачных платформ, в частности Amazon Web Services.
• Желательно знание Java/Scala.
• Хорошее понимание баз данных SQL и NoSQL (моделирование данных, хранение данных).