ВСЕ СТАТЬИ

← Вернуться к статьям
Data Forge: Собираем весь современный дата-стек на своем ноутбуке одной командой.

Data Forge: Собираем весь современный дата-стек на своем ноутбуке одной командой.

5 октября в 06:48
habr.comтехнологии
5 октября в 06:48•faviconhabr.com•технологии

Data Forge: Собираем весь современный дата-стек на своем ноутбуке одной командой. Привет, Хабр! Давайте признаемся: порог входа в Data Engineering довольно высок. И дело не только в знании SQL или Python. Настоящая боль начинается, когда ты пытаешься собрать на своей машине хотя бы простенький пайплайн. Нужно поднять Kafka, рядом поставить Zookeeper (или обойтись Kraft, если ты хипстер), прикрутить Debezium для CDC, развернуть Spark для обработки, где-то хранить результат (привет, MinIO!), а потом всё это оркестрировать через Airflow и визуализировать в Superset. Каждый инстр...

Еще статьи из категории

Еще статьи