ВСЕ СТАТЬИ

← Вернуться к статьям
Почему HTTP-загрузка в Apache Doris такая быстрая: разбор Stream Load по исходникам.
20 февраля в 14:16
habr.comтехнологии

Почему HTTP-загрузка в Apache Doris такая быстрая: разбор Stream Load по исходникам.

20 февраля в 14:16•faviconhabr.com•технологии

Почему HTTP-загрузка в Apache Doris такая быстрая: разбор Stream Load по исходникам. Загружал пару лет переписки из Telegram в Apache Doris на ноутбуке. Первый запуск 2 часа. После оптимизации 206 400 сообщений за 5 секунд. Полез в исходники разобраться, почему Stream Load (HTTP-загрузка данных) в Doris работает так быстро. В статье разбор C++ кода: от HTTP PUT до Segment-файла на диске. Что внутри: — 14 шагов одного HTTP-запроса (с диаграммой и кодом) — StreamLoadPipe: буфер 4 MB с backpressure — Иерархия записи: LoadChannel → DeltaWriter → MemTable → async flush...

Еще статьи из категории

Еще статьи