Как стримить данные из Snowflake в Couchbase или зачем писать свой плагин для Redpanda/Connect

RTB (Real Time Bidding) — это технология аукциона в реальном времени, которая используется в онлайн-маркетинге для покупки и продажи рекламного пространства. Один из этапов заключается в сборе и обновлении данных о категориях, к которым принадлежат те или иные сайты. В нашей системе такие данные заносятся в БД Snowflake, и эти изменения необходимо оперативно транслировать в Couchbase. В данном докладе я расскажу, как мы это делаем, почему нам понадобилось писать плагин для сервиса потоковой обработки данных Redpanda/Connect и что в итоге осталось на продакшене. Александр Ванюшкин Software engineer, Weborama 00:00 - О докладчике и теме выступления 01:00 - Как стримить данные из Snowflake в Couchbase 17:43 - Вопросы докладчику