CLICH: Построение хранилища данных на базе Clickhouse

Что такое ClickHouse и его роль в DWH

Clickhouse — это популярная колоночная аналитическая СУБД, которая позволяет обрабатывать гигабайты данных в реальном времени. В отличие от строковых баз данных, например, mysql или postgresql, где информация данные хранятся на диске по одной строке за раз, что отлично подходит для транзакционных рабочих нагрузок, т.е. OLTP-приложений, в ClickHouse данные хранятся на диске по одному столбцу за раз. Каждый фрагмент данных представляет собой целый столбец. Поэтому все значения одного атрибута сущности сгруппированы вместе. Подобный принцип хранения данных сокращает время выполнения аналитических запросов в OLAP-приложениях, где соединяются данные по очень большому количеству записей.

ClickHouse имеет массивно-параллельную архитектуру (MPP, Massively Parallel Processing) без разделения ресурсов. Такая архитектура отлично подходит для OLAP-сценариев, поскольку аналитические СУБД работают с огромными объёмами данных, которые постоянно растут.

ClickHouse не поддерживает ACID-требования к транзакциям и ANSI SQL. Но эта СУБД предоставляет декларативный SQL-подобный язык запросов, включая такие операторы, как GROUP BY, ORDER BY, подзапросы в разделах FROM, IN, JOIN, оконные функции и скалярные подзапросы. Зависимые подзапросы пока не поддерживаются.

С архитектурной точки зрения один экземпляр ClickHouse на несколько серверов, к которым напрямую приходят запросы пользователей. Для репликации данных и выполнения распределённых SQL-запросов в ClickHouse используется сервис синхронизации метаданных ClickHouse Keeper, аналогичный по функция Apache Zookeeper, но написанный на C++.

Высокую скорость обработки больших данных ClickHouse обеспечивает не только благодаря колоночному принципу хранения данных, но и за счёт физической сортировки данных по первичному ключу. А векторный движок обработки запросов, оптимизированному для современных ЦП, а также распределённой и параллельной обработки запросов даёт дополнительное ускорение.

Данные в ClickHouse располагаются на разных сегментах (shard), обеспечивая отказоустойчивость за счёт репликации данных. SQL-запрос выполняется параллельно, т.е. одновременно на всех сегментах. Поэтому ClickHouse очень быстрый и может обрабатывать до 1 миллиарда строк в секунду на одном сервере и до двух ТБ в секунду на кластере из 400 узлов.

Эта колоночная СУБД отлично подходит для построения витрин данных и DWH, критичного к малейшим задержкам, обеспечивая быструю аналитику больших данных в реальном времени.

Кому нужно обучение по Clickhouse

Цель курса:

научиться работать с ClickHouse и использовать его в качестве корпоративного хранилища данных (DWH)

Аудитория:

• архитекторы DWH
• разработчики корпоративных хранилищ данных
• дата-инженеры
• аналитики

Предварительный уровень подготовки:

• Опыт написания SQL-запросов
• Опыт работы с терминалом
• Умение работать с Docker

Как проходят кликхаус курсы

Курс построен таким образом, чтобы всего за 6 дней дать студентам глубокое понимание и навыки работы с СУБД ClickHouse, включая её архитектуру, возможности и ограничения. Для этого придётся выполнять задания, решая задачи проектирования и эксплуатации корпоративного хранилища данных, включая выполнение операций devops.

Курс позволит понять, как устроена платформа Clichouse и каковые её возможности для решения различных задач, связанных с обработкой и анализом больших объёмов данных. Наше кликхаус обучение включает практические задания, которые помогут вам закрепить полученные знания и научиться применять их на практике. Все задания основаны на реальных задачах, которые приходится решать дата-инженеру при работе с Clickhouse. Задания выполняются онлайн, на платформе данных, предоставленной нашими специалистами devops, дополнительная оплата за экземпляр СУБД не требуется.

Продолжительность курса: 24 ак.часа, 6 дней по 4 ак.часа

Занятия проходят онлайн в дистанционном режиме с преподавателем. Практические задания тоже выполняются онлайн

Соотношение теории к практике: 50/50

Чему вы научитесь

В результате обучения вы приобретёте базовые знания и навыки, необходимые для эффективной работы с Clickhouse и сможете:

• работать с данными в ClickHouse
• настраивать визуализацию и отчётность
• администрировать и оптимизировать работу ClickHouse