История версий
Требования

Введение

Быстрый старт

Развертывание

Моделирование данных

Подключение

Запись данных

Миграция

Запросы

Операции и обслуживание

Настройка производительности

Устранение неполадок

Справочник

Справочник по SQL

Часто задаваемые вопросы

MPP-архитектура

Данный документ представляет архитектуру базы данных, используемую YMatrix на физическом уровне: архитектуру MPP (Massive Parallel Processing).

1 Что такое MPP-архитектура?

MPP — это архитектура базы данных, основанная на кластере без общих ресурсов (shared-nothing), где каждый узел имеет собственную независимую систему дискового хранилища и памяти. Бизнес-данные распределяются между узлами в соответствии с моделью базы данных и характеристиками приложения. Каждый узел данных (Segment Node) соединяется с другими через специализированные или стандартные коммерческие сети, совместно выполняя вычисления и предоставляя сервисы базы данных. Кластеры баз данных без общих ресурсов обладают преимуществами, такими как масштабируемость, высокая доступность, производительность и экономическая эффективность.

Проще говоря, MPP-архитектура распределяет задачи параллельно между несколькими серверами и узлами. После завершения вычислений каждым узлом результаты агрегируются для получения финального вывода.

2 Что означает характеристика «без общих ресурсов» в MPP-архитектуре?

С точки зрения архитектуры данных, распределённые архитектуры баз данных делятся на три типа: Shared Everything, Shared Disk и Shared Nothing:

  • Shared Everything: Обычно применяется в однородных системах, где CPU, память и I/O надёжно и прозрачно разделяются. Однако такая архитектура обладает слабыми возможностями параллельной обработки.
  • Shared Disk: Распределённая вычислительная архитектура, в которой узлы разделяют одни и те же дисковые устройства, но каждый узел имеет собственную приватную память. Диски остаются доступными для всех активных узлов, что позволяет обмениваться памятью при сбоях. В этой архитектуре пользователи могут обращаться к дискам со всех узлов кластера. Она быстро адаптируется к изменяющимся нагрузкам и использует передовые методы оптимизации.
  • Shared Nothing: Распределённая вычислительная архитектура, в которой каждый узел независим и связан с другими через сеть. Каждый узел состоит из процессора, оперативной памяти и диска. Основная цель этой архитектуры — устранить конкуренцию за ресурсы между узлами. Узлы не разделяют память или хранилище; каждый узел имеет выделенные, необщие диски, что обеспечивает эффективную работу в средах с высокой интенсивностью чтения/записи.

3 Каковы характеристики MPP-архитектуры?

Ключевые характеристики MPP-архитектуры включают:

  • Отсутствие необходимости записывать промежуточные данные на диск.
  • Параллельное выполнение задач.
  • Хранение данных распределённым и локализованным способом.
  • Распределённые вычисления с равномерной ролью всех узлов данных (Segments), что повышает возможности параллельной обработки.
  • Стабильность и доступность Master-узла напрямую влияют на общую производительность системы.
  • Горизонтальная масштабируемость, позволяющая расширять кластер путём добавления узлов.
  • «Эффект бочки»: если один узел постоянно работает медленнее других в кластере, общая производительность кластера ограничивается скоростью самого медленного узла.
← Предыдущая
Инструмент упаковки core-файлов — packcore
Следующая →
Стратегия зеркального распределения