YMatrix — гиперконвергентная база данных

Основные функции

YMatrix — это распределённая база данных, разработанная на основе открытых экосистем PostgreSQL/Greenplum, обладающая следующими ключевыми характеристиками:

  • Поддержка кластеров до 100 узлов, обеспечивающих параллельные вычисления на множестве узлов и ядер.
  • Поддержка онлайн-расширения кластера.
  • Обеспечение отказоустойчивости на уровне финансовых требований с автоматическим переключением при сбоях в течение 3 секунд.
  • Подходит для обработки данных объёмом от ТБ до ПБ.
  • Интегрирует аналитические, транзакционные и временные ряды, широко применяется в умном производстве, финансах и сценариях подключённых автомобилей.

Помимо коммерческой версии, YMatrix также предлагает бесплатную community-версию. Мы приветствуем ваш опыт и отзывы.

Концепция «гиперконвергенции»

Гиперконвергентная база данных объединяет в одной системе возможности обработки транзакций (OLTP), аналитики (OLAP), временных рядов и функции хранилища данных (data lake).

Философия гиперконвергенции YMatrix заключается в устранении фрагментации обработки данных за счёт объединения ресурсов вычислений, хранения и сети в единой системе. В зависимости от исходного типа базы данных, версии, топологии кластера и бизнес-характеристик, YMatrix предоставляет настраиваемые комбинации механизмов хранения и выполнения на общей базе данных. Это позволяет создавать специализированные микро-ядра, оптимизированные по производительности записи, хранения и запросов для различных бизнес-сценариев.

Интегрированные возможности

YMatrix делает акцент на полной функциональности и производительности во всех сценариях использования, включая загрузку, запросы, аналитику и машинное обучение. Интеграция множества возможностей в одной базе данных позволяет решать сложные задачи, обеспечивая поддержку мультимоделирования, масштабируемость и экономическую эффективность.

· Аналитические возможности

· Транзакционные возможности

· Возможности для временных рядов

Единый интерфейс

YMatrix использует SQL как единый интерфейс для всех сервисов данных на уровне приложения.

Открытая архитектура

YMatrix обеспечивает высокую расширяемость.

С одной стороны, YMatrix продолжает развиваться в новых бизнес-сценариях, таких как подключённые автомобили, умное производство, финансы и обработка векторных данных. С другой стороны, благодаря таким функциям, как машинное обучение и федеративный доступ к данным, неоднородные и внешние источники данных могут эффективно работать внутри YMatrix через расширения базы данных.


Упрощая архитектуру инфраструктуры, YMatrix значительно снижает сложность технологического стека, повышает производительность в различных сценариях, минимизирует риски, связанные с одновременным использованием и интеграцией нескольких систем, и помогает предприятиям создавать надёжные системы управления данными — раскрывая весь цифровой потенциал эпохи данных.

Собственные ключевые технологии

YMatrix использует ряд ключевых собственных технологий для реализации концепции гиперконвергенцииru

Система хранения: MARS3

Разработанная для рабочих нагрузок OLAP, OLTP и временных рядов, MARS3 предлагает два режима: колоночное и гибридное строково-колоночное хранение, позволяя пользователям выбирать режим в зависимости от характера нагрузки. Гибридный режим обеспечивает как высокую производительность загрузки, так и эффективное хранение (включая сжатие и диагностику состояния). Оба режима реализуют MVCC. Для секционированных таблиц MARS3 поддерживает ruтоматическое управление секциями](/en/doc/5.2/datamodel/apm) и автоматическое многоуровневое хранениеru

Система выполнения: векторизованная

Векторизованная система выполнения специально разработана для колоночных систем хранения, таких как MARS3, MARS2 и AOCO. Она обеспечивает производительность на один-два порядка выше, чем традиционные системы выполнения на основе строк, при выполнении типичных запросовru

Архитектура высокой доступности: ALOHA

ALOHA (Advanced Least Operation High Availability) — это сервис управления состоянием кластера, представленный в YMatrix 5.X. Работая независимо от основного кластера, ALOHA может быть настроен с выделенными дисками и мониторингом. Он обеспечивает обнаружение и управление состоянием узлов с низкой задержкой даже в слruных условиях, завершая автоматическое переключение при сбоях в течение 3 секунд.

Платформенные возможности

MatrixUI: визуальная установка и эксплуатация

  • Графическая установка: развёртывание кластера за 10 минут; имитация нагрузки на запись и запросы временных рядов за 3 минуты.
  • Графические операции и мониторинг: проверка состояния одним щелчком мыши и расширение кластера за секунды.

MatrixGate: высококонкурентная загрузка данных

  • Низкая задержка и высокая конкурентность: обеспечивает параллельную загрузку больших объёмов данных, сжимает данные для максимального использования пропускной способности, увеличивая скорость записи до 100 раз.
  • Поддержка различных источников и форматов данных.
  • Поддержка пакетной и потоковой загрузки.
  • Поддержка UPSERT: обработка слияния данных с нарушением порядка и пакетных данных в сложных сценариях загрузки.

MatrixShift: одноранговая миграция данных

  • Эффективная одноранговая миграция: реализует прямую передачу данных от Segment к Segment, устраняя узкие места, характерные для традиционных методов миграции.
  • Поддержка всех сценариев: полная, инкрементная и условно-фильтрованная миграция.
  • Замена Greenplum: миграция данных из кластеров Greenplum 4.3.X/5/6 в YMatrix.

Безопасность уровня предприятия

  • Аутентификация: поддержка нескольких методов, включая доверие, пароль и PAM.
  • Контроль доступа: ролевой контроль доступа (RBAC) упрощает сопоставление пользователей и прав.
  • Шифрование: поддержка нескольких уровней шифрования — зашифрованное хранение паролей, шифрование на уровне полей, SSL-аутентификация хоста, шифрование на стороне клиента, шифрование сетевых данных, шифрование паролей при передаче через сети и шифрование табличных пространств.
  • Аудит: регистрация событий входа/выхода пользователей и активности базы данных, уровень аудита настраивается в зависимости от требований безопасности.
  • Контроль ресурсов: строгие ограничения по IP-адресам; настройка максимального количества одновременных подключений на пользователя; включены политики тайм-аута подключения по умолчанию.

Расширенная совместимость

  • Полная совместимость с экосистемой PostgreSQL/Greenplum и связанными инструментами.

Поддерживаемые бизнес-сценарии

Сценарий корпоративного хранилища данных

Мощные возможности аналитических вычислений

Традиционные процессы хранилищ данных полагаются на экосистему Hadoop: хранение исторических данных в Hadoop и использование Spark для расчёта отчётов — что приводит к сложным конвейерам.

YMatrix решает эту сложность за счёт гиперконвергенции, одновременно повышая аналитическую производительность. Поддержка структурированных и неструктурированных типов данных и федеративного доступа к данным позволяет YMatrix справляться с задачами BI и отчётности в классических OLAP-сценариях в таких сферах, как финансы, телекоммуникации, государственные учреждения, энергетика и производство. Продвинутые оптимизации запросов, такие как векторизация, [Runtime Filter]ruen/doc/5.2/reference/mxvector/runtimefilter), скользящие окна и непрерывная агрегация, обеспечивают превосходную аналитическую производительность.

Сценарий сложной аналитики временных рядов

Баланс между высокой скоростью загрузки, низкой стоимостью хранения и оперативным запросом

Данные временных рядов предъявляют высокие требования к производительности загрузки, хранения и запросов из-за своей реального времени природы.

YMatrix оптимизирована для рабочих нагрузок, ориентированных на время. Благодаря физическому упорядочиванию по времени в системе хранения MARS, асинхронной и пакетной загрузке, а также высококонкурентной и высокопроизводительной загрузке через MatrixGate, YMatrix превосходит ожидания при оперативной загрузке данных, выполнении запросов и гарантии транзакций.

YMatrix поддерживает графическое расширение без остановки сервиса — простое масштабирование за секунды без прерывания работы, что обеспечивает непрерывность бизнеса, минимизирует затраты на простои и снижает операционные риски.

Сценарий единого технологического стека

Использование гиперконвергенции для объединения конвейеров данных

Разрозненные хранилища данных — обычное явление в традиционных предприятиях. Изолированные данные невозможно эффективно обменивать или использовать, что затрудняет управление, операции и рост — и блокирует цифровую трансформацию.

Гиперконвергентная архитектура YMatrix успешно внедрена в реальных производственных средах, таких как платформы данных на заводах, корпоративные хранилища данных групп предприятий, интеллектуальные подключённые автомобили и эксплуатация IoT-устройств. Она значительно снижает технологические барьеры при выборе, закупке, развёртывании и обслуживании. Например, в умном производстве один экземпляр YMatrix может собирать, хранить, обрабатывать, моделировать, запрашивать и анализировать данные из систем ERP, MES и оборудования — всё в одной базе данных.