YMatrix — гиперконвергентная база данных корпоративного уровня

YMatrix — это гиперконвергентный продукт реляционной базы данных


YMatrix — это гиперконвергентная база данных, разработанная компанией Simdwave на основе классических открытых баз данных PostgreSQL и Greenplum. Помимо превосходных характеристик в сценариях обработки временных рядов, она также поддерживает традиционные задачи, такие как обработка транзакций в режиме онлайн (OLTP) и аналитическая обработка в режиме онлайн (OLAP).

Продукт отвечает корпоративным требованиям в области высокой доступности, безопасности, высокой производительности, автоматизации эксплуатации, визуализации установки и обработки данных, обеспечивая надежное развертывание для корпоративных пользователей.

Ключевые преимущества YMatrix — гиперконвергенция, высокая скорость чтения/записи, высокая степень сжатия данных и высокая доступность.

Доступна community-версия YMatrix — мы приветствуем ваши отзывы и опыт использования.

YMatrix обеспечивает ключевую ценность за счёт гиперконвергенции, высокой производительности и высокой доступности


  1. Гиперконвергентная архитектура

Гиперконвергентная архитектура YMatrix решает проблему разрозненных хранилищ данных в традиционных базах данных, обеспечивая принцип «одна база данных — множество применений».

  • Микроядро: путём настройки различных микроядер (комбинаций движка хранения и движка выполнения) YMatrix адаптируется к различным бизнес-сценариям. Например:
    • Движок хранения HEAP + движок выполнения Volcano для рабочих нагрузок OLTP.
    • Движок хранения MARS3 + векторизованный движок выполнения для нагрузок временных рядов.
  • MPP: YMatrix использует MPP-архитектуру для распределения нагрузки запросов по кластеру, задействуя все системные ресурсы параллельно, что обеспечивает высокую производительность.
  1. Высокая производительность

YMatrix обеспечивает высокую производительность во всех сценариях: вставка, хранение, запросы, аналитика и машинное обучение.

  • Вставка данных: MatrixGate — инструмент высокоскоростной загрузки данных, поддерживающий множество источников и типов данных, пакетную и потоковую загрузку, обеспечивающий загрузку в реальном времени с полной гарантией транзакционной целостности.
  • Хранение: Предоставляет серию движков хранения MARS, поддерживает гибридное хранение «строка-столбец» и передовые методы кодирования и сжатия. Также поддерживает традиционные движки, такие как HEAP и AO. Поддерживает автоматическое удаление старых партиций и создание новых.
  • Запросы: Включает векторизованный движок выполнения и оптимизацию Runtime Filter, обеспечивая производительность на уровне лидеров отрасли при аналитических и запросах в реальном времени.
  1. Высокая доступность
  • Автоматическое переключение при отказе: YMatrix 5.X вводит новый механизм автоматизации операций. При отказе узла Master или Primary сегмента система автоматически переключается на резервный узел, обеспечивая failover.
  • Автоматическое восстановление после переключения: После failover существует только новый Primary/Master, а Mirror/Standby отсутствует. При повторном отказе восстановление невозможно. Используйте инструмент mxrecover, чтобы восстановить здоровый Mirror/Standby для нового Primary/Master.
  • Потоковая репликация: Поддерживает синхронизацию данных между основными и резервными узлами с использованием протокола потоковой репликации PostgreSQL.

YMatrix предоставляет визуализированное развертывание и управление, безопасность корпоративного уровня и комплексную экосистему


  1. Визуальная установка и эксплуатация
  • Графическая установка: развертывание кластера за 10 минут; имитация нагрузки на запись и запросы временных рядов за 3 минуты.
  • Графический мониторинг и управление: проверка работоспособности одним щелчком мыши и горизонтальное масштабирование за секунды.
  1. Безопасность корпоративного уровня

YMatrix обеспечивает всестороннюю безопасность доступа, охватывающую аутентификацию, контроль привилегий, шифрование, аудит и управление ресурсами.

  • Аутентификация: Поддерживает несколько методов, включая trust, пароль и PAM-аутентификацию.
  • Контроль привилегий: Реализует ролевой контроль доступа (RBAC), упрощая сопоставление пользователей и прав.
  • Шифрование: Обеспечивает многоуровневое шифрование:
    • Шифрованное хранение паролей.
    • Шифрование на уровне столбцов.
    • SSL-аутентификация хоста.
    • Шифрование на стороне клиента.
    • Шифрование сетевых данных.
    • Шифрование паролей в сетевом трафике.
    • Шифрование на уровне табличного пространства.
  • Аудит: Фиксирует события входа/выхода пользователей и активность в базе данных, с возможностью настройки уровня аудита в зависимости от требований безопасности.
  • Управление ресурсами: Обеспечивает строгие ограничения доступа по IP-адресам; ограничивает максимальное количество одновременных подключений на пользователя; включает политики тайм-аута подключений по умолчанию.
  1. Комплексная экосистема
  • Полная совместимость с инструментами верхнего и нижнего уровней из экосистем PostgreSQL/Greenplum.

YMatrix поддерживает разнообразные бизнес-сценарии


  • Сложная обработка данных, требующая конвергентной архитектуры

В традиционных предприятиях огромные объёмы данных часто распределены между отделами, системами и приложениями из-за стратегии организации, архитектурного проектирования или процессов цифровой трансформации. Эти изолированные хранилища данных мешают взаимодействию и использованию информации, создавая барьеры, препятствующие конкурентному преимуществу. Помимо технической сложности, они серьёзно влияют на бизнес-операции, управление и рост — становясь ключевым препятствием на пути цифровой трансформации.

Гиперконвергентная архитектура YMatrix успешно внедрена в производственных средах, таких как платформы данных на заводах, корпоративные хранилища данных, интеллектуальные подключённые автомобили и эксплуатация IoT-устройств. Она значительно снижает технические барьеры, связанные с выбором, закупкой, использованием и обслуживанием, получая положительные отзывы. Например, в умном производстве один экземпляр YMatrix может собирать, хранить, вычислять, моделировать, запрашивать и анализировать данные из систем ERP (планирование ресурсов предприятия), MES (системы управления производством) и оборудования.

  • Сценарии, включающие сложный анализ временных рядов

Данные временных рядов лежат в основе IoT, подключённых автомобилей, промышленного интернета и умных городов. Их ключевая особенность — обработка в реальном времени, что предъявляет высокие требования к возможностям записи и хранения базы данных. Предприятиям необходимо решать задачи, такие как эффективность по стоимости, безопасное и быстрое масштабирование для предотвращения задержек данных и снижение технических барьеров для быстрого реагирования на изменяющиеся потребности в данных.

YMatrix оптимизирована для рабочих нагрузок временных рядов. Благодаря физической сортировке, асинхронной загрузке и пакетной вставке данных в движке хранения MARS, в сочетании с высокопроизводительной массовой вставкой MatrixGate с высокой степенью параллелизма, YMatrix превосходит ожидания по скорости вставки в реальном времени, высокой скорости записи, запросам в реальном времени и транзакционной целостности.

YMatrix поддерживает графическое масштабирование — простые операции позволяют расширяться за секунды. Также поддерживается плавное масштабирование без остановки сервиса, что гарантирует непрерывность бизнеса, минимизирует потери от простоев и снижает риски.

  • Масштабные сценарии IoT с большим количеством устройств

Типичные масштабные IoT-приложения включают умные кампусы, умные дома, интеллектуальный транспорт, системы умного водоснабжения, умное сельское хозяйство и метеорологический мониторинг. Массовое количество устройств генерирует огромные объёмы данных, делая стоимость хранения (коэффициент сжатия) и эффективность доступа (скорость распаковки) ключевыми факторами при построении стабильной инфраструктуры данных. Высокая скорость вставки и производительность запросов в реальном времени напрямую влияют на пользовательский опыт.

Помимо поддержки кластеров ёмкостью до петабайт, YMatrix использует запатентованную технологию сжатия Encoding Chain. Пользователи могут выбирать оптимальные схемы кодирования, адаптированные к характеристикам данных каждого столбца, достигая превосходного соотношения цена/качество и экономя более чем 50% на хранении — превращая хранение больших данных в управляемую задачу.

Благодаря распределённым, высокопараллельным, потоковым и пакетным возможностям вставки данных MatrixGate, YMatrix обеспечивает вставку данных за секунды при достаточной аппаратной мощности.

Благодаря полной векторизации (начиная с версии 5.0), YMatrix демонстрирует производительность по SSB-бенчмарку в 1,24 раза выше, чем у ClickHouse, достигая мирового уровня по пропускной способности и задержкам.

  • Традиционные сценарии хранилища данных (OLAP)

YMatrix совместима с экосистемой PostgreSQL/Greenplum и поддерживает классические OLAP-нагрузки в секторах финансов, телекоммуникаций, государственного управления, энергетики и производства, включая бизнес-аналитику (BI) и отчётность.

Такие сценарии обычно включают не временные данные, обрабатываемые с помощью экосистемы Hadoop: исторические данные хранятся в Hadoop, а метрики отчётов рассчитываются с помощью Spark — это сложный конвейер.

С YMatrix вы можете объединить структурированные и неструктурированные данные, организовать федеративный доступ к данным, интегрировать потоки Kafka через графический интерфейс и реализовать разделение «горячих» и «холодных» данных — всё в одной платформе. Это упрощает рабочие процессы обработки данных и обеспечивает механизмы автоматического переключения и восстановления, предоставляя безопасное, простое и удобное в использовании решение.