Обзор федеративных запросов

Федеративные запросы позволяют YMatrix получать доступ к внешним источникам данных, таким как MySQL, PostgreSQL и другим базам данных. Процесс чтения и записи данных аналогичен работе с внутренними таблицами в YMatrix.

Федеративные запросы реализованы с использованием механизма Foreign Data Wrapper (FDW). FDW представляет собой реализацию стандарта SQL/MED (SQL Management of External Data) в PostgreSQL. Он предоставляет единый набор публичных интерфейсов, которые позволяют расширениям глубоко интегрироваться с основными компонентами Postgres, включая оптимизацию запросов, выполнение, сканирование, обновления и сбор статистики. Такая интеграция позволяет запрашивать и изменять данные во внешних источниках напрямую с помощью SQL-запросов. Например, используя FDW для MySQL, вы можете выполнять прямые запросы, сортировку, группировку, фильтрацию, соединения, а также операции вставки и обновления данных MySQL так же, как при работе с локальными таблицами. Сообщество разработало множество расширений FDW, поддерживающих распространённые базы данных, а также доступ к локальным файлам, HDFS и другим источникам.

В данном разделе описывается использование FDW для доступа к PostgreSQL, MySQL и MongoDB, а также применение PXF для доступа к HDFS, Hive ORC и другим источникам данных.