Федеральные запросы

Федеративные запросы позволяют получать доступ к внешним источникам данных через YMatrix, включая MySQL, PostgreSQL и другие базы данных. Процесс чтения и записи аналогичен работе с внутренними таблицами YMatrix.

Федеративные запросы реализованы с использованием механизма Foreign Data Wrapper (FDW). FDW — это реализация Postgres, разработанная в соответствии со стандартом SQL/MED (SQL Management of External Data). FDW предоставляет единый набор общих интерфейсов, позволяя расширениям легко интегрироваться в ключевые компоненты, такие как оптимизация, выполнение, сканирование, обновление и статистика, и обеспечивает возможность прямого запроса и изменения внешних источников данных с помощью SQL-операторов. Например, с помощью FDW для MySQL пользователи могут напрямую выполнять запросы, сортировку, группировку, фильтрацию, объединение, а также операции вставки и обновления данных MySQL, как если бы они работали с локальными таблицами. В сообществе уже существует множество расширений FDW, включая поддержку широко используемых баз данных, а также доступ к локальным файлам, HDFS и другим системам.

В данном документе читателям будет рассказано, как использовать FDW для доступа к PostgreSQL, MySQL, MongoDB, а также как использовать PXF для доступа к HDFS, Hive ORC и другим системам.