История версий
Требования

Введение

Быстрый старт

Развертывание

Моделирование данных

Подключение

Запись данных

Миграция

Запросы

Операции и обслуживание

Настройка производительности

Устранение неполадок

Справочник

Справочник по SQL

Часто задаваемые вопросы

Быстрый старт с векторизацией

1 Перед началом

Перед использованием векторизованного движка выполнения необходимо заранее подготовить корректную аппаратную и программную среду:

Аппаратное и программное окружение Подготовка
CPU Процессор Intel архитектуры Haswell или выше
YMatrix Развернутая кластерная среда

2 Включение векторизации

Векторизация в YMatrix включена по умолчанию.

3 Примеры использования векторизации

Сначала нам нужна таблица с колоночным хранением данных. Ниже приведена таблица MARS3.

=# CREATE TABLE test(
   tag int, 
   i4 int4, 
   i8 int8, 
   f4 float4, 
   f8 float8
   ) 
   USING MARS3
   ORDER BY (tag);

3.1 Вычисление выражений

Векторизованный движок выполнения поддерживает стандартные выражения, например:

=# EXPLAIN (costs off, verbose) SELECT tag + 10, f4 * -1, f8 / 10 + i8 * i4 FROM test;

Получаем следующий результат:

                                                         QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Custom Scan (MxVMotion) Gather Motion 4:1  (slice1; segments: 4)
   Output: ((tag + 10)), ((f4 * '-1'::double precision)), (((f8 / '10'::double precision) + ((i8 * i4))::double precision))
   ->  Custom Scan (MxVScan) on public.test
         Output: (tag + 10), (f4 * '-1'::double precision), ((f8 / '10'::double precision) + ((i8 * i4))::double precision)
 Optimizer: Postgres query optimizer
(5 rows)

MxVScan включает в себя основные вычислительные модули, использующие SIMD-инструкции и алгоритмы, оптимизированные для работы с кэшем CPU, для эффективной обработки различных выражений.

3.2 Оптимизация фильтрации WHERE

Для запросов с фильтрацией по условиям WHERE в колоночных таблицах векторизованный движок выполнения обеспечивает улучшение производительности на порядки. Как показано в плане ниже, помимо вычислений, MxVScan также выполняет векторизованную фильтрацию:

=# EXPLAIN (costs off, verbose) SELECT * FROM test where i4 > 10 and i8 < 8;

Получаем следующий результат:

                            QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Custom Scan (MxVMotion) Gather Motion 4:1  (slice1; segments: 4)
   Output: tag, i4, i8, f4, f8
   ->  Custom Scan (MxVScan) on public.test
         Output: tag, i4, i8, f4, f8
         Filter: ((test.i4 > 10) AND (test.i8 < 8))
 Optimizer: Postgres query optimizer
(6 rows)

3.3 Оптимизация запросов с сортировкой

Векторизованный движок выполнения реализует колоночный алгоритм сортировки. Кроме того, для оператора Limit существуют специальные оптимизации. Оператор Limit ограничивает количество выводимых строк. При включенной векторизации операторы потребляют меньше памяти и работают быстрее. Примеры:

=# EXPLAIN (costs off, verbose) SELECT * FROM test ORDER BY i8;

Получаем следующий результат:

                            QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Custom Scan (MxVMotion) Gather Motion 4:1  (slice1; segments: 4)
   Output: tag, i4, i8, f4, f8
   Merge Key: i8
   ->  Custom Scan (MxVSort)
         Output: tag, i4, i8, f4, f8
         Sort Key: test.i8
         ->  Custom Scan (MxVScan) on public.test
               Output: tag, i4, i8, f4, f8
 Optimizer: Postgres query optimizer
(9 rows)
=# EXPLAIN (costs off, verbose) SELECT * FROM test ORDER BY i4, i8 DESC LIMIT 10;

Получаем следующий результат:

                               QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------
 Custom Scan (MxVLimit)
   Output: tag, i4, i8, f4, f8
   ->  Custom Scan (MxVMotion) Gather Motion 4:1  (slice1; segments: 4)
         Output: tag, i4, i8, f4, f8
         Merge Key: i4, i8
         ->  Custom Scan (MxVLimit)
               Output: tag, i4, i8, f4, f8
               ->  Custom Scan (MxVSort)
                     Output: tag, i4, i8, f4, f8
                     Sort Key: test.i4, test.i8
                     ->  Custom Scan (MxVScan) on public.test
                           Output: tag, i4, i8, f4, f8
 Optimizer: Postgres query optimizer
(13 rows)

3.4 Оптимизация запросов с агрегацией

Векторизованный движок выполнения реализует различные агрегирующие операторы для распространённых типов данных (int2, int4, int8, float4, float8 и др.), такие как sum, min, max, count и т.д.

=# EXPLAIN (costs off, verbose) SELECT min(tag + 2), max(i4 + i8), count(f8) FROM test;

Получаем следующий результат:

                                          QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Custom Scan (MxVAgg) Finalize Aggregate
   Output: (min((tag + 2))), (max((i4 + i8))), (count(f8))
   ->  Custom Scan (MxVMotion) Gather Motion 4:1  (slice1; segments: 4)
         Output: (PARTIAL min((tag + 2))), (PARTIAL max((i4 + i8))), (PARTIAL count(f8))
         ->  Custom Scan (MxVAgg) Partial Aggregate
               Output: (PARTIAL min((tag + 2))), (PARTIAL max((i4 + i8))), (PARTIAL count(f8))
               ->  Custom Scan (MxVScan) on public.test
                     Output: tag, i4, i8, f8
 Optimizer: Postgres query optimizer
(9 rows)
=# EXPLAIN (costs off, verbose) SELECT count(tag), sum(f4) FROM test GROUP BY i4;

Получаем следующий результат:

                                     QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Custom Scan (MxVMotion) Gather Motion 4:1  (slice1; segments: 4)
   Output: (count(tag)), (sum(f4)), i4
   ->  Custom Scan (MxVHashAgg) Finalize HashAggregate
         Output: (count(tag)), (sum(f4)), i4
         Group Key: test.i4
         ->  Custom Scan (MxVMotion) Redistribute Motion 4:4  (slice2; segments: 4)
               Output: i4, (PARTIAL count(tag)), (PARTIAL sum(f4))
               Hash Key: i4
               ->  Custom Scan (MxVHashAgg) Partial HashAggregate
                     Output: i4, (PARTIAL count(tag)), (PARTIAL sum(f4))
                     Group Key: test.i4
                     ->  Custom Scan (MxVScan) on public.test
                           Output: i4, tag, f4
 Optimizer: Postgres query optimizer
(14 rows)

3.5 Оптимизация других сложных запросов

Для более сложных запросов векторизованный движок выполнения также демонстрирует значительное улучшение производительности. Например:

=# SELECT SUM(lo_extendedprice * lo_discount) AS revenue
  FROM tname
 WHERE lo_orderdate >= '1993-01-01'
   AND lo_orderdate <  '1994-01-01'
   AND lo_discount between 1 and 3
   AND lo_quantity < 25
;
← Предыдущая
Обзор
Следующая →
Рекомендации