Идеи миграции

Мы считаем, что в MatrixDB миграция данных в основном состоит из трех этапов: Первый этап — подготовка среды; Второй этап — выполнение миграции; Третий этап — последующие задачи.

Прежде чем начать формальную операцию миграции, необходимо выполнить ряд подготовительных действий, обычно включающих, но не ограничивающихся следующими шагами (настраиваемыми в зависимости от конкретной ситуации):

До остановки бизнеса: создать резервную копию старых данных, подготовить программную среду целевого кластера, остановить все операции DDL со стороны бизнеса, создать резервные копии DDL-заявлений, необходимых для миграции, скорректировать и оптимизировать DDL-заявления (рекомендуется использовать исходную информацию для создания заявлений без индексов для повышения эффективности миграции), чтобы адаптировать их под целевую базу данных и т.д.; После остановки бизнеса собрать информацию о программном и аппаратном конфигурировании целевого кластера, сравнить и проанализировать особенности архитектуры исходного и целевого кластеров для разработки подходящего плана миграции.

Мы считаем, что эти шаги необходимы, и вам необходимо обеспечить безопасность старых данных и найти оптимальный способ миграции, чтобы снизить стоимость и риски, связанные с остановкой вашего бизнеса.

После завершения подготовительных работ мы переходим к этапу выполнения операций миграции. На этом этапе мы рекомендуем не мигрировать зеркальные узлы (Mirror), а добавлять их после выполнения миграции с помощью инструмента mxshift — это значительно повысит эффективность миграции. Инструмент mxshift автоматически выводит прогресс миграции по моменту времени, когда каждая таблица была мигрирована, и в реальном времени проверяет корректность миграции.

После завершения миграции мы рекомендуем воссоздать индексы и выполнить команду analyzedb для всей базы данных, чтобы обновить статистическую информацию новой базы, в конце концов, восстановить доступ к бизнесу, наблюдать за работой бизнеса и отслеживать данные в течение определенного периода времени (конкретная продолжительность зависит от конкретного сценария), после чего миграция данных будет завершена.

Для подробных шагов см.:

Migrate data from Greenplum 6 to MatrixDB 4
Migrate data from MatrixDB 4 to MatrixDB 4