Журналы

Просмотр журналов работы системы — это фундаментальный метод диагностики проблем кластера.

1 Журналы YMatrix

YMatrix генерирует два типа журналов:

  • Журналы управления кластером
  • Журналы операций запросов

1.1 Журналы управления кластером

По умолчанию журналы управления кластером хранятся в каталоге $HOME/gpAdminLogs. Разные инструменты создают отдельные файлы журналов в этом каталоге, такие как mxstart_20210701.log, mxstop_20210701.log и т. д.

Соглашение об именовании файлов журналов: {tool_name}_{date}.log. Пример: `` gpconfig_20210723.log
mxstart_20210701.log
mxstart_20210708.log
mxstop_20210701.log
mxstop_20210723.log
......

Каждая запись журнала имеет следующий формат:
Date + Time + Tool Name + Hostname + Username + Log Level + Message. Пример:

20230308:17:29:32:001644 mxstart:mdw:mxadmin-[INFO]:-Greenplum Catalog Version: '302012031'  
20230308:17:29:32:001644 mxstart:mdw:mxadmin-[WARNING]:-postmaster.pid file exists on Master, checking if recovery startup required  
......

Уровни журналирования включают INFO, WARNING и FATAL:

  • INFO: Нормальные информационные сообщения.
  • WARNING: Возникло неожиданное условие, но выполнение продолжается.
  • FATAL: Произошла критическая ошибка, приведшая к остановке процесса.

При сбое инструмента проверьте соответствующий файл журнала на наличие записей WARNING и FATAL для диагностики проблемы.

1.2 Журналы операций запросов

Журналы операций запросов находятся в каталоге log в директориях данных мастер-узла и сегментных узлов. Формат имени файла: gpdb-{date}_{time}.csv. Пример:

gpdb-2021-07-01_164653.csv  
gpdb-2021-07-01_164655.csv  
gpdb-2021-07-02_000000.csv  
......

Эти журналы следуют формату логирования PostgreSQL и помогают выявить:

  • Ошибки выполнения запросов
  • Сбои узлов

Каждая запись включает: метку времени, имя пользователя, идентификатор процесса, идентификатор соединения, уровень журналирования и подробное сообщение об ошибке.

Ниже приведён пример записи журнала при попытке подключения пользователя к несуществующей базе данных:

2021-07-26 10:21:34.692106 CST,"mxadmin","postgggg",p10188,th-1455884160,"[local]",,2021-07-26 10:21:34 CST,0,con14,,seg-1,,,,sx1,"FATAL","3D000","database ""postgggg"" does not exist",,,,,,,0,,"postinit.c",1024,

Значение каждого поля:

Содержимое журнала Описание
2021-07-26 10:21:34.692106 CST Метка времени
mxadmin Имя пользователя
postgggg Имя базы данных
p10188 Идентификатор процесса
th-1455884160 Идентификатор потока
[local] Метод подключения (локальный)
con14 Идентификатор соединения
seg-1 Идентификатор сегмента
FATAL Уровень журналирования
database "postgggg" does not exist Сообщение об ошибке

2 Журналы MatrixGate

Журналы MatrixGate также хранятся в каталоге gpAdminLogs. Формат имени файла: matrixgate.{date}_{time}.log. Пример:

matrixgate.2023-04-10_141001-2369.log

Формат журнала аналогичен другим инструментам управления:

20210726:13:47:17 matrixgate:mxadmin:mdw:010889-[INFO]:-Connected to Database, version PostgreSQL 12 (MatrixDB 5.0.0+enterprise) (Greenplum Database 7.0.0+dev.20438.g08c3e56457 build commit:08c3e5645733a58360aa681b717293ab9a916968) on x86_64-pc-linux-gnu, compiled by gcc (GCC) 11.2.1 20220127 (Red Hat 11.2.1-9), 64-bit compiled on Mar 23 2023 11:45:21  
20210726:13:47:17 matrixgate:mxadmin:mdw:010889-[INFO]:-[Writer.Stream] Initialized with 100ms load interval and 10 prepared insert  
20210726:13:47:17 matrixgate:mxadmin:mdw:010889-[INFO]:-[Writer.Stream] Started, listening on :12120  
20210726:13:47:17 matrixgate:mxadmin:mdw:010889-[INFO]:-[Trans.Plain] Started, parallel level 8  
20210726:13:47:17 matrixgate:mxadmin:mdw:010889-[INFO]:-[Source.HTTP] http listening on :8086  

Для просмотра журналов MatrixGate можно использовать команду mxgate log:

[mxadmin@mdw gpAdminLogs]$  mxgate log  
******************************************************
 __  __       _        _       ____       _  
|  \/  | __ _| |_ _ __(_)_  __/ ___| __ _| |_ ___  
| |\/| |/ _ \ '_ \| | '_ \ / _ \___ \ / _ \ '__/ __|  
| |  | | (_| | |_| |  | |>  <| |_| | (_| | ||  __/  
|_|  |_|\__,_|\__|_|  |_/_/\_\\____|\__,_|\__\___|  
  Version: v5.0.0 (git: HEAD 53e21dfa)  
  Your Copy is Licensed to: yMatrix.cn; 2023-06-23; any  
******************************************************
==> [pid:436] matrixgate.2023-04-10_141001-2369.log <==  
github.com/ymatrix-data/matrixgate/src/job.startUpPrepare  
    /home/runner/work/matrixdb-ci/matrixdb-ci/src/job/job.go:55  
github.com/ymatrix-data/matrixgate/src/server.(*Server).Start  
    /home/runner/work/matrixdb-ci/matrixdb-ci/src/server/server.go:84  
main.main  
    /home/runner/work/matrixdb-ci/matrixdb-ci/src/bin/mxgated/main.go:111  
runtime.main  
    /opt/hostedtoolcache/go/1.19.7/x64/src/runtime/proc.go:250  
runtime.goexit  
    /opt/hostedtoolcache/go/1.19.7/x64/src/runtime/asm_amd64.s:1594  
==> [pid:2369] matrixgate.2023-04-10_141001-2369.log <==  
streaming.go:741:2023-04-10:14:33:46.710 matrixgate:mxadmin:mdw:010889-[INFO]:-[Writer.Stream] Initialized with 100ms load interval and 10 prepared insert  
streaming.go:741:2023-04-10:14:33:57.230 matrixgate:mxadmin:mdw:010889-[INFO]:-[Writer.Stream] Started, listening on :12120  
streaming.go:741:2023-04-10:14:34:07.729 matrixgate:mxadmin:mdw:010889-[INFO]:-[Trans.Plain] Started, parallel level 8  
streaming.go:741:2023-04-10:14:34:18.239 matrixgate:mxadmin:mdw:010889-[INFO]:-[Source.HTTP] http listening on :8086  

Примечание!
Использование команды mxgate log для просмотра журналов требует, чтобы процесс mxgate был запущен. Отображаемое содержимое журнала берётся из активного процесса.