Ручная настройка стандартных кластеров извлечения для систем Linux

1. Обзор

В этой статье описывается , как вручную настроить стандартный кластер извлечения на системе Linux.

Если вы планируете развернуть экстракционный кластер FineBI 6.0, пожалуйста, свяжитесь с технической поддержкой Sapphire или торговым представителем Sapphire для предварительной оценки и подтверждения информации о среде.

Контактная информация технической поддержки: " Сервисная платформа>Онлайн-поддержка ", Тел: "400-811-8890".

Если вы не обращались в Sailsoft и развернули кластер извлечения самостоятельно, нет никакой гарантии, что вы сможете вовремя справиться с неизвестными рисками.

2. Подготовительные шаги

Прежде чем вручную настраивать стандартный кластер, заранее подготовьте следующее.

	процедура	инструкции
1	Подготовка серверной среды	Подготовка инженерных узлов + балансировка нагрузки + сервер состояния + файловый сервер + библиотека конфигурации Среда развертыванияОбеспечение совместимости интрасети между узлами проекта и серверами, на которых размещены компонентыУбедитесь, что системное время сервера, на котором расположен каждый узел и компонент проекта, совпадаетРекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: среда поддержки развертывания инженерных кластеров
2	База данных развертывания	Разверните базу данных в качестве внешней резервной копии базы данных для проекта, рекомендуется развернуть базу данных MySQL5Пользователю нужно только развернуть и запустить базу данных.Поддерживаемые типы баз данных см. в разделе: Настройка внешних баз данных
3	Развертывание балансировки нагрузки	Развертывание балансировки нагрузки, рекомендуемые сценарии развертывания NginxПросто установите Nginx, без запуска, без изменения конфигурационного файла nginx.confДокументация: Установка и настройка Nginx в системах Linux
4	Сервер состояния развертывания	Развертывание государственных серверов, рекомендуемое развертывание автономного RedisУбедитесь, что Redis запущен автономноСправочные документы: установка и настройка автономного Redis в системе Linux
5	Развертывание файловых серверов	Развертывание файловых серверов, рекомендуется SFTPУбедитесь, что SFTP работает!Справочный документ: Конфигурация системы Linux с помощью SFTP
6	Развертывание инженерных узлов	Разверните и запустите сначала только один узел проекта Для выбора метода развертывания обратитесь к разделу "Развертывание пакета развертывания" или "Автономное развертывание" для автономного развертывания.* Пакет развертывания сервера Tomcat для Linux * Автономное развертывание Tomcat Server в Linux

3. Настройте и запустите проект

3.1 Настройка системных параметров Linux

Для Linux необходимо изменить три системных параметра, чтобы обеспечить правильную работу последующих кластеров извлечения.

имя параметра	краткое содержание	Метод модификации
vm.max_map_count	vm.max_map_count - это параметр ядра системы Linux, который контролирует максимальное количество областей памяти, сопоставленных с mmap, разрешенных для процесса.Если значение этого параметра слишком мало, то при использовании некоторых приложений могут возникать ошибки отображения памяти.Рекомендуется настроить параметр vm.max_map_count на 262144.	* Добавление/изменение значений параметров в файле /etc/sysctl.conf vm.max_map_count=262144* Выполните следующую команду, чтобы изменения вступили в силу sysctl -p
Максимальное количество открытий файлов	open_files - максимальное количество файловых дескрипторов, которые могут быть открыты в процессе одновременно.Файловый дескриптор - это уникальный идентификатор, используемый в Unix-системах для доступа к файлам, включая трубы, сокеты и другие файловые операции.Рекомендуется, чтобы параметр open_files проекта FineBI был настроен не ниже 131070.	* Изменение конфигурации параметров Откройте файл аппаратных и программных ограничений Linux /etc/security/limits.conf и добавьте следующий код в конец файла:* :: soft nofile 131070* :: hard nofile 131070В приведенных выше командах hard обозначает жесткий лимит системы, а soft - мягкий лимит пользователя.* Перезапустите проект и снова войдите в систему После завершения настройки конечный пользователь должен снова войти в систему и перезапустить проект Tomcat, чтобы конфигурация вступила в силу.Вы можете использовать команду ulimit -n для подтверждения успешности модификации на основе возвращаемого значения.
glibc	Решение проблемы опасных простоев	1) Определите версию glibcВыполните команду ldd --version2) Если версия glibc не 2.12Добавьте строку в первую строку файла startup.sh:export MALLOC_ARENA_MAX=13) Перезапустите tomcat

3.2 Настройка ведения журнала Redis

Для кластеров с извлечением FineBI 6.0 сервер состояния Redis является более важным компонентом, который необходимо настроить на ведение журнала, чтобы облегчить устранение неполадок в будущем.

В файле redis.conf протоколирование настроено по умолчанию: logfile ""

Добавить/изменить в: файл журнала "redis.log"

Журналы автоматически генерируются в каталоге src после настройки.

3.3 Новые свойства spider.cluster.properties (необязательно)

Если вам нужно настроить конфигурацию, например порты, вы можете выполнить операции в этом разделе. Если настройка не требуется, этот раздел можно пропустить.

В каталоге %BI_HOME%\webapps\webroot\WEB-INF\config создайте новый файл spider.cluster.properties.

Файл содержит три строки:

Содержание установки	инструкции
spider_grpc_port=xxx	Установите порт rpc движка паука, если он не настроен, по умолчанию используется порт 50051.Просто убедитесь, что настроен свободный и доступный порт.
bi_conf_rpc_port=xxx	Установите rmi только что настроенного фреймворка, если он не настроен, то по умолчанию используется порт 50200Просто убедитесь, что настроен свободный и доступный порт.
is_sync_node=true	Установите свойства узла проекта, если они не заданы, то по умолчанию используется узел синхронизацииfalse: несинхронизированный узелtrue: синхронизированный узел

3.4 Запуск и вход в платформу

Запустите этот узел проекта FineBI.

1) Убедитесь, что внешняя база данных настроена

Администратор входит в систему FineBI и нажимает "System Management > Управление системой > Общие > Внешняя база данных", чтобы убедиться, что в системе настроена внешняя база данных.

2) Войдите в интерфейс конфигурации кластера

Администратор входит в систему FineBI и нажимает "Management System > Intelligent Ops > Cluster Configuration".

Все описанные ниже операции по настройке выполняются на этой странице.

4. Настройка сервера состояния

Подготовьте контент:

Сервер состояния для стандартных кластеров рекомендует использовать Redis standalone в качестве сервера состояния.

Убедитесь, что Redis standalone запущен первым, иначе проект не сможет успешно подключиться к нему.
Пожалуйста, подготовьте пароль для автономной системы Redis (или не готовьте, если у вас его нет).
Укажите IP-адрес и номер порта автономного узла Redis (доменное имя не рекомендуется, укажите IP-адрес внутренней сети).

Шаги конфигурации:

1) Включите кнопку "Сервер состояния".

2) Выберите систему кэширования как "Redis Standalone".

3) Введите IP-адрес и порт автономного узла Redis.

4) Если у вас есть пароль, введите его; если у вас нет пароля, проигнорируйте этот шаг.

5） После настройки нажмите кнопку "Проверить соединение и сохранить", если нет никаких отклонений, он может быть успешно сохранен.

Предварительный просмотр эффектов:

Успешно открытый сервер состояния показан на следующем рисунке:

5. Настройте встроенный MQ

Встроенные функции MQ предназначены для "контейнерного развертывания" кластеров, при неконтейнерном ручном развертывании кластеров не нужно обращать внимание на этот шаг, его можно сразу пропустить.

Контейнерное развертывание Компонент rocketmq обычно настраивается по умолчанию в установленном проекте. rocketmq заменяет некоторые функции очереди сообщений Redis.

Если rocketmq не настроен, по умолчанию используется redis.
Если настроен rocketmq, то rocketmq и redis действуют одновременно и отвечают за разные функции.

6. Файловый сервер конфигурации

Конфигурация Необходимые условия:

Рекомендуется выбрать "Общий доступ к файловому серверу > SFTP" для настройки согласованности файлов в стандартном кластере.

Сначала убедитесь, что сервер состояния в главе 4 успешно настроен, иначе настроить файловый сервер не удастся.
Убедитесь, что служба SFTP запущена первой , иначе проект не сможет успешно подключиться к этому файловому серверу.

Этапы подготовки:

1) Скопируйте папку %FR_HOME%\webapps\webroot\WEB-INF этого узла проекта на файловый сервер.

2) Дайте права на папку WEB-INF на файловом сервере, 777 в Linux.

(3) Брандмауэр файлового сервера, на котором расположен SFTP, должен быть открыт для порта 22.

4) Укажите путь к папке WEB-INF на файловом сервере, например /home/ftpuser/WEB-INF.

5) Пожалуйста, подготовьте формат кодировки, IP-адрес хоста, номер порта, имя пользователя, пароль/ключ этого файлового сервера (пожалуйста, подготовьте IP-адрес интрасети для IP-адреса хоста).

Шаги конфигурации:

1) Выберите "Общий доступ к файловому серверу" для настроек согласованности файлов.

2) Во всплывающем окне выберите протокол "SFTP".

3) Введите информацию о файловом сервере, подготовленную выше

4) После настройки нажмите "Проверить соединение и сохранить", если нет никаких отклонений, он может быть успешно сохранен.

Предварительный просмотр эффектов:

Успешно открытый файловый сервер показан на следующем рисунке:

7. Настройка режима кэширования

Рекомендуется выбрать "Off Cache" для режима кэширования стандартного кластера с прямым подключением.

8. настройка протоколов связи кластера

Для стандартных кластеров рекомендуется выбрать "TCP" в качестве протокола связи с кластером.

9. Подтвердите успешную настройку одноузлового кластера

1) Включите кнопку "Включить кластер".

2) Перезапустите проект узла.

3) Снова проверьте "Management System > Intelligent O&M > Cluster Configuration", и этот узел проекта появится в службе управления узлами.

На этом этапе стыковка узла проекта с внешней базой данных, сервером состояния и файловым сервером полностью завершена, и одноузловой кластер успешно развернут.

10. Настройка многоузловых проектов

1) Разверните другие инженерные узлы кластера

Методы развертывания описаны в разделе "Развертывание пакета развертывания" или "Автономное развертывание" для автономного развертывания.

2) Скопируйте файлы проекта

Скопируйте папку %BI_HOME%\webapps\webroot автономного узла кластера выше и перезапишите папку %BI_HOME%\webapps\webroot каждого из других вновь развернутых узлов проекта.

3) Измените spider.cluster.properties (необязательно)

В каталоге %BI_HOME%\webapps\webroot\WEB-INF\config каждого нового узла проекта найдите файл spider.cluster.properties и измените соответствующую конфигурацию.

Содержание установки	инструкции
spider_grpc_port=xxx	Установите порт rpc движка паука, если он не настроен, по умолчанию используется порт 50051.Только убедитесь, что настроен свободный и доступный порт.
bi_conf_rpc_port=xxx	Установите rmi только что настроенного фреймворка, если он не настроен, то по умолчанию используется порт 50200Просто убедитесь, что настроен свободный и доступный порт.
is_sync_node=true	Установите свойства узла проекта, если они не заданы, то по умолчанию используется узел синхронизации* false: несинхронизированный узел * true: синхронизированный узел Для кластеров с менее чем четырьмя узлами рекомендуется, чтобы все узлы кластера были настроены на trueДля кластеров с более чем пятью узлами рекомендуется, чтобы четыре узла были истинными, а остальные - ложными.

4) Удалите файл cluster.properties

Найдите каталог %BI_HOME%\webapps\webroot\WEB-INF\config нового узла проекта и удалите файл cluster.properties, если он существует.

5 ) Перезапустите эти новые инженерные узлы.

11. Подтверждение успешной конфигурации многоузлового кластера

Администратор входит в каждый узел проекта по очереди и проверяет "Management System > Intelligent O&M > Cluster Configuration", после чего вся информация об узлах проекта появляется в Node Management Service.

На этом этапе стыковка всех инженерных узлов с внешними базами данных, серверами состояния и файловыми серверами полностью завершена, и развертывание многоузлового кластера прошло успешно.

12. Настройка балансировки нагрузки

Балансировка нагрузки может быть выполнена с помощью различных алгоритмов, распределяющих запросы пользователей по различным узлам для повышения производительности и балансировки нагрузки.

Nginx" рекомендуется для балансировки нагрузки в стандартных кластерах.

Убедитесь, что вы сначала ознакомились с документацией по развертыванию: Linux System Installation and Configuration Nginx

Шаги конфигурации:

1) Измените файл nginx.conf

Используйте этот файл в качестве базового: extract cluster nginx.zip

Обратитесь к документу Изменение файла nginx.conf: Установка и настройка Nginx в системах Linux.

2) Перезапустите компонент Nginx.

13. Подтверждение успешной стандартной конфигурации кластера

Наберите в браузереip:load balancing port number/status и просмотрите страницу здоровья, чтобы узнать состояние здоровья каждого узла проекта.

На этом этапе стандартный многоузловой кластер успешно развернут.

14. Убедитесь, что кластеры извлечения включены

Кластер извлечения автоматически вступает в силу после вступления в силу кластера высокой доступности.

Администратор входит в FineBI и нажимает "System Management > Управление системой > Извлечь кластер", чтобы просмотреть информацию об узле.

SYNC - это синхронизированный узел, а ASYNC - асинхронный узел, конкретные инструкции см. в разделе: извлечение интерфейса управления кластером.

Пользователи могут пытаться добавлять, обновлять и запрашивать извлеченные базовые таблицы и наборы данных Self-service, и если никаких отклонений не происходит, это означает, что кластер извлечения успешно построен.

15. Следующие шаги

следующий шаг	инструкции
Регистрация кластера	Если автономный проект был зарегистрирован изначально, то после перехода на многоузловой кластер его нужно будет зарегистрировать заново.
Руководство по усилению безопасности продукции	Справочная документация повышает безопасность продукции
Руководство по мониторингу эксплуатации и технического обслуживания	Справочная документация повышает стабильность эксплуатации и управления
Платформа для эксплуатации и технического обслуживания	Рекомендуется настроить инструменты Ops Platform для кластеров