Оформление
Способы инженерного развертывания
Описание
В этой статье мы расскажем об основных процессах развертывания автономных и кластерных проектов, чтобы вы могли интуитивно понять, как развернуть те или иные операции.
Эта статья ориентирована на формальный инжиниринг, поэтому в ней рассказывается о настройке внешних баз данных, укреплении безопасности и других последующих операциях. Такие последующие операции рекомендуются для формального проектирования, но не являются обязательными.
В этой статье представлена только система Linux и промежуточное ПО Tomcat для развертывания программы, остальное не повторяется.
Примечание: Для развертывания формальных проектов рекомендуется использовать системные серверы Linux, о чем см. сравнительный анализ Linux и Windows.
Шаг 1: Определите количество инженерных узлов развертывания
Приложения FanRuan поддерживают автономное и кластерное развертывание, причем кластеры представляют собой несколько инженерных узлов.
На одном сервере может быть развернут только один инженерный узел кластера, поэтому для определения количества инженерных узлов требуется определенное количество серверов.
В этой статье для рекомендации конфигурации взяты три сценария. Если ваш проект FineBI включает более одного сценария, просто выберите самую высокую конфигурацию в качестве рекомендуемой.
Пользователям необходимо обратиться к разделу " Введение прямых и извлеченных данных ", чтобы понять, используют ли они "данные в реальном времени" или "извлеченные данные".
Определите, сколько узлов проекта нужно развернуть, исходя из ожидаемого количества параллельных операций в проекте, определите, что развернуть - автономный проект или кластер.
Описание размеров пользователя:
| Тип пользователя | Описание |
|---|---|
| Количество ежедневных пользователей | Количество пользователей, вошедших в систему FineBI Engineering за один день |
| Количество онлайн-пользователей | Количество пользователей, одновременно вошедших в проект FineBI |
| Количество одновременных пользователей | Количество пользователей, одновременно выполняющих операции над проектом FineBI. То есть, сколько пользователей одновременно отправляют запросы на сервер, то есть, сколько запросов, отправленных пользователями, обрабатывается сервером одновременно. |
| Ограничение параллельности при регистрации лицензий | Статистика основана на IP-адресах, а не на количестве пользователей, и сервер получает IP-адрес из запроса в качестве значения параллелизма.Этот параметр Lic не связан с количеством пользователей, указанных ниже. |
Непосредственно подключенные данные
Описание сценария: используйте только непосредственно подключенные данные, а не извлеченные.
Пропускная способность между узлами кластера и между узлами и другими компонентами 1000 Мбит/с.
В зависимости от параллельности проекта и вычислительной мощности БД источника данных выбирайте более высокую конфигурацию, если она попадает в несколько диапазонов конфигураций.
Edit Concurrent Correspondence Cache Not Hit.
Верхний предел количества одновременных пользователей в секунду соответствует попаданиям в кэш, а нижний - непопаданиям в кэш.
| Количество ежедневных пользователей | Количество онлайн-пользователейпочасовая | Количество одновременных пользователейкаждая секунда | компиляторпараллелизм | Вычислительная мощность источника данныхКоличество вычислений, обрабатываемых в секунду | Рекомендуемые конфигурации | минимальная конфигурация |
|---|---|---|---|---|---|---|
| 500 | <100 | <20 | <20 | <10 | Автономный, узлы встречаются: CPU: 8 ядер 16 потоков 2.5GHZ Память JVM: 16 ГБ Физическая память: 24 Гб | Автономный, узел удовлетворен:Процессор: 4 ядра 8 потоков 2,5 ГГцПамять JVM: 8 ГБФизическая память: 12 Гб |
| 2K | 100~1K | 40~90 | 10~40 | 10~20 | Кластер из 2 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 16 ГБФизическая память: 32 Гб | Автономный, узел удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 16 ГБФизическая память: 24 Гб |
| 3K | 600~1.5K | 60~130 | 30~60 | ≥30 | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 16 ГБФизическая память: 24 Гб | 2-узловой кластер, каждый узел встречается: CPU: 16 ядер, 32 потока, 2.5GHZ. Память JVM: 24 ГБ Физическая память: 48 Гб |
| 4K | 600~2K | 60~170 | 60~80 | ≥30 | Кластер из 4 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 16 ГБФизическая память: 24 Гб | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 24 ГБФизическая память: 48 Гб |
Извлеченные данные: проект с высокой ежедневной активностью
Описание сценария: проект FineBI с большим количеством ежедневных пользователей, самостоятельная разработка приложений пользователями при анализе данных (соответствующий запрос FineBI не попадает в кэш).
Суммарное количество узлов оценивает параллелизм: количество онлайн-пользователей Y = 300 * (количество узлов X-1) + 400.
Требования к пропускной способности и пропускной способности диска превышают 100 МБ/с (обычная производительность локального жесткого диска HDD), рекомендуется использовать твердотельные накопители SSD.
Память JVM ≠ вся память машины, рекомендуется, чтобы память JVM занимала 2/3 ~ 3/4 всей памяти машины.
| Количество онлайн-пользователейпочасовая | Количество одновременных пользователей каждую секунду | Параллелизм | Количество | Рекомендуемые конфигурации | Минимальная конфигурация |
|---|---|---|---|---|---|
| <100 | <20 | <20 | <100 листов/<1T | Автономный, узлы встречаются: CPU: 8 ядер 16 потоков 2.5GHZ Память JVM: 16 ГБ Физическая память: 32 Гб | Автономный, узел удовлетворен:Процессор: 8 ядер, 16 потоков, 2,5 ГГц.Память JVM: 16 ГБФизическая память: 32 Гб |
| 300~1K | 20~70 | 10~40 | <100 листов/<1T | Кластер из 2 узлов, каждый из которых удовлетворен:Процессор: 8 ядер, 16 потоков, 2,5 ГГц.Память JVM: 16 ГБФизическая память: 32 Гб | Автономный, узел удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб |
| 600~2K | 40~120 | 30~60 | >2k листов/>1T | Кластер из 2 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Кластер из 2 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 24 ГБФизическая память: 48 Гб |
| 900~3K | 50~160 | 50~80 | >4k листов/>2T | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Кластер из 2 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 24 ГБФизическая память: 48 Гб |
| 1.2K~3.5K | 60~190 | 70~100 | >5 тыс. листов/>3T | Кластер из 4 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб |
| 1.5K~4K | 80~220 | 80~200 | >5 тыс. листов/>3T | Кластер из 5 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Кластер из 4 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб |
Извлечение данных: панель одновременного просмотра
Сценарий: соответствует таким сценариям, как одновременный просмотр отчетов пользователями. То есть совокупное количество пользователей, обращающихся к Y, обычно составляет 5-10 минут (что соответствует полному попаданию в кэш запросов FineBI, т. е. при нескольких одинаковых запросах на вычисление движок может напрямую попасть в возвращаемые результаты).
Суммарное количество узлов для оценки параллелизма: количество одновременных пользователей за 5 минут Y = 380*количество узлов X
Когда количество запрашивающих пользователей в секунду достигает 160, скорость загрузки сервера балансировки нагрузки должна быть высокой и достигать 100 МБ/с.
Память JVM ≠ вся память машины, рекомендуется, чтобы память JVM занимала 2/3 ~ 3/4 всей памяти машины.
| Количество пользователей каждые 5 минут | Количество пользователей каждую секунду | Рекомендуемые конфигурации | Минимальная конфигурация |
|---|---|---|---|
| ~400 | 40 | 2-узловой кластер, каждый узел встречается: CPU: 8 ядер 16 потоков 2.5GHZ Память JVM: 16 ГБ Физическая память: 32 Гб | Автономный, узел удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб |
| 400~800 | 80 | Двухузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Двухузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 24 ГБФизическая память: 48 Гб |
| 800~1.1K | 110 | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 24 ГБФизическая память: 48 Гб |
| 1.1K~1.6K | 160 | Кластер из 4 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Трехузловой кластер, каждый узел которого удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб |
| 1.6K~2K | 190 | Кластер из 5 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб | Кластер из 4 узлов, каждый из которых удовлетворен:Процессор: 16 ядер, 32 потока, 2,5 ГГц.Память JVM: 32 ГБФизическая память: 64 Гб |
Шаг 2: Выберите метод развертывания проекта
Выберите метод развертывания, который соответствует вашим потребностям, исходя из преимуществ и недостатков каждого из них.
- Автономное развертывание предусматривает три метода развертывания: контейнерное развертывание, развертывание пакета развертывания, автономное развертывание.
- Развертывание кластеров предусматривает четыре метода развертывания: контейнерное развертывание стандартных кластеров извлечения, ручное развертывание стандартных кластеров извлечения, ручное развертывание кластеров извлечения высокой доступности, ручное развертывание стандартных кластеров прямого подключения.
| Тип проекта | Метод развертывания | Уточнение | |
|---|---|---|---|
| Контейнерное | Развертывание в контейнерах | ★★★ ★★Плюсы:**Низкая стоимость развертывания: развертывание одним щелчком мыши, поставляется с JDK, Tomcat, проектом FineBI и внешней базой данныхНизкие затраты на запуск:** параметры запуска добавляются по умолчанию после успешного развертывания, нет необходимости настраивать их вручнуюМалое влияние аномалий: среда проекта контейнеризирована, а среда каждого проекта изолирована друг от друга, поэтому в случае аномалий масштабы воздействия невелики.Низкая стоимость эксплуатации и обслуживания: платформа для эксплуатации и обслуживания автоматически получает доступ к проекту, автоматически контролирует и предупреждает проект, имеет низкую стоимость эксплуатации и обслуживания. | |
| Развертывание пакета развертывания | Плюсы:**Низкая стоимость развертывания: развертывание в один клик, поставляется с JDK, Tomcat, FineBI engineeringОграничения:**Поддерживается только развертывание Tomcat, поддерживается только архитектура x86 и arm.После развертывания необходимо вручную настроить параметры для обеспечения стабильной работы системыНевозможность своевременного мониторинга и оповещения о работе системы | ||
| Автономное развертывание | **Плюсы:Никаких ограничений на промежуточное ПО, никаких ограничений на архитектуру сервераОграничения:**Среда JDK и промежуточное ПО Tomcat должны быть развернуты и подготовлены заранее.Инженерный пакет FineBI должен быть подготовлен заранееПосле развертывания необходимо вручную настроить параметры для обеспечения стабильной работы системыНевозможность своевременного мониторинга и оповещения о работе системы | ||
| Кластеризация | Стандартный экстракционный кластер | Развертывание в контейнерах | ★★★ ★★****Плюсы:**Низкая стоимость развертывания: развертывание кластеров добычи одним щелчком мыши, включая инженерные узлы FineBI + балансировка нагрузки + серверы состояния + файловые серверы + внешняя база данныхНизкие затраты на запуск:** параметры запуска добавляются по умолчанию после успешного развертывания, нет необходимости настраивать их вручнуюМалое влияние аномалий: среда проекта контейнеризирована, а среда каждого проекта изолирована друг от друга, поэтому в случае аномалий масштабы воздействия невелики.Низкие затраты на эксплуатацию и обслуживание: платформа для эксплуатации и обслуживания автоматически получает доступ к проекту и поддерживает мониторинг и оповещение серверов, приложений FineBI, сервисов компонентов и т. д.Высокая доступность бизнеса: обеспечение механизма аварийного восстановления задач обновления, синхронизация узлов для обеспечения высокой доступности запросов к данным.Высокая параллельность запросов: несколько узлов одновременно предоставляют услуги запроса для достижения балансировки нагрузки, производительность параллельности увеличивается с ростом типа узловой линииВысокая производительность обновления: производительность обновления может быть улучшена за счет увеличения количества узлов |
| Ручное развертывание | Плюсы:По сравнению с кластерами с прямым соединением:Высокая доступность бизнеса: обеспечение механизма аварийного восстановления задач обновления, синхронизация узлов для обеспечения высокой доступности запросов к данным.Высокая параллельность запросов: несколько узлов одновременно предоставляют услуги запроса для достижения балансировки нагрузки, производительность параллельности увеличивается с ростом типа узловой линииВысокая производительность обновления: производительность обновления может быть улучшена за счет увеличения количества узлов**Ограничения:**Инженерные узлы + балансировка нагрузки + серверы состояния + файловые серверы + библиотеки конфигураций должны быть развернуты вручную, конфигурации изменены и связаны между собойПосле развертывания необходимо вручную настроить параметры для обеспечения стабильной работы системыНевозможность своевременного мониторинга работы системы, серверов и серверов компонентов. | ||
| Высокодоступные кластеры для добычи | Ручное развертывание | **Плюсы:По сравнению со стандартными вытяжными кластерами: кластеры обладают более высокой доступностью, что обеспечивает стабильность инженерных операций и технического обслуживанияОграничения:**Требуются сложные конфигурации, определенный уровень навыков и опыта, а также больше аппаратных или виртуальных ресурсовИнженерные узлы + балансировка нагрузки + серверы состояния + файловые серверы + библиотеки конфигураций должны быть развернуты вручную, конфигурации изменены и связаны между собойПосле развертывания необходимо вручную настроить параметры для обеспечения стабильной работы системыНевозможность своевременного мониторинга работы системы, серверов и серверов компонентов. | |
| Стандартный кластер с прямым подключением | Ручное развертывание | **Плюсы:По сравнению с отдельными проектами, несколько проектов в кластере взаимодействуют друг с другом для обмена данными и задачами, что обеспечивает лучшую масштабируемость и более высокую производительность, позволяет повысить нагрузочную способность и доступность системы, а также обеспечить стабильность и согласованность системыОграничения:**Этот метод развертывания в основном ориентирован на проекты с данными, связанными только напрямую, если есть данные извлечения, рекомендуется развернуть кластеры извлечения.Инженерные узлы + балансировка нагрузки + серверы состояния + файловые серверы + библиотеки конфигураций должны быть развернуты вручную, конфигурации изменены и связаны между собойПосле развертывания необходимо вручную настроить параметры для обеспечения стабильной работы системыНевозможность своевременного мониторинга работы системы, серверов и серверов компонентов. |
Шаг 3: просмотр конкретных сценариев развертывания
Автономный вариант I: контейнерное развертывание
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовка серверной среды для проекта FineBI и внешней базы данных.Рекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: автономная среда поддержки инженерного развертывания |
| 2 | Развертывание в контейнерах | 1) Установка платформы для эксплуатации и технического обслуживания2) Используйте интерфейс платформы эксплуатации и обслуживания для развертывания проекта FineBI(3) После успешного развертывания проекта автоматически запускается, администратор может получить доступ к проектуСправочный документ: автономный проект контейнерного развертывания |
| 3 | последующая операция | (1) контейнерное развертывание, автоматически устанавливается проект FineBI и внешняя база данных, проект автоматически получает доступ к внешней базе данных, поэтому нет необходимости настраивать внешнюю базу данных (2) Предлагаемый справочный документ для повышения безопасности продукта: Руководство по усилению безопасности продукта 3） Предлагаемый справочный документ для повышения стабильности эксплуатации и обслуживания: Руководство по мониторингуэксплуатации и обслуживания. |
Автономный вариант II: развертывание комплекта для развертывания
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовьте серверное окружение для проекта FineBI Подготовка и развертывание внешней базы данных Рекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: автономная среда поддержки инженерного развертывания |
| 2 | Развертывание пакета развертывания | 1) Скачайте, загрузите и извлеките пакет развертывания сервера2) Заявления о начале проекта FineBI3) После успешного запуска администратор может получить доступ к проектуДокументация: Tomcat Server Deployment Kit для Linux |
| 3 | последующая операция | (1) Рекомендуется настроить внешнюю базу данных для официального проекта: Конфигурация внешней базы данных (2) Рекомендуется обратиться к документу для повышения безопасности продукта: Product Security Hardening Guidebook (3) Рекомендуется обратиться к документу для повышения стабильности эксплуатации и обслуживания: Руководство по мониторингуэксплуатации и обслуживания |
Автономный вариант III: автономное развертывание
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовьте серверную среду для проекта FineBIПодготовка и развертывание Tomcat, JDKПодготовка и развертывание внешней базы данныхРекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: автономная среда поддержки инженерного развертывания |
| 2 | автономное развертывание | 1) Загрузите файл проекта webroot2) Загрузите файл tools.jar3) Заявления о начале проекта FineBI4) После успешного запуска администратор может получить доступ к проектуДокументация: Автономное развертывание сервера Tomcat на Linux |
| 3 | последующая операция | (1) Рекомендуется настроить внешнюю базу данных для официального проекта: Конфигурация внешней базы данных (2) Рекомендуется обратиться к документу для повышения безопасности продукта: Product Security Hardening Guidebook (3) Рекомендуется обратиться к документу для повышения стабильности эксплуатации и обслуживания: Руководство по мониторингуэксплуатации и обслуживания |
Первый вариант кластера: контейнерное развертывание стандартных кластеров
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовка инженерных узлов + балансировка нагрузки + сервер состояния + файловый сервер + библиотека конфигурации Среда развертыванияРекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: среда поддержки развертывания инженерных кластеров |
| 2 | Развертывание в контейнерах | 1) Установка платформы для эксплуатации и технического обслуживания2) Разверните проекты FineBI с помощью интерфейса платформы O&M, которые будут развернуты автоматически:* Инженерный узел FineBI * Внешняя база данных MySQL * Балансировка нагрузки Nginx * Автономный государственный сервер Redis * Файловый сервер MinIO (3) После успешного развертывания проект кластера автоматически запускается, и администраторы могут получить доступ к проектуСправочный документ: проектирование кластера контейнерного развертывания |
| 3 | последующая операция | 1) Инженерные узлы и компоненты кластера автоматически развертываются при контейнерном развертыванииПроект автоматически подключается к внешней базе данных, поэтому нет необходимости настраивать внешнюю базу данных.Проект автоматически подключается к балансировке нагрузки + государственному серверу + файловому серверу, поэтому нет необходимости включать настройку кластеризации2) Предлагаемый справочный документ для повышения безопасности продукции: Руководство по усилению безопасности продукции3) Предлагаемые справочные документы для повышения стабильности O&M: Руководство по мониторингуO&M4) Рекомендуется настроить инструмент платформы эксплуатации и обслуживания для кластера:Operation and Maintenance Platform |
Вариант кластера II: ручное развертывание стандартных кластеров для извлечения
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовка инженерных узлов + балансировка нагрузки + сервер состояния + файловый сервер + среда развертывания библиотеки конфигурацииРекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: среда поддержки развертывания инженерных кластеров |
| 2 | Развертывание внешних баз данных | Разверните базу данных в качестве внешней резервной копии базы данных для проекта, рекомендуется развернуть базу данных MySQL5Пользователю нужно только развернуть и запустить базу данных.Поддерживаемые типы баз данных см. в разделе: Настройка внешних баз данных |
| 3 | Развертывание балансировки нагрузки | Развертывание балансировки нагрузки, рекомендуемые сценарии развертывания NginxПросто установите Nginx, без запуска, без изменения конфигурационного файла nginx.confДокументация: Установка и настройка Nginx в системах Linux |
| 4 | Сервер состояния развертывания | Развертывание государственных серверов, рекомендуемое развертывание автономного RedisУбедитесь, что Redis запущен автономно* Автономный Redis: общее назначение, простота развертывания, невысокая доступность * Кластер Redis: высокая доступность, не менее 3, рекомендуется подготовить 6 серверов * Redis Sentinel: лучшая высокая доступность, не может масштабироваться горизонтально, не поддерживает высокий параллелизм |
| 5 | Развертывание файловых серверов | Развертывание файловых серверов, предпочтительно рекомендуется SFTPРекомендуемый уровень: SFTP≈MinIO＞NFS＞FTP≈HDFS* SFTP: в целом прост, безопасность лучше, чем у FTP; производительность, стабильность недостаточно хоро ши * FTP: общий и простой; безопасность, стабильность, производительность недостаточно хороши, не рекомендуется использовать в качестве неосновных. * HDFS: лучшая стабильность; проблемы с развертыванием, необходимость установки плагинов * Общий внешний каталог (NAS): SFTP-подобный; необходимо развернуть NAS-клиент и сервер, не отличается высокой доступностью, требует установки плагинов * MinIO: S3-подобный, лучшая стабильность; необходимо развернуть собственный MinIO, автономный не может быть высокодоступным, требуется установка плагинов * S3: облачное хранилище, высокодоступные решения, поддержка только некоторых S3, сценарии класса резервного восстановления могут отставать |
| 6 | Развертывание инженерных узлов | Развертывание инженерного узлаМетоды развертывания описаны в разделе "Развертывание пакета развертывания" или "Автономное развертывание" для автономного развертывания.* Комплект для развертывания сервера Tomcat для Linux * Автономное развертывание Tomcat Server в Linux |
| 7 | Настройка включения кластеризации | 1) Подготовка к работе:Настройка системных параметров Linux для предотвращения простоевНастройка журналов Redis для последующего устранения неполадокНовый файл spider.cluster.properties для настройки информации об узлах2) Одноузловая кластерная конфигурация:Настройте внешнюю базу данных для этого: Настройте внешнюю базу данныхПодключите главный узел к государственному серверу + файловому серверуНастройка режима кэширования и протокола связиЗапустите кластер и перезапустите проект3) Многоузловая кластерная конфигурация:Развертывание других инженерных узловСкопируйте файл проекта webroot с первого узла на другие узлы проектаИзмените файл spider.cluster.properties, чтобы настроить информацию об узлах.Инициирование других инженерных узловДополнительные сведения см. в разделе: Ручная настройка стандартных кластеров извлечения для систем Linux |
| 8 | Настройка балансировки нагрузки | 1) Обратитесь к документации по изменению файла nginx.conf: Установка и настройка Nginx в системе Linux2) Перезапустите компонент Nginx. |
| 9 | последующая операция | (1) Справочная документация по повышению безопасности продукции: Руководство по усилению безопасности продукции(2) Справочные документы для повышения стабильности операций и технического обслуживания: руководство по мониторингу операций и технического обслуживания(3) Рекомендуется настроить инструмент платформы эксплуатации и обслуживания для кластера:платформа эксплуатации и обслуживания |
Кластерный сценарий III: ручное развертывание высокодоступных кластеров извлечения
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовка инженерных узлов + балансировка нагрузки + сервер состояния + файловый сервер + библиотека конфигурации Среда развертыванияРекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: среда поддержки развертывания инженерных кластеров |
| 2 | Развертывание внешних баз данных | Разверните базу данных в качестве внешней резервной базы данных для проекта, отдавая предпочтение рекомендованной высокодоступной первичной базе данных в режиме резервного копированияПоддерживаемые типы баз данных см. в разделе: Настройка внешних баз данных |
| 3 | Развертывание балансировки нагрузки | При развертывании балансировки нагрузки рекомендуется использовать Keepalived+Nginx.Дополнительную информацию см. в разделе: Сценарии развертывания Keepalived+Nginx |
| 4 | Сервер состояния развертывания | Развертывание серверов состояния, рекомендуется кластеры Redis* Автономный Redis: общее назначение, простота развертывания, невысокая доступность * Кластер Redis: высокая доступность, не менее 3, рекомендуется подготовить 6 серверов * Redis Sentinel: лучшая высокая доступность, не может масштабироваться горизонтально, не поддерживает высокий параллелизм |
| 5 | Развертывание файловых серверов | Развертывание файловых серверов, приоритет рекомендуется отдавать NAS* SFTP: в целом прост, безопасность лучше, чем у FTP; производительность, стабильность недостаточно хоро ши * FTP: общий и простой; безопасность, стабильность, производительность недостаточно хороши, не рекомендуется использовать в качестве неосновных. * HDFS: лучшая стабильность; проблемы с развертыванием, необходимость установки плагинов * Общий внешний каталог (NAS): SFTP-подобный; необходимо развернуть NAS-клиент и сервер, не отличается высокой доступностью, требует установки плагинов * MinIO: S3-подобный, лучшая стабильность; необходимо развернуть собственный MinIO, автономный не может быть высокодоступным, требуется установка плагинов * S3: облачное хранилище, высокодоступные решения, поддержка только некоторых S3, сценарии класса резервного восстановления могут отставать |
| 6 | Развертывание инженерных узлов | Развертывание инженерного узлаМетоды развертывания описаны в разделе "Развертывание пакета развертывания" или "Автономное развертывание" для автономного развертывания.Не запускайте эти инженерные узлы после развертывания.* Комплект для развертывания сервера Tomcat для Linux * Автономное развертывание Tomcat Server в Linux |
| 7 | Настройка включения кластеризации | 1) Подготовка к работе:Настройка системных параметров Linux для предотвращения простоевНастройка журналов Redis для последующего устранения неполадокНовый файл spider.cluster.properties для настройки информации об узлах2) Одноузловая кластерная конфигурация:Настройте внешнюю базу данных для этого: Настройте внешнюю базу данныхПодключите главный узел к государственному серверу + файловому серверуНастройка режима кэширования и протокола связиЗапустите кластер и перезапустите проект3) Многоузловая кластерная конфигурация:Развертывание других инженерных узловСкопируйте файл проекта webroot с первого узла на другие узлы проектаИзмените файл spider.cluster.properties, чтобы настроить информацию об узлах.Инициирование других инженерных узловДополнительные сведения см. в разделе: Ручная настройка кластеров высокодоступных извлечений на системах Linux |
| 8 | Настройка балансировки нагрузки | 1) Обратитесь к документации по изменению файла nginx.conf: Установка и настройка Nginx в системе Linux2) Перезапустите компонент Nginx. |
| 9 | последующая операция | (1) Справочные документы для повышения безопасности продукции: Руководство по усилению безопасности продукции 2） Ссылка на документ для повышения стабильности эксплуатации и обслуживания: Руководство по мониторингу эксплуатации и обслуживания. 3) Предлагаемая конфигурация для инструмента платформы эксплуатации и обслуживания кластера:платформа эксплуатации и обслуживания |
Вариант кластера IV: ручное развертывание стандартного кластера с прямым подключением
| Процедура | Инструкции | |
|---|---|---|
| 1 | Подготовка серверной среды | Подготовка инженерных узлов + балансировка нагрузки + сервер состояния + файловый сервер + библиотека конфигурации Среда развертыванияРекомендуемая среда: Рекомендуемая среда для инженерного развертыванияПоддерживаемые среды: среда поддержки развертывания инженерных кластеров |
| 2 | Развертывание внешних баз данных | Разверните базу данных в качестве внешней резервной копии базы данных для проекта, рекомендуется развернуть базу данных MySQL5Пользователю нужно только развернуть и запустить базу данных.Поддерживаемые типы баз данных см. в разделе: Настройка внешних баз данных |
| 3 | Развертывание балансировки нагрузки | Развертывание балансировки нагрузки, рекомендуемые сценарии развертывания NginxПросто установите Nginx, без запуска, без изменения конфигурационного файла nginx.confДокументация: Установка и настройка Nginx в системах Linux |
| 4 | Сервер состояния развертывания | Развертывание государственных серверов, рекомендуемое развертывание автономного RedisУбедитесь, что Redis запущен автономно* Автономный Redis: общее назначение, простота развертывания, невысокая доступность * Кластер Redis: высокая доступность, не менее 3, рекомендуется подготовить 6 серверов * Redis Sentinel: лучшая высокая доступность, не может масштабироваться горизонтально, не поддерживает высокий параллелизм |
| 5 | Развертывание файловых серверов | Развертывание файловых серверов, предпочтительно рекомендуется SFTPРекомендуемый уровень: SFTP≈MinIO＞NFS＞FTP≈HDFS* SFTP: в целом прост, безопасность лучше, чем у FTP; производительность, стабильность недостаточно хоро ши * FTP: общий и простой; безопасность, стабильность, производительность недостаточно хороши, не рекомендуется использовать в качестве неосновных. * HDFS: лучшая стабильность; проблемы с развертыванием, необходимость установки плагинов * Общий внешний каталог (NAS): SFTP-подобный; необходимо развернуть NAS-клиент и сервер, не отличается высокой доступностью, требует установки плагинов * MinIO: S3-подобный, лучшая стабильность; необходимо развернуть собственный MinIO, автономный не может быть высокодоступным, требуется установка плагинов * S3: облачное хранилище, высокодоступные решения, поддержка только некоторых S3, сценарии класса резервного восстановления могут отставать |
| 6 | Развертывание инженерных узлов | Развертывание инженерного узлаМетоды развертывания описаны в разделе "Развертывание пакета развертывания" или "Автономное развертывание" для автономного развертывания.* Комплект для развертывания сервера Tomcat для Linux * Автономное развертывание Tomcat Server в Linux |
| 7 | Настройка включения кластеризации | 1) Одноузловая кластерная конфигурация:Настройте внешнюю базу данных для этого: Настройте внешнюю базу данныхПодключите главный узел к государственному серверу + файловому серверуНастройка режима кэширования и протокола связиЗапустите кластер и перезапустите проект2) Многоузловая кластерная конфигурация:Развертывание других инженерных узловСкопируйте файл проекта webroot с первого узла на другие узлы проектаИнициирование других инженерных узловДополнительные сведения см. в разделе: Ручная конфигурация стандартного кластера Direct Connect для систем Linux. |
| 8 | Настройка балансировки нагрузки | 1) Обратитесь к документации по изменению файла nginx.conf: Установка и настройка Nginx в системе Linux2) Перезапустите компонент Nginx. |
| 9 | последующая операция | (1) Справочная документация по повышению безопасности продукции: Руководство по усилению безопасности продукции(2) Справочные документы для повышения стабильности операций и технического обслуживания: руководство по мониторингу операций и технического обслуживания3) Рекомендуется настроить инструмент платформы эксплуатации и обслуживания для кластера:Operation and Maintenance Platform |
Другие методы развертывания Расширенное чтение
| Тип промежуточного программного обеспечения | Справочная документация по развертыванию |
|---|---|
| Tomcat для Windows | Комплект для развертывания сервера Tomcat для Windows |
| Автономное развертывание Tomcat для Windows | |
| WebLogic | Развертывание сервера Weblogic |
| WebSphere | Развертывание сервера Websphere в системе Linux |
| JBoss | Развертывание сервера Wildfly (JBoss) 9~18 |
| Развертывание сервера Wildfly (JBoss) 8 | |
| Смола | Развертывание сервера Resin |
Общие проблемы
Нам очень жаль, что у вас возникли проблемы с его использованием. В первую очередь вы можете обратиться за помощью в раздел "Вопросы и ответы".
Вы также можете сначала обратиться к соответствующим документам для поиска и решения проблемы. Ниже приведен список распространенных проблем, возникающих при развертывании сервера tomcat, и рекомендуется сначала обратиться к документации, чтобы найти и решить проблему.
| Рекомендуемые документы | Описание проблемы |
|---|---|
| Проблемы, связанные с развертыванием Tomcat | Краткое описание проблемы Tomcat |
| Сравнительный анализ систем Linux и Windows | Кратко представлен сравнительный анализ систем Linux и Windows, пользователи могут выбрать систему для развертывания в соответствии с реальной ситуацией |
| Использование и настройка брандмауэра LinuxНастройка входящих и исходящих правил на сервере Windows | Открытые порты брандмауэра |
| Конфигурация разрешений файлов в Linux | Конфигурация разрешений файлов в Linux |
| Конфигурация переменных окружения JAVA | Ознакомьтесь с некоторыми ошибками и их решениями, вызванными проблемами с конфигурацией переменных окружения JAVA. |