Оформление
Механизм ускорения - Справка FineReport | Разработка отчетов | Использование отчетов | Учебные пособия
ускорительный двигатель
1. Обзор
1.1 Сценарии применения
В режиме прямой передачи данных ускоритель может повысить эффективность приложений для работы с данными в сценариях больших данных, добиться более высокой производительности и удовлетворить требования к обработке крупномасштабных данных.
Если вы хотите использовать механизм ускорения, вы можете настроить библиотеку ускорения в функции "Acceleration Engine" и следить за производительностью данных в библиотеке ускорения.
1.2 Функциональный профиль
Ускорительный двигатель выполняет три основные функции:
- Acceleration Engine: настройка базы данных в качестве хранилища ускорения и мониторинг состояния хранилища ускорения (в качестве хранилища ускорения поддерживается только база данных StarRocks);
- SQL Analytics: мониторинг скорости выполнения и производительности SQL в FineBI;
- Запись выгрузки Excel: просмотр выгрузок Excel;
1.3 Необходимые условия для использования
Эта функция является дополнительным модулем для BI 6.0 и требует покупки и регистрации точки функции, прежде чем ее можно будет использовать.
2. ускорительный двигатель
2.1 Настройка библиотеки ускорения
1) Нажмите "Acceleration Engine > Add Acceleration Library Connection" и введите информацию о подключении базы данных. После успешного подключения соединение можно сохранить, как показано ниже:
Примечание 1: В качестве библиотеки ускорения поддерживается только база данных StarRocks.
Примечание 2: Вам необходимо открыть query_port (по умолчанию 9030) и http_port (по умолчанию 8030) узла FE и http_port (по умолчанию 8040) узла BE вStarRocks .
| элемент конфигурации | описания |
|---|---|
| Имя базы данных | Введите имя базы данных |
| Хосты и порты | Введите хост и порт, на котором расположена база данных; если вы работаете в кластере, вы можете добавить несколько хостов и портов. |
| Имя пользователя/пароль | Введите имя пользователя и пароль для базы данныхПримечание: Ниже StarRocksV3.0: используйте пользователя root; StarRocksV3.0 и выше: пользователь должен иметь привилегию OPERATE. Метод авторизации: GRANT OPERATE ON SYSTEM TO USER 'user_name'@'%'. |
2）После успешного подключения пользователи могут напрямую "скопировать URL подключения данных", перейти в раздел "Подключение данных", ввести информацию об ускоренной библиотеке и создать новое подключение данных. Для получения подробной информации, пожалуйста, обратитесь к разделу: StarRocks Data Connection
3) Если вы хотите "удалить" или "отредактировать" настроенную библиотеку ускорения, вы также можете нажать верхнюю правую кнопку.
2.2 Мониторинг состояния библиотеки ускорения
После подключения FineBI получит информацию о состоянии узла из библиотеки ускорения, которая разделена на два основных модуля:
- Показывает информацию о состоянии различных узлов FE в кластере ускоренной библиотеки: FE отвечает за обработку и получение запросов от клиента и пересылку этих запросов на back-end (BE) для выполнения. FE также отвечает за разбор запросов, оптимизацию, контроль привилегий, возврат набора результатов и другие задачи.
- Отображение информации о состоянии различных узлов BE в кластере ускоренной библиотеки: BE - это компонент, отвечающий за фактическое выполнение операций запроса. Он отвечает за взаимодействие с движком хранилища, чтение и загрузку данных, выполнение плана запроса, выполнение таких операций, как агрегирование и вычисления, и возврат конечного результата на FE для обработки и возврата клиенту.
Состояние ускоренной библиотеки отображает следующую информацию
- Информация о FE: имя, IP, порт JDBC, WEB-порт, роль узла, ID кластера, присоединяться или нет, статус "живой", время запуска, время последнего сердцебиения, сообщение об ошибке
- Информация о BE: идентификатор BE, IP, время запуска, последнее время сердцебиения, состояние жизни, количество ядер процессора, занятость процессора, занятость памяти, занятость дисков, общее количество дисков, оставшаяся доступность дисков, количество планшетов, максимальная занятость дисков, размер занятых файлов данных, сообщения об ошибках
3. SQL-анализ
Когда FineBI анализирует данные, FineBI отправляет SQL-запрос в библиотеку ускорения. Если какой-либо SQL-запрос занимает много времени (более 3 с) или имеет ошибку выполнения, он будет автоматически записан системой в интерфейс "Анализ SQL". Это поможет администраторам/операторам и обслуживающему персоналу найти проблему и оптимизировать производительность.
Чтобы использовать функцию "Анализ SQL", необходимо заранее включить в базе данных следующие параметры:
set global enable_profile = true; ADMIN SET FRONTEND CONFIG ("enable_collect_query_
detail_info" = "true"); -- Примечание: После перезагрузки FE параметры будут восстановлены до конфигураций в файле fe.conf или значений по умолчанию.
-- Если вы хотите, чтобы конфигурация действовала в течение длительного времени, рекомендуется одновременно с настройкой изменить файл fe.conf, чтобы изменения не были аннулированы после перезагрузки.Войдя в интерфейс "Acceleration Engine > SQL Analysis", пользователи могут отфильтровать SQL по "Status, Start Time, Elapsed Time, Users", как показано на следующем рисунке:
1) Например, если мы отфильтровываем SQL-запросы, которые занимают более 10 секунд, и есть один, который занимает 57 секунд, мы можем дважды щелкнуть на "dashboard id, component id, dataset id " и щелкнуть правой кнопкой мыши, чтобы скопировать идентификаторы, а затем перейти к "BI Tools>Query>Table Name Query", чтобы найти соответствующие таблицы данных на основе идентификаторов, или перейти к Configure Dataset, чтобы найти конкретные панели, компоненты и наборы данных на основе идентификаторов. или перейдите в раздел Configure Dataset, чтобы найти конкретную приборную панель, компонент и набор данных в соответствии с идентификатором.
2) Нажмите "Идентификатор запроса", чтобы перейти в интерфейс подробностей запроса. В разделе "Детали SQL" мы также можем увидеть точный запрос, выполняемый этим SQL.
Ресурсы, связанные с BI, также отмечаются в верхней части SQL-оператора.
| Идентификатор ресурса Имя | скрытый смысл |
|---|---|
| ИДЕНТИФИКАТОР_КАТЕГОРИИ | Идентификатор приборной панели |
| SUB_CATEGORY_ID | Идентификатор компонента |
| ИМЕНА_ТАБЛИЦ | Идентификатор набора данных |
3) Нажмите на "Время выполнения", чтобы увидеть тип, прошедшее время, процент прошедшего времени и количество строк данных, возвращенных каждым узлом для каждого оператора, что поможет нам устранить причину замедления работы.
Например, мы можем увидеть детали конкретного узла после нажатия на арифметику с большим процентом затраченного времени.
- Отношение "времени выполнения ввода/вывода " и "обработки " к общему времени работы алгоритма.
- Информация, относящаяся к данному оператору
(4) Просмотр "Детали выполнения" и "План запроса
- Детали выполнения: это отчет о "времени выполнения", который можно скопировать в текстовый файл для просмотра. Например, если некоторым пользователям интрасети требуется помощь внешних пользователей для проверки скорости выполнения, они могут скопировать отчет "Подробности выполнения" и отправить его внешним пользователям.
- План запроса: в основном предоставляется DBA для просмотра, просмотр "плана запроса" может помочь DBA в глубоком понимании деталей выполнения и характеристик производительности запроса, для оптимизации производительности, управления ресурсами и устранения неполадок, чтобы улучшить общую производительность и стабильность системы базы данных.
4. Выгрузка записей в Excel
Анализ таблиц Excel и баз данных, загруженных в FineBI, ограничен в обычном режиме прямых данных:
- Изначально мы использовали Insert Into для загрузки Excel, но производительность загрузки не очень хорошая и скорость загрузки низкая.
- Данные Excel не могут превышать 1w записей, а анализ ограничен.
- Администраторы не имеют возможности узнать, какой Excel использовался, а какой загруженный Excel не использовался, что делает управление Excel неудобным.
В ответ на это FineBI оптимизировала совместный анализ таблиц Excel и баз данных в ускоренной библиотеке.
Пока ускоренная библиотека настроена в FineBI, система будет автоматически создавать библиотеку fine_bi_crossdata в ускоренной библиотеке . Когда мы загружаем непосредственно подключенный Excel в FineBI, система автоматически использует файл Excel для построения таблиц в fine_bi_crossdata . Таким образом, когда мы используем таблицы базы данных в ускоренной библиотеке для выполнения анализа слияния с помощью Excel, на нас больше не влияют три вышеуказанных ограничения.
Пользователи могут перейти к "Записи выгрузки Excel", чтобы проверить соответствие между " Исходным файлом, таблицей базы данных, именем таблицы FineBI ".
А найти нужную таблицу можно по "Имени таблицы" и "Времени обновления".
| заголовок | описания |
|---|---|
| имя исходного файла excel | Имя исходного файла Excel |
| Путь к серверу исходного файла Excel | Адрес, по которому исходный файл хранится на сервере после загрузки Excel в FineBI. |
| Идентификатор таблицы | Идентификатор таблицы Excel в FineBI |
| название таблицы | Имя Excel в FineBI |
| Имя таблицы базы данных | Имя таблицы, созданной системой в fine_bi_crossdata с помощью данного Excel. |
| время обновления | Время обновления Excel в FineBI |