Оформление
Разработка данных FineDataLink - Справочная документация FineReport|Разработка отчетов|Использование отчетов|Учебные пособия
FineDataLink Разработка данных
1. Что такое разработка данных?
"Разработка данных" - это функциональный пункт в продукте FineDataLink, который позволяет разрабатывать и пошагово организовывать ETL-задачи с помощью SQL и визуализации.
В FineBI v6.0 интегрирован модуль разработки данных FineDataLink с двухъядерным механизмом разработки данных ELT и ETL, который гибко отвечает различным сценариям обработки данных, а ИТ-персонал может использовать эту функцию для синхронизации обработанных высококачественных данных с FineBI для самостоятельного анализа бизнес-персоналом.
Примечание: Если пользователи хотят использовать функцию интегрированной разработки данных в FineBI 6.0, им необходимо сначала зарегистрировать соответствующие функциональные точки FineDataLink; при этом администратор должен включить привилегию управления задачами по времени для пользователей, чтобы убедиться, что у них есть полномочия для использования этой функции.
2. Введение в разработку данных
2.1 Поддерживаемые источники данных
Разработка данных поддерживает множество источников данных и позволяет обрабатывать и интегрировать данные из разных источников.
Базы данных, поддерживающие чтение и запись данных, см. в разделе: " Поддерживаемые источники данных FineDataLink ", глава III.
2.2 Управление задачами
Хранилища разработки данных проектируют бизнес-процессы с помощью "тайминговых задач".
Управляйте заданиями с таймером через "Папки".
2.3 Разработка задач
2.3.1 Примеры сценариев стоимости
1) Обеспечение пакетной синхронизации данных между источниками данных
(2) Предоставление различных операторов преобразования данных, гибкая обработка данных.
Описание операторов на рисунке ниже см. в разделе 2.3.2 данного документа.
3) Поддержка парсинга JSON - одного из ключевых моментов для разбора полуструктурированных данных.
4) Поддержка Spark SQL, чтобы охватить больше сценариев преобразования данных.
5) Контейнер циклов, поддержка циклов обхода данных.
(6) Стыковка предприятий и микропредприятий для реализации поиска данных.
7) Поддержка SQL-скриптов для добавления, удаления и изменения базы данных.
(8) Поддержка сценария оболочки вызова, стыковка внешних независимых процессов обработки данных.
2.3.2 Знакомство с узлами
Ниже показан экран разработки задания:
Описание узлов приведено в следующей таблице:
| категоризация | узловой | инструкции |
|---|---|---|
| общий (использование) | синхронизация данных | * Подходит для сценариев синхронизации с большими объемами данных, когда объем данных одной таблицы превышает 1 кВт, рекомендуется использовать синхронизацию данных * Подходит для сценариев синхронизации данных без сложной логики обработки |
| преобразование данных | Преобразование данных рекомендуется, когда данные необходимы для выполнения сложных сценариев с использованием FDL | |
| скрипты | Сценарии SQL | Написав SQL, выполните обработку таблиц и данных, например: создание, обновление, удаление, чтение, сопоставление, сводка и другие операции. |
| сценарий оболочки | Поддерживает взаимодействие с внешними независимыми системами обработки данных путем выполнения сценариев Shell.Например, обновление SVN, очистка файлов, вызов задач Kettle, вызов вычислительных задач Python, вызов вычислительных задач Spark, выполнение резервного копирования и восстановления баз данных и многое другое! | |
| рабочие процессы | назначение параметров | Узел назначения параметров извлекает данные, которые должны быть назначены через источник данных, и присваивает значения параметрамПолученные данные выводятся в виде параметров, и последующие узлы могут использовать значения параметров, используя формулы |
| условное ветвление | Определите, нужно ли запускать последующие узлы, исходя из настроенных условий выполнения | |
| вызвать задачу | Вызов других задач с таймером в рамках платформы для завершения выполнения межзадачного планирования | |
| циркуляционный сосуд | Выполнение циклов обхода и условных циклов на узлах внутри контейнеров для удовлетворения сценариев выполнения циклов на узлах | |
| уведомление о сообщении | Настройте содержание уведомлений для оповещения пользователей по указанным каналамКанал оповещения: Email/SMS/Enterprise WeChat App Push/Enterprise WeChat Group Robot/Spike App Push/Spike Group RobotСодержание уведомлений: настраиваемое | |
| виртуальный узел | Пустая операция, не имеющая практического значения, обычно используется при реализации сценариев "многофилиальный - многофилиальный". | |
| остальное | Примечания | Пользователи могут добавлять заметки к задачам, узлам |
Среди них узел "Трансформация данных" обеспечивает ввод, вывод, преобразование и другие типы операторов, с помощью которых можно выполнять сложную обработку данных. Он показан на рисунке ниже:
В следующей таблице описаны операторы в разделе "Преобразование данных":
| категоризация | оператор (математика.) | инструкции |
|---|---|---|
| ввод данных | Вход таблицы БД | Чтение данных из таблицы реляционной базы данных |
| Вход API | Считывает данные из API, поддерживает RESTful API и WebService API. | |
| Ввод файлов | Считывание данных из файлов Excel, CSV, Txt с локального и FTP/SFTP-сервера FineDataLink | |
| Облачный вход Jandao | Чтение данных из формы Jandao Cloud | |
| Входные данные MongoDB | Считывает данные из указанной коллекции в MongoDB. | |
| Ввод SAP RFC | Поддерживает вызовы функций, уже разработанных в системе SAP, через интерфейс RFC и выводит данные. | |
| Ввод набора данных | Поддерживает чтение файловых наборов данных (Excel, TXT, XML, CSV), древовидных наборов данных, хранимых процедур, программных наборов данных, встроенных наборов данных и связанных наборов данных. При этом хранимые процедуры, процедурные наборы данных, встроенные наборы данных и связанные наборы данных могут быть определены только в FineReport Designer. | |
| вывод данных | Вывод таблицы БД | Экспорт данных в таблицы реляционной базы данных |
| вывод параметров | Вывод полученных данных в качестве параметров для последующих узлов | |
| Выходной сигнал API | Экспорт данных в API | |
| Облачный выход Jandao | Экспорт данных в Jandao Cloud Forms | |
| затирка | объединение данных | Пользователь имеет две таблицы данных в разных базах данных и хочет иметь возможность связать две таблицы из разных исходных библиотек для создания новой таблицы. Соединение происходит следующим образом:* LEFT JOIN: Левое слияние * RIGHT JOIN: Right Merge * INNER JOIN: берется пересечение * FULL OUTER JOIN: получение конкатенированных наборов |
| сравнение данных | Сравните 2 входных данных и отфильтруйте новые, удаленные, одинаковые, обновленные данные. | |
| конверсии | сдвиг колонн | Внесите изменения в структуру строк и столбцов таблицы данных, от столбца к строке |
| преобразование строк в столбцы | Внесение изменений в структуру строк и столбцов таблицы данных, переход от строки к столбцу | |
| Парсинг JSON | Разбирает данные в структуре JSON и выводит их в формате строк и столбцов. | |
| Разбор XML | Разбор данных в формате XML на строки и столбцы | |
| Настройки полей | Возможность выбора, переименования и преобразования типов данных полей потока данных | |
| Новые вычисляемые столбцы | Не затрагивая исходное поле, исходное поле можно использовать для получения нового поля путем ссылки или вычисления | |
| Фильтрация данных | Фильтрация записей данных, отвечающих требованиям | |
| Генерация JSON | Выберите поля, чтобы преобразовать данные формы для создания нескольких JSON-объектов, в которых пользователь может настроить несколько уровней вложенности JSON. | |
| лаборатории | Spark SQL | Spark SQL основан на встроенном вычислительном движке Spark, который удовлетворяет потребности пользователей в запросах к данным и их обработке, а также поддерживает использование параметров и функций. |
| остальное | Примечания | Пользователи могут добавлять заметки к задачам, узлам |
2.4 Планирование задач
Предоставляет функцию планирования по времени, которая может автоматически запускать задания по времени через регулярные промежутки времени, чтобы обеспечить своевременное обновление данных.
- Время начала: установите время начала выполнения задания.
- Частота выполнения: частота выполнения мандата
- Время окончания: установка времени окончания выполнения задания
- Уведомление о результатах: результат выполнения задачи планирования, если выполнение не удалось, то об этом будет сообщено.
Подробнее см. в разделе: Конфигурация планирования задач по времени
2.5 Операции и обслуживание миссии
Поддержка гибкого планирования задач, мониторинг рабочего состояния в реальном времени, удобное управление позволят освободить от огромной нагрузки эксплуатационный и обслуживающий персонал.
- Журнал выполнения: Вы можете просмотреть статус выполнения задачи, затраченное время и журнал истории выполнения задачи с помощью фильтрации и поиска.
- Управление задачами: просмотр конфигурации планирования задач.
- Контроль ресурсов: ограничьте память и пропускную способность, потребляемые платформой данных, чтобы минимизировать влияние на сервисы FineReport или FineBI в интегрированном развертывании. В то же время в автономных развертываниях вы можете контролировать ресурсы памяти, потребляемые при разработке данных.
Более подробную информацию см. в разделе: Timed Tasks O&M
3. Как помочь бизнес - пользователям с данными
Смотрите: Как FineDataLink помогает бизнес - пользователям работать с данными
4. Как испытать FineDataLink
Демонстрационный опыт: платформа данных FineDataLink
FineDataLink Discover Trial: FineDataLink Discover Trial
5. Приложения для портфеля продуктов SailSoft
| краткое содержание | справочный документ |
|---|---|
| В основном он представляет весь процесс анализа самопомощи с помощью FineBI после обработки данных бизнес-системы с помощью FDL и решает проблемы избыточного и беспорядочного набора данных самопомощи, длительного времени обновления и сложного обслуживания с помощью комбинированного решения FDL+BI. | Пример комбинированного приложения FDL и FineBI |