productionАвтоматизацияBackend

Инструменты подготовки и обработки данных

Инструменты приведения разнородных выгрузок к единому виду: объединение и очистка, нормализация и дедупликация, преобразование форматов и подготовка итоговых файлов. Запуск из командной строки, по расписанию или через простое окно.

Путь данных и журнал обработки

Задача

Обработка данных повторялась каждую неделю и каждый раз давала разный результат в зависимости от исполнителя. Источники отличались структурой и качеством заполнения.

Результат

обработка занимает запуск задачи вместо рабочего дня
результат воспроизводим на одних и тех же входных данных
решение обработчика проверяемо: отброшенные строки сохраняются отдельно
инструментами пользуются сотрудники без опыта работы с командной строкой

Что реализовано

объединение и очистка Excel и CSV
преобразование баз в книги Excel: лист на таблицу и сводный лист
нормализация форматов и дедупликация по нормализованному значению
извлечение ссылок и упоминаний из текста и таблиц
пакетная обработка каталогов
разделение результатов по статусу
выгрузка в TXT, CSV, XLSX и SQLite
периодические отчёты и уведомление о результате
настольные интерфейсы запуска с показом прогресса

Архитектура

01исходные файлы не изменяются: результат пишется отдельно
02правила обработки вынесены в настройки — под новый источник меняется конфигурация
03каждая обработка сохраняет журнал: прочитано, отброшено, объединено, записано

Смежные проекты

внутренний проектBackendАвтоматизация