Материалы
Отчёт сходится сам с собой, но расходится с учётом
Отчёт открывается за секунды, цифры в нём сходятся между собой, итоги складываются. Единственная проблема: с учётной системой они не совпадают. На сто тысяч документов расхождение в двести — на глаз не видно, а решения принимаются по нему уже полгода.
Это худший из возможных сценариев в аналитике. Отсутствие отчёта заметно сразу. Неверный отчёт не заметен вообще — он выглядит ровно так же, как верный.
Три способа получить неполные данные, ничего не сломав
Программный интерфейс молча обрезает выборку. У выгрузки есть предел глубины: сколько записей она отдаёт за один запрос. Когда предел достигнут, интерфейс не сообщает об этом ошибкой — он просто возвращает то, что успел. Загрузчик получает ответ, считает его успешным и идёт дальше. Ошибки нет ни в одном журнале.
Документы правят задним числом. Учётная система позволяет изменить проведённый документ. Выгруженный вчера заказ сегодня может быть другим: с другой суммой, другим складом или вообще отменённым. Загрузка, которая берёт только новое, такие правки не увидит никогда.
Сбой загрузки, о котором никто не узнал. Ночью не отработал регламент, не хватило места, сорвалось соединение. Наутро отчёт открывается и выглядит нормально — просто в нём нет вчерашнего дня. Заметить это можно только сравнением с источником.
Общее у всех трёх — тишина. Нигде не возникает ошибки, которую можно поймать.
Почему это дороже, чем кажется
Неполный отчёт не остаётся внутри отчёта. По нему считают премии представителям, планируют закупку, решают, какой филиал отстаёт. Каждое такое решение живёт дольше самой ошибки.
И главное — доверие. Когда расхождение всё-таки вскрывается, страдает не конкретный отчёт, а сама идея работать по данным. Дальше руководитель проверяет цифры вручную, и аналитика превращается в дорогую декорацию.
Сверка количества: три раза в сутки, а не раз в квартал
Единственная защита от тихой потери — регулярно сравнивать количество документов у себя и в источнике. Не суммы, а именно количество: суммы могут совпасть случайно, количество — нет.
В нашей платформе такая сверка идёт три раза в сутки. Расхождение не просто фиксируется — недостающие документы дозагружаются автоматически, а в журнал пишется, сколько и за какой период. Ночной сбой не доживает до утреннего совещания.
Периодичность выбрана не из красоты. Сверка раз в сутки означает, что худший случай — потерянный рабочий день. Сверка раз в неделю означает потерянную неделю, и восстановить её задним числом почти всегда сложнее, чем кажется.
Правки задним числом: перезаливать окно, а не отдельные документы
Отследить каждую правку в источнике невозможно — учётная система не обязана о них сообщать. Поэтому работает другой подход: раз в несколько дней перезагружать целиком последнее окно, за которое документы ещё меняются. У большинства предприятий это три месяца: дальше правят редко.
Два раза в неделю за три месяца — так это настроено у нас. За время работы платформы таким образом найдено и исправлено свыше шестидесяти тысяч изменённых документов. Шестьдесят тысяч расхождений, каждое из которых иначе осталось бы в отчётах навсегда.
Контрольные соотношения: проверять данные против самих себя
Сверка с источником ловит потерю. Контрольные соотношения ловят другое — искажение внутри хранилища:
- сумма товарных строк против суммы документа;
- витрина против исходных фактов, из которых она собрана;
- целостность справочников: документы, ссылающиеся на несуществующего контрагента.
Такие проверки идут еженедельно. Ошибку в этом слое находит система, а не бухгалтер через квартал.
Три канала получения данных вместо одного
Если программный интерфейс обрезает выборку, логично не полагаться на него одного. В платформе три независимых канала: программный интерфейс, конструктор отчётов и формы интерфейса. Когда один ограничивает глубину, загрузчик переключается на другой.
Это не запасной вариант на случай аварии — часть контуров штатно собирается через формы, потому что иначе полные данные получить нельзя.
Отдельно: дисциплина ввода
Даже полные данные могут быть непригодны для анализа, если их плохо вводят. Классический пример — возвраты без указанной причины. Пока их доля не измерена, любой разрез по причинам возвратов вводит в заблуждение: считается только то, что заполнили.
Поэтому качество ввода стоит выносить на отдельный экран: доля незаполненных полей, подразделения-нарушители, поимённый список. Это не про наказание, это про то, чтобы понимать границы применимости своих же отчётов.
Коротко
Данные не бывают полными сами по себе. Полнота — результат постоянной проверки: сверка количества с источником несколько раз в сутки, регулярная перезаливка окна правок, контрольные соотношения внутри хранилища и измерение дисциплины ввода.
Отчёт, про который известно, чему он равен и чего в нём нет, полезнее красивого отчёта с неизвестной погрешностью.
Так устроена наша аналитическая платформа: три независимых канала сбора, три контура проверки, 40 млн записей в промышленной эксплуатации — Oyna Data Platform.
Расскажите, что нужно автоматизировать
Разберём задачу и скажем честно: нужен проект или достаточно настройки.
