Блог Как мы создали RPA-агента для автоматического поиска лидов в арбитражных делах
Кейс внедрения автоматического мониторинга kad.arbitr.ru
Клиент: ООО «Бюро независимой экспертизы «Феникс» (БНЭ «Феникс»), Волгоград
Задача: ежедневный мониторинг сайта kad.arbitr.ru на предмет новых дел с назначенной судебной экспертизой
Решение: RPA-агент, имитирующий действия живого юриста, скачивающий и анализирующий PDF-файлы определений суда
Результат: до 20 новых «горячих» лидов в неделю без участия человека
О чём эта статья
Если вы эксперт, арбитражный управляющий или юрист, который ищет клиентов через картотеку арбитражных дел — вы знаете, насколько это муторный процесс. Каждый день нужно вручную открывать десятки дел, скачивать PDF‑ки, вычитывать их в поисках фразы «назначить экспертизу». Мы автоматизировали эту работу и превратили её в конвейер лидов. В этой статье расскажу, как RPA‑агент обходит защиту государственного сайта, парсит документы и выдаёт готовый список потенциальных клиентов.
Исходная ситуация
Сотрудники БНЭ «Феникс» ежедневно тратили 2–3 часа на рутинный мониторинг:
- Заходили на сайт kad.arbitr.ru, задавали фильтры по датам и маске номера дела «А12‑».
- Пролистывали до 15 страниц результатов (по 25 дел на каждой).
- Открывали каждое дело, переходили во вкладку «Электронное дело».
- Скачивали все PDF‑файлы, открывали их и вручную искали слова «экспертиза», «экспертизой», «назначить экспертизу».
- Если документ содержал искомую фразу — вносили номер дела и контакты участников в Excel.
- Документы без ключевых слов удаляли.
Одна ошибка — и дело пропущено. Однообразная работа выматывала, а объём дел постоянно рос. При этом сайт kad.arbitr.ru защищён от автоматического сбора: любые попытки отправить прямые HTTP‑запросы блокируются, а PDF‑файлы отдаются только после специального POST‑запроса с токеном.
Что мы построили
Мы разработали настольное Windows‑приложение (можно собрать и под Mac), которое работает как RPA‑робот, полностью имитируя поведение живого пользователя. Вот его ключевые возможности:
- Поиск по любым фильтрам — можно указать маску номера дела, период дат, фамилию судьи, участника, суд.
- Автоматическая пагинация — робот сам переходит по страницам результатов, как человек (кликает по номеру страницы).
- Обход защиты PDF — перехватывает POST‑запрос через Chrome DevTools Protocol и точно воспроизводит его, чтобы получить бинарный файл.
- Парсинг PDF — ищет в тексте не только точное слово, но и все его словоформы («экспертиза», «экспертизы», «экспертизой» и т.д.).
- Мониторинг найденных дел — программа ведёт лог обработанных дел с датами открытия и может повторно проверять их через заданные промежутки времени (например, раз в месяц), чтобы не пропустить новые документы по уже известным делам.
- Белые и чёрные списки — можно настроить минус‑слова (например, «банкротство»), при обнаружении которых дело будет немедленно заблокировано и исключено из дальнейшей обработки. Свои данные (сотрудники, адреса офиса) не обезличиваются и не затираются.
- Удаление «пустых» PDF — файлы, в которых не найдено ключевых слов, автоматически удаляются с диска, экономя место.
- Гуманизация действий — случайные задержки, движения мыши, скроллинг страниц делают робота практически неотличимым от человека.
Технический стек
Как это работает (пошагово)
- Пользователь запускает программу, заполняет поля поиска (например, маска дела «А12‑», даты с 01.03.2026 по 15.03.2026, ключевое слово «экспертиз») и нажимает «Запустить».
- Робот открывает браузер, заходит на главную страницу картотеки, вводит фильтры и нажимает «Найти».
- Последовательно перебирает страницы результатов. Если на странице все дела уже обработаны ранее или заблокированы, он мгновенно переходит к следующей.
- Для каждого нового дела открывает его карточку в отдельной вкладке, переходит в «Электронное дело».
- Собирает ссылки на все PDF‑файлы, для каждого открывает отдельную вкладку и перехватывает защищённый POST‑запрос.
- Скачивает PDF, парсит текст. Если ключевое слово найдено — файл остаётся, результат записывается в CSV‑отчёт. Если не найдено — файл удаляется.
- При обнаружении минус‑слова (например, «банкротство») дело блокируется: все его файлы удаляются, номер заносится в чёрный список.
- Обработанные дела записываются в лог с датой открытия дела (берётся из карточки).
- По окончании работы программа выводит сводку: сколько дел проверено, сколько скачано PDF, сколько найдено ключевых слов.
Длительность обработки 15 страниц (до 375 дел) — около 1,5–2 часов, в зависимости от скорости интернета и количества новых дел.
Мониторинг (повторная проверка)
Отдельная программа‑монитор позволяет перепроверять уже найденные дела за выбранный период. Это полезно, когда судебное дело длится месяцами и в нём появляются новые определения. Монитор работает прицельно: он читает лог обработанных дел, вводит номера дел в поле поиска по одному, открывает карточку и собирает PDF заново. Это быстрее, чем полный поиск по всем фильтрам, и меньше нагружает сайт.
Что было сложно
1. Защита PDF‑файлов
Самой большой проблемой оказалось получение бинарных файлов. Сайт не отдаёт PDF по прямой ссылке — при клике открывается встроенный просмотрщик, а при попытке скачать через requests возвращается HTML‑заглушка. Только после долгих экспериментов мы нашли способ перехватить через Chrome DevTools Protocol тот самый POST‑запрос, который браузер отправляет при открытии документа, и в точности воспроизвести его с актуальными заголовками и куками. Это решение обеспечило 100‑процентную стабильность скачивания.
2. Имитация живого пользователя
Сайт kad.arbitr.ru активно борется с ботами. Жёсткие задержки, случайные движения мыши, прокрутки, открытие дел в отдельных вкладках — всё это пришлось воспроизводить, чтобы не вызывать подозрений. Мы потратили много времени на подбор реалистичных временных интервалов и на отладку кликов по элементам пагинации (оказалось, что простой переход по URL с хешем #page2 не работает — сайт ждёт физический клик по ссылке).
3. Динамическое изменение интерфейса
Администраторы суда периодически меняют вёрстку и структуру страниц. Чтобы не переписывать всего робота каждый раз, мы вынесли все селекторы в отдельные блоки и используем несколько запасных вариантов. Это позволяет быстро адаптироваться к изменениям без участия конечного пользователя — достаточно обновить конфигурацию на сервере (если будет построена клиент‑серверная архитектура) или выпустить обновлённый EXE.
4. Работа с большими объёмами данных
При просмотре 15 страниц результатов роботу приходится обрабатывать до 375 дел. Чтобы не засорять диск, мы реализовали автоматическое удаление PDF, не содержащих ключевых слов, а также сделали быстрый пропуск страниц, на которых все дела уже обработаны. Это сократило время работы примерно на 40% при повторных запусках.
Результаты
Экономия времени: до 6 часов в неделю на одного сотрудника.
Экономия денег: при стоимости часа эксперта 1500–2000 руб. — около 30–50 тыс. рублей в месяц.
Выводы
Автоматизация мониторинга арбитражных дел — это не просто замена ручного труда скриптом. Это создание полноценного RPA‑робота, который умеет обходить сложную защиту, маскироваться под человека и безошибочно выполнять рутинную работу. Наш опыт показывает, что даже государственные порталы с серьёзной защитой можно безопасно и стабильно парсить, если подойти к задаче с инженерной точки зрения.
Мы продолжаем развивать проект: в планах — клиент‑серверная архитектура с облачным управлением и веб‑интерфейсом, чтобы продавать сервис по подписке другим экспертным организациям.
Если перед вами стоит похожая задача — обращайтесь, поможем автоматизировать поиск лидов или любые другие рутинные процессы.