Инструмент автоматического сбор лидов для юридических услуг

Вместо предисловия

Помимо нашего сервиса продвижения на картах мы активно развиваем направления парсинга и генерации «теплых» лидов (заявок) для различных бизнесов в автоматическом и полуавтоматическом режиме. С разрешения одного из нашего клиента представляем вам кейс, касающийся разработки парсинга и добычи заявок на юридические услуги. Не секрет, что юридические лиды самые труднодобываемые, а соответсвенно, и самые дорогие. А если говорить о качественных заявках для юриста в платежеспособных тематиках (не в брако-разводах и тд, где и конкуренция сумасшедшая и чек маленький), то таких предложений на рынке лидов, как говорится, – днем с огнем. Мы же нашли и автоматизировали способ получения лидов на судебные процессы в сфере отношений лизинга, что является предметом споров между компаниями, а юридические лица с деньгами расстаются гораздо проще чем физики. Вторым плюсом является, то что сейчас такое время, когда споров по лизингу становится месяц от месяца все больше и больше. Теперь подробнее о клиенте, его ситуации и нашей реализации автоматизации…

Состав пакета автоматизации по сбору контактов для юридической компании.

Перед клиентом стояла задача автоматизации процесса получения контактов ответчиков определенных истцов в судебных производствах, касающихся лизинга. Для решения потребовалось разработать комплексный продукт, состоящий из нескольких компонентов:

1. Расширение Chrome: программа для автоматического сбора данных ответчиков с сайта kad.arbitr.ru по ИНН истца.
2. Серверное приложение: система для сбора контактов ответчиков, база данных для хранения результатов, авторизация пользователей, формирование результатов в Excel-таблицы, функционал Telegram-бота.
3. Бот для взаимодействия пользователя с приложением: управление заданиями, получение результатов, проверка отдельных записей по ИНН.

Расширение Chrome

Сайт суда имеет защиту от автоматического сбора данных и блокирует стандартные методы автоматизации. Нам удалось обойти эти ограничения с помощью специального расширения для браузера Chrome.

Расширение защищено от несанкционированного доступа через предварительную авторизацию пользователя в Telegram-боте. Перед сбором данных расширение проверяет связь с приложением на сервере и наличие авторизованного пользователя в базе данных.

Для начала работы требуется открыть страницу сайта Арбитражного суда, ввести ИНН истца и нажать кнопку. Система проверит текущую страницу и корректность формата ИНН (10 или 12 цифр).

После начала сбора данных расширение выведет поверх страницы информационный блок с описанием состояния процесса. Никаких действий или подготовки страницы не требуется. Расширение выполняет следующие действия:

1. Выбор поиска по истцу и ввод ИНН истца в форму поиска.
2. Запуск поиска и ожидание ответа от сайта.
3. Получение и вывод количества страниц и уникальных ответчиков.
4. Сбор различных данных ответчиков, включая ИНН, наименование, номер и дату производственного дела.

Автоматический переход по страницам и отображение прогресса в реальном времени.

По завершении сбора данных расширение отправляет результат в приложение и выводит статус успеха.

Серверное приложение

Первичные данные от расширения сохраняются в базу данных на сервере. Автоматически создается новое задание для поиска контактов ответчиков. Задание добавляется в очередь и ожидает освобождения системы для обработки. Реализована одновременная обработка нескольких заданий с настраиваемым количеством параллельных процессов.

После старта задания запускается процесс с автоматическим браузером для поиска контактов ответчиков по их наименованию и ИНН. Система может искать информацию на разных источниках данных, а также использовать дополнительные методы для обхода защиты сайтов при необходимости.

Контакты ответчиков сохраняются в базу данных мгновенно после каждой операции сбора и обработки в процессе выполнения задания, поэтому пользователь может в любой момент через бот скачать файл с уже собранной информацией, не прерывая процесс.

Telegram-бот

Бот имеет интерфейс для управления заданиями, поиска данных истцов и ответчиков, просмотра статистики выполнения задания и скачивания файлов с результатами.

Доступ к боту возможен только после авторизации. Приложение запоминает авторизованных пользователей и предоставляет им доступ к боту и расширению.

Когда расширение завершает процесс и отправляет данные на сервер, приложение уведомляет запустившего расширение пользователя о завершении первичного сбора данных и добавлении в очередь задания поиска контактов. Как только задание будет взято в работу, пользователь получит еще одно уведомление.

Проверка активного задания показывает факт его наличие и прогресс выполнения.

Действие «Поиск истца» позволяет просмотреть статистику записей ответчиков по ИНН истца.

Действие «Скачать результаты» формирует xlsx-файл со всеми ответчиками, в том числе с еще не собранными контактами.

Действие «Найти оставшиеся контакты» добавляет задание в очередь при условии, что это задание не выполняется в данный момент или не стоит в очереди.

Файл с результатами имеет следующие колонки данных:

• ИНН ответчика
• ИНН истца
• Дата создания
• Проверено (статус поиска контактов)
• Наименование
• Адрес
• Телефон
• Email
• Контактное лицо
• Дата дела
• Номер дела

Для быстрого поиска отдельного ответчика удобнее воспользоваться действием «Поиск ответчика». В базе данных будет найдена вся актуальная информация по ИНН ответчика, а также указаны связанные с ним истцы и номер последнего судебного дела.

Итог

Представленная система полностью отвечает требованиям по поиску контактов ответчиков для клиентских сценариев использования. Сервис имеет широкие возможности для модификаций, в том числе подключение к другим источникам для обогащения данных и создание веб-интерфейса для управления запросами и выгрузками.