Bussol: Парсер и импорт данных PRO: сайты, REST API, Excel, JSON, XML, товары, цены и остатки

Универсальный модуль импорта, парсинга и синхронизации данных для 1С-Битрикс.

Модуль позволяет получать данные с сайтов, из REST API, файлов поставщиков и внешних систем, преобразовывать их по заданным правилам и автоматически загружать в инфоблоки, торговый каталог и Highload-блоки 1С-Битрикс.

Подходит для интернет-магазинов, контентных проектов, каталогов, интеграций с поставщиками, агентств и разработчиков, которым нужен единый инструмент вместо набора отдельных скриптов для HTML-парсинга, импорта Excel/XML/CSV и синхронизации API.

• наполнение сайта товарами, новостями, статьями и другим контентом;
• регулярное обновление цен и остатков;
• импорт товаров и торговых предложений SKU;
• синхронизацию нескольких типов цен и валют;
• загрузку изображений, файлов и характеристик;
• создание и обновление разделов и свойств инфоблоков;
• импорт данных в Highload-блоки;
• получение данных из REST API с авторизацией;
• обработку больших прайс-листов и каталогов по расписанию;
• контроль исчезнувших товаров и автоматическую деактивацию;
• массовый обход страниц сайтов и пагинации;
• парсинг сайтов, контент которых формируется JavaScript.

Для HTML-источников предусмотрен отдельный инструмент Visual Selector PRO. Он помогает настроить парсер без ручного поиска селекторов в DevTools.

• визуальный выбор элементов страницы;
• автоматическое построение CSS-селектора;
• формирование XPath;
• несколько вариантов устойчивых селекторов;
• подсчёт количества совпадений;
• автоматическое обнаружение повторяющихся карточек товаров и элементов списков;
• работа с DOM после JavaScript-рендеринга в Headless-режиме.

Если сайт построен на React, Vue, SPA или загружает данные после открытия страницы, можно использовать Headless-режим.

Модуль поддерживает локальный Playwright/Chromium или внешний headless-renderer. Обычные HTML-профили при этом продолжают работать без Node.js.

Каждый профиль содержит правила соответствия между данными источника и полями 1С-Битрикс.

Можно передавать данные в:

• NAME, CODE, PREVIEW_TEXT, DETAIL_TEXT;
• PREVIEW_PICTURE и DETAIL_PICTURE;
• любые свойства инфоблока;
• множественные и файловые свойства;
• цены и валюты;
• остатки и склады;
• параметры торгового каталога;
• SKU и характеристики торговых предложений;
• UF-поля Highload-блоков.

Перед сохранением значения можно обработать цепочкой преобразований. Это позволяет адаптировать данные поставщика к структуре вашего сайта без отдельного PHP-скрипта.

• trim;
• замена текста;
• регулярные выражения;
• извлечение чисел;
• округление;
• умножение и деление;
• префиксы и суффиксы;
• преобразование дат;
• ограничение длины;
• работа с HTML и текстом.

Пример:

Модуль рассчитан не только на контентные инфоблоки, но и на полноценную работу с торговым каталогом.

• создание и обновление товаров;
• создание торговых предложений SKU;
• автоматическая связь SKU с родительским товаром;
• несколько типов цен;
• отдельная валюта для каждого типа цены;
• конвертация валют;
• общий остаток;
• остатки по складам;
• вес и габариты;
• НДС и единицы измерения;
• загрузка изображений и файлов.

• создание разделов по данным источника;
• поддержка вложенного дерева разделов;
• создание недостающих свойств;
• создание значений списочных свойств;
• автоматическое создание простых UF-полей Highload-блоков.

Перед реальной синхронизацией можно выполнить Dry-run. Модуль анализирует источник, но не изменяет данные на сайте.

В результате видно:

• какие элементы будут созданы;
• какие элементы будут обновлены;
• какие данные не изменились;
• старое и новое значение полей;
• изменения цен и валют.

Это особенно удобно перед первым запуском нового поставщика или после изменения правил mapping.

После полного успешного импорта модуль может определить позиции, которые ранее присутствовали в источнике, но больше в нём не находятся.

Доступны режимы:

• ничего не делать;
• деактивировать товар;
• обнулить остаток;
• деактивировать и обнулить остаток.

Защитная логика не выполняет массовую деактивацию при ошибке источника, неполном обходе или достижении лимитов импорта.

• ручной запуск профиля;
• Bitrix Agents;
• cron;
• индивидуальный интервал запуска;
• пакетная обработка;
• ограничение количества страниц и элементов;
• повтор ошибочных задач;
• уведомления о результатах.

Для больших каталогов предусмотрена параллельная обработка очереди несколькими worker-процессами.

• настраиваемое количество workers;
• атомарный захват задания;
• lease-блокировки;
• heartbeat активного worker;
• защита от двойной обработки одной задачи;
• автоматический возврат зависших задач в очередь.

Пример запуска:

Watchdog контролирует состояние очереди и workers. Если PHP-процесс, cron или сервер завершили работу аварийно, модуль способен вернуть зависшие задачи в очередь и продолжить обработку.

Также обрабатываются «осиротевшие» запуски, когда все задания уже выполнены, но процесс не успел корректно завершить Run.

• Basic Auth;
• Bearer Token;
• OAuth2 Client Credentials;
• произвольные HTTP headers;
• cookies;
• HTTP/HTTPS proxy;
• proxy authentication;
• FTP;
• SFTP с проверкой fingerprint;
• настраиваемые таймауты.

Для крупных CSV, XML, YML, XLSX и ODS модуль использует потоковую обработку, чтобы не загружать весь файл целиком в оперативную память.

Это позволяет использовать модуль для крупных каталогов и прайс-листов, где обычный импорт одним PHP-процессом может упираться в memory_limit.

Highload-блок можно выбрать как самостоятельную цель профиля. Mapping записывает данные непосредственно в UF-поля.

• создание новых записей;
• обновление существующих;
• настраиваемое поле идентификации;
• автоматическое создание простых UF-полей.

Для каждого источника создаётся независимый профиль со своими настройками: источник, mapping, инфоблок или Highload-блок, раздел, расписание, авторизация, proxy, transformations и правила обновления.

Профили можно экспортировать и импортировать в JSON. Чувствительные данные при экспорте по умолчанию удаляются.

Администратор получает единый интерфейс контроля:

• Dashboard состояния импорта;
• последние запуски;
• количество созданных и обновлённых элементов;
• очередь задач;
• ошибки по конкретным URL и записям;
• статусы workers;
• проверка PHP-расширений;
• проверка модулей iblock, catalog, highloadblock, currency;
• проверка агента и очереди;
• диагностика Headless, FTP/SFTP и других зависимостей.

После завершения синхронизации модуль может отправлять уведомления:

• по Email;
• через административные уведомления 1С-Битрикс;
• на внешний Webhook.

Можно уведомлять только об ошибках, только об успешных запусках или о каждом завершении профиля.

Модуль разработан с учётом сценариев работы с внешними источниками и прошёл отдельный security-аудит.

• защита от SSRF и обращений к приватным/служебным сетям;
• CSRF-проверки административных действий;
• проверка административных прав;
• защита чувствительных данных профилей;
• защита HTTP headers и cookies от injection;
• проверка SFTP fingerprint;
• фильтрация опасного HTML;
• ограничение типов загружаемых файлов;
• защита от передачи Authorization/Cookie на сторонние origin;
• безопасная работа с XML и внешними файлами.

• Интернет-магазинам — товары, SKU, цены, остатки, склады и автоматическая синхронизация.
• Поставщикам и дистрибьюторам — REST API, Excel, XML/YML, CSV, FTP/SFTP.
• Контентным проектам — автоматическая загрузка новостей, статей и каталогов.
• Интеграторам 1С-Битрикс — единый инструмент для разных источников вместо индивидуальных импорт-скриптов.
• Digital-агентствам — профили можно переносить между проектами и использовать как основу типовых интеграций.

• Один модуль вместо нескольких инструментов. Сайты, API, Excel и файлы поставщиков работают через единый интерфейс.
• Настройка без переписывания интеграции. Mapping и transformations задаются в профиле.
• Поддержка реального e-commerce. SKU, несколько цен, валюты, склады и исчезнувшие товары.
• Работа с современными сайтами. Headless/JavaScript и Visual Selector PRO.
• Масштабирование. Очередь, streaming и многопроцессные workers.
• Контроль перед запуском. Dry-run и diff позволяют заранее увидеть изменения.
• Надёжность. Retry, lease, heartbeat, watchdog и восстановление зависших задач.
• Контроль администратора. Dashboard, журнал, диагностика и уведомления.

Базовые возможности работают в стандартной среде 1С-Битрикс. Некоторые дополнительные функции требуют соответствующих серверных компонентов:

• DOM/XMLReader/ZIP — для XML, XLSX и ODS;
• модуль «Торговый каталог» — для товаров, цен и SKU;
• Highload-блоки — для HL-назначения;
• модуль «Валюты» — для конвертации валют;
• Node.js + Playwright/Chromium или внешний renderer — для локального Headless/JavaScript-парсинга;
• PHP FTP — для FTP;
• PHP SSH2 — для SFTP.

Bussol: Парсер и импорт данных PRO — это универсальная платформа для автоматизации получения, преобразования и синхронизации внешних данных с 1С-Битрикс.

От простого импорта статьи с сайта до регулярной синхронизации большого товарного каталога через OAuth2 REST API, Excel, XML/YML или SFTP — всё настраивается через единые профили, mapping, очередь и расписание.

Настройте источник один раз — дальше модуль будет поддерживать данные сайта в актуальном состоянии автоматически.