Парсер сайта: товары и цены в Excel
Вставьте адреса страниц каталога – парсер сайта соберет таблицу товаров: название, цена, валюта, наличие, артикул, ссылка и картинка. До 10 страниц и 500 строк за раз, скачать – в Excel (XLSX) или CSV.
Что делать с результатом
Таблицу можно открыть в Excel или Google Таблицах, сверить цены поставщика со своим прайсом или подготовить импорт на свой сайт. У каждой колонки указан источник: разметка Product – данные, которые сайт сам отдает поисковикам, они точнее всего; повторяющиеся карточки – текст карточек каталога, его стоит проверить глазами; ваш селектор – то, что вы указали сами. Перед загрузкой в Тильду или на маркетплейс приведите колонки к их шаблону: названия полей, валюту и формат цены. Картинки в таблице – ссылками, сами файлы мы не скачиваем.
Что учитывает инструмент
Страницы открываем без JavaScript, как поисковый робот: если каталог рисуется скриптом, товаров на странице не будет – такие сайты собираются под заказ. Сначала ищем разметку schema.org Product, Offer и ItemList (JSON-LD, микроданные, RDFa), затем OpenGraph товара, затем повторяющиеся карточки с ценой. Соблюдаем robots.txt: если он запрещает страницу, ее не открываем и обхода не предлагаем. Между страницами одного сайта – пауза, страницы за входом, капчей и антиботом не открываются. Контакты людей – телефоны, почту, мессенджеры, ФИО – не собираем и не выдаем: такие ячейки очищаются, а колонка, где их много, удаляется целиком. Таблица хранится на сервере 15 минут, потом удаляется.
Как сделать вручную
- Откройте страницу каталога в браузере, нажмите правой кнопкой на цену товара и выберите «Просмотреть код» – найдите класс элемента с ценой и класс карточки товара, например .product-card .price.
- В Google Таблицах в ячейку A1 впишите адрес страницы, а в B1 – формулу =IMPORTXML(A1; "//div[contains(@class,'product-card')]//span[contains(@class,'price')]"), подставив свои классы. Так же соберите названия и ссылки в соседних колонках. Из России Google Таблицы иногда не загружают чужие страницы – тогда переходите к шагу 3.
- В Excel откройте «Данные» – «Из Интернета», вставьте адрес страницы и выберите таблицу в окне «Навигатор». Работает, если товары на странице сверстаны таблицей; иначе используйте шаг 2.
- Проверьте robots.txt сайта (адрес сайта и /robots.txt): если страница закрыта правилом Disallow, данные с нее не собирайте.
- Сохраните таблицу и удалите из нее телефоны, почту и имена людей, если они попали в выгрузку.
Целый каталог и регулярный сбор
Вопросы и ответы
Законно ли парсить цены?
Цены и названия товаров на открытой странице магазина – открытые данные, и собрать их для сравнения обычно можно. Риски дают другое: обход защиты и правил сайта, нагрузка на чужой сервер, копирование существенной части базы данных (статья 1334 ГК РФ), перепубликация чужих текстов и фото. Поэтому инструмент соблюдает robots.txt, делает паузы, собирает до 10 страниц и отдает картинки только ссылками. Как использовать собранное, решаете вы – это не юридическая консультация.
Почему инструмент не нашел товары?
Чаще всего каталог рисуется скриптом: в HTML, который отдает сервер, карточек нет, они появляются только в браузере. Еще причины – страница за входом или антиботом, карточки без цены, запрет в robots.txt. Укажите свои CSS‑селекторы в «Своих полях», если товары видны в коде страницы. Если нет – такой сайт соберу под заказ.
Как найти CSS‑селектор цены?
Откройте страницу в браузере, нажмите правой кнопкой на цену и выберите «Просмотреть код». В подсвеченной строке найдите class, например price-current, – селектор будет .price-current. Если такой класс есть и в других местах, добавьте класс карточки: .product-card .price-current. Для ссылки или картинки допишите атрибут через @: a.product-title@href, img@data-src.
Можно ли собирать цены каждый день?
Этим инструментом – только вручную: запускать сбор и сохранять таблицу самому. Регулярный сбор по расписанию, сравнение с прошлой выгрузкой и уведомления об изменениях – это отдельная программа, ее настрою под заказ.
Почему нельзя собрать телефоны и почту?
Телефоны, почта и имена людей – персональные данные, даже если они опубликованы на сайте: собирать их в базы без согласия людей запрещает 152‑ФЗ. Поэтому инструмент очищает такие ячейки, удаляет колонки, где их много, и не принимает поля для контактов. Обходить фильтр нельзя. Так работает и сама студия.
Как загрузить таблицу в Тильду?
В Тильде товары загружаются в каталог файлом CSV по шаблону: в «Каталоге товаров» откройте импорт, скачайте пример и разложите колонки таблицы по его полям – название, цена, артикул, ссылки на фото. Сохраните файл в UTF-8 и загрузите. Если товаров много или нужны варианты и характеристики, загрузку сделаю под заказ.
Другие инструменты
Таблицы: объединить и почистить
Свести файлы Excel, убрать дубли, вытащить таблицу из PDF
Проверка адресов
Старые адреса против новых после переноса
Изображения для сайта
Уменьшить и перевести в нужный формат
Фид для маркетплейсов и Авито
YML для Директа и Flowwow или XML Авито из таблицы и проверка готового фида