Системы автоматического сбора информации (парсеры, грабберы) с сайтов
Парсер контента — одна из самых важных составляющих сайта. Пользу парсера сложно переоценить, ведь он способен заменить нескольких сотрудников и круглосуточно выполнять работу по анализу и наполнению сайта информацией. Вот лишь несколько областей применения парсеров.
- Наполнение магазина товарами. Парсеры могут собирать с сайтов-доноров описание товаров, фотографии, характеристики, дерево категорий и публиковать их на Вашем сайте.
- Наполнение сайта контентом. Парсеры так же способны наполнять сайт новостями, мультимедиа-файлами (музыка, видео, игры) с других сайтов.
- Слежение за ценами конкурентов. Система агрегации информации от парсеров способна анализировать цены конкурентов на товары и услуги аналогичные Вашим и уведомлять Вас в случае, если конкуренты предлагают товар по более выгодной цене.
- Отбор поставщиков. Если несколько Ваших поставщиков предлагают одинаковые товары система агрегации информации от парсеров может предлагать менеджеру наиболее выгодный вариант закупок с учетом максимизации прибыли.
- Формирование цен. Система агрегации информации с парсеров может автоматически устанавливать указанную наценку (фиксированную величину или процент), округлять полученную цену. Система может устанавливать наценку в зависимости от цен конкурентов (например, не меньше 10%, но ниже, чем у конкурентов) и исключать из магазина товары, в которых условие не выполняется. Система слежения за ценами конкурентов может просто уведомлять администратора об изменениях цен и уровне конкурентоспособности магазина не вмешиваясь в работу интернет-магазина.
Таким образом, парсеры позволяют синхронизировать информацию о товарах в Вашем магазине и магазине-доноре. Получаемая информация может попадать в промежуточное хранилище, а может сразу сохраняться в действующих магазинах как на движках WebAsyst, Virtuemart, PHPShop, так и на любых других (самописных или мало распространенных). Простейший способ синхронизировать цены в 1С и Вашем интернет-магазине — использовать парсер.
За более подробной консультацией о принципах и особенностях работы парсеров и систем агрегации информации обращайтесь к менеджерам Студии по телефону (4862) 71-94-36 или другими способами.
Парсеры снабжаются удобной и наглядной административной панелью, которая позволяет контролировать их работу. Некоторые возможности панели:
- отображение режима и времени работы парсера;
- запуск и остановка парсера;
- перезапуск парсера с места предыдущей остановки (предусмотренной или аварийной);
- журнал ошибок;
- найденные и спарсенные категории, страницы, файлы;
- добавление игнорируемых категорий;
- спарсивание отдельных категорий.
Все парсеры уникальны, создаются под конкретную задачу и могут иметь множество дополнительных возможностей, например:
- запрашивать страницы со случайным интервалом времени;
- использовать цепочку прокси-серверов для избежания бана по ip-адресу;
- скачивать и распаковывать zip-файл с последующим разбором содержащегося внутри файла;
- позволять однократно изменять названия и характеристики товаров собранных парсерами (нет необходимости повторять изменение после повторного запуска парсеров);
- помещать информацию в промежуточную базу перед добавлением в основную базу с одного или нескольких парсеров (работа с промежуточной базой происходит при помощи админ-панели).
По вопросам создания парсеров обращайтесь к менеджерам Студии по телефону (4862) 71-94-36 или другими способами.
Не забудьте так же посмотреть наше портфолио по программированию.