У цій добірці ми розповімо про сервіси, програми та фреймворки для парсингу даних безкоштовно. У добірці ви знайдете повністю безкоштовні інструменти та інструменти з обмеженою функціональністю. У будь-якому випадку ці інструменти дозволять розбивати дані.

Парсинг – це автоматизований збір даних в інтернеті. Застосовується для збору інформації про ціни конкурентів, файлів, SEO даних, описів товарів, контактів, рейтинги користувачів та відгуків, для інших завдань, коли потрібно отримати значний обсяг інформації, який неможливо зібрати руками або ручна обробка буде надто трудомістка. При цьому, часто у початківців немає зайвих коштів на подібні інструменти і вирішенням проблеми може стати самостійне вивчення інструментів для парсингу, які можна використовувати безкоштовно.

Для початку подивимося, які бувають інструменти для парсингу, умовно розділимо на дві частини. Перша – це розробка програми парсера. Такі програми пишуть програмісти різними мовами програмування - Python, Java, javascript. Підхід дозволяє створити будь-яку логіку скрипта і зрештою гарантовано вирішить завдання, але потребує часу та коштів на створення та підтримку парсера.

Друга - звичайні користувачі, яким доводиться вибирати з безлічі готових рішень, в яких реалізований набір можливостей, з одного боку такий підхід швидкий і практичний, але якщо можливостей сервісу вам не вистачить, доведеться шукати інше рішення, це призводить до витрати часу на вивчення декількох інструментів без гарантії, що ви зрештою вирішите завдання.

Програми для парсингу

Десктоп програми підійдуть, якщо вам потрібно не складне рішення з можливістю швидкого старту і не знання програмування, що не вимагає. Можливості та спеціалізація програм відрізняються, а так само обмежені потужністю вашого комп'ютера, загалом програми для парсингу – відмінне рішення для простих завдань.

1. Screaming Frog SEO Spider

Screaming Frog SEO Spider - відома програма, що спеціалізується на роботі з SEO даними, має найширший функціонал для аудиту сайтів та парсингу даних, перерахування всіх можливостей програми займе багато часу, в нашому огляді розглянемо основні можливості програми. При першому погляді інтерфейс програми здається, але через деякий час розумієш, що інтерфейс структурований, вкладки організовані для швидкого доступу до важливої ​​інформації та загалом робота зручна.

1. Відстеження неробочих посилань; 2. Збір заголовків та метаданих; 3. Аудит href; 4. Знаходження дублікатів сторінок; 5. Робота з robot.txt; 6. 500 адрес на сайт; 7. Робота з Sitemap.

Програма має хорошу документацію, багато навчальних уроків, на неї написано багато оглядів, освоїти програму за бажання буде не складно.

Повна версія програми дозволить парсити не тільки SEO інформацію, але й будь-яку потрібну вам за допомогою мову запитів XPath.

Можливості програми:

- швидка робота; - аудит сайту середнього розміру; - Детальна документація та уроки.

- Windows; - MacOS; - Ubuntu.

2. Easy Web Extract

Easy Web Extract дозволяє збирати дані з простих html сайтів і сайтів з вмістом, що динамічно підвантажується. Для використання програми не потрібні знання програмування, робота ведеться через майстер, який покроково допоможе організувати налаштування шаблону для парсингу. Для того, щоб швидко освоїти програма пропонує базу знань та відео уроки.

Інша особливість Easy Web Extract - можливість багатопотокового збору, це дозволить економити час виконання замовити парсингу, але будьте обережні при багатопотоковому скануванні, цільовий сайт може блокувати ваш ip з -за підозрілої активності.

У Easy Web Extract є можливість парсингу даних, що динамічно завантажуються, при тестуванні програма впоралася не з усіма сайтами, перевірте цю можливість на потрібному вам сайті.

- 14 днів; - парсинг перших 200 результатів; - експорт перших 50 результатів.

Таким чином, незважаючи на всі можливості в безкоштовній версії, програма підійде для парсингу невеликого обсягу інформації, якщо це ваш варіант, то вона стане відмінним вибором.

- багатопоточність; - робота з пошуком; - збереження шаблонів; - робота з динамічними даними;- Відео-уроки.

3. FMiner

FMiner - програма для парсингу сайтів, з візуальним настроюванням, не вимагає знання мов програмування, вона записує ваші дії створюючи таким чином сценарії, які ви можете редагувати, зберігати та відтворювати в подальшому.

Програма розуміє динамічно завантажені дані, наприклад AJAX, підтримує багатопоточність, надає можливість працювати з результатами пошуку та експортує дані у декілька вихідних форматів.

Для швидкого старту є відео-уроки та мануали, є розділ із документацією, що розповідає у короткій формі можливості та основи роботи з програмою.

1. 14 днів;

1. Візуальне налаштування парсингу; 2. Багатопоточність; 3. Робота з результатами пошуку; 4. Робота з динамічними даними; 5. Відео-уроки.

1. Windows; 2. Mac OSX.

4. Helium scraper

Helium scraper - програма для парсингу даних із сайтів. Принцип роботи з програмою схожий на роботу з розглянутою вище програмою, на відміну - замість візуального представлення дій програма показує код. Інтерфейс у програми не є найбільш доброзичливим для непідготовленого користувача, але програма має базу знань та відео-уроки, які допоможуть освоїти принципи роботи.

Функціональність програми має ряд особливостей стосовно розглянутих вище. Одна з ключових - це можливість збирати великі бази даних, до 140 Терабайт, якщо ваше завдання має на увазі збирання великого обсягу інформації, то варто звернути увагу на Helium scraper. Також програма може працювати через API, ви можете інтегрувати запити до цільових сайтів у свій проект.

- 10 днів, без функціональних обмежень;

- візуальне програмування; - багатопоточність; - робота з результатами пошуку; - робота з динамічними даними; - ротація ip; - блокування небажаного контенту; - база знань; - API інтеграція;- Планувальник.

1. Windows.

5. WebHarvy

WebHarvy – цікавий варіант для парсингу сайтів, програма пропонує простий та наочний інтерфейс для захоплення даних і в цьому її головна особливість – вона інтуїтивно зрозуміла з першого погляду. WebHarvy не підійде для каталогів зі складною структурою вкладеності, програму потрібно вибирати для сайтів із простою структурою вкладеності не далі другого рівня, приємний бонус, програма розуміє динамічно завантажені дані, так само ви зможете підключити свої проксі і пройти заздалегідь підготовленим списком адрес. Програма дозволяє користуватися регулярними виразами, наприклад, ви зможете очистити html код.

- 15 днів; - Перші 2 сторінки.

Через обмеження в 2 сторінки програма сильно обмежує парсинг каталогів, але якщо є можливість вивести дані на одну сторінку, WebHarvy - хороший вибір.

- візуальне редагування; - багатопоточність; - RegExp; - робота з динамічним вмістом; - підтримка IP; - відео-уроки; - Планувальник.

- Windows.

6. Screen-Scraper

Screen-Scraper – ще одне програмне рішення для збору даних із сайтів. Програму складно назвати простою, потрібен час для навчання, але можливості безкоштовної версії високі. Screen-Scraper може збирати дані, переходити за посиланнями, заповнювати та відправляти форми, переходити на сторінки результатів пошуку та завантажувати різні файли. Програма може впоратися з будь-яким сайтом, у тому числі з AJAX даними.

- не обмежена за часом;

Можливості:

- відео-уроки; - багатопоточність; - API; - AJAX; - підтримка роації Ip; - Програмування скриптів на Java, javascript та Python.

Доступні ОС:

1. Windows; 2. MacOS; 3. Linux.

Хмарні сервіси для парсингу

Хмарні сервіси, на відміну від програм, дозволяють збирати не використовуючи ресурси вашого комп'ютера, такі сервіси програмуються через вікно браузера або програму на вашому комп'ютері, а сам процес вилучення даних виконується на сторонньому сервері. Сервіси, як і програми, надають можливості здійснювати парсинг безкоштовно.

7. Octoparse

Octoparse - популярний сервіс для парсингу, дозволяє візуально, без написання коду програмувати парсер. Перевага сервісу для непідготовленого користувача - безліч статей, які пояснюють, як ним користуватися. У плані функціональності сервіс надає хороші ліміти у безкоштовній версії.

- 14 днів; - кількість сторінок не обмежена; - експорт 10 000 рядків; - до 10 збережених налаштувань; - Підтримка.

- динамічний контент; - ротація ip; - планувальник; - робота у хмарі 24/7; - Робота з API.

8. Mozenda

Mozenda - відомий і один із найстаріших хмарних сервісів. Пропонує налаштування візуальним захопленням даних, мову XPath для налаштування отримання складних даних, розробникам сервіс пропонує створення сценаріїв парсингу. Сервіс пропонує демонстраційний період на цілий місяць, налаштування парсингу відбувається через програму, яку потрібно встановити на комп'ютер, збір інформації відбувається у хмарі.

- 30 днів;

- багатопоточність; - динамічний контент; - ротація ip; - планувальник; - Повідомлення.

9. Diffbot

Diffbot - інноваційний сервіс, який використовує машинне навчання та комп'ютерний зір для парсингу даних. Сервіс може автоматично визначити тип сторінки, на якій знаходиться і збирати різні дані для підтримуваних типів сторінок. Заявляється про підтримку статей, карток товарів, парсинг даних; parsing.pp.ua, зображень, обговорень та відео.

- 14 днів; - Запит у секунду.

- автоматизація процесу - ротація ip; - Робота з API.

10. Scraper api

Scraper api - сервіс, що вимагає програмування, працює через безголовий браузер. Сильна сторона Scraper API - зміна IP адреси для кожного запиту, сервіс вибирає проксі з мільйона доступних і автоматично повторює невдалі запити, доки не збере потрібні дані. Сервіс вміє працювати з капчею.

- 1000 дзвінків;

Сервіс може працювати з однією з мов програмування – NodeJS, Python, Ruby або PHP.

- 40 млн Ip; - 12 геолокацій; - необмежена пропускна спроможність; - Робота з javascript.

11. Scrapy Cloud від Scrapinghub

Scrapy Cloud - хмарна платформа, що дозволяє програмувати парсери, вимагає знання мов програмування. Надає гнучкі інструменти для створення проектів із будь-якою потрібною вам логікою. Сервіс пропонує безлімітну кількість даних на безкоштовному тарифі, але обмежує час роботи однією годиною.

- 1 година;

- динамічний вміст; - зміна проксі; - мультипоточність; - API.

12. ScrapingBee

ScrapingBee - сервіс для парсингу даних, що вимагає програмування, збір даних здійснюється через безголовий браузер. Особливість ScrapingBee – рендеринг javascript, це дозволяє парсить будь-який сайт, який використовує React, Angulars, Vue.js та інші бібліотеки. Сервіс використовує проксі сервера для зниження ймовірності блокування, так само це дозволить запустити парсинг у кілька потоків, що збільшить швидкість збору даних.

- 1000 запитів;

Сервіс вимагає знання програмування однією з мов - CURL, Python, NodeJS, Java, Ruby, Php, Go.

- робота з javascript; - підтримка зміни Ip; - мультипоточність; - API.

13. Apify

Apify – сервіс заснований на готових рішеннях. Магазин Apify дозволяє використовувати заздалегідь підготовлені шаблони для найпопулярніших запитів користувача: збір даних з Amazon, Instagram, Booking і т.д. буд. Сервіс дає доступ до API через підключення до якого і відбувається збір даних, всі представлені шаблони добре описані, так само ви можете змінити налаштований шаблон, щоб внести потрібні зміни.

- 10 сторінок; - зберігання даних за 7 днів; - 30 проксі серверів).

- робота з javascript; - ротація проксі; - мультипоточність; - API.

14. Web Scraper

Web Scraper - сервіс для парсингу, створений, щоб спростити парсинг даних з сайтів. Парсер налаштовується у візуальному редакторі, ви просто вказуєте якісь елементи хочете захопити. Web Scraper дозволяє створювати карти сайту із різних типів селекторів. Ця система дозволяє в подальшому адаптувати вилучення даних до різних структур сайту.

- лише локальне використання; - динамічні дані; - Неможливий рендеринг javascript; - Експорт лише до CSV.

- Рендеринг javascript;