Любая форма источника
Тубы, сети галерей, закрытые разделы с логином, RSS, JSON API или донор, у которого вёрстка меняется через месяц. Работа с куками и сессиями включена.
$ parse
Сайт, который наполняет себя сам
Пустой каталог не зарабатывает, а руками дальше пары сотен позиций не уедешь. Пишем парсер под ваши конкретные источники, гоняем его, пока он не станет скучным, и отдаём код.
Python или C#, на вашем сервере или на нашем · код и README ваши
$ ./ingest.py --source donor --since 24h --limit 200
найдено 187 новых релизов
[ ok ] метаданные разобраны · модели, студия, теги
[ ok ] обложки + 12 скринов → webp/avif
[ ok ] ватермарка снята на 41 клипе
[ ok ] залито на хостинг · ссылки прикреплены
[warn] 9 пропущено · дубли существующих постов
[ ok ] 178 опубликовано через content api
следующий запуск через 24ч · отчёт в telegram
возможности
Что парсер реально умеет
Настоящие метаданные
Модели, студии, категории, теги, длительность, качество, размер файла и дата релиза — нормализованные под вашу таксономию, а не свалка в один тег.
Медиа-конвейер
Обложки, сетки скриншотов, превью-клипы для наведения, перекодирование, миниатюры нужных размеров, WebP и AVIF, сгенерированные по дороге.
Снятие ватермарок
Детект и инпейнтинг вожжённых логотипов, включая те, что дрейфуют и меняют положение между кадрами — с гейтом качества, который пропускает клип, если чисто не получается.
Файлохостинги
Загрузка, remote-upload, нормализация ссылок, свипы мёртвых ссылок через API и перезалив, когда хостинг умер или забанил аккаунт.
Публикация
Прямо в WordPress или в движок через версионированный content API — по расписанию, с лимитом скорости, детектом дублей и отчётом в Telegram по каждому запуску.
Пишется на тот день, когда сломается
Доноры меняют вёрстку, хостинги — API, квоты появляются из ниоткуда. У парсеров есть файлы состояния, возобновляемые прогоны, dry-run и undo — чтобы неудачная ночь стоила перезапуска, а не разгребания 4000 битых постов.
Правовая сторона — за вами
Мы делаем инструмент; что вы заливаете и есть ли у вас на это права — решаете вы. За очевидно нелегальные источники не берёмся и говорим об этом прямо, а не тихо выставляем счёт.
процесс
От донора до публикации
Смотрим источник
Проверяем сложность: стабильность вёрстки, лимиты, логины, антибот, как устроены медиа. Ответ «да/нет» и цена — до того, как что-то написано.
Прототип на 50 позициях
Небольшая партия падает на стейджинг. Вы смотрите, как выглядят посты, и мы правим маппинг, пока они не станут родными.
Бэкфилл
Исторический каталог заливается со скоростью, которую терпит сервер: прогресс видно, остановить можно в любой момент.
Держим в работе
Запуски по расписанию с отчётами. Поддержка при изменениях донора — небольшая месячная оплата, либо вы забираете код и ведёте сами.
Пришлите ссылку на донора
Скажем, парсится ли он, насколько чисто и сколько это стоит — обычно в тот же день.