Во первых есть импорт RSS, во вторых граббер может работать через трекер.
Но мне к сьтаи идея грабинга не нравится, это создаст кучу мёртвых тем и потом, когда поисковики опознают контент ЛТ как копию ЛОРа ЛТ они ещё и понизят ЛТ в поисковой выдаче, если и грабить ЛОР, то только в такой же закрытый раздел как и клуб.
Не обязательно совсем закрытый, но закрытый для ботов через robots.txt - да.
Может сделать так: каждый топик автоимпортировать в одно из двух возможных мест - закрытое и открытое.
В закрытое импортировать по умолчанию, а потом особо хорошие темы вручную переносить в открытый раздел, причём его может быть даже разрешить индексировать поисковикам.
Хотя есть одна проблема: как автоимпортер будет отрабатывать вынесенные в отдельные темы треды?
Лично я вижу решение в том что надо развивать функционал автовыноса, а именно запретить писать ответы в импортированные треды, но разрешить отвечать на пост в другой теме, специально созданной для этого или уже существующей.
Во первых есть импорт RSS, во вторых граббер может работать через трекер.
Но мне к сьтаи идея грабинга не нравится, это создаст кучу мёртвых тем и потом, когда поисковики опознают контент ЛТ как копию ЛОРа ЛТ они ещё и понизят ЛТ в поисковой выдаче, если и грабить ЛОР, то только в такой же закрытый раздел как и клуб.
Для этого есть robots.txt и фильтр по юзерагенту пауков. Не будет лоровский контент индексироваться.
я смотрю, много работы тебе предстоит) ну ок, посмотрим, что тебе удастся. вполне возможно, что к окончанию СВО нам как раз понадобится что-то новое.
у тебя еще годик впереди, чтобы показать какой-то конкретный результат, подтверждающий твои слова.
Не обязательно совсем закрытый, но закрытый для ботов через robots.txt - да.
Может сделать так: каждый топик автоимпортировать в одно из двух возможных мест - закрытое и открытое.
В закрытое импортировать по умолчанию, а потом особо хорошие темы вручную переносить в открытый раздел, причём его может быть даже разрешить индексировать поисковикам.
Хотя есть одна проблема: как автоимпортер будет отрабатывать вынесенные в отдельные темы треды?