2007
Как сделать сайт с автообновлением по RSS?
Сейчас весьма актуально делать сайты, которые самостоятельно обновляются, используя сторонние источники контента. В основном контент импортируется посредством RSS, хотя бывают случаи, когда и из дизайна прямо выдирают :)
Цели в таких ситуациях преследуются разные, но в основном это MFA (Made For AdSense) сайты и сплоги, главной задачей которых является банальное извлечение прибыли из систем контекстной рекламы (будь то Google AdSense, Яндекс.Директ, Бегун и прочие им подобные).
Ну, раз это интересно пользователям, значит стоит перекинуться парой словечек по заданной теме и подкинуть вам интересный плагин для WordPress, который являет собой ничто иное, как обычный RSS-граббер.
Однако стоит заметить, что RSS-граббер в купе с WordPress — это очень мощный инструмент для отмывки траффика в деньги, потому что вы сможете не просто тупо тырить контент, но ещё и поработать над его подачей пользователю.
А тут, если поднапрячь серое вещество и постараться задействовать все достоинства WordPress может получиться не просто сплог, а реально полезный для посетителей сайт, котрый уж наверняка принесёт гораздо больше капусты... Хотя, тут смотря как напрягать — может получиться и откровенная порнуха. :)
С прелюдией закончили. Далее исключительно по делу...
Те, кто реально осознал, что хочет запиндякать сайт с автообновлением идут дружным строем по ссылке: SmartRSS и качают там бесплатно RSS-граббер для WordPress. Не осознавшие продолжают делать нормальные, вменяемые сайты для пиплов, а не для поисковиков — респект им и уважуха! :)
Кому покоряется инглиш хотя бы на школьном уровне, тот без труда поймёт как юзать плагин SmartRSS. На странице разработчика всё внятно описано. Для тех, кому заморский язык не покоряется рассказываю пошагово...
1) Скачать бесплатный RSS-граббер для WordPress — эта ссылка осчастливит вас, потому что она ведёт к нужному нам плагину.
2) Возможности RSS-граббера для WordPress:
• Удобная панель для управления RSS фидами. Находится во вкладке Настройки/SmartRSS, если вдруг не найдёте.
• Каждый feed может быть ассоциирован со своей категорией. Т.е. можно новости, сграбленные с разных сайтов по разным тематическим рубрикам рассовать. Хотя кому надо, тот может и в кучу свалить, в одну категорию.
• Автоматическое обновление можно запускать, кликнув по ссылке и инициировав процесс проверки новых записей на сайте-источнике, а можно и через Cron jobs.
3) Состав RSS-граббера для WordPress:
• smart_rss.php — собственно, файл самого плагина. Его нужно загрузить в папку wp-content/plugins/, а затем активировать в админке WordPress во вкладке Плагины.
• wp_smartrss.php — файлик, который непосредственно инициирует импорт контента. Его нужно поместить в корневую папку (точнее туда, где лежит сам WordPress, в общем, где файл wp-config.php находится).
• Кстати, рекомендую файлик wp_smartrss.php переименовать в какой-нибудь pepetun.php или ещё что-нибудь затейливое на ваш вкус, чтобы запустить обновление контента могли только вы, а не все кому не лень...
4) Импорт контента с помощью RSS-граббера для WordPress:
• Для обычных смертных: если вам не знакома такая технология с заморским названием, как Cron, то после того, как вы вбили адреса RSS-фидов источников и ассоциировали их с рубриками просто открываете в браузере урл http://site.ru/pepetun.php, разумеется.
• Замечание: site.ru — урл вашего сайта, а pepetun.php — название переименнованного wp_smartrss.php. С этого момента, каждый раз, когда вам будет нужна порция свежего контента, открываете эту ссылку и балдеете, ага.
• Для кульных веб-мастеров: если вам подчиняется Cron jobs, то вбивайте в его настройках ссылку вида GET http://site.ru/pepetun.php > /dev/null (хотя в зависимости от хостинга возможны варианты), настраивайте частоту обновления и балдейте от того, что свежий контент к вам на сайт качается даже без вашего участия! ;)
5) На закусочку:
Есть у SmartRSS ещё одна весьма полезная опция. Полезная особенно для тех, кто хочет по-серьёзному копеечку с контекстной рекламы вышибать...
Опция эта даёт возможность на странице сграбленной публикации показывать анонсы и ссылки на другие, опубликованные на вашем сайте записи, сходные с читаемой по тематике. Называется это безобразие Related Articles Display.
Для показа этих самых Related Articles нужно вставить в шаблон вывода одной записи (single.php) следующий php-код:
- <?php smartrss_related_posts(limit, len, before_title, after_title , before_post, after_post , show_pass_post, show_limit); ?>
Параметры данной функции:
• limit = количество показываемых анонсов
• len = если установлен show_limitis, то ограничит размер анонса до указанного размера слов
• before_title = html-код до заголовка анонса
• after_title = html-код после заголовка анонса
• before_post = html-код до текста анонса
• after_post =html-код после текста анонса
• show_past_post = показывать публикации, защищённые паролем
• show_limit = ограничивает размер анонса до количества слов, установленных в $len
Как данную опцию применить вместе с контекстной рекламой — думайте сами. Но при хитром подходе она может принести нехилые дивиденды... Это я вам точно говорю.
Вот, собственно, и всё. Сегодня мы научились делать автообновляемые сайты на WordPress. Большая просьба — юзайте описанный плагин с умом. А то всякого г#вна в поисковой выдаче и так хватает.
Делайте сайты хотя бы немного приспособленные для юзеров, чтоб при заходе на них не возбуждался рвотный рефлекс... Тем более, что все условия вам для этого созданы: возможность разбавлять стыренный контент, редактировать его и извращаться над ним по-всякому (в данном случае это уместно).
P.S. В моём портфолио есть пара выполненных работ на базе этого плагина, кому интересно — смотрите. Есть примеры сайтов, работающих исключительно на сграбленном контенте, а есть и разбавляющие наполнение своим собственным, уникальным контентом — у кого толк больше догадаться не сложно...








9 апреля 2007/12:23
У меня при импортировании русский текст не импортируется((( Что делать?
12 апреля 2007/22:41
Что-то у меня не работает "filter posts" , не подскажите в чем дело и как оно должно работать? А то так грабит рсску полностью :(
15 апреля 2007/01:01
http://mywordpress.ru/support/viewtopic.php?id=308 - здесь подсказка про русскую кодировку как раз для вашего случая.
А про фильтер постс ничего сказать не могу... У меня при нажатии на эту кнопу загружается чистая страница.
15 апреля 2007/01:37
Спасибо..
16 апреля 2007/00:06
Пожалуйста ;)
22 апреля 2007/11:09
Теперь другой прикол:
Записи импортируются нормально, но не выводятся
Доступ к записи по ссылке есть, например
http://forexbaza.info/net-ranking-ferrari-f355-challenge-idet-polnyim-hodom.html
А вот в категории и на главной пост не отображается((
Отображаются только те, что я добавлял ручками
27 апреля 2007/14:01
Установил по инструкции все работает.
Вот только новости очень короткие, обрезаются после первого абзаца и дальше «More: continued here», с cсылкой на источник статьи.
Вопрос: как можно сделать публикацию с «Чатать далее..» только с ссылкой на полную статью уже в своем блоге, а в конце статьи ссылкой на источник.
27 апреля 2007/21:01
Чтобы были не анонсы статей со ссылкой на источник, а полные версиии с соответствующей ссылкой, нужно чтобы источник в RSS отдавал ПОЛНЫЕ версии статей, а не анонсы.
Так что выход один - искать источники контента, которые по RSS отдают ПОЛНЫЕ версии статей, а не анонсы.
P.S. Сам я сплоги не строю, но вообще знающие люди говорят, что в этом деле и на анонсах нормуль бизнес строится, потому что целиком контент в RSS редко встречается...
27 апреля 2007/22:59
Но с полной версией статей та же история что с анонсами - плагин их режет на анонсы.
В этой связи интересно, какие именно новости у тебя пополняются через этот плагин на http://eseo.ru/? Там как бы все логически правильно - статьи полные.
28 апреля 2007/19:14
Так-с, тогда нужно сделать следующее...
Контент выводить не через функцию the_content, а через функцию <?php the_excerpt(); ?>
В этом случае стыренные статьи в ленте (архивах) будут показываться в виде урезанных анонсов, при этом все ссылки (в том числе и More: continued here) будут резаться и станут неактивными (просто текстом).
Поскольку через рсс тырятся полные статьи, как вы утверждаете, тггда ссылка More: continued here даже не должна попадать в анонс. Она появится только при переходе на страницу с отдельной записью, как раз как вам надо.
P.S. http://eseo.ru - это авторский ресурс ;) Там нет ни одной стыренной статьи. Весь контент создаётся авторами и редакторами журнала, ага! Берите пример ;).
29 апреля 2007/23:35
Avalon, никогда нас еще не нызывали роботами :))))))))))). Ресурс авторский, пополняется вручную. Так же вручную и выбирается. Английский роботы еще не научились переводить хорошо ;).
1 мая 2007/16:47
to Андрей: akismet упорно считает вас спамером, видать нашалили где-то сильно :)
Не встречал такого. Попробуйте поменять рубрику, в которую тырятся новости, может, поможет.
3 мая 2007/13:40
Вобщем, я уже другой плагин использую- с этим я что- то не сдружился.
6 мая 2007/16:09
NewsGrabber из той же самой ленты выдирает полные статьи. Как бы перенастроить Smart_RSS, чтобы он делат также?
Тут было упоминание про
если не трудно, как это в коде самого скрипта выглядит?
6 мая 2007/16:10
sorry,
"упоминание про"
6 мая 2007/16:11
Блин, да что же это все никак не выводится?
Короче, см. пост
AlexPro написал:
28 Апрель 2007 в 19:14
6 мая 2007/16:48
А есть какие-нибудь аналоги этого плагина?
6 мая 2007/23:02
аналогично интересуют аналоги.. а то это фигня в начале нормально на блоге работалм , а потом только заголовки стала сабмиттить :(
7 мая 2007/18:52
to Андрей: а какой плагин используете? А то вон общественность интересуется... Может, подкините ссылочку сделаем тест-драйв.
to Михаил: да я вроде бы всё подробно описал... Откройте в админке вкладку Внешний вид/Шаблоны и в Основном шаблоне и шаблоне Архивов поменяйте указанную функцию на предложенную.
7 мая 2007/19:03
FeedWordPress
http://projects.radgeek.com/feedwordpress
8 мая 2007/01:30
2 Андрей:
Да, присоединяюсь к AlexPro. Какой "другой плагин"?
2 AlexPro:
Понял. Не то. вопрос в том, как заставить выдирать полную новость - т.е. идти по ссылке и выбирать контент. Можно хоть страницу целиком, там уже придумаем, как чего порезать, чтобы лишнего не выводить (в смысле, надо писать какой-то cleaner, который будет лишние теги и тексты убирать)
8 мая 2007/18:22
to Михаил: хз, для меня php - тёмный лес :) Максимум, что могу - это поковыряться в готовом плагине, поиграться с его настройками.
9 мая 2007/18:10
Вот еще один скрипт WP Import
10 мая 2007/09:32
Странный этот граббер, все-таки.
1. Проверял ленты на SimplePie - выдает полные статьи, а SmartRSS почему-то режет.
2. Попробовал активировать функцию релевантных постов - выдает еррор парсинга таблиц.
Кто-нибудь понимает в чем дело?
10 мая 2007/09:34
Да, и в догонку (2admin: стоит включить возможность редактировать свои комменты).
Какой лимит сервера необходим, если грабишь порядка 10 лент?
14 мая 2007/19:09
В ближайшее время попробую погонять предложенные плагины, а затем напишу, что из этого вышло.
Про лимит сервера - варианты могут быть различны, решается опытным путём ;)
20 мая 2007/16:50
Поставил плагин,промучился часа 2,но так и не смог сделать трансляцию в созданные рубрики.Может,кто поможет? В настройках все есть,а плагин не работает.
31 мая 2007/17:14
кто-нибудь сумел заставить этот или другой плагин автоимпорта распознавать разные русские кодировки?
17 июня 2007/11:33
Стото при активации плагина, который запускатся кроном, пишет :Плагин не может быть активирован, потому что он вызвал фатальную ошибку.
17 июня 2007/20:31
а, все разобрался ;)
18 июня 2007/08:24
Научите плис, не могу вьехать что такое адреса RSS-фидов, где их брать и самое главное куда их ВБИВАТЬ???
18 июня 2007/08:56
Брать на сайтах - везде, где видишь надпись RSS, Atom, XML или иконки в виде круглешка и отходящих от него типа волн :) Вбивать в RSS-читалки или в скрипты, которые синдицируют контент (выше рассказано про такой плагин для вордпресса).
18 июня 2007/09:24
Дело в том что я только установил WordPress и предложенный плагин и нужно мне всё это исключительно для грабежа новостей, но боюсь не смогу осилить, т.к. очень далёк от всего этого, но если кто нибудь готов написать подробный мануал, как всё это реализовать,а именно: что такое адреса RSS-фидов, где их брать и самое главное куда их ВБИВАТЬ, готов заплатить 5 $
18 июня 2007/09:47
Валерий, напрягитесь. ;) Вам нужно только прочитать этот пост и зайти в админку своего WordPress'а :) Все сразу станет ясно.
18 июня 2007/16:18
Валерий, стукнив аську(339124173) если не можешь настроить, объясню. В принципе там все элементарно.
Заходишь например на lenta.ru -> находишь rss(http://img.lenta.ru/r/EX/import.rss) -> далее в адимнке добавляешь.
У меня еще вопрос, при добавлении новости, у нее статус не опубликованна. Можно сделать, чтобы статус автоматически менялся на опубликованный.
18 июня 2007/17:05
Чисто теоретически: разбери плагин, найди момент где пост пишется в базу данных и переделай.
18 июня 2007/19:17
жаль нет функци автопубликации
23 июня 2007/05:21
А как это сделать практически?
Можно по подробнее.
Функции ведь находятся в файлах самого ВордПресса, а не в файлах плагина.
23 июня 2007/09:07
Avalon, функции вывода находятся в шаблонах. Внешний вид/Редактор тем ;)
28 июня 2007/18:59
На одном из своих сайтов установил Wordpress 2.2.1, и гляжу: smartrss в этой версии выдает только анонсы статей, но уже без ссылки "Читать далее".
В версии 2.0.4 он тоже показывал анонсы, однако ссылку выдавал. Получается, плагин требует доработки под новую версию WP?
30 июня 2007/15:23
Хз... У меня все работает. Скорее не в версии трабл, может, какой-то конфликт плагинов...
2 июля 2007/11:15
Оказался конфликт не плагинов, а конфликт ... во мне. С переустановкой плагина все заработало нормально. Так что версия WP, и впрямь, не причем.
Скорее всего, что-то запортил, когда пытался исправить на русский More: continued here.
2 июля 2007/11:51
А точнее возникло вот что: если в wp_smartrss.php изменить в ссылке More: continued here хотя бы одну букву на кириллицу, то далее (после буквы) вся ссылка становится невидимой.
А если заменить целиком, например, на "Продолжение читайте здесь", то пропадет вся ссылка целиком.
2 июля 2007/23:21
Да, в свое время пробовал менять текст ссылки. Тоже столкнулся с этой проблемой...
3 июля 2007/02:14
а у меня плагин тырит только заголовки... и то не всегда... что за фигня?
4 июля 2007/13:25
Фид подобрали такой значит...
4 июля 2007/13:43
счас переустановил новую верию.. поставил на локалку.. тырит только первую строку .....
поставил на хост... пишет постоянно что ошибка БД.. хотя все данные верно ввожу
10 июля 2007/14:30
>А точнее возникло вот что: если в wp_smartrss.php >изменить в ссылке More: continued here хотя бы одну >букву на кириллицу...
Какая у Вас версия ВП и откуда?
ЗЫ Проскакивал как-то такой трабл - забыл выставить нужную кодировку при изменении.
Сейчас вроде все работает (1251, maxsite, 2.07)
10 июля 2007/15:50
Это происходит в версии 2.2.1, скачанной с сайта mywordpress.ru. Кодировка - UTF-8
12 августа 2007/10:40
Приятный инструмент. Хоть и возникает масса вопросов, но в сравнении с аналогами самое то.
Позвольте спросить, есть ли какая-либо возможность увязать это с LiveJournal Crossposter?
14 августа 2007/12:36
УЙ, а что тут увязывать? Ставите кросспостер и записи транслируются в жж.
14 августа 2007/12:40
Вот и я так думамши. Ан нет.
В ЖЖ кросспостятся только добавленные самостоятельно записи, а залитые этим плагином игнорируются.
14 августа 2007/15:41
Народ у меня не выводиться заголовок статьи....вот смотрите http://nokia-6630.mobilko.info/
помогите плз
14 августа 2007/15:47
я так понял какая-то проблема с rss у меня, так как вот попробовал с другого источника всенормально загрузилось вот смотрите http://nokia-6630.mobilko.info/?cat=1
подскажите с чем может быть такая ситуация связана?
8 сентября 2007/02:31
Плагин неплохой, но имеет большой недостаток. Не стягивает и не показывает статьи целиком, от сюда следует что серфер придя на такой сплог не успеет заметить и кликнуть на контекстную рекламу как окажется на сайте rss донора... Я пока в поисках нормального ридера который целеком тырит контент.
9 сентября 2007/23:23
Есть у SmartRSS небольшая недоработка - при парсинге RSS и добавлении в базу он не обновляет инфу о количестве постов в рубрике... Я вылечил это так:
Откройте файл wp_smartrss.php и найдите в конце запросы к базе (там 4 запроса на INSERT).
Добавьте еще один запрос, который будет работать с таблицей categories:
------------------
mysql_query("UPDATE ".$table_prefix."categories set category_count=category_count+1 WHERE cat_ID=$post_category");
------------------
Все. Теперь количество постов в категории будет обновлятся при вставке новости.
3 октября 2007/15:14
В WordPress версии 2.3 этот плагин выдает ошибку при настройке, в админке:
8 октября 2007/04:24
Сергей, короче открываете файл
smart_rss.php находите там строку
и заменяете ее на
У меня вроде пропала ошибка и категории выбирать можно, но вот фильтр слов не запусается.
9 октября 2007/22:54
Вопрос следующий:
Код который предложил Максим (maxsite.org) для преобразования кодировки
wp_smartrss.php
работает только в одном направлении, а как быть если блог в кодировке UTF-8 и грабить надо из лент с обеими кодировками UTF-8 и WINDOWS-1251.
Всю голову уже сломал:( В PHP не силен.
Помогите плизз.
20 октября 2007/18:57
Varkolak, заменение строки не помогло.
20 октября 2007/22:40
ну не знаю, у меня все ok, работает, кроме фильтра
21 октября 2007/04:50
С последней версией Smartrss от 11.10.2007 не работает, при том, что установлена версия WP 2.2.3 или 2.3. Сам отказался сейчас от Smartrss. Использую FeedWordPress на версии 2.3, если кому интересно пример: news-feed.ru
24 октября 2007/01:01
Я не могу понять куда нужно вбивать RSS потоки? Подскажите пожалуйста.
24 октября 2007/11:06
плагин установил, все работает.
есть одно но!
при трансляции, контент выводится на главной стр.
т.е. такое впечатление что эти посты писали юзеры.
мне нужно трансляцию вывести в sidebar, а не в Main Index.
для этого есть две категории. может как-то можно сделать разделение по категориям?
5 ноября 2007/23:05
Дима, не понял вопроса... Подробнее, плиз, картину обрисуйте.
19 ноября 2007/10:48
вордпресс 2,3 пробовал менять функцию контент на предо женую выше, перестало выводить тело статьи, только заголовки, и как все таки избавиться от More: continued here. Заранее спасибо.
19 ноября 2007/19:20
Alexey, не могу сказать в чем проблема, смотреть нужно. Вообще, честно говоря, все что касается Smart RSS нужно смотреть и настраивать методом научного тыка.
16 февраля 2008/22:55
Вот чего пишет. И все время ноль пост... Что делать? Или что я не так делаю?
18 февраля 2008/03:09
....И все время ноль пост... Что делать? Или что я не так делаю?....
Reading http://img.lenta.ru/r/EX/import.rss - 0 posts available
8 марта 2008/14:19
В настройках плагина нельзя выбрать категорию. Это связано как то с версией WP? У меня стоит версия 2.3.3.
8 марта 2008/14:20
И еще один вопрос. Где можно взять старые верчии WP? 2.0, 2.1 ...
27 марта 2008/23:55
а разве FeedWordPress не проще? там вроде кроном пользоваться даже не надо
5 апреля 2008/01:55
Спасибо за статью, качаю и пробую поюзать.
9 апреля 2008/15:35
Спасибо большое, в ряду сателитов прибыло)
11 апреля 2008/11:14
Народ кто пользуется feedwordpress, как его правильно настроить, к сожалению с аглицким не дружу.
14 апреля 2008/21:14
А что там настраивать?)) Добавляешь мод для ворпресса, на фиде добавляешь блог, и всё. Выбираешь картинку в публикациях и ставишь на блог
PS Там половина русском)
24 апреля 2008/16:07
Вообще для этого есть отличный плагин FeedMaster, граббит практически всё и всё время развивается.
24 апреля 2008/16:46
NuN:
Вообще для этого есть отличный плагин FeedMaster, граббит практически всё и всё время развивается.
Ну и где мона качнуть FeedMaster.
24 апреля 2008/17:02
Я его покупал. Вся информация о плагине на оффсайте FeedMaster. Если интересно могу предложить версию 1.4.4Pro. Пиши . договоримся :)
24 апреля 2008/17:41
NuN, стукни-ка 169-241-895
24 апреля 2008/17:47
И нестыдно вам барыжить платными скриптами(плагинами). Люди старались, делали, а вы...
24 апреля 2008/18:05
NuN, и мне, icq: 118768
24 апреля 2008/19:17
Та блин, дорого 60wmz :(
Вот и приходиться как то выкручиваться.
25 апреля 2008/08:55
А где барыжничество ???? Я купил ... а вообще можно в складчину купить .... Там нет привязки к домену ...
Так что выбирайте слова....
16 мая 2008/11:27
Спасибо было полезно, узнал много нового
16 мая 2008/14:54
Вставил плагин запускаю на выполнение пишет
Reading http://www.
Reading http://www.#######.ru/ - 0 posts available
17 мая 2008/21:02
NuN, если актуально по поводу скрипта готов купить стукнись 439-230-560
22 мая 2008/16:04
SmartRSS не могу настроить, все сделал как написано, но ничего не грабится с рсс :( То есть вообще новости не добавляются.
FeedWordPress пробовал, но он не хочет активироваться - вызывает фатальную ошибку, как вылечить?
помогите плиз
22 мая 2008/16:31
To wonder:
FeedWordPress прекрасно работает, версия 0.992 и wordpress 2.5.
Последняя версия FeedWordpress 0.993 и последний wordpress 2.5.1 уживаются плохо, при активированом FeedWordpress не работает ajax в админке, т.е. к примеру, чтобы настроить и разместить виджеты надо сначала отключить FeedWordpress, иначе не происходит сохранение виджетов в колонках.
30 мая 2008/13:15
NuN, вопрос ещё открыт?
Готов обсудить 123-06396-3
28 июня 2008/22:57
А я ваще затрахался уже с этими грабберами - и SmartRSS, и FeedWordPress пробовал... Первый не ставится. Второй вроде работает, но тоже как-то через попу все... Эх, написал бы кто мануал подробный про оба этих плага.
3 июля 2008/18:18
FeedWordPress работает, но тащит только заголовки, а как все остальное грабить?
4 июля 2008/10:14
Hajo
Например wp-import. Воспользуйся поиском. ссылочки есть.
4 июля 2008/12:23
Спасибо, разобрался - криво поставил FeedWordpress вначале - от этого проблемы были...
Только вот не совсем понял еще - можно ли там сделать так, чтобы записи в базу не писались, а только ссылки на источник отображалсь?
4 августа 2008/01:11
FeedMaster. продам за 10 wmz. Брал за 60 .
10 августа 2008/22:10
FeedMaster возьму за 10
16 августа 2008/19:26
у меня проблема, когда я иду за свежим контентом, то мне выдаёт надпись 0 posts available, причём так происходит со многими фидами, и что тогда делать...((
17 августа 2008/10:31
тогда возьми другие ленты
21 августа 2008/16:18
''FeedMaster plus'' продам за 9 wmz пишите на мыло schigol1992@rambler.ru
21 августа 2008/16:24
Сучка, это ты его разрабатывал что бы продавать за деньги?