搜索

Linux下使用系统自带计划任务功能实现定时采集教程

[复制链接]
admin 发表于 2015-10-12 10:05:18 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册加入

x
【海洋cms】Win系统下使用定时任务软件进行全自动定时采集教程
http://www.seacms.net/forum.php?mod=viewthread&tid=116


【海洋cms】Linux下使用系统自带计划任务功能实现定时采集教程
http://www.seacms.net/forum.php?mod=viewthread&tid=938


【海洋cms】使用普通html网页文件实现自动定时采集的办法教程
http://www.seacms.net/forum.php?mod=viewthread&tid=939

===============================================


首先ssh连接服务器,运行:
crontab -e
然后,输入或者粘贴进去。
0 */2 * * * /usr/bin/curl http://www.seacms.net
五个星号分别代表分、时、日、月、周。以上是两小时运行一次。
十分钟一次就是:
*/10 * * * * /usr/bin/curl http://www.seacms.net



实际采集网址获取办法:

第一步: 登录网站后台,进入资源库,在你要采集的目标上点击右键 属性,获取在采集当天或本周的链接地址
2.jpg
复制右侧红框中的地址

第二步:修改上一步复制的网址里的 admin_reslib.php 为 admin_reslib2.php,并且在最后面添加: &password=123456  其中123456是你自己设置的密码。这样就得到了最终的采集网址


第三步:下载附件,把admin_reslib2.php文件放入admin文件夹并修改其中的密码和你上一步设置的密码一致。
              $pkey = 123456; //采集授权密码,请修改为自己的密码,防止被恶意采集




admin_reslib2.zip (9.19 KB, 下载次数: 1321)
pins8 发表于 2015-10-20 11:20:22 | 显示全部楼层
admin_reslib.php2.php 这个名是不是错的?不是admin_reslib2.php吗

评分

参与人数 1金币 +80 收起 理由
admin + 80 多谢指正,已修改。

查看全部评分

回复

使用道具 举报

fannyjing 发表于 2015-11-15 00:37:45 | 显示全部楼层
正在测试中
回复

使用道具 举报

sixiangqiao 发表于 2016-4-24 18:50:49 | 显示全部楼层
准备用起来
回复

使用道具 举报

waige1986 发表于 2016-5-24 15:13:21 | 显示全部楼层

确实是不错的程序
回复

使用道具 举报

jerryvscr 发表于 2016-7-21 18:46:46 | 显示全部楼层
密码对应不上~不知道为啥。。。明明密码都是对的...提示 PASSWORD ERR!

win系统定时采集没问题~
回复

使用道具 举报

果农一号 发表于 2016-8-7 09:19:10 | 显示全部楼层
老大,学习了!!!
回复

使用道具 举报

蓝飞侠影 发表于 2016-9-19 14:22:26 | 显示全部楼层
jerryvscr 发表于 2016-7-21 18:46
密码对应不上~不知道为啥。。。明明密码都是对的...提示 PASSWORD ERR!

win系统定时采集没问题~ ...

参数加上引号就可以了,如下是我的:
  1. */10 * * * * /usr/bin/curl "http://video.lanfeixiaying.com/xxxx/admin_reslib2.php?ac=day&rid=91zy.cc&url=http://www.91zy.cc/inc/api_maccms.asp&password=xxxxxx"
复制代码
回复

使用道具 举报

jerryvscr 发表于 2016-9-29 09:20:19 | 显示全部楼层
蓝飞侠影 发表于 2016-9-19 14:22
参数加上引号就可以了,如下是我的:

谢谢大侠提醒~但是我测试还是没成功~不知道咋回事。。。
回复

使用道具 举报

蓝飞侠影 发表于 2016-9-29 09:22:00 | 显示全部楼层
jerryvscr 发表于 2016-9-29 09:20
谢谢大侠提醒~但是我测试还是没成功~不知道咋回事。。。

那就把不成功的错误错误或情况说一下。
回复

使用道具 举报

jerryvscr 发表于 2016-9-29 09:27:14 | 显示全部楼层
蓝飞侠影 发表于 2016-9-19 14:22
参数加上引号就可以了,如下是我的:

好像又又用~但是不能翻页?每天采集一次不行?只能采集第一页?
回复

使用道具 举报

蓝飞侠影 发表于 2016-9-29 10:13:53 | 显示全部楼层
jerryvscr 发表于 2016-9-29 09:27
好像又又用~但是不能翻页?每天采集一次不行?只能采集第一页?

应该是的,因为curl 不支持js脚本,那就把时间设置短一些,那样每次一页,也有同样的效果了。
回复

使用道具 举报

jerryvscr 发表于 2016-9-29 10:24:29 | 显示全部楼层
蓝飞侠影 发表于 2016-9-29 10:13
应该是的,因为curl 不支持js脚本,那就把时间设置短一些,那样每次一页,也有同样的效果了。 ...

但是好像还有问题~我用的是采集当天的链接~电脑端测试是第一页~当更新内容超过1页的时候~新的内容会在后面的页码里~这个更新不到啊。。。是否可以让时间倒叙更新?就是最新的内容放在第一页更新~然后更新的条数也增加一点~比如默认10条一页~改成50条一页~这样?

回复

使用道具 举报

蓝飞侠影 发表于 2016-9-29 10:36:56 | 显示全部楼层
jerryvscr 发表于 2016-9-29 10:24
但是好像还有问题~我用的是采集当天的链接~电脑端测试是第一页~当更新内容超过1页的时候~新的内容会在后 ...

那样具体你看下js返回那个地址是否有帮助,不然就找楼主才能解决了。
我个人认为没有那个必要,因为他们网站也不会更新那个快,你先手动需要全部,然后搞个定时每10分钟左右获取第一页就够了,毕竟他们最新更新的都是在第一页。
回复

使用道具 举报

jerryvscr 发表于 2016-9-29 11:17:17 | 显示全部楼层
蓝飞侠影 发表于 2016-9-29 10:36
那样具体你看下js返回那个地址是否有帮助,不然就找楼主才能解决了。
我个人认为没有那个必要,因为他们 ...

嘿嘿~其实我想偷懒~全自动~不管~
不用采集当天的~用那个采集貌似可以~永远第一页。。。但是那个采集。。。貌似没有连接。。。不知道连接是什么。。。
回复

使用道具 举报

yyyyy210 发表于 2016-9-30 16:50:27 | 显示全部楼层
hfghfghfghfghfgh
回复

使用道具 举报

1508068965 发表于 2017-3-14 19:17:42 | 显示全部楼层
呜呜呜呜呜呜呜呜呜呜无无无无无无无
回复

使用道具 举报

zippor 发表于 2017-5-2 10:32:29 | 显示全部楼层
10分钟一次应该是10/* * * * * /usr/bin/curl http://www.seacms.net这样吧,老大是不是编辑错了?
回复

使用道具 举报

zeroiii3 发表于 2017-6-3 08:45:02 | 显示全部楼层
有错误每次采集都从第二页开始
回复

使用道具 举报

bth385742 发表于 2017-6-5 11:27:48 | 显示全部楼层
请问企鹅企鹅群为其恶趣味恶趣味恶趣味
回复

使用道具 举报

591713966 发表于 2017-9-22 13:30:32 | 显示全部楼层
时数采集成功,但后台没有数据,手动手台采集就可以。
回复

使用道具 举报

iuhnap 发表于 2018-7-22 11:32:52 | 显示全部楼层
蓝飞侠影 发表于 2016-9-19 14:22
参数加上引号就可以了,如下是我的:

命令不是直接网址的吗
回复

使用道具 举报

seacambo 发表于 2018-8-18 11:52:35 | 显示全部楼层
iuhnap 发表于 2018-7-22 11:32
命令不是直接网址的吗

linux  和 windows 不一样。 linux下&是特殊字符。需要加 \& 转义或全部加引号。
回复

使用道具 举报

sxyjmj 发表于 2018-11-23 14:29:05 | 显示全部楼层
这个方法只能采集第一页的。第二页就会出错。
回复

使用道具 举报

sxyjmj 发表于 2018-11-23 14:33:04 | 显示全部楼层
</font>已存在,更新数据,不更新图片<br><br/>暂停3秒--<font color=red>即将开始同步第2/7页</font><br/></div><script language="javascript">setTimeout("makeNextPage();",3000);function makeNextPage(){location.href='?password=xxxxx&action=day&rid=2&pg=2&url=http://api.kbzyapi.com/inc/ldg_seakakam3u8.php&backurl=admin_reslib2.php%3Fpassword%3Dxxxxx';}</script>
     
自动采集当天的,实际上只采集了  资源站当天的第一页
回复

使用道具 举报

小黑屋|海洋CMS

GMT+8, 2019-1-21 09:00 , Processed in 0.133776 second(s), 34 queries .

Powered by SeaCMS!

© 2015-2018 seacms.net.

快速回复 返回顶部 返回列表