阅读:12056回复:36

海洋cms设置宝塔自动采集教程

楼主#
更多 发布于:2020-09-05 18:01
第一步:获取脚本代码。
【1】下面是自动采集脚本代码,我们需要修改代码里面的3项后才可以使用。

#!/bin/bash
########################################################
# 程序名称: 海洋CMS自动采集脚本
# 版本信息:seacmsbot/ v2.0
# 发布链接: https://www.seacms.net/
# 使用方法:直接复制代码到宝塔计划任务shell脚本内容里添加每小时任务使用
# 更新时间:2019.9.26
##########################################################
#①请修改下面的网站域名及管理目录
web_site="http://网站域名/管理目录/admin_reslib2.php"
  
#②请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)
web_pwd="8888e82e85bd4540f0defa3fb7a8e888"
  
#③下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。
#每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。
web_api=(
    
      '?ac=day&rid=1&url=https://api.iokzy.com/inc/ldg_seackm3u8s.php'
     '?ac=day&rid=2&url=http://www.zdziyuan.com/inc/s_ldgm3u8_sea.php'
  
)
#模拟用户浏览器ua,请勿随意修改,以免被目标防火墙拦截!
web_ua="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/76.0.3809.100 Safari/537.36 seacmsbot/1.2;"
  
#采集单页
function get_content() {
  echo  "正在采集第$page页..."
  #echo  " get_content: --->url:--->$1"
  cResult=$(curl  --connect-timeout 10 -m 20  -k -s   -L -A "$web_ua"  "$1" )
  echo $cResult | grep -q "采集"
  #echo  -e  "$1\n$cResult"
 if [ "$?" = "0" ]; then
     next_content "$cResult"
else
    echo  -e "采集失败,请检查设置!\n失败链接-->$1\n返回信息-->$cResult\n采集结束,共0页"
fi
}
#采集下页
function next_content() {
    #统计数据
     Result=$(echo "$1" | tr "
" "\n")
     a=$(echo "$Result" | grep -c  "采集成功")
     b=$(echo "$Result" | grep -c  "更新数据")
     c=$(echo "$Result" | grep -c  "无需更新")
     d=$(echo "$Result" | grep -c  "跳过")
     echo "采集成功-->已更$c部,新增$a部,更新$b部,跳过$d部"
     let add+=$a
     let update+=$b
     let none+=$c
     let jmp+=$d
    #检测并采集下页
     next_url=${1##*location.href=\'}
     next_url=${next_url%%\'*}
      #echo $next_url
      if [ "${next_url:0:1}" = "?" ]
          then
          let page++
          get_content "$web_site$next_url"
    else
         echo "采集结束,共$page页"
       fi  
}
#脚本入口
echo "海洋CMS自动采集脚本开始执行 版本:v1.2"
starttime=$(date +%s)
update=0  #更新
add=0     #新增
none=0  #无变化
jmp=0  # 跳过
for url in ${web_api[@]};
do  
if [[ ! -z $url ]]
     then
           web_param="$web_site$url&password=$web_pwd"
           page=1
           echo "开始采集:$url"
           get_content $web_param
  fi
done
endtime=$(date +%s)
echo "============================"
echo "入库-->$add部"
echo "更新-->$update部"
echo "跳过-->$jmp部(未绑定分类或链接错误)"
echo "今日-->$[none+add+update]部"
echo "============================"
echo  "全部采集结束,耗时$[endtime - starttime]秒"

第二步:修改脚本
【2】具体修改脚本里面的哪3项呢?下面为你一一说来。(根据上面提供的代码内容复制到记事本或是其他html编辑器来对应修改)

#①请修改下面的网站域名及管理目录
web_site="http://网站域名/管理目录/admin_reslib2.php"
这个是需要修改成你的“网站域名”和“海洋cms后台的管理目录”。域名大家都能理解,后台的管理目录这个对于新手来说需要多讲两句,首先你要能登录你的后台才可以知道你的后台目录。举例说明:假如我的后台登录地址是 mytheme.cn/xxxx/那么这里的“xxxx”就是后台的管理目录,得到了管理目录我们直接填写到代码里即可。

#②请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)
web_pwd="8888e82e85bd4540f0defa3fb7a8e888"
这个修改需要到海洋cms系统后台得到我们的cookie密码进行替换才可以,具体步骤:系统-网站设置-cookie密码。得到自己网站的cookie密码后替换即可。

#③下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。
#每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。
web_api=(
    
      '?ac=day&rid=1&url=https://api.iokzy.com/inc/ldg_seackm3u8s.php'
     '?ac=day&rid=2&url=http://www.zdziyuan.com/inc/s_ldgm3u8_sea.php'  
)
这个是代码里需要修改的最后一项,里面是代码里默认提供的2个采集链接地址,我们需要获取自己的采集链接地址添加到里面。

第三步:宝塔定时任务设置。
直接复制代码到宝塔计划任务shell脚本,内容里添加每小时任务使用。

最新喜欢:

yannlongyannlo...
mittu
禁止发言
禁止发言
1楼#
发布于:2020-09-17 05:20
用户被禁言,该主题自动屏蔽!
2楼#
发布于:2020-09-28 22:36
有没有脚本采集执行采集失败的,复制失败链接到浏览器采集又正常。
3楼#
发布于:2020-10-16 18:10
zyithome:有没有脚本采集执行采集失败的,复制失败链接到浏览器采集又正常。回到原帖
我就是这样了,怎么解决呢
4楼#
发布于:2020-10-17 13:19
这个好,我都是用这个脚本,其他的程序一个目标站要写一条,搞得我另开服务器用小工具执行。
5楼#
发布于:2020-10-19 17:23
108158189:我就是这样了,怎么解决呢回到原帖
我是用了防火墙。我把资源链接加到白名单就好了。
6楼#
发布于:2020-10-25 21:35
zyithome:我是用了防火墙。我把资源链接加到白名单就好了。回到原帖
我宝塔用NG,默认没有防火墙的呢,
7楼#
发布于:2020-10-28 12:43
108158189:我宝塔用NG,默认没有防火墙的呢,回到原帖
我用的第三方防火墙,这个插件也不是太稳定,自动不行,就手动采集吧
8楼#
发布于:2020-10-29 11:57
能不能用的啊
9楼#
发布于:2020-10-29 18:22
zyithome:有没有脚本采集执行采集失败的,复制失败链接到浏览器采集又正常。回到原帖
我也如此
10楼#
发布于:2020-11-12 03:06
zyithome:有没有脚本采集执行采集失败的,复制失败链接到浏览器采集又正常。回到原帖
我也是这样
11楼#
发布于:2020-11-12 10:10
遇到错误 先尝试关闭防火墙。
12楼#
发布于:2021-01-01 15:56
海洋:遇到错误 先尝试关闭防火墙。回到原帖
目前遇到这样的问题,因为宝塔计划任务只能采集第一页,但现在采集当天资源每次都是从0点以后正序采集,这就导致第一页之后的都采集不到。之前版本好像能正常采集!
13楼#
发布于:2021-01-09 15:56
不错不错
14楼#
发布于:2021-01-09 16:13
请问Windows系统的服务器,未安装宝塔,是否可以使用这个脚本呢?如果可以需要如何操作呢?
上一页
游客

返回顶部