阅读:172回复:2

海洋采集功能优化

楼主#
更多 发布于:2021-08-30 09:07
对于海洋CMS的采集功能,我认为有一处可以优化,希望大家可以讨论一下可行性。


就是在资源采集库列表采集某个资源的时候,当我们采集全部或采集某周时,由于采集资源过多,有一些分类是我们不需要采集的。


目前看到海洋cms是采取轮询的方法进行采集,我觉得可以改进方式,就是先判定当前分类是否需要采集,如果不需要采集则直接跳过整个分类,而不需要对每个视频进行判断是否需要采集,这样跳过整个分类会比每条判定是否需要采集的效率将会提高很多。


以上是不成熟意见,请大家互相讨论。
1楼#
发布于:2021-08-31 03:49
采集一周也就两分钟的事情,没必要那么精细。
2楼#
发布于:2021-09-01 15:28
海洋:采集一周也就两分钟的事情,没必要那么精细。回到原帖
自动采集脚本我觉得可以优化下,现在资源服务器跟每个用户脚本服务器之间连接很不稳定,经常会出现采集失败,可以改成失败重采3次啥的,但我不会改。。
游客

返回顶部