scheduler

Documentation

Index

• func Init()
• func PauseRecover()
• func ReloadProxyLib()
• func Stop()
• type Matrix
  • func AddMatrix(spiderName, spiderSubName string, maxPage int64) *Matrix
  • func (self *Matrix) CanStop() bool
  • func (self *Matrix) DoHistory(req *request.Request, ok bool) bool
  • func (self *Matrix) Free()
  • func (self *Matrix) Len() int
  • func (self *Matrix) Pull() (req *request.Request)
  • func (self *Matrix) Push(req *request.Request)
  • func (self *Matrix) TryFlushFailure()
  • func (self *Matrix) TryFlushSuccess()
  • func (self *Matrix) Use()
  • func (self *Matrix) Wait()

Functions

func Init

func Init()

Init initialize scheduler.

func PauseRecover

func PauseRecover()

暂停\恢复所有爬行任务

func ReloadProxyLib

func ReloadProxyLib()

ReloadProxyLib reload proxy ip list from config file.

func Stop

func Stop()

终止任务

Types

type Matrix

type Matrix struct {
	sync.Mutex
	// contains filtered or unexported fields
}

一个Spider实例的请求矩阵

func AddMatrix

func AddMatrix(spiderName, spiderSubName string, maxPage int64) *Matrix

AddMatrix 注册资源队列

func (*Matrix) CanStop

func (self *Matrix) CanStop() bool

func (*Matrix) DoHistory

func (self *Matrix) DoHistory(req *request.Request, ok bool) bool

返回是否作为新的失败请求被添加至队列尾部

func (*Matrix) Free

func (self *Matrix) Free()

func (*Matrix) Len

func (self *Matrix) Len() int

func (*Matrix) Pull

func (self *Matrix) Pull() (req *request.Request)

从队列取出请求，不存在时返回nil，并发安全

func (*Matrix) Push

func (self *Matrix) Push(req *request.Request)

添加请求到队列，并发安全

func (*Matrix) TryFlushFailure

func (self *Matrix) TryFlushFailure()

非服务器模式下保存历史失败记录

func (*Matrix) TryFlushSuccess

func (self *Matrix) TryFlushSuccess()

非服务器模式下保存历史成功记录

func (*Matrix) Use

func (self *Matrix) Use()

func (*Matrix) Wait

func (self *Matrix) Wait()

等待处理中的请求完成