scheduler

Documentation

Index

• func Init()
• func PauseRecover()
• func Stop()
• type Matrix
  • func AddMatrix(spiderName, spiderSubName string, maxPage int64) *Matrix
  • func (self *Matrix) CanStop() bool
  • func (self *Matrix) DoHistory(req *request.Request, ok bool) bool
  • func (self *Matrix) Free()
  • func (self *Matrix) Len() int
  • func (self *Matrix) Pull() (req *request.Request)
  • func (self *Matrix) Push(req *request.Request)
  • func (self *Matrix) TryFlushFailure()
  • func (self *Matrix) TryFlushSuccess()
  • func (self *Matrix) Use()
  • func (self *Matrix) Wait()

Functions

func Init

func Init()

func PauseRecover

func PauseRecover()

暂停\恢复所有爬行任务

func Stop

func Stop()

终止任务

Types

type Matrix

type Matrix struct {
	sync.Mutex
	// contains filtered or unexported fields
}

一个Spider实例的请求矩阵

func AddMatrix

func AddMatrix(spiderName, spiderSubName string, maxPage int64) *Matrix

注册资源队列

func (*Matrix) CanStop

func (self *Matrix) CanStop() bool

func (*Matrix) DoHistory

func (self *Matrix) DoHistory(req *request.Request, ok bool) bool

返回是否作为新的失败请求被添加至队列尾部

func (*Matrix) Free

func (self *Matrix) Free()

func (*Matrix) Len

func (self *Matrix) Len() int

func (*Matrix) Pull

func (self *Matrix) Pull() (req *request.Request)

从队列取出请求，不存在时返回nil，并发安全

func (*Matrix) Push

func (self *Matrix) Push(req *request.Request)

添加请求到队列，并发安全

func (*Matrix) TryFlushFailure

func (self *Matrix) TryFlushFailure()

非服务器模式下保存历史失败记录

func (*Matrix) TryFlushSuccess

func (self *Matrix) TryFlushSuccess()

非服务器模式下保存历史成功记录

func (*Matrix) Use

func (self *Matrix) Use()

func (*Matrix) Wait

func (self *Matrix) Wait()

等待处理中的请求完成