crawler

Documentation

Index

• Variables
• func Katana(target string, headless bool, show bool, out func(result output.Result))
• func NewBrowser(noHeadless bool)
• func NewCrawlergo(noHeadless bool)
• type Request
• type Result

Variables

var (
	TaskConfig crawlergo.TaskConfig
	Browser    *engine.Browser
)

var ExtensionFilter = []string{
	".png", ".gif", ".jpg", ".mp4", ".mp3", ".mng", ".pct", ".bmp", ".jpeg", ".pst", ".psp", ".ttf",
	".tif", ".tiff", ".ai", ".drw", ".wma", ".ogg", ".wav", ".ra", ".aac", ".mid", ".au", ".aiff",
	".dxf", ".eps", ".ps", ".svg", ".3gp", ".asf", ".asx", ".avi", ".mov", ".mpg", ".qt", ".rm",
	".wmv", ".m4a", ".bin", ".xls", ".xlsx", ".ppt", ".pptx", ".doc", ".docx", ".odt", ".ods", ".odg",
	".odp", ".exe", ".zip", ".rar", ".tar", ".gz", ".iso", ".rss", ".pdf", ".dll", ".ico",
	".gz2", ".apk", ".crt", ".woff", ".map", ".woff2", ".webp", ".less", ".dmg", ".bz2", ".otf", ".swf",
	".flv", ".mpeg", ".dat", ".xsl", ".csv", ".cab", ".exif", ".wps", ".m4v", ".rmvb",
}

ExtensionFilter 默认过滤的后缀名

Functions

func Katana

func Katana(target string, headless bool, show bool, out func(result output.Result))

func NewBrowser

func NewBrowser(noHeadless bool)

func NewCrawlergo

func NewCrawlergo(noHeadless bool)

Types

type Request

type Request struct {
	Url     string                 `json:"url"`
	Method  string                 `json:"method"`
	Headers map[string]interface{} `json:"headers"`
	Data    string                 `json:"data"`
	Source  string                 `json:"source"`
}

type Result

type Result struct {
	ReqList       []Request `json:"req_list"`
	AllReqList    []Request `json:"all_req_list"`
	AllDomainList []string  `json:"all_domain_list"`
	SubDomainList []string  `json:"sub_domain_list"`
}