scraper

package
v1.0.3 Latest Latest
Warning

This package is not in the latest version of its module.

 Go to latest Published: Jun 12, 2021 License: MIT Imports: 14 Imported by: 0

Documentation

Overview

Package scraper 网站数据刮削器.

scraper通过IScraper接口，对具体网站进行数据刮削， 执行刮削操作后，将页面转换为树结构，并存储在刮削对象中， 当需要任何数据时，执行对应方法，从树结构中查找对应信息。

Index

Constants

This section is empty.

Variables

This section is empty.

Functions

func GetDmmIntro 

func GetDmmIntro(code, proxy string) string

GetDmmIntro 从dmm网站中获取影片简介。

code 字符串参数，传入番号， proxy 字符串参数，传入代理信息

Types

type CaribBeanComScraper 

type CaribBeanComScraper struct {
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

CaribBeanComScraper 加勒比网站刮削器

func NewCaribBeanComScraper 

func NewCaribBeanComScraper(proxy string) *CaribBeanComScraper

NewCaribBeanComScraper 返回一个被初始化的加勒比刮削对象

proxy 字符串参数，传入代理信息

func (*CaribBeanComScraper) Fetch 

func (s *CaribBeanComScraper) Fetch(code string) error

Fetch 刮削

func (*CaribBeanComScraper) GetActors 

func (s *CaribBeanComScraper) GetActors() map[string]string

GetActors 获取演员

func (*CaribBeanComScraper) GetCover 

func (s *CaribBeanComScraper) GetCover() string

GetCover 背景图片

func (*CaribBeanComScraper) GetDirector 

func (s *CaribBeanComScraper) GetDirector() string

GetDirector 获取导演

func (*CaribBeanComScraper) GetIntro 

func (s *CaribBeanComScraper) GetIntro() string

GetIntro 获取简介

func (*CaribBeanComScraper) GetNumber 

func (s *CaribBeanComScraper) GetNumber() string

GetNumber 正确番号

func (*CaribBeanComScraper) GetRelease 

func (s *CaribBeanComScraper) GetRelease() string

GetRelease 发行时间

func (*CaribBeanComScraper) GetRuntime 

func (s *CaribBeanComScraper) GetRuntime() string

GetRuntime 影片时长

func (*CaribBeanComScraper) GetSeries 

func (s *CaribBeanComScraper) GetSeries() string

GetSeries 影片系列

func (*CaribBeanComScraper) GetStudio 

func (s *CaribBeanComScraper) GetStudio() string

GetStudio 获取厂商

func (*CaribBeanComScraper) GetTags 

func (s *CaribBeanComScraper) GetTags() []string

GetTags 获取标签

func (*CaribBeanComScraper) GetTitle 

func (s *CaribBeanComScraper) GetTitle() string

GetTitle 获取标题

func (*CaribBeanComScraper) GetURI 

func (s *CaribBeanComScraper) GetURI() string

GetURI 页面地址

type DMMScraper 

type DMMScraper struct {
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

DMMScraper dmm网站刮削器

func NewDMMScraper 

func NewDMMScraper(proxy string) *DMMScraper

NewDMMScraper 返回一个被初始化的dmm刮削对象

proxy 字符串参数，传入代理信息

func (*DMMScraper) Fetch 

func (s *DMMScraper) Fetch(code string) error

Fetch 刮削

func (*DMMScraper) GetActors 

func (s *DMMScraper) GetActors() map[string]string

GetActors 获取演员

func (*DMMScraper) GetCover 

func (s *DMMScraper) GetCover() string

GetCover 获取图片

func (*DMMScraper) GetDirector 

func (s *DMMScraper) GetDirector() string

GetDirector 获取导演

func (*DMMScraper) GetIntro 

func (s *DMMScraper) GetIntro() string

GetIntro 获取简介

func (*DMMScraper) GetNumber 

func (s *DMMScraper) GetNumber() string

GetNumber 获取番号

func (*DMMScraper) GetRelease 

func (s *DMMScraper) GetRelease() string

GetRelease 发行时间

func (*DMMScraper) GetRuntime 

func (s *DMMScraper) GetRuntime() string

GetRuntime 获取时长

func (*DMMScraper) GetSeries 

func (s *DMMScraper) GetSeries() string

GetSeries 获取系列

func (*DMMScraper) GetStudio 

func (s *DMMScraper) GetStudio() string

GetStudio 获取厂商

func (*DMMScraper) GetTags 

func (s *DMMScraper) GetTags() []string

GetTags 获取标签

func (*DMMScraper) GetTitle 

func (s *DMMScraper) GetTitle() string

GetTitle 获取名称

func (*DMMScraper) GetURI 

func (s *DMMScraper) GetURI() string

GetURI 获取页面地址

type FC2Scraper 

type FC2Scraper struct {
	Proxy string // 代理设置
	// contains filtered or unexported fields
}

FC2Scraper fc2网站刮削器

func NewFC2Scraper 

func NewFC2Scraper(proxy string) *FC2Scraper

NewFC2Scraper 返回一个被初始化的fc2刮削对象

proxy 字符串参数，传入代理信息

func (*FC2Scraper) Fetch 

func (s *FC2Scraper) Fetch(code string) error

Fetch 刮削

func (*FC2Scraper) GetActors 

func (s *FC2Scraper) GetActors() map[string]string

GetActors 获取演员

func (*FC2Scraper) GetCover 

func (s *FC2Scraper) GetCover() string

GetCover 获取图片

func (*FC2Scraper) GetDirector 

func (s *FC2Scraper) GetDirector() string

GetDirector 获取导演

func (*FC2Scraper) GetIntro 

func (s *FC2Scraper) GetIntro() string

GetIntro 获取简介

func (*FC2Scraper) GetNumber 

func (s *FC2Scraper) GetNumber() string

GetNumber 获取番号

func (*FC2Scraper) GetRelease 

func (s *FC2Scraper) GetRelease() string

GetRelease 发行时间

func (*FC2Scraper) GetRuntime 

func (s *FC2Scraper) GetRuntime() string

GetRuntime 获取时长

func (*FC2Scraper) GetSeries 

func (s *FC2Scraper) GetSeries() string

GetSeries 获取系列

func (*FC2Scraper) GetStudio 

func (s *FC2Scraper) GetStudio() string

GetStudio 获取厂商

func (*FC2Scraper) GetTags 

func (s *FC2Scraper) GetTags() []string

GetTags 获取标签

func (*FC2Scraper) GetTitle 

func (s *FC2Scraper) GetTitle() string

GetTitle 获取名称

func (*FC2Scraper) GetURI 

func (s *FC2Scraper) GetURI() string

GetURI 获取页面地址

type HeydougaScraper 

type HeydougaScraper struct {
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

HeydougaScraper heydouga网站刮削器

func NewHeydougaScraper 

func NewHeydougaScraper(proxy string) *HeydougaScraper

NewHeydougaScraper 返回一个被初始化的heydouga刮削对象

proxy 字符串参数，传入代理信息

func (*HeydougaScraper) Fetch 

func (s *HeydougaScraper) Fetch(code string) error

Fetch 刮削

func (*HeydougaScraper) GetActors 

func (s *HeydougaScraper) GetActors() map[string]string

GetActors 获取演员

func (*HeydougaScraper) GetCover 

func (s *HeydougaScraper) GetCover() string

GetCover 获取图片

func (*HeydougaScraper) GetDirector 

func (s *HeydougaScraper) GetDirector() string

GetDirector 获取导演

func (*HeydougaScraper) GetIntro 

func (s *HeydougaScraper) GetIntro() string

GetIntro 获取简介

func (*HeydougaScraper) GetNumber 

func (s *HeydougaScraper) GetNumber() string

GetNumber 获取番号

func (*HeydougaScraper) GetRelease 

func (s *HeydougaScraper) GetRelease() string

GetRelease 发行时间

func (*HeydougaScraper) GetRuntime 

func (s *HeydougaScraper) GetRuntime() string

GetRuntime 获取时长

func (*HeydougaScraper) GetSeries 

func (s *HeydougaScraper) GetSeries() string

GetSeries 获取系列

func (*HeydougaScraper) GetStudio 

func (s *HeydougaScraper) GetStudio() string

GetStudio 获取厂商

func (*HeydougaScraper) GetTags 

func (s *HeydougaScraper) GetTags() []string

GetTags 获取标签

func (*HeydougaScraper) GetTitle 

func (s *HeydougaScraper) GetTitle() string

GetTitle 获取名称

func (*HeydougaScraper) GetURI 

func (s *HeydougaScraper) GetURI() string

GetURI 获取页面地址

type HeyzoScraper 

type HeyzoScraper struct {
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

HeyzoScraper heyzo网站刮削器

func NewHeyzoScraper 

func NewHeyzoScraper(proxy string) *HeyzoScraper

NewHeyzoScraper 返回一个被初始化的heyzo刮削对象

proxy 字符串参数，传入代理信息

func (*HeyzoScraper) Fetch 

func (s *HeyzoScraper) Fetch(code string) error

Fetch 刮削

func (*HeyzoScraper) GetActors 

func (s *HeyzoScraper) GetActors() map[string]string

GetActors 获取演员

func (*HeyzoScraper) GetCover 

func (s *HeyzoScraper) GetCover() string

GetCover 获取图片

func (*HeyzoScraper) GetDirector 

func (s *HeyzoScraper) GetDirector() string

GetDirector 获取导演

func (*HeyzoScraper) GetIntro 

func (s *HeyzoScraper) GetIntro() string

GetIntro 获取简介

func (*HeyzoScraper) GetNumber 

func (s *HeyzoScraper) GetNumber() string

GetNumber 获取番号

func (*HeyzoScraper) GetRelease 

func (s *HeyzoScraper) GetRelease() string

GetRelease 发行时间

func (*HeyzoScraper) GetRuntime 

func (s *HeyzoScraper) GetRuntime() string

GetRuntime 获取时长

func (*HeyzoScraper) GetSeries 

func (s *HeyzoScraper) GetSeries() string

GetSeries 获取系列

func (*HeyzoScraper) GetStudio 

func (s *HeyzoScraper) GetStudio() string

GetStudio 获取厂商

func (*HeyzoScraper) GetTags 

func (s *HeyzoScraper) GetTags() []string

GetTags 获取标签

func (*HeyzoScraper) GetTitle 

func (s *HeyzoScraper) GetTitle() string

GetTitle 获取名称

func (*HeyzoScraper) GetURI 

func (s *HeyzoScraper) GetURI() string

GetURI 获取页面地址

type IScraper 

type IScraper interface {
	// Fetch 执行刮削，并返回刮削结果
	//
	// code 字符串参数，传入番号信息
	Fetch(code string) error

	// GetURI 获取刮削的页面地址
	GetURI() string

	// GetNumber 获取最终的正确番号信息
	GetNumber() string

	// GetTitle 从刮削结果中获取影片标题
	GetTitle() string
	// GetIntro 从刮削结果中获取影片简介
	GetIntro() string
	// GetDirector 从刮削结果中获取影片导演
	GetDirector() string
	// GetRelease 从刮削结果中获取发行时间
	GetRelease() string
	// GetRuntime 从刮削结果中获取影片时长
	GetRuntime() string
	// GetStudio 从刮削结果中获取影片厂商
	GetStudio() string
	// GetSeries 从刮削结果中获取影片系列
	GetSeries() string
	// GetTags 从刮削结果中获取影片标签
	GetTags() []string
	// GetCover 从刮削结果中获取背景图片
	GetCover() string
	// GetActors 从刮削结果中获取影片演员
	GetActors() map[string]string
}

IScraper 刮削器接口

type JavBusScraper 

type JavBusScraper struct {
	Site  string // 免翻地址
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

JavBusScraper javbus网站刮削器

func NewJavBusScraper 

func NewJavBusScraper(site, proxy string) *JavBusScraper

NewJavBusScraper 返回一个被初始化的javbus刮削对象

site 字符串参数，传入免翻地址， proxy 字符串参数，传入代理信息

func (*JavBusScraper) Fetch 

func (s *JavBusScraper) Fetch(code string) error

Fetch 刮削

func (*JavBusScraper) GetActors 

func (s *JavBusScraper) GetActors() map[string]string

GetActors 获取演员

func (*JavBusScraper) GetCover 

func (s *JavBusScraper) GetCover() string

GetCover 获取图片

func (*JavBusScraper) GetDirector 

func (s *JavBusScraper) GetDirector() string

GetDirector 获取导演

func (*JavBusScraper) GetIntro 

func (s *JavBusScraper) GetIntro() string

GetIntro 获取简介

func (*JavBusScraper) GetNumber 

func (s *JavBusScraper) GetNumber() string

GetNumber 获取番号

func (*JavBusScraper) GetRelease 

func (s *JavBusScraper) GetRelease() string

GetRelease 发行时间

func (*JavBusScraper) GetRuntime 

func (s *JavBusScraper) GetRuntime() string

GetRuntime 获取时长

func (*JavBusScraper) GetSeries 

func (s *JavBusScraper) GetSeries() string

GetSeries 获取系列

func (*JavBusScraper) GetStudio 

func (s *JavBusScraper) GetStudio() string

GetStudio 获取厂商

func (*JavBusScraper) GetTags 

func (s *JavBusScraper) GetTags() []string

GetTags 获取标签

func (*JavBusScraper) GetTitle 

func (s *JavBusScraper) GetTitle() string

GetTitle 获取名称

func (*JavBusScraper) GetURI 

func (s *JavBusScraper) GetURI() string

GetURI 获取页面地址

type JavDBScraper 

type JavDBScraper struct {
	Site  string // 免翻地址
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

JavDBScraper javdb网站刮削器

func NewJavDBScraper 

func NewJavDBScraper(site, proxy string) *JavDBScraper

NewJavDBScraper 返回一个被初始化的javdb刮削对象

site 字符串参数，传入免翻地址， proxy 字符串参数，传入代理信息

func (*JavDBScraper) Fetch 

func (s *JavDBScraper) Fetch(code string) error

Fetch 刮削

func (*JavDBScraper) GetActors 

func (s *JavDBScraper) GetActors() map[string]string

GetActors 获取演员

func (*JavDBScraper) GetCover 

func (s *JavDBScraper) GetCover() string

GetCover 获取图片

func (*JavDBScraper) GetDirector 

func (s *JavDBScraper) GetDirector() string

GetDirector 获取导演

func (*JavDBScraper) GetIntro 

func (s *JavDBScraper) GetIntro() string

GetIntro 获取简介

func (*JavDBScraper) GetNumber 

func (s *JavDBScraper) GetNumber() string

GetNumber 获取番号

func (*JavDBScraper) GetRelease 

func (s *JavDBScraper) GetRelease() string

GetRelease 发行时间

func (*JavDBScraper) GetRuntime 

func (s *JavDBScraper) GetRuntime() string

GetRuntime 获取时长

func (*JavDBScraper) GetSeries 

func (s *JavDBScraper) GetSeries() string

GetSeries 获取系列

func (*JavDBScraper) GetStudio 

func (s *JavDBScraper) GetStudio() string

GetStudio 获取厂商

func (*JavDBScraper) GetTags 

func (s *JavDBScraper) GetTags() []string

GetTags 获取标签

func (*JavDBScraper) GetTitle 

func (s *JavDBScraper) GetTitle() string

GetTitle 获取名称

func (*JavDBScraper) GetURI 

func (s *JavDBScraper) GetURI() string

GetURI 获取页面地址

type SiroScraper 

type SiroScraper struct {
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

SiroScraper siro网站刮削器

func NewSiroScraper 

func NewSiroScraper(proxy string) *SiroScraper

NewSiroScraper 返回一个被初始化的siro刮削对象

proxy 字符串参数，传入代理信息

func (*SiroScraper) Fetch 

func (s *SiroScraper) Fetch(code string) error

Fetch 刮削

func (*SiroScraper) GetActors 

func (s *SiroScraper) GetActors() map[string]string

GetActors 获取演员

func (*SiroScraper) GetCover 

func (s *SiroScraper) GetCover() string

GetCover 获取图片

func (*SiroScraper) GetDirector 

func (s *SiroScraper) GetDirector() string

GetDirector 获取导演

func (*SiroScraper) GetIntro 

func (s *SiroScraper) GetIntro() string

GetIntro 获取简介

func (*SiroScraper) GetNumber 

func (s *SiroScraper) GetNumber() string

GetNumber 获取番号

func (*SiroScraper) GetRelease 

func (s *SiroScraper) GetRelease() string

GetRelease 发行时间

func (*SiroScraper) GetRuntime 

func (s *SiroScraper) GetRuntime() string

GetRuntime 获取时长

func (*SiroScraper) GetSeries 

func (s *SiroScraper) GetSeries() string

GetSeries 获取系列

func (*SiroScraper) GetStudio 

func (s *SiroScraper) GetStudio() string

GetStudio 获取厂商

func (*SiroScraper) GetTags 

func (s *SiroScraper) GetTags() []string

GetTags 获取标签

func (*SiroScraper) GetTitle 

func (s *SiroScraper) GetTitle() string

GetTitle 获取名称

func (*SiroScraper) GetURI 

func (s *SiroScraper) GetURI() string

GetURI 获取页面地址

type TokyoHotScraper 

type TokyoHotScraper struct {
	Proxy string // 代理配置
	// contains filtered or unexported fields
}

TokyoHotScraper tokyohot网站刮削器

func NewTokyoHotScraper 

func NewTokyoHotScraper(proxy string) *TokyoHotScraper

NewTokyoHotScraper 返回一个被初始化的tokyohot刮削对象

proxy 字符串参数，传入代理信息

func (*TokyoHotScraper) Fetch 

func (s *TokyoHotScraper) Fetch(code string) error

Fetch 刮削

func (*TokyoHotScraper) GetActors 

func (s *TokyoHotScraper) GetActors() map[string]string

GetActors 获取演员

func (*TokyoHotScraper) GetCover 

func (s *TokyoHotScraper) GetCover() string

GetCover 获取图片

func (*TokyoHotScraper) GetDirector 

func (s *TokyoHotScraper) GetDirector() string

GetDirector 获取导演

func (*TokyoHotScraper) GetIntro 

func (s *TokyoHotScraper) GetIntro() string

GetIntro 获取简介

func (*TokyoHotScraper) GetNumber 

func (s *TokyoHotScraper) GetNumber() string

GetNumber 获取番号

func (*TokyoHotScraper) GetRelease 

func (s *TokyoHotScraper) GetRelease() string

GetRelease 发行时间

func (*TokyoHotScraper) GetRuntime 

func (s *TokyoHotScraper) GetRuntime() string

GetRuntime 获取时长

func (*TokyoHotScraper) GetSeries 

func (s *TokyoHotScraper) GetSeries() string

GetSeries 获取系列

func (*TokyoHotScraper) GetStudio 

func (s *TokyoHotScraper) GetStudio() string

GetStudio 获取厂商

func (*TokyoHotScraper) GetTags 

func (s *TokyoHotScraper) GetTags() []string

GetTags 获取标签

func (*TokyoHotScraper) GetTitle 

func (s *TokyoHotScraper) GetTitle() string

GetTitle 获取名称

func (*TokyoHotScraper) GetURI 

func (s *TokyoHotScraper) GetURI() string

GetURI 获取页面地址

Source Files

View all Source files

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL
go.dev uses cookies from Google to deliver and enhance the quality of its services and to analyze traffic. Learn more.