Documentation ¶
Index ¶
Constants ¶
View Source
const ( VERSION string = "v1.3.4" // 软件版本号 AUTHOR string = "henrylee2cn" // 软件作者 NAME string = "Pholcus幽灵蛛数据采集" // 软件名 FULL_NAME string = NAME + "_" + VERSION + " (by " + AUTHOR + ")" // 软件全称 TAG string = "pholcus" // 软件标识符 ICON_PNG string = `` /* 9588-byte string literal not displayed */ )
软件信息。
View Source
const ( WORK_ROOT string = TAG + "_pkg" // 运行时的目录名称 CONFIG string = WORK_ROOT + "/config.ini" // 配置文件路径 CACHE_DIR string = WORK_ROOT + "/cache" // 缓存文件目录 LOG string = WORK_ROOT + "/logs/pholcus.log" // 日志文件路径 LOG_ASYNC bool = true // 是否异步输出日志 PHANTOMJS_TEMP string = CACHE_DIR // Surfer-Phantom下载器:js文件临时目录 HISTORY_TAG string = "history" // 历史记录的标识符 HISTORY_DIR string = WORK_ROOT + "/" + HISTORY_TAG // excel或csv输出方式下,历史记录目录 SPIDER_EXT string = ".pholcus.html" // 动态规则扩展名 )
默认配置。
Variables ¶
View Source
var ( CRAWLS_CAP int = setting.DefaultInt("crawlcap", crawlcap) // 蜘蛛池最大容量 // DATA_CHAN_CAP int = setting.DefaultInt("datachancap", datachancap) // 收集器容量 PHANTOMJS string = setting.String("phantomjs") // Surfer-Phantom下载器:phantomjs程序路径 PROXY string = setting.String("proxylib") // 代理IP文件路径 SPIDER_DIR string = setting.String("spiderdir") // 动态规则目录 FILE_DIR string = setting.String("fileoutdir") // 文件(图片、HTML等)结果的输出目录 TEXT_DIR string = setting.String("textoutdir") // excel或csv输出方式下,文本结果的输出目录 DB_NAME string = setting.String("dbname") // 数据库名称 MGO_CONN_STR string = setting.String("mgo::connstring") // mongodb连接字符串 MGO_CONN_CAP int = setting.DefaultInt("mgo::conncap", mgoconncap) // mongodb连接池容量 MGO_CONN_GC_SECOND int64 = setting.DefaultInt64("mgo::conngcsecond", mgoconngcsecond) // mongodb连接池GC时间,单位秒 MYSQL_CONN_STR string = setting.String("mysql::connstring") // mysql连接字符串 MYSQL_CONN_CAP int = setting.DefaultInt("mysql::conncap", mysqlconncap) // mysql连接池容量 MYSQL_MAX_ALLOWED_PACKET int = setting.DefaultInt("mysql::maxallowedpacket", mysqlmaxallowedpacket) // mysql通信缓冲区的最大长度 BeanstalkdHost string = setting.DefaultString("beanstalkd::host", beanstalkHost) // Beanstalkd指定主机地址 BeanstalkdTube string = setting.DefaultString("beanstalkd::tube", beanstalkTube) // Beanstalkd指定主机地址 KAFKA_BORKERS string = setting.DefaultString("kafka::brokers", kafkabrokers) //kafka brokers LOG_CAP int64 = setting.DefaultInt64("log::cap", logcap) // 日志缓存的容量 LOG_LEVEL int = logLevel(setting.String("log::level")) // 全局日志打印级别(亦是日志文件输出级别) LOG_CONSOLE_LEVEL int = logLevel(setting.String("log::consolelevel")) // 日志在控制台的显示级别 LOG_FEEDBACK_LEVEL int = logLevel(setting.String("log::feedbacklevel")) // 客户端反馈至服务端的日志级别 LOG_LINEINFO bool = setting.DefaultBool("log::lineinfo", loglineinfo) // 日志是否打印行信息 // 客户端反馈至服务端的日志级别 LOG_SAVE bool = setting.DefaultBool("log::save", logsave) // 是否保存所有日志到本地文件 )
来自配置文件的配置项。
Functions ¶
This section is empty.
Types ¶
This section is empty.
Click to show internal directories.
Click to hide internal directories.