config

Documentation

Index

• Constants
• Variables

Constants

const (
	VERSION   string = "v1.3.4"                                      // 软件版本号
	AUTHOR    string = "hegeng1212"                                  // 软件作者
	NAME      string = "Pholcus幽灵蛛数据采集"                              // 软件名
	FULL_NAME string = NAME + "_" + VERSION + " （by " + AUTHOR + "）" // 软件全称
	TAG       string = "pholcus"                                     // 软件标识符
	ICON_PNG  string = ``                                            /* 9588-byte string literal not displayed */
)

软件信息。

const (
	WORK_ROOT      string = TAG + "_pkg"                    // 运行时的目录名称
	CONFIG         string = WORK_ROOT + "/config.ini"       // 配置文件路径
	CACHE_DIR      string = WORK_ROOT + "/cache"            // 缓存文件目录
	LOG            string = WORK_ROOT + "/logs/pholcus.log" // 日志文件路径
	LOG_ASYNC      bool   = true                            // 是否异步输出日志
	PHANTOMJS_TEMP string = CACHE_DIR                       // Surfer-Phantom下载器：js文件临时目录
	HISTORY_TAG    string = "history"                       // 历史记录的标识符
	HISTORY_DIR    string = WORK_ROOT + "/" + HISTORY_TAG   // excel或csv输出方式下，历史记录目录
	SPIDER_EXT     string = ".pholcus.html"                 // 动态规则扩展名
)

默认配置。

Variables

var (
	CRAWLS_CAP int = setting.DefaultInt("crawlcap", crawlcap) // 蜘蛛池最大容量
	// DATA_CHAN_CAP            int    = setting.DefaultInt("datachancap", datachancap)                               // 收集器容量
	PHANTOMJS                string = setting.String("phantomjs")                                          // Surfer-Phantom下载器：phantomjs程序路径
	PROXY                    string = setting.String("proxylib")                                           // 代理IP文件路径
	SPIDER_DIR               string = setting.String("spiderdir")                                          // 动态规则目录
	FILE_DIR                 string = setting.String("fileoutdir")                                         // 文件（图片、HTML等）结果的输出目录
	TEXT_DIR                 string = setting.String("textoutdir")                                         // excel或csv输出方式下，文本结果的输出目录
	DB_NAME                  string = setting.String("dbname")                                             // 数据库名称
	MGO_CONN_STR             string = setting.String("mgo::connstring")                                    // mongodb连接字符串
	MGO_CONN_CAP             int    = setting.DefaultInt("mgo::conncap", mgoconncap)                       // mongodb连接池容量
	MGO_CONN_GC_SECOND       int64  = setting.DefaultInt64("mgo::conngcsecond", mgoconngcsecond)           // mongodb连接池GC时间，单位秒
	MYSQL_CONN_STR           string = setting.String("mysql::connstring")                                  // mysql连接字符串
	MYSQL_CONN_CAP           int    = setting.DefaultInt("mysql::conncap", mysqlconncap)                   // mysql连接池容量
	MYSQL_MAX_ALLOWED_PACKET int    = setting.DefaultInt("mysql::maxallowedpacket", mysqlmaxallowedpacket) // mysql通信缓冲区的最大长度
	BeanstalkdHost           string = setting.DefaultString("beanstalkd::host", beanstalkHost)             // Beanstalkd指定主机地址
	BeanstalkdTube           string = setting.DefaultString("beanstalkd::tube", beanstalkTube)             // Beanstalkd指定主机地址

	KAFKA_BORKERS string = setting.DefaultString("kafka::brokers", kafkabrokers) //kafka brokers

	LOG_CAP            int64 = setting.DefaultInt64("log::cap", logcap)          // 日志缓存的容量
	LOG_LEVEL          int   = logLevel(setting.String("log::level"))            // 全局日志打印级别（亦是日志文件输出级别）
	LOG_CONSOLE_LEVEL  int   = logLevel(setting.String("log::consolelevel"))     // 日志在控制台的显示级别
	LOG_FEEDBACK_LEVEL int   = logLevel(setting.String("log::feedbacklevel"))    // 客户端反馈至服务端的日志级别
	LOG_LINEINFO       bool  = setting.DefaultBool("log::lineinfo", loglineinfo) // 日志是否打印行信息                                  // 客户端反馈至服务端的日志级别
	LOG_SAVE           bool  = setting.DefaultBool("log::save", logsave)         // 是否保存所有日志到本地文件
)

来自配置文件的配置项。