Versions in this module Expand all Collapse all v0 v0.8.0 Jun 24, 2017 Changes in this version + type LeveldbStore struct + FetchPrefix string + Leveldb *leveldb.DB + OffsetPrefix string + ParsePrefix string + PendingFetchPrefix string + PersistFileName string + WalkPrefix string + func (filter *LeveldbStore) Add(key []byte) error + func (filter *LeveldbStore) AddValue(key []byte, value []byte) error + func (filter *LeveldbStore) GetValue(key []byte) []byte + func (filter *LeveldbStore) Lookup(key []byte) bool + func (filter *LeveldbStore) Persist() error + func (this *LeveldbStore) AddFetchFailedUrl(url []byte) + func (this *LeveldbStore) AddFetchedUrl(url []byte) + func (this *LeveldbStore) AddParsedFile(url []byte) + func (this *LeveldbStore) AddPendingFetchUrl(url []byte) + func (this *LeveldbStore) AddSavedUrl(url []byte) + func (this *LeveldbStore) AddWalkedUrl(url []byte) + func (this *LeveldbStore) Close() error + func (this *LeveldbStore) FileHasParsed(url []byte) bool + func (this *LeveldbStore) FileHasSaved(file string) bool + func (this *LeveldbStore) Get(key string) []byte + func (this *LeveldbStore) InitPendingFetchBloomFilter(fileName string) + func (this *LeveldbStore) List(from int, size int) [][]byte + func (this *LeveldbStore) LoadOffset(fileName string) int64 + func (this *LeveldbStore) LogFetchFailedUrl(path string, content string) + func (this *LeveldbStore) LogPendingFetchUrl(path string, content string) + func (this *LeveldbStore) LogSavedFile(path string, content string) + func (this *LeveldbStore) Open() error + func (this *LeveldbStore) PendingFetchUrlHasAdded(url []byte) bool + func (this *LeveldbStore) PersistBloomFilter() + func (this *LeveldbStore) PersistOffset(fileName string, offset int64) + func (this *LeveldbStore) Store(url string, data []byte) + func (this *LeveldbStore) TaskEnqueue(url []byte) + func (this *LeveldbStore) UrlHasFetched(url []byte) bool + func (this *LeveldbStore) UrlHasWalked(url []byte) bool
Go to main page