scrapper

README

go-scrapper

Mostly a simple scrapper easy to integrate

TODO

Documentation

Index

• func MakeAbs(u string, host string) string
• func MakeUrlsAbs(urls []string, origin string) []string
• func SimpleScrapper(url string) ([]string, error)

Functions

func MakeAbs

func MakeAbs(u string, host string) string

MakeAbs add host to url

func MakeUrlsAbs

func MakeUrlsAbs(urls []string, origin string) []string

MakeUrlsAbs transform relative urls to absolute

func SimpleScrapper

func SimpleScrapper(url string) ([]string, error)

SimpleScrapper basic function, get url the url from pages and return Notas: Esto es un scrapper en su forma más general y válido para los casos donde se puede asumir que javascript/PHP no tiene que ver en la carga de la página, por eso se ignora el fragment en páginas dinámicas no se puede eliminar el fragmento de la url ya que se usa para modificar el contenido