Go网络编程

http请求包格式：
请求行：请求方法 （空格）请求文件URL （空格）协议版本 （\r\n）
请求头：语法格式：key：value
空行：\r\n 代表http请求头结束
请求包体：请求方法对应的数据内容，GET方法没有内容
http应答包格式：
状态行：协议版本号（空格）状态码（空格） 状态码描述（\r\n）
响应头：语法格式：key：value
空行：\r\n
响应包体：
请求内容存在，返回请求页面内容
请求内容不存在，返回错误页面描述

1、使用net/http包，创建web服务器
1）注册回调函数.
http.HandleFunc("/test",handle)
参数1:用户访问位置
参数2:回调函数名-要求函数必须是(writer http.ResponseWriter, request *http.Request)作为参数
2）绑定服务器监听地址.
http.ListenAndServe("127.0.0.1:8000",nil)
2、回调函数：
本质：函数指针，通过地址，在某一个特定位置，调用函数。
在程序中，定义一个函数，但不显示调用，当某一条件满足时，该函数由操作系统自动调用。

image.png

示例代码：
http应答包-服务器

package main

import "net/http"
func handle(writer http.ResponseWriter, request *http.Request){
    //writer 表示写回给客户端（浏览器）的数据
    //request 从客户端（浏览器）读到的数据
    writer.Write([]byte("Hello World!"))
}
func main()  {
    //注册回调函数，该函数回在服务器被访问时，自动被调用
    http.HandleFunc("/test",handle)
    //绑定服务器监听地址
    http.ListenAndServe("127.0.0.1:8000",nil)
}

http应答包-客户端

package main

import (
    "fmt"
    "net"
)

func main()  {
    conn, err := net.Dial("tcp","127.0.0.1:8000")
    if err != nil {
        fmt.Println("net.Dial err",err)
        return
    }
    httpRequest := "GET /test HTTP/1.1\r\nHost:127.0.0.1:8000\r\n\r\n"
    conn.Write([]byte(httpRequest))
    buf := make([]byte,4096)
    n, err := conn.Read(buf)
    if err != nil {
        fmt.Println("conn.Read err",err)
        return
    }
    if n == 0 {
        return
    }
    fmt.Printf("|%s|\n",string(buf[:n]))
}

web服务器示例：

package main

import (
    "fmt"
    "net/http"
    "os"
)
func OpenAndSendFile(url string,writer http.ResponseWriter) {
    //打开文件
    FileName := "/Users/chow/Documents" + url
    f, err := os.Open(FileName)
    if err != nil {
        fmt.Println("Open err",err)
        writer.Write([]byte("No such file or directory !"))
        return
    }
    defer f.Close()
    //从本地读取文件内容
    buf := make([]byte, 4096)
    for {
        n, err := f.Read(buf)//从本地读取文件内容
        if n == 0 {
            return
        }
        if err != nil {
            fmt.Println("Read err",err)
            return
        }
        _, err = writer.Write(buf[:n])//写到客户端（ 浏览器）
        if err != nil {
            fmt.Println("Write err",err)
            return
        }
    }
}
func myhandler(writer http.ResponseWriter, request *http.Request){
    fmt.Println("客户读请求：",request.URL)
    OpenAndSendFile (request.URL.String(),writer)
}
func main()  {
    // 注册回调函数
    http.HandleFunc("/",myhandler)
    //绑定监听
    err := http.ListenAndServe("127.0.0.1:8000",nil)
    if err != nil {
        fmt.Println("http.ListenAndServe err",err)
        return
    }
}

并发版爬虫：

package main

import (
    "fmt"
    "io"
    "net/http"
    "os"
    "strconv"
)

func HttpGet(url string) (result string, err error) {
        resp, err1 := http.Get(url)
    if err1 != nil {
        err = err1
        return
    }
    defer resp.Body.Close()

    buf := make([]byte, 4096)
    for {
        n, err2 := resp.Body.Read(buf)
        if n == 0 {
            //fmt.Println(" 读取网页完成！")
            break
        }
        if err2 != nil && err2 != io.EOF {
            err = err2
            continue
        }
        result += string(buf[:n])
    }
    return
}
func spiderPage(i int,page chan int) {
    url := "https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)
    result, err := HttpGet(url)
    if err != nil {
        fmt.Println("HttpGet err", err)
        return
    }
    f, err := os.Create("第" + strconv.Itoa(i) + "页" + ".html")
    if err != nil {
        fmt.Println("Create err", err)
        return
    }
    f.WriteString(result)
    f.Close()
    page <- i
}
func working(start, end int) {
    fmt.Printf("正在爬取第%d页到第%d页面的数据......\n", start, end)
    page := make(chan int)
    for i := start; i <= end; i++ {
        go spiderPage(i,page)
    }
    for i := start; i <= end; i++ {
        fmt.Printf("第%d个网页爬取完成\n", <- page)
    }
}
func main() {
    var start, end int
    fmt.Print("请输入爬取的起始页面：（>=1）")
    fmt.Scan(&start)
    fmt.Print("请输入爬取的终止页面：（>=start）")
    fmt.Scan(&end)

    working(start, end)

}