mac上的文件有毒

引言

1.我觉得应该在github上建一个repo就叫fuck mac，文件系统有毒，文件有毒，命令行工具有毒。
2.本文将使用golang展示从入坑到出坑再到打上补丁的全过程。

昨天想测试一下某个后端服务的并发能力，需要先把一些数据导入到elastic search里面去，于是我就去github上搞了一点csv文件。打算写个程序给它们弄进es。结果我分别尝试了python自带的csv解析库，nodejs的库,golang自带的csv库，全部都不能正确解析......下面golang版本读取csv的代码。

func main() {
  f, _ := os.Open("./datapath.csv")
  r := csv.NewReader(bufio.NewReader(f))
  for {
    record, err := r.Read()
    if err == io.EOF {
      break
    }
  
    for value := range record {
      fmt.Printf("  %v\n", record[value])
    }
  }
}

一开始我想，会不会是这个文件有毒，于是我打算一个字符一个字符的去检查这个csv文件。

func readFile(filename string) {
  f, _ := os.Open(filename)
  b := make([]byte, 300)
  f.Read(b)
  fmt.Printf("%q\n", b)
}

调用上面这个函数查看csv文件，发现原来这些文件默认使用\r作为行尾，而这些库默认解析的时候都认为行尾是\n或者\r\n。为什么我下载到的这些csv会是\r结尾的呢？我尝试在mac上创建了一份csv文件，结尾也是\n。具体原因我也没有深查下去,反正基本就是说mac经典的文件就是用\r来换行的......真的有毒啊。下面开始想解决方法。

替换所有的\r为\n

最简单的就是直接把\r换成\n好了。本来想用sed，不过mac上的sed也有毒（不是gun的sed），于是用tr命令。

tr "\r" "\n" < a.csv > b.csv

寻找bug

为啥不能正确解析\r结尾的文件呢？抱着试一试的态度，我打开了csv/reader.go文件，找到了我们使用的csv.NewReader方法

func NewReader(r io.Reader) *Reader {
    return &Reader{
        Comma: ',',
        r:     bufio.NewReader(r),
    }
}

我们看到NewReader其实只是在 io.Reader上加了个comma,用于表明分割符号的。而这个NewReader函数会返回一个csv.Reader,也就是那个r

r := csv.NewReader(bufio.NewReader(f))

接下来，我们再来看看这个csv.Reader的Read方法，它调用了parseRecord方法。

func (r *Reader) Read() (record []string, err error) {
    for {
        record, err = r.parseRecord()
        ...
    }
        ....
    return record, nil
}

接着看看这个parseRecord方法，

func (r *Reader) parseRecord() (fields []string, err error) {
    ...
    for {
        haveField, delim, err := r.parseField()
        ...
    }
}

这个方法里面调用了io.Reader的parseField方法。那我们再去看看这个方法是咋写的。

func (r *Reader) parseField() (haveField bool, delim rune, err error) {
    r.field.Reset()

    r1, err := r.readRune()
    for err == nil && r.TrimLeadingSpace && r1 != '\n' && unicode.IsSpace(r1) {
        r1, err = r.readRune()
    }
        ...
    return true, r1, nil
}

总而言之，就是调用readRune一个一个读入Rune，当读到\n就认为一行结束了。

啊哈，突然有了眉目了，就是说只要在这个地方，当程序读到\r我把它转换为\n不就可以了吗。

我们接着看看这个readRune是怎么写的

func (r *Reader) readRune() (rune, error) {
    r1, _, err := r.r.ReadRune()

    if r1 == '\r' {
        r1, _, err = r.r.ReadRune()
        if err == nil {
            if r1 != '\n' {
                r.r.UnreadRune()
                r1 = '\r'
            }
        }
    }
    r.column++
    return r1, err
}

原来，csv/reader.go里面把\r\n全部转换成了\n了，但是，如果只有\r的话，就没有任何变化。
所以，其实对我们来说，我们就是要把这段代码变成

func (r *Reader) readRune() (rune, error) {
    r1, _, err := r.r.ReadRune()

    if r1 == '\r' {
        r1, _, err = r.r.ReadRune()
        if err == nil {
            if r1 != '\n' {
                r.r.UnreadRune()
                r1 = '\n'
            }
        }
    }
    r.column++
    return r1, err
}

so easy，如果\r后面的不是\n，就把\r变成\n。

猴子补丁

但是，直接改golang标准库的源码是不是太傻逼了一点。其实我们要做的不过是把\r变成\n这么简单地事情。
macreader这个库很好的完成了这个任务,代码简单到可以半分钟看完

package macreader

import "io"

var (
    rByte byte = 13 // the byte that corresponds to the '\r' rune.
    nByte byte = 10 // the byte that corresponds to the '\n' rune.
)

type reader struct {
    r io.Reader
}

func New(r io.Reader) io.Reader {
    return &reader{r: r}
}

func (r reader) Read(p []byte) (n int, err error) {
    n, err = r.r.Read(p)
    for i, b := range p {
        if b == rByte {
            p[i] = nByte
        }
    }
    return
}

简单说来就是用New函数包装一个新的Reader,这个Reader的Read方法会调用被包装的Reader的Read方法,但是会把\r换成\n。我们把它使用在开头的例子里面。

func main() {
  f, _ := os.Open("./datapath.csv")
  r := csv.NewReader(macreader.New(bufio.NewReader(f)))
  for {
    record, err := r.Read()
    if err == io.EOF {
      break
    }
  
    for value := range record {
      fmt.Printf("  %v\n", record[value])
    }
  }
}