no space left on device

最近遇到一个Linux机器上Java程序向/tmp文件夹写入临时文件报错问题，报错信息如下：

Caused by: java.nio.file.FileSystemException: /tmp/imageio8208234794343042842.tmp: No space left on device
at sun.nio.fs.UnixException.translateToIOException(UnixException.java:91)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
at sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:214)
at java.nio.file.Files.newByteChannel(Files.java:361)
at java.nio.file.Files.createFile(Files.java:632)
at java.nio.file.TempFileHelper.create(TempFileHelper.java:138)
at java.nio.file.TempFileHelper.createTempFile(TempFileHelper.java:161)
at java.nio.file.Files.createTempFile(Files.java:897)
at javax.imageio.stream.FileCacheImageInputStream.<init>(FileCacheImageInputStream.java:102)
at com.sun.imageio.spi.InputStreamImageInputStreamSpi.createInputStreamInstance(InputStreamImageInputStreamSpi.java:69)
at javax.imageio.ImageIO.createImageInputStream(ImageIO.java:357)
... 41 more

从报错信息/tmp/imageio8208234794343042842.tmp: No space left on device字面意思来看应该是磁盘空间不足，于是我们通过du -f查看了一下啊磁盘空间的占用情况：

[root@iZ23yaz766kZ ~]# df -h                                                                                                                                                                                                    
Filesystem      Size  Used Avail Use% Mounted on                                                                                                                                                                                
/dev/xvda1       40G   24G   14G  63% /                                                                                                                                                                                         
tmpfs           7.8G     0  7.8G   0% /dev/shm                                                                                                                                                                                  
/dev/xvdb1       40G   25G   13G  67% /alidata1

从输出信息可以看出磁盘空间并没有满，还有很多的富裕，而且我们磁盘的空间的使用率是有监控的，一旦超过阈值就会发送报警信息，但是我们并没有收到相应的报警信息，所以可以推断出不是磁盘空间不足的问题，那到底是什么问题导致报错呢？

通过查询资料了解到，除了磁盘空间可能导致无法写入文件外，还有磁盘的inode数量也会影响文件的写入，当inode数量不足时，也会导致无法写入文件，于是通过df -i查看了一下inode的数量：

[root@iZ23yaz766kZ ~]# df -i                                                                                                                                                                                                    
Filesystem      Inodes   IUsed   IFree IUse% Mounted on                                                                                                                                                                         
/dev/xvda1     2621440 2581440  40000   99% /                                                                                                                                                                                  
tmpfs          2041364       1 2041363    1% /dev/shm                                                                                                                                                                           
/dev/xvdb1     2621440  230217 2391223    9% /alidata1

从输出可以看到inode使用的数量占到了99%，几乎满了，从而我们我们推断很可能是当时的inode数量不足导致无法向/tmp写入文件。

解决inode数量不足的方法有两种

1. 清理inode占用过高的文件和目录

   通过for i in /*; do echo $i; find $i | wc -l; done统计了一下每个文件夹下的inode数量，找到了占用数量比较多的文件夹，然后，逐层进入inode占用最高的目录，继续执行上述指令，逐步定位占用过高空间的文件或目录，最后进行相应清理。

2. 修改inode的数量，这种方法需要重新格式化磁盘。具体方法如下：

   1. 执行如下命令，卸载系统文件。

      umount /home
      

   2. 执行如下命令，重新建立文件系统，指定inode节点数。

      mkfs.ext3 /dev/xvdb -N 1638400
      

   3. 执行如下命令，修改fstab文件。

      vim /etc/fstab
      

   4. 执行如下命令，查看修改后的inode节点数。

      dumpe2fs -h /dev/xvdb | grep node
      

我们通过第一种方法清理了一下占用inode数量比较多的文件解决了该问题。