【Java 并发笔记】CopyOnWriteArrayList
2019-06-13 本文已影响0人
58bc06151329
文前说明
作为码农中的一员，需要不断的学习，我工作之余将一些分析总结和学习笔记写成博客与大家一起交流，也希望采用这种方式记录自己的学习之旅。
本文仅供学习交流使用，侵权必删。
不用于商业目的，转载请注明出处。
1. 概述
- CopyOnWriteArrayList 是 ArrayList 的一个线程安全的变体。
- 对元素进行修改操作和元素迭代操作都是在底层创建一个拷贝数组（快照）上进行的，采用了 写入时复制策略。
写入时复制（CopyOnWrite）思想
- 写入时复制（CopyOnWrite，简称 COW）思想是计算机程序设计领域中的一种优化策略。
- 如果有多个调用者（Callers）同时要求相同的资源（如内存或者是磁盘上的数据存储），他们会共同获取相同的指针指向相同的资源，直到某个调用者视图修改资源内容时，系统才会真正复制一份专用副本（private copy）给该调用者，而其他调用者所见到的最初的资源仍然保持不变。这过程对其他的调用者都是透明的（transparently）。
- 此做法主要的优点是如果调用者没有修改资源，就不会有副本（private copy）被创建，因此多个调用者只是读取操作时可以共享同一份资源。
2. 实现原理
- CopyOnWriteArrayList 实现了 List 接口。
- 内部持有一个 ReentrantLock lock = new ReentrantLock()。
- 底层用 volatile transient 声明了数组 array。
- 读写分离，写时复制出一个新的数组，完成插入、修改或者移除操作后将新数组赋值给 array。
add 方法
- add 方法的线程首先获取独占锁，多个线程调用 add 则只有一个线程会获取该锁，其他线程会被阻塞挂起直到锁被释放。一个线程获取到锁后，保证了在该线程添加元素过程中，其他线程不会对 array 进行修改。
- 线程获取锁后获取 array，拷贝 array 到一个新数组（新数组大小是原来数组大小加 1，CopyOnWriteArrayList 是无界 List），并把新增的元素添加到新数组。
- 使用新数组替换原数组，返回前释放锁。保证了整个 add 过程是个原子操作。
public boolean add(E e) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
Object[] newElements = Arrays.copyOf(elements, len + 1);
newElements[len] = e;
setArray(newElements);
return true;
} finally {
lock.unlock();
}
}
get 方法
- 获取到当前 array 数组，通过随机访问的下标方式访问指定位置的元素。
- 整个过程并没有加锁，因为写操作会创建快照数组，即使读取期间有写操作，也不会影响读取的结果（仍然指向旧数组）。
- 写入时复制策略带来弱一致性。
public E get(int index) {
return get(getArray(), index);
}
set 方法
- 修改 list 中指定元素的值，如果指定位置的元素不存在则抛出 IndexOutOfBoundsException 异常。
- 首先获取了独占锁控制其他线程对 array 数组的修改，获取当前数组，调用
get方法获取指定位置元素。 - 指定的位置元素与新值不一致则创建新数组并拷贝元素，在新数组上修改指定位置元素值并设置新数组到 array。
- 如果指定位置元素与新值一样，则为了保障 volatile 语义，重新设置 array，虽然 array 内容并没有改变（为了保证 volatile 语义是考虑到 set 方法本身应该提供 volatile 的语义）。
public E set(int index, E element) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
E oldValue = get(elements, index);
if (oldValue != element) {
int len = elements.length;
Object[] newElements = Arrays.copyOf(elements, len);
newElements[index] = element;
setArray(newElements);
} else {
// Not quite a no-op; ensures volatile write semantics
setArray(elements);
}
return oldValue;
} finally {
lock.unlock();
}
}
remove 方法
- 首先获取独占锁保证删除数组期间，其他线程不能对 array 进行修改，然后获取数组中需要删除的元素，将剩余的元素拷贝到新数组后，使用新数组替换原来的数组，最后在返回前释放锁。
public boolean remove(Object o) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
if (len != 0) {
// Copy while searching for element to remove
// This wins in the normal case of element being present
int newlen = len - 1;
Object[] newElements = new Object[newlen];
for (int i = 0; i < newlen; ++i) {
if (eq(o, elements[i])) {
// found one; copy remaining and exit
for (int k = i + 1; k < len; ++k)
newElements[k-1] = elements[k];
setArray(newElements);
return true;
} else
newElements[i] = elements[i];
}
// special handling for last cell
if (eq(o, elements[newlen])) {
setArray(newElements);
return true;
}
}
return false;
} finally {
lock.unlock();
}
}
iterator 方法
- 获取迭代器实际返回 COWIterator 对象，COWIterator 的 snapshot 变量保存了当前 list 的内容，cursor 是遍历 list 数据的下标。
- 如果在线程使用迭代器遍历元素的过程中，其他线程没有对 list 进行增删改，那么 snapshot 本身就是 list 的 array，因为它们是引用关系。
- 如果遍历期间，有其他线程对该 list 进行了增删改，那么 snapshot 就是快照，因为增删改后 list 中的数组会被新数组替换，这时候旧数组被 snapshot 所引用，使用迭代器遍历变量元素时，其它线程对该 list 进行的增删改是不可见的，这也就是弱一致性的达成。
public Iterator<E> iterator() {
return new COWIterator<E>(getArray(), 0);
}
private static class COWIterator<E> implements ListIterator<E> {
/** Snapshot of the array */
private final Object[] snapshot;
/** Index of element to be returned by subsequent call to next. */
private int cursor;
private COWIterator(Object[] elements, int initialCursor) {
cursor = initialCursor;
snapshot = elements;
}
public boolean hasNext() {
return cursor < snapshot.length;
}
public boolean hasPrevious() {
return cursor > 0;
}
@SuppressWarnings("unchecked")
public E next() {
if (! hasNext())
throw new NoSuchElementException();
return (E) snapshot[cursor++];
}
@SuppressWarnings("unchecked")
public E previous() {
if (! hasPrevious())
throw new NoSuchElementException();
return (E) snapshot[--cursor];
}
public int nextIndex() {
return cursor;
}
public int previousIndex() {
return cursor-1;
}
/**
* Not supported. Always throws UnsupportedOperationException.
* @throws UnsupportedOperationException always; <tt>remove</tt>
* is not supported by this iterator.
*/
public void remove() {
throw new UnsupportedOperationException();
}
/**
* Not supported. Always throws UnsupportedOperationException.
* @throws UnsupportedOperationException always; <tt>set</tt>
* is not supported by this iterator.
*/
public void set(E e) {
throw new UnsupportedOperationException();
}
/**
* Not supported. Always throws UnsupportedOperationException.
* @throws UnsupportedOperationException always; <tt>add</tt>
* is not supported by this iterator.
*/
public void add(E e) {
throw new UnsupportedOperationException();
}
}
- CopyOnWriteArrayList 使用写入时复制的策略来保证 list 的一致性，而获取 - 拷贝 - 写入，三步并不是原子性操作，因此修改增删改的过程中都使用了独占锁，保证了同时只有一个线程才能对 list 数组进行修改。
- CopyOnWriteArrayList 提供了弱一致性的迭代器，保证在获取迭代器后，其他线程对 list 的修改不可见。
3. 注意事项
- CopyOnWriteArrayList 可用于读多写少的并发场景。
- CopyOnWriteSet 底层使用了 CopyOnWriteArrayList。
内存占用问题
- 因为写入时复制机制，内存里会同时驻扎两个对象的内存，旧的对象和新写入的对象（在复制的时候只是复制容器里的引用，只是在写的时候会创建新对象添加到新容器里，而旧容器的对象还在使用，所以有两份对象内存），如果这些对象占用的内存比较大，有可能会造成频繁的 GC。
- 可以通过压缩容器中元素的方法减少大对象的内存消耗，比如，如果元素全是 10 进制的数字，可以考虑压缩成 36 进制或 64 进制。
- 或者而使用其他的并发容器，如 ConcurrentHashMap。
数据一致性问题
- CopyOnWrite 容器只能保证数据的最终一致性，不能保证数据的实时一致性。
CopyOnWriteArrayList、Vector 性能比较
- Vector 增删改查方法都使用了 synchronized 保证同步，每个方法执行都需要获取锁，性能大大下降，CopyOnWriteArrayList 只在增删改时加锁，读不加锁，读方面的性能好于 Vector。
ArrayList 边遍历边删除场景
- 直接 for 循环删除抛出异常。
List<String> list = new ArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
for (String item : list) {
list.remove(item);
}
/**
Exception in thread "main" java.util.ConcurrentModificationException
at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:859)
at java.util.ArrayList$Itr.next(ArrayList.java:831)
at Test.main(Test.java:14)
**/
- 可以使用迭代器边遍历边删除。
List<String> list = new ArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
Iterator<String> it = list.iterator();
while (it.hasNext()) {
String ele = it.next();
it.remove();
}
- 使用 CopyOnWriteArrayList 可以直接 for 循环删除。
List<String> list = new CopyOnWriteArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
for (String item:list) {
list.remove(item);
}
- 使用 CopyOnWriteArrayList 不可以迭代器循环删除。
List<String> list = new CopyOnWriteArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
Iterator<String> it = list.iterator();
while (it.hasNext()) {
String ele = it.next();
it.remove();
}
/**
Exception in thread "main" java.lang.UnsupportedOperationException
at java.util.concurrent.CopyOnWriteArrayList$COWIterator.remove(CopyOnWriteArrayList.java:1040)
at Test.main(Test.java:19)
**/
ArrayList 边遍历边添加场景
- 使用 for 循环添加抛出异常。
List<String> list = new ArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
for (String ele : list) {
String item = ele + "String";
list.add(item);
}
/**
Exception in thread "main" java.util.ConcurrentModificationException
at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:859)
at java.util.ArrayList$Itr.next(ArrayList.java:831)
at Test.main(Test.java:14)
**/
- 使用迭代器循环添加抛出异常。
List<String> list = new ArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
Iterator<String> it = list.iterator();
while (it.hasNext()) {
String ele = it.next();
String item = ele + "String";
list.add(item);
}
/**
Exception in thread "main" java.util.ConcurrentModificationException
at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:859)
at java.util.ArrayList$Itr.next(ArrayList.java:831)
at Test.main(Test.java:17)
**/
- 使用 CopyOnWriteArrayList 可以直接 for 循环添加。
List<String> list = new CopyOnWriteArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
for (String ele : list) {
String item = ele + "String";
list.add(item);
}
- 使用 CopyOnWriteArrayList 可以迭代器循环添加。
List<String> list = new CopyOnWriteArrayList<>();
list.add("a");
list.add("b");
list.add("c");
list.add("d");
Iterator<String> it = list.iterator();
while (it.hasNext()) {
String ele = it.next();
String item = ele + "String";
list.add(item);
}
