网络世界里白色垃圾：被滥用的 emoji【大纲】

emoji 的来源

emoji 来源自日本，流行自 iPhone 的崛起。在不断的网络生活中，emoji 填补了人们在电脑前交流时看不到对方表情的缺陷。生动的 emoji 融解了屏幕面前的冷冰冰，让大家聊天更生动有趣。

现状

借助各种技术手段， emoji 越来越流行，正面的例子，如表情字、符号画、用 emoji 实现的可读性很强的日志、版本历史等；正是 emoji 这种强烈的风格化的特点，也催生了垃圾短信和垃圾邮件骚扰的肆虐；

Unicode 的原理

略

unicode 的复杂性

Unicode 支持135 种不同的书写系统，包含约 1100 种语言，但目前还有超过 100 种书写系统没有支持，包括现代的和已成为历史的，Unicode 协会还在努力将其加进来。

在 Unicode 的规则下，预设字符和动态组合系统都是合法的 Unicode 字符。例如，

越南字母“ệ” 可以用以下五种方式表示：
完全预设：U+1EC7 “ệ”
部分预设：U+1EB9 “ẹ” + U+0302 “◌̂”
部分预设：U+00EA “ê” + U+0323 “◌̣”
完全分解：U+0065 “e” + U+0323 “◌̣” + U+0302 “◌̂”
完全分解： U+0065 “e” + U+0302 “◌̂” + U+0323 “◌̣”

正如上所见，所见和所是并不是一一对应，正是这种一对多的不确定性，让程序需要面对 Unicode 繁杂的逻辑。

复杂的 Unicode 字符处理，难点

1. 占用存储空间
2. 程序和用户看到的东西不一致
   最常见的例子，字数的计算， ệ 对用户而言是1个字数，而程序里可能是 3. 这在计算用户昵称字数有上限，受限情况很敏感。
   3.字符处理时，字符集环境的切换开销
3. Unicode等價性，影响检索、排序、
   要解决如何处理等值字符串的问题，Unicode 定义了几种正规形式：是几种把字符串转化成规范形式的方法，这样它们就可以被逐点比较（或按字节比较）
   1. 很多关键业务依赖字符的匹配效率，如现有商用垃圾短信过滤系统主要有朗讯 公司于 2006 年初推出的垃圾短信过滤和拦截 (ASA)解决方案 . 但 ASA 主要基于关键字完全匹 配技术进行短信拦截 ,易被规避 ,效果不理想 .
4. 形式正规化的语言支持情况
   已知除了 Swift 内置了对 Unicode 很好的支持外，其他语言都需要特殊处理。
5. 半角全角之谜

emoji 的原理

复杂的emoji 表情的合成规则

1. 肤色修饰，性别修饰
2. 人物数量叠加
3. 行为叠加
4. emoji 样式风格的定义

完整规则：

• 1.4.1 Emoji Characters
• 1.4.2 Emoji Presentation
• 1.4.3 Emoji and Text Presentation Sequences
• 1.4.4 Emoji Modifiers
• 1.4.5 Emoji Sequences
• 1.4.6 Emoji Sets
• 1.4.7 Notation
• 1.4.8 Property Stability
• 1.4.9 EBNF and Regex

额外处理 emoji 合成规则

如何界定 emoji 的等价性、兼容性

emoji 的时代性

意味着 emoji 快速的迭代，新的 emoji 出现，旧的 emoji 死去。这些死去的 emoji 不会被 Unicode 轻易抛弃，越积越多，占据本来珍贵的 unicode 空间。

1. 过去流行的 emoji，举例
2. 现在的 emoji
3. 未来？

emoji 的现实危害

1. 让你的微信奔溃
2. 垃圾短信，正如大家被日常骚扰的那些
3. 网站地址伪造
   2.1. 用户看来是一样的 url，很可能是欺诈网络地址
   2.2 如果开放汉字域名等非英文域名之后这种情况会越来越严重
4. 输入字数限制界定

emoji 的网络危害

1. emoji 文字输入环境不可移植，显示时的规则不通用
2. 同时 emoji 非常的受大家的欢迎，使用必将越来越来多，有很多自定义 emoji 在特定平台被使用
3. Unicode 协会指定规范时，太注重 emoji 的娱乐性，并没有考虑 emoji 给互联网社会带来的副作用，很多规则会造成文字处理时额外的消耗。目前为止 Unicode 协会还在刻意的定义小众的需求规范，这将导致小众规范的字符流入到现在文档库里。随着时间推移，这些文字堆积在历史的资料中，而 emoji 这种充满时代特征的产物，到以后，必将有很多字符被抛弃，不再使用，日积月累成为互联网里的废物，也许那时，如如今一样，甚至都没有读写软盘的设备。

是的，想想当今社会里被广泛使用的塑料袋——白色垃圾的发展轨迹。当初的时候是多么热爱，塑料袋带给我们生活便利的同时也造成了广泛的危害，各个国家开始遏制，花大力气治理造成的污染。现在，大量的塑料废物冲入海洋，在那里可能需要几个世纪才能完全降解。那些轻质的一次性塑料物品是最大的麻烦，它们可以轻松地在海洋里长途漂流，破坏海洋动植物。

emoji 在错误的道路上越走越远

一些工具助长 emoji 的滥用

1. 如搜狗表情字

如何破解