什么是NHT？NHT是Non Human Traffic （非真人流量）的缩写。这是一个中性的名词，并无褒贬，是指互联网访问量中非人类正常活动造成的那部分。主要可能包括各种网络爬虫、监控分析程序、内容采集器、被病毒木马控制的主机（僵尸网络）、制造的访问；也包括人类编写的程序出于各种目的变换代理和IP对网站进行的访问，其目的，你懂的。NHT中的某些成分（除搜索引擎等明示身份的访问量以外）就像牛奶中的三聚氰胺，在普通的检测中被用来提升蛋白质的含量。

据某国际网络安全公司Incapsula总结的数据全球31%的网页访问量由非真人行为造成。我国国家互联网应急中心CNCERT的数据揭示：2012年我国有1419.7万余台主机被僵尸网络控制；2013年五月感染网络病毒的终端数量为363余万。NHT对包括实时竞价广告在内的整个互联网广告体系的影响不可低估。在旧体制的网络广告售卖环境下，NHT很难被有效排除，但在RTB环境下，由于在每一次广告展示拍卖前DSP有若干毫秒的时间可以用于识别NHT，如果Exchange, DSP, 广告主等多方携手，是完全可以最大限度地摈弃非真人的广告展示量。转译一篇来自OpenRTB协会的倡议书供大家参考。

__________________________________________________________

原文:Non Human Traffic signaling in OpenRTB

［译文］OpenRTB的非真人流量(NHT)识别

日期：2013年5月16日

致：OpenRTB开发列表和感兴趣的人士

由：Neal Richter，RubiconProject首席科学家，OpenRTB联席主席

僵尸网络和所谓“非真人流量”是当前的热门话题。我们要认真对待这个已形成产业的行为，最好的办法就是技术平台进行协作并共同努力，检测、管制和预防此类活动。

倡议如下。

交易平台的责任

通过以下最佳实践，尽最大努力分类并拒绝“非真人流量”广告交易请求：

• （推荐）通过用户代理（user-agent）分类过滤已知爬虫
• （推荐）通过’检测器’过滤可疑NHT的广告展示
• （可选）过滤IP黑名单的广告展示

其中，
?过滤“广告展示”指广告交易平台响应有一个空HTTP 204响应或非付费广告（PSA公益广告）的“广告调用”
?广告展示不应该提供给任何RTB需求方合作伙伴。

竞标者的责任

• （推荐）通过用户代理（user-agent）分类已知爬虫的无竞标广告展示
• （推荐）通过’检测器’的可疑NHT的无竞标广告展示
• （可选）对IP地址黑名单的广告展示不竞标
• 不竞价可以有一个可选的原因代码

其中

?DSP应该按以下建议回复一个事件，而不是仅回复一个HTTP 204（空）

用户代理(user-agent)过滤

IAB和其它供应商都有提供HTTP用户代理列表。当用户代理匹配已知“网络爬虫”列表，建议过滤广告展示或返回不竞标且标明原因代码。

IP过滤

在所有情况下用于任何过滤的IP地址应该是原始IP，而不是中间代理IP。

如果交易平台使用一些服务器间的代理接收请求，那么IP过滤应被跳过如果有访问令牌的话，或者交易平台应使用原始IP。

市场上现在已有各种来源的IP列表，如云计算，托管服器的IP地址，匿名代理等。疑似僵尸网络的相似IP列表也有途径获得。

NHT检测器

建议交易平台和DSP按本倡议书规格创建和部署NHT“检测器”。检测器的目标是通过各种方法将广告展示分为“真人流量”和“非真人流量”。

有许多提供这类服务的供应商。许多业公司开发了内部专有技术，检测各类NHT。

检测器的进一步建议详情不在此倡议书范围内。

OpenRTB协议扩展

在竞价响应的根对象添加一个可选的“无竞价”字段和参数。

1）为竞价响应添加一个代码，包含如下列举的原因：

竞价响应举例

{“id”:”1234567890″, “seatbid”:[], “nobid_code”:3}

注意OpenRTB 1.x的规格有一个“’nbr”字段（不竞价原因）和一组值。因为使用不足，它在2.x标准中被弃用。

日志记录和处理

交易平台然后可以选择记录这个无竞价代码做进一步分析。

推荐的最好做法是为每一个广告展示使用投票机制，逐渐将某类型的广告展示提炼为模式归类添至检测器。例如，如果N个DSP均认为某个请求是NHT，那么它将被提取，分析其频率和分类的准确性。

可能出现的难点?

移动和视频通常使用中间代理，在请求到达交易平台之前。因此试图IP过滤需要考虑更多。建议采取允许这些广告展示的因地制宜的措施。

.

其它方案

另一种方法可能是设计一个各方之间的用于分析NHT模式的离线交易平台。这涉及到设计一个新的协议。

开放问题

来自匿名代理，例如Tor之类的网页访问，如何处理？