腾讯大数据处理平台-魔方
我们的团队研发了一个叫魔方的大数据处理和分析的平台,底层我们集成了MySQL、MongoDB,Spark、Hadoop等技术,在用户层面我们只需要写一些简单的SQL语句、完成一些配置就可以实现例行分析。
这里我们收集了社交、电商、支付、游戏等场景的数据,针对这些数据我们建立一些模型,发现哪些是恶意的数据,并且将数据沉淀下来。
沉淀下来的对安全有意义的数据,一方面就存储在魔方平台上,供线下审计做模型使用;另一方面会做成实时的服务,提供给线上的系统查询使用。
一、腾讯用户画像沉淀方法
画像,本质上就是给账号、设备等打标签。
用户画像 = 打标签
我们这里主要从安全的角度出发来打标签,比如IP画像,我们会标注IP是不是代理IP,这些对我们做策略是有帮助的。
以QQ的画像为例,比如,一个QQ只登录IM、不登录其他腾讯的业务、不聊天、频繁的加好友、被好友删除、QQ空间要么没开通、要么开通了QQ空间但是评论多但回复少,这种号码我们一般会标注QQ养号(色 。情、营销),类似的我们也会给QQ打上其他标签。
标签的类别和明细,需要做风控的人自己去设定,比如:地理位置,按省份标记。性别,安男女标记。其他细致规则以此规律自己去设定。
我们看看腾讯的IP画像,沉淀的逻辑如下图:
一般的业务都有针对IP的频率、次数限制的策略,那么黑产为了对抗,必然会大量采用代理IP来绕过限制。
既然代理IP的识别如此重要,那我们就以代理IP为例来谈下腾讯识别代理IP的过程。
识别一个IP是不是代理IP,技术不外乎就是如下四种:
- 反向探测技术:扫描IP是不是开通了80,8080等代理服务器经常开通的端口,显然一个普通的用户IP不太可能开通如上的端口。
- HTTP头部的X_Forwarded_For:开通了HTTP代理的IP可以通过此法来识别是不是代理IP;如果带有XFF信息,该IP是代理IP无疑。
- Keep-alive报文:如果带有Proxy-Connection的Keep-alive报文,该IP毫无疑问是代理IP。
- 查看IP上端口:如果一个IP有的端口大于10000,那么该IP大多也存在问题,普通的家庭IP开这么大的端口几乎是不可能的。
以上代理IP检测的方法几乎都是公开的,但是盲目去扫描全网的IP,被拦截不说,效率也是一个很大的问题。
因此,我们的除了利用网络爬虫爬取代理IP外,还利用如下办法来加快代理IP的收集:通过业务建模,收集恶意IP(黑产使用代理IP的可能性比较大)然后再通过协议扫描的方式来判断这些IP是不是代理IP。每天腾讯都能发现千万级别的恶意IP,其中大部分还是代理IP。
二、腾讯用户画像类别概览
三、防御逻辑
实时系统使用C/C++开发实现,所有的数据通过共享内存的方式进行存储,相比其他的系统,安全系统更有他自己特殊的情况,因此这里我们可以使用“有损”的思路来实现,大大降低了开发成本和难度。
数据一致性,多台机器,使用共享内存,如何保障数据一致性?
其实,安全策略不需要做到强数据一致性。
从安全本身的角度看,风险本身就是一个概率值,不确定,所以有一点数据不一致,不影响全局。
但是安全系统也有自己的特点,安全系统一般突发流量比较大,我们这里就需要设置各种应急开关,而且需要微信号、短信等方式方便快速切换,避免将影响扩散到后端系统。
http://www.36dsj.com/archives/35887
相关推荐
基于用户画像大数据的电商防刷架构
基于用户画像大数据的电商防刷架构.pdf
本文来自于网络,文章主要介绍腾讯自己是如何通过大数据、用户画像、建模来防止被刷、恶意撞库。最近1~2年电商行业飞速发展,各种创业公司犹如雨后春笋大量涌现,商家通过各种活动形式的补贴来获取用户、培养用户的...
分享一套大数据画像视频教程,名字叫——BAT大数据电商画像实战,很不错的课程,附源码课件,完整版,值得学习一下
利用大数据来分析用户的行为与消费习惯,可以预测商品的发展趋势,提高产品质量。本书基于大型电商公司的真实用户画像,主要培养学员了解用户画像的内容,掌握构建用户画像的方法。
基于电商评价数据的农产品用户画像分析——以安化黑茶为例
大数据电商用户画像及.zip
基于大数据的农产品电商用户画像系统的设计和应用.pdf
本文首先介绍了相关的背景,然后介绍了基于大数据的用 户画像构建方法,并介绍了不同数据集中的用户画像的应用,最后本文对基于大数据的用户画像方法进行了 总结和展望,指明了该技术当前存在的问题与发展趋势。
今天主要分享下腾讯自己是如何通过大数据、用户画像、建模来防止被刷、恶意撞库的。“羊毛党”一般先利用自动机注册大量的目标网站的账号,当目标网站搞促销、优惠等活动的时候,利用这些账号参与活动刷取较多的优惠...
大数据项目课:项目实战:大数据电商用户画像-附件资源
之基于Java+大数据的定位电商用户画像实现精准营销项目源码.zip
2014中华架构师大会材料 大数据,用户画像,机器学习,数据挖掘
用户画像大数据解决方案脑图-原图 数据基础平台: 1、用户唯一+ 用户行为ID + 用户画像 + 用户兴趣 2、数据接入系统计算任务调度系统+ 元数 完善产品运营,提升用户体验: 1、业务运营监控 异动智能分析 ...
基于Flink+ClickHouse构建亿级电商全端用户画像平台,完整版,提供代码课件下载。值得大家学习的一套用户画像课程。本课程采用Flink+ClickHouse技术架构实现我们的画像系统,通过学习完本课程可以节省你摸索的时间,...
电商大数据应用: 一 京东大数据平台概况 二 电商用户画像的价值 三 京东物流大数据应用实践 配送路径优化 自提柜选址 生活圈模型