如果网络是一个战场,人工智能如何帮助我们建立安全防线

本月,天池和阿里云安全合作举办的第二届阿里云安全算法挑战赛落下帷幕,近2000名安全算法人的正义梦想,也从这里刚刚起航。

在网络为中心的世界中,人工智能和机器学习的技术,开始与“威胁论”挂上了钩。但技术本无善恶,往往取决于使用技术的人。

在网络安全领域中,我们用人工智能和机器学习,来更精准地检测或防御网络攻击,不管它是一次恶意的系统入侵,一次虚假的账号登录,还是对你重要密码的强行破解。人工智能战队,配合安全专家,让安全的黑暗死角被照亮。

今天的话筒,安全君交给DT财经的DT君,让他带你看看,安全算法挑战赛的顶尖战队,是如何用机器来保护人的?

当网络安全加上了“云”,黑客们就怕了么?

《让子弹飞》里,葛优在火车上吃着火锅,唱着歌,突然就被姜文的一伙土匪抢劫了,于是赔了夫人又折兵。这是一个世纪前的“安全问题”。

一个世纪后,你在家里吃着火锅唱着歌,被“抢”的不再是你本人,而是你的手机、企业网站和资源信息库。土匪变成“黑客”,他们用技术手段盗取你的数据信息,划走你银行账户的存款、击溃你门户网站的流量,薅走你苦心经营的“羊毛”。

据阿里云资深算法专家施亮介绍,如今中国的互联网灰黑产业已经达到了千亿元的规模,它们利用互联网安全的漏洞,不断从中国高速发展的互联网产业中掘取巨额非法利润。

对于一般企业来说,面对来无影去无踪的黑客攻击,保护数据安全成本高效果慢。所以,越来越多的企业和个人为了应对风险,将自己的数据和服务放置在云端,委托给云服务商进行管理。当网络安全升级到云上,对“黑帽子”们最大的影响是,技术和设备门槛都大大提高了,因为云服务商为企业增加了一层“防护网”。

这就好比,DT君有一个小商铺,但竞争对手雇佣了一批流氓恶霸扮作普通顾客,赖在我的商铺门口只闲逛、不消费,阻碍正常客户上门。作为个体户,DT君无法有效识别、驱赶这些“人群”,于是选择把店铺开设在某个规范化管理的园区内,让园区提供高效、精准的安保服务,驱赶这些“恶意人群”。

DT君的小商铺就是每天都在运营的海量网站,这些流氓恶霸们的行为就是“黑客攻击”,而整个大园区就是云服务商。(DT君注:这种用大流量攻击目标系统网络服务,致使系统无法提供正常服务的黑客行为也被称作分布式拒绝服务攻击,简称DDoS攻击,是最常见的黑客行为之一。)

目前,阿里云承载了中国40%的网站服务,这些数据蕴含了海量的潜在价值。“我们每天防御的黑客攻击体量为16亿次,包括2亿次暴力破解。每天能够成功防御2000次DDoS攻击。”阿里云云计算安全事业部资深总经理肖力告诉DT君,这些大量的攻击行为,一方面说明了云安全的重要性和巨大价值;另一方面,也为云安全的“智能化”提供了丰富的数据“学习”基础。


(图片说明:第二届阿里云安全算法挑战赛“当最强算法遇上Hacker”决赛现场)

毫无疑问,智能安全是趋势,但技术和人才都是“稀缺产品”。正因此,阿里云的天池平台和安全团队才联合举办了“阿里云安全算法挑战赛”。举办的第二个年头,已经有近2000名来自各行各业的选手参加了比赛,最终十支队伍进入决赛,来到杭州与“黑客们”一较高下。

有危险?算法比你更早察觉

本届算法大赛的参赛题目均源自阿里云安全部门平常接触到的真实业务场景。题目一共有三道:扫描爆破拦截;网页风险分类;HTTP Flood检测(7层CC攻击检测)攻击。它们分别对应了三种最常见的网络攻击模式:暴力破解密码黑来盗窃数据,传播黄赌毒等违规内容,还有发起异常大流量攻击导致服务器崩溃。

比赛可以说是一场实打实的“网络攻防战”了。三道试题,其实核心的关键就是分类——如何从真真假假的网络信息中识别出真实的黑客行为。

在决赛的答辩现场,来自北京邮电大学的buptyellow团队率先登台就给评委留下了深刻的印象。三位小伙伴熟练地运用了GBDT、RF等机器学习的相关算法,针对各个赛题不同的特点,有针对性地将算法规则构建与特征选择结合起来,做出了条理清晰、效果较好的云安全算法模型。


(图片说明:buptyellow团队在决赛答辩现场像评委展示自己的算法过程)

最令人意外的是,三位同学其实都是不折不扣的“斜杠青年”(拥有多重职业、身份多元化人群)。他们本身还是学生,在本次天池大赛前,其实都是机器学习和网络安全领域的“小白”。

“我觉得他们的解决方案成熟得像一支科班出身的安全算法团队”,评委之一、思睿家得创始人董靖在评价buptyellow时说到。不过他们只是参赛队伍的冰山一角,这样高水平的玩家,决赛中还有另外九个。

除了组队参赛的,决赛队伍中还不乏多位“单刀赴会”的大牛,“铁球”吴凡优就是其中之一。在第一道题目中,他迅速地利用特征工程的方法对数据进行分类,同时添加黑名单辅助决策,取得了较好的筛选效果。


(图片说明: “铁球”吴凡优在决赛答辩现场展示算法过程)

在解决第二个网页分类问题时,由于原始数据结构复杂、不规则,极大地增加了他使用机器学习算法的难度。但在对网页数据进行预处理后,他综合使用TF-IDF、TextRank 等文本数据挖掘的算法,构建了一套智能模型,最终较有效地从海量数据中甄别出违规网页内容。

“其实,我们面对的网络安全问题虽然多种多样,但是大部分是可以让安全工程师人眼找出规律的。但是在云平台上,面对海量的攻击,人眼是无法看得完的,这必须借助算法和人工智能的力量。”广东工业大学教授刘文印认为,这次安全算法大赛,比拼的重点并不在于高精尖的黑客对抗,而是如何用有效的人工智能算法,提升现阶段云安全的效率和精度。


(图片说明:广东工业大学计算机学院教授刘文印现场点评选手答辩)

相较于过去通过安全工程师发现并识别攻击,如今一些智能安全算法已经把这个过程的用时,从半小时缩减到几秒。

最终,来自北京邮电大学的buptyellow团队凭借出色的表现获得了第二届阿里云安全算法大赛的冠军。

AI可能是网络安全的新突破点

“凡是应用数据的领域,都存在数据安全的问题。” 肖力认为,“安全智能”是一个十分有潜力的广阔市场。

“过去大家都是卖产品的,现在随着移动互联网的普及,越来越多的商家和企业开始向服务层面转型。例如房地产公司,它也开始做APP,向客户出售自己的房产配套服务等,这都是基于数据才能完成的”。肖力告诉DT君,未来整个安全的趋势发展,一定是往数据化和智能化方向靠拢。


(图片说明:阿里云云计算安全事业部资深总监肖力与参赛选手分享“安全智能”话题)

虽然现在有很多公司用深度学习、机器学习等技术从事互联网安全领域的研究,但是真正带来根本性变革的临界点还尚未来到。如今安全智能产业仍处于一个不断优化,提升效率的阶段。另外,由于黑客的行为本身具有“黑箱”的特点,即人类黑客一般不会遵循什么规则的算法和步骤来进行活动,这些“创造性”的行为是很难用数学模型加以描述概括的。这其实加大了安全智能在实战中应用的难度。

魔高一尺,道高一丈。在现有的情况下,阿里云资深算法专家施亮认为,现阶段安全智能的目标是通过AI的手段降低安全防御的成本,同时提升黑客攻击行为的成本,从而让黑灰产业“无利可图”,从源头防御黑客的网络攻击。

“在使用防护之前,由于技术门槛低,黑客获取一个订单的成本只有一两毛钱,很容易,但是有了安全智能防护后,成本已经上升到十几二十块一个订单,黑客的获利成本已经非常高了,让他们没有动机去做这个事情。”


(图片说明:阿里云资深算法专家施亮在答辩现场)

据施亮介绍,如今每年国内的安全人才缺口在10万数量级。其中从事安全事业、又掌握机器学习算法武器的人才,更是少之又少。这也是为什么阿里云每年都要举办安全算法大赛,他们希望从行业和高校中,寻找更多“跨界”的参赛队伍,寻找来自算法或者安全领域的高手。

DT君认为,虽然现在距离安全智能的奇点还为时尚早,不过未来当越来越多的网络服务都部署在云端后,安全一定需要更多人工智能参与。“每个机器大脑背后的智慧,才是推动云安全前进的关键。”

最新一期的《纽约客》中描绘了机器人正在不断代替人类工作的情形;前两天,Alpha Zero的横空出世更让大家开始担忧:难道人工智能真的要取代人类了?DT君觉得,AI的出现从来不是为了取代人类,而是帮助人类更加高效、安全。就像网络安全,AI正在和人类一起,保护你未来每天的“云端生活”。

时间: 2017-11-01

如果网络是一个战场,人工智能如何帮助我们建立安全防线的相关文章

杨洁篪:中方反对把网络空间变成另一个战场

中国外交部部长杨洁篪9日在北京表示,中方反对把http://www.aliyun.com/zixun/aggregation/32392.html">网络空间变成另一个战场.他呼吁在网络空间开展国际合作,不要把网络作为干涉别国内政的另一个工具. 杨洁篪说,如今需要制定相关的国际规则.最近有一些西方媒体指责中国的黑客攻击美国政府机构和公司网站.杨洁篪呼吁有关方停止不负责任的攻击和指责,采取切实行动,增进各方互信与合作,共同维护网络空间的和平与安全.杨洁篪补充说,中国政府坚决反对黑客攻击行动,

社会化电子商务或将成为下一个战场

摘要: [TechWeb报道]紫萱(化名)是一名普通员工,在微博上做着额外的生意:每天在微博推荐一双鞋子,通过乐淘推出的微返利措施,每个月可以得到千元回报. 这笔帐是这样算的:紫萱粉丝 [TechWeb报道]紫萱(化名)是一名普通员工,在微博上做着额外的生意:每天在微博推荐一双鞋子,通过乐淘推出的"微返利"措施,每个月可以得到千元回报. 这笔帐是这样算的:紫萱粉丝3000多人,她在微博一天推荐一双双鞋子,可以产生约3-5单的交易,按每笔交易按150元计算(夏天季节性的凉鞋.拖鞋等),每

传统企业“触网”,开辟网络购物第二战场

作者:刘佳 2009年,李宁公司销售收入83.87亿元,在2008年业绩基础上实现25.4%的增长:净利润实现31%的增长,为9.45亿元.一时间,市场观察人士结合3月初阿迪达斯.耐克发布的2009年全年业绩报告,纷纷作出"李宁超越阿迪达斯"的论断. 也许你没有想到,在李宁全国所有的店铺中,销售最成功的不只是上海南京路或是北京王府井等繁华地区的李宁旗舰店,还有来自李宁的官方商城. "自2008年上线以来,四个月就实现了盈利."谈起电子商务的快速成长,李宁电子商务总监

下一个战场!云中开源OpenStack如何理解

如今,IT迎来以云计算为核心的第三次变革,其中云计算又以平台服务主要分为基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS).面对扑面而来的云服务,无论是以上三种服务的任何一个对于企业和用户来说都是"熟悉的陌生人","熟悉"是因为知道云计算的人都能说出IaaS.PaaS和SaaS这几个词,但仅从其中衍生出来的云技术让很多人"陌生",特别是在云计算中最为受关注的开源技术. 提及开源,Linux平台低成本.灵活和可定制是最基本的

网络只是一个开始:专访91Now站长小鱼头

本文系中国站长站首发,版权归作者所有,未经本人允许,不得擅自修改文中内容,转载请保留完整信息. 在互联网曾经有过这样的小故事,是这样说的:如果你爱一个人,请让他走入互联网,与他并肩作战.创造出一个属于你们的领域:如果你恨一个人,那么也请带他进入互联网,因为它可以将一切都毁灭.前一段时间对于个人站长来说,闹的最沸沸扬扬的莫过于91Now.com的站长小鱼头重新恢复正常生活这一事件,也许,人的生命本就是无法承受任何过罪.但白壁也不可能无瑕,在我所接触的几位朋友中,也有不少人经历了2004年的网络整顿

网络问题-一个网络多个无线路由频繁出现掉网问题????

问题描述 一个网络多个无线路由频繁出现掉网问题???? 公司10M电信光钎带宽,通过防火墙设置了两个地址段的网络,一个技术部专用无限制的192.168.1.0网段,一个员工办公用网段(192.168.2.0通过上网行为管理器进行了网络访问控制):同时1.0段设置了一个无线路由,使用很正常,从未出现故障掉网现象,而2.0段网络设置一个无线路由后(静态IP设置),使用一段时间就断网了,必须重启路由或者更换静态IP才能再次联网,更换过路由器,确定不是路由问题,请教高手是什么问题,难道是防火墙或者行为管

智能家居方兴未艾,生活类家电成下一个战场?

有人说,2015年是家电行业最惨淡的一年,也是最热闹的一年. 3月初的时候,各大家电巨头陆续公布了2015年财报,整个家电行业的增速开始放缓,甚至一度出现下滑.而3月中旬刚刚结束的AWE,互联网企业渗入家电产品的痕迹越发明显,家电巨头们也频频祭出智能类产品,造势之意十分明显.不过,除了智能电视.空气净化器等智能家居产品,智能冰箱.智能化的烹饪设备以及智能油烟机等开始成为关注的亮点.在智能家居方兴未艾之际,生活类家电会成为下一个战场吗? 生态围城,智能家居产品如何定位? 智能家居的概念由来已久,尽

Line和KakaoTalk的下一个战场:移动电商

摘要: 通讯应用Line和KakaoTalk用了一年时间改变了移动游戏行业格局.下一个战场,它们瞄准了移动电商,一个比游戏行业更充满未知性的领域. 今年秋季,Line将针对日本市场推出电商平台 通讯应用Line和KakaoTalk用了一年时间改变了移动游戏行业格局.下一个战场,它们瞄准了移动电商,一个比游戏行业更充满未知性的领域. 今年秋季,Line将针对日本市场推出电商平台Line Mall.目前官方已经透露的一个特点是:任何人在任何时间和地点都可以成为买家或卖家. Line为什么会瞄准电商业

网络是一个开放性平台,但并不意味着完全公开

IT安全公司Sophos日前发布调查报告称,41%的Facebook用户愿意将自己密切相关的个人信息透露给一个完全陌生人.Sophos使用了一个伪造的Facebook用户名Freddi Staur,该名称是ID Fraudster(行骗者)字母顺序的颠倒,再向200名随机Facebook用户发出朋友邀请后,87人给予了回应,这其中82人的个人资料中包含了电子邮件.出生日期.住址或电话号码等信息.在所有披露自己个人信息的用户中,72%的人披露了一个或多个电子邮件地址:84%的人列出了自己的出生日期