首页 > 热点资讯 >新闻内容

数据脱敏——什么是数据脱敏

2021年06月02日 12:06

一、什么是数据脱敏


数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。

百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

生活中不乏数据脱敏的例子,比如我们最常见的火车票、电商收货人地址都会对敏感信息做处理,甚至女同志较熟悉的美颜、有些视频中的马赛克都属于脱敏。


二、为什么要进行数据脱敏


上面说到,在“涉及客户安全数据或者一些商业性敏感数据的情况下”对数据进行改造,说明我们要进行改造的数据是涉及到用户或者企业数据的安全,进行数据脱敏其实就是对这些数据进行加密,防止泄露。

对于脱敏的程度,一般来说只要处理到无法推断原有的信息,不会造成信息泄露即可,如果修改过多,容易导致丢失数据原有特性。因此,在实际操作中,需要根据实际场景来选择适当的脱敏规则。改姓名,身份证号,地址,手机号,电话号码等几个客户相关字段。

三、如何实现数据脱敏


按照脱敏规则,可以分为可恢复性脱敏和不可恢复性脱敏。可恢复性脱敏就是数据经过脱敏规则的转化后,还再次可以经过某些处理还原出原来的数据,相反,数据经过不可恢复性脱敏之后,将无法还原到原来的样子,可以把二者分别看做可逆加密和不可逆加密。

我们目前遇到的场景是日志脱敏,即在把日志中的密码,甚至姓名、身份证号等信息都进行脱敏处理。

脱敏前:


脱敏后:

如上图,仔细分析会发现,打日志之前,获得脱敏的数据就两个步骤:【拿到要输入的数据(user实体)】→【进行序列化】,所以要进行数据脱敏可以考虑在这两个步骤上进行实现。第一个方法就是在序列化实体之前先把需要脱敏的字段进行处理,之后正常序列化;第二个方法就是在实体序列化的时候,对要脱敏的字段进行处理。


相关推荐

开发一个微信小程序有多难?

在目前我们接洽的项目中,大部分成型的项目都是基于小程序实现的。很多客户在阐述需求时,也直接提出需要做小程序。在这期间,我们发现80%的需求方都容易犯如下一些致命的错误:小程序到底是什么不清楚,盲目要求要做小程序。感觉做个小程序很简单,所以描述需求的时候非常模糊。急着想要报价,在自己对需求不确定的时候就要报价。然后就按这个报价开始做。不知道自己要什么,想做个派单平台说要做的是滴滴出行。缺乏耐心,不明白也从未想过自己要做的东西有多复杂。自己不知道要做的东西的具体功能,需求要靠服务商来猜,而且还要即时得到报价。事实告诉我们,这些问题一定会导致以下结果:产品做出来跟自己想的完全不一样。在外包项目中,有超过一半的甲方项目经理由于项目失败而被迫离职/降职。产品上线的时候漏洞百出,反复修修补补解决不了问题,最后必须推翻重做。误把自己都不确定需求时得到的不靠谱报价当做真实报价去开始做预算,导致后期资金预算跟不上,继而导致项目失控或者烂尾。同时,在为需求方做咨询的时候,经常会提到以前找的某某服务商太坑,做的东西很差。仔细一问会发现原来客户自己在项目开工之前对自己的需求是完全不清楚和不确定的。就这样稀里糊涂就开工了,以为服务商会帮他完善剩余东西。实际上,并不会有任何一家服务商会去帮客户在开发中途完善需求。原因很简单,需求想的越仔细开发成本越高。一般根据需求的细化程度,开发成本差出来几倍到几十倍都很正常。10万的项目,如果需求将所有细节都呈现出来几十万的成本都不够。这也导致有时候需求方问报价,不同的开发商会差许多倍的原因。其根本原因是对同样一个需求的理解是完全是不一样的。负责任的服务商会仔细的问你需求细节,而不负责任的服务商上来就给你报价。人总是有惰性的,一旦要涉及思考的时候都有惰性心理,所以需求方们一般会讨厌这种耐心并仔细问需求的开发商。反而喜欢什么都不问,实际并不知道你要做什么,但是先报个超低价吸引入坑的开发商。最后带来的结果就是前面提到的那种情况,项目直接失败;或者中途被黑心开发商宰一把,狠狠加价(原来1万成本可以实现的功能中途要5万)。因为已经选了这个开发商了,要么做到一半放弃,要么继续加钱。大部分需求方都不想前面投入一半的预付款打水漂,而又不知道加这么一个功能到底会增多少钱。这时候已经没法再去选其他的开发商再进行尝试,所以会无奈选择做下去。投入如无底洞常见的问题我遇到的最常见的例子,就是需求方上来就问能不能做小程序?做一个小程序多少钱?或者说要做个类似滴滴、大众点评或者类似与某某某(一般是某个行业的标杆软件)一样的小程序多少钱?第一种:问能不能够做小程序?一般这么问的需求方对小程序的概念都缺乏了解,认为小程序无所不能;但本质上小程序与之前的网站,H5移动端,App一样,是属于一种应用展现的载体。目前,在中国市场即将步入微信互联网的时代,小程序作为利用微信的一个载体方式,将会对很多消费端应用造成革命性的影响。但需求是不是适合以小程序的方式来展示,其实还是要结合业务需求来综合考虑。举个例子:如果一个只给企业内部员工使用的应用,如果用小程序来展现就不是最优选择。另一方面,小程序作为微信的创新性应用,腾讯本质将它定位于降低技术开发门槛的应用,所以对于绝大多数业务需求方来说,是否有靠谱的产品经理来结合小程序特性与实际业务需求来设计产品才是至关重要的。由于腾讯一直对于小程序的特性做迭代修改,负责项目的产品经理能持续对于新事物的转化与学习能力也是考核标准。第二种:问做一个小程序多少钱?其实问这个问题就好像你到4S店问,一辆车要多少钱?车有10万的家用轿车也有100万的超跑。车根据用途(轿车,越野,跑车,赛车,公交也是车)、配置、引擎、装置不一样,价格和成本是天差地别。同理,你来问小程序也是一样的。必须表达清楚自己的需求背景,用于什么场景,期望小程序能解决什么业务问题。开始就问价格,不亚于你去问汽车4S店,我就是要一辆车,你告诉我价格就行了。第三种:我要做个类似滴滴出行/大众点评,或者类似与某某某(一般是某个行业的标杆软件)一样的小程序多少钱?这么问的大多数的需求方是创业者,很多人说不清楚自己要的是什么。可能只是看中了比如滴滴出行的派单,但是描述的时候说的是跟滴滴出行的需求类似。而滴滴出行的派单功能本身实际只占整个软件系统功能的百分之一都不到。同理,有的是看中了是某个行业的标杆软件,例如某个自媒体的阅读小程序:具有智能排序,多人分享阅读,视频展示、书签标注等功能。如此复杂功能也是基于业务的需求,通过不断迭代开发而产生聚合效益的结果。但是需求方开口就提是否能给做一个功能完全一样的小程序,绝大多数开发商其实完全不明白具体要实现什么功能。因为虽然功能需求一样,但极大可能性业务逻辑完全不同,所以无法完全仿做。(如果业务逻辑也完全一样也无需报价方案,直接采购SaaS服务即可,稍后我们会提到。)为什么不能是完全仿做?大家看到的貌似简单的滴滴打车或大众点评这样的小程序,都是基于大公司已经非常完善的后台架构进行扩展的,绝大多数需求方只能基于小程序的用户界面来判断难易。但实际上最复杂的一块恰恰不是基于小程序的展示界面,而是后台的处理逻辑,这些大公司后台细节的复杂程度超乎大家的想象。每个的软件研发成本都是过几百万,乃至几千万的(特别是复杂的后台)。如果是行业中的标杆软件,也是不断结合自身运营与业务需求不断反馈而达到的效果。对于从0到1的产品制作来说,一定需要避免由初期较薄弱的业务运营来支撑一个复杂的产品逻辑。举个例子:比如搜索功能,最简单的搜索功能可能开发一下就是几个小时的事情,这种搜索可能在几千个,几万个商品数据的时候还能正常运行。但是如果商品数据有几百万条,这时候肯定会崩溃。不仅仅是商品数据会起到影响,比如你搜索功能是支持模糊搜索(即输入的关键词可以有偏差)还是精准搜索。模糊搜索能模糊到什么程度,讲究都是很大的。蘑菇街/拼多多这样大平台的搜索功能,就是需要十几个人的开发小组常年去进行开发和优化,养这些人的成本一年就是几百万上千万。大家现在就可以打开蘑菇街的搜索功能仔细看看它有多少细节(文字/图片搜索,地域,价位筛选,搜索结果排序,热门等等)。有些人可能会觉得,这是大公司所以才需要。在初期需要考虑的这么细致吗?但是基于我们的经验,可以很明确告诉大家,非常需要!等到错误发生了再去解决,所要付出的成本是非常巨大或者会直接导致失败。大公司不仅仅是因为是大公司才做得细致,是因为做得细致才能成为大公司。同时,在没有充分的需求沟通前,不要寄太大希望服务商来为你出主意。绝大多数立即给报价的公司只会告诉你这件事很简单,你快做吧。作为需求方,如果你无法表达清楚具体的使用场景与功能需求,最后吃亏的一定是自己。另外,如果寄希望于这样类型的公司为你去思考产品细节,他们只会偷换概念,偷工减料。因为这样做就可以呈现出更低的报价并增加客户选他方案的概率。比如一个购物车功能包括,加入购物车,从购物车移除,添加/减少购物车内某个商品的数量,直接输入数字修改商品的数量,批量付款。这些功能里面很多开发商就只会做一个,大部分开发商不会考虑其他的。而需求方会认为,蘑菇街/拼多多都有啊,为什么没做?(大家看到的一般都是行业标杆并且是很成熟的产品)。但需要知道,这种基本的研发成本是亿级别的,而且经过了很多轮次的迭代与更新。这里列举最影响小程序软件质量和成本的因素,方便大家接触到合适的服务商并掌控项目质量。如何做小程序?现在市场上存在的几种小程序的开发方式如下:使用Saas服务直接生成由于小程序的第三方分发特性,有很多技术实力强的云服务厂商,会结合一些具体的应用场景(例如:企业展示,电商)做大量的小程序框架。需求方可以通过云服务厂商提供的配置界面,通过插入文字,图片与商品的方式,一键生成小程序。目前在市面上x分钟生成小程序绝大多数都是基于这个方式来做。例如:有赞、小电铺的小程序电商方案,以及上线了的小程序企业展示方案都是其中的佼佼者。随着精益创业思想的普及,绝大多数需求方都能结合自己的业务特性来选择合适的云服务。但缺点是除了内容文案方面可以由客户自己编辑外,其他的功能与界面布局基本无法进行任何变化。我建议如果需求方的业务逻辑完全契合此类服务,就应该尽量使用。因为比起之后的二种定制化服务来说,使用Saas服务生成的小程序性价比是最高的。用后端云服务开发将小程序的服务器租赁、维护等后端的开发和部署部分交给后端云服务提供商,而将主要资源投入到小程序的前端产品设计与研发上,这样节省了开发资源,也缩短的项目周期。例如:知晓云,bmobcloud,leancloud等都是比较优秀的提供商。缺点是由于后端云服务的黑盒子特性,性能上会有不稳定,与安全性的风险;同时对后续扩展开发与功能升级也有局限性。我建议业务需求注重前端展示,而后端功能较轻的小程序可以使用此开发模式。例如各类纯展示类小程序:对界面与展示要求非常高,但没有太多的后端功能,使用这种模式就非常恰当。原生开发原生开发是目前最常用和最成熟的方式,越重视细节成本越高。我建议大家在预算充足的情况下,都使用原生开发的方式。模板方案另外再聊聊模板方案,目前看到市面上多小程序模板方案,不可置否使用成熟的模板解决方案能节省很大的成本,小程序也不例外。但是模板方案也一样价格存在巨大的差异。同样的一个行业方案模板可能价格也上下差出来十倍,原因也是因为细节功能完全不一样,可能功能差了十几倍。如果你在买之前不仔细观察细节功能,那么一定会出现购买后完全不能使用的情况。原因是模版不是为你的业务定制的,需要再进行二次开发。考虑到定制化的需求服务,其业务逻辑都有其独特性,绝大多数情况也无法直接拿预定制的模版进行运营上线。写在最后随着腾讯对小程序投入力度越来越大,基于微信庞大的流量,与灵活传播路径;并配合近期推出的小程序的插件市场、APP直接跳转分发等新举措,对于核心竞争力不在IT行业的业务来说,依靠小程序进行数字化转型的确是一个弯道超车的机会。广东优联互通科技有限公司有丰富的资源优势,成熟的经验优势,强大的技术优势,优质的服务优势;根据客户的实际情况进行开发设计跟SEO优化,从而更快更有效的部署软件产生效益,满足企业的市场需求。需要可加微信13539285443详谈!

2021年01月07日 18:07

网站一定要做SEO吗?

根据人们的使用习惯和心理,在搜索引擎中排名越靠前的网站,被点击的几率就越大,相反,排名越靠后,得到的搜索流量就越少。据统计,全球500强的公司中,有90%以上的公司在公司网站中导入了SEO技术。

2020年09月08日 10:45

获韵达超6亿元战略入股 “全面结盟”能否救德邦于水火之中?

每经记者赵雯琪每经编辑王丽娜图片来源:每经记者张韵摄快递公司联姻的戏码再度上演,而这次发生在通达系“老二”和正处于转型“阵痛期”的德邦快递之间。5月24日晚,韵达股份(002120.SZ)发布公告称,拟通过全资子公司宁波福杉作为战略投资者,拟以自有资金和自筹资金认购6.14亿元,拟认购德邦股份(603056.SH)约6674万股股份。交易完成后,宁波福杉将持有后者股权比例约为6.5%。这也意味着,韵达将成为德邦控股的第二大股东。一直以来,快递市场风云变幻,合纵连横总有发生,但是像韵达和德邦这样的头部上市公司的抱团尚属首例。而寻求独立发展的德邦快递则成为如今市场上少有的不结盟快递公司之一。不过在2018年宣布转型从零担市场杀入快递红海后,德邦快递至今仍处在利润与估值大幅下跌的转型“尴尬期”,选择此时牵手韵达,或许可以理解为德邦自救的一种尝试。快递专家赵小敏在接受《每日经济新闻》记者采访时表示,联手韵达意味着德邦的经营思路发生了本质性变化,改变了过往单打独斗的局面,但是拥抱韵达也仅仅只是个开始,德邦未来还需要讲更多新的故事。值得一提的是,就在宣布获得韵达投资后,德邦快递股价在5月25日收获涨停,从独立发展到走出“开放第一步”,德邦与韵达将产生怎样的化学反应,也为整个行业留下不小的悬念。双方结盟意在进一步提升市场份额自2018年宣布更名并正式进军快递市场后,处于转型阵痛期的德邦快递日子并不好过,而与业务量在2019年刚刚突破百亿、但在大件快递布局遇挫的韵达联盟,对于双方来说或许都是一种转机。根据双方披露的公告,本次非公开发行A股股票的发行价格为9.20元/股,韵达全资子公司宁波福杉拟认购德邦股份本次非公开发行股票完成后,将持有德邦股份的股权比例约为6.5%,并将向德邦股份委派一名非独立董事。募集资金将用于德邦转运中心智能设备升级和IT信息化系统建设项目。值得一提的是,在公告中,双方将实现共同提升市场占有率、进一步凸显规模效应列于首位,随后还提出包括降本增效,加强双方市场竞争力、增强双方的持续盈利能力,及提升品牌价值等合作目标。公告显示,双方结盟后将带来市场、网络、销售渠道等战略性资源,促进上市公司市场拓展、成本下降,推动实现上市公司业绩稳步提升。具体来说,德邦与韵达将在市场拓展、网络优化、集中采购三个方面展开全面合作,其中包括推进实现销售资源共享、全网或部分区域优先向对方共享转运中心、运输车辆和末端网点及相关业务资源、集中采购各类装备和材料,实现规模化集采降本等。而在业内看来,此时结盟韵达,或许可以将德邦从业绩下滑的泥潭中拉出来。德邦股份4月30日发布的2019年业绩报告显示,德邦2019年实现营业收入259.22亿元,净利润为3.24亿元,与2018年净利润7亿元相比下滑53.82%。德邦方面表示,相关投入一定程度上影响了公司短期经营业绩,但基于长远战略考虑,不断夯实的基础建设、扩大的人力布局、增强的科技水平,有利于公司保持长期稳定健康、可持续的发展。与此同时,2019年度,韵达股份快递业务量首次突破百亿级,也成为七家上市快递公司中继中通快递之外第二个实现该业务量的公司。年报数据显示,韵达在2019年业务量达到100.3亿件,同比增长43.59%,增速连续4年运行在40%以上高位,市场份额达15.8%,排名行业第二。而另一方面,虽然市场份额持续提升,韵达快递长期深陷“价格战”泥潭,而在2019年,其快递试水快运业务道路坎坷,因产生较大亏损而从上市公司中剥离。赵小敏表示,选择在这个时候入股德邦,对于韵达快递来说是一个“抄底”的价格,同时也为德邦带来趋势改变的可能性,不过对于德邦来说,拥抱韵达后最终业季和经营效率能不能改变,需要看未来两个季度的表现。“而对于韵达来说,与德邦联盟将有助于其发展此前遇挫的快运业务,不过如何将德邦快运与韵达重货业务打通,双方形成共享还将面临很大挑战,两家公司要进行比较大的合作动作还要等到明年。”他表示。快递业进入加速整合新阶段?德邦与韵达的联合对于整个快递行业来说无疑是一枚重磅炸弹。实际上,合纵连横在快递市场总有发生,但是像韵达和德邦这样的头部上市公司的抱团尚属首例,而这也意味着两家公司的强强联合必将掀起行业的新一轮洗牌和竞争。值得一提的是,在4月底的年报中,韵达对外证实了传言已久的“阿里入股”消息,至此,阿里巴巴已持有国内6大上市快递企业中的5家加盟制企业股份。在业内看来,阿里入股“四通一达”会加速整个快递行业的转型升级,传统快递公司将大大提升经营效率,同时也将掀起快递行业新一轮的整合并购潮流。赵小敏认为,此次6亿元的投资并不能在短期内让德邦提升市占率,更多的是两者合作带来的想象力。疫情影响下,快递行业的集中度不断提升,但能否回到高增速仍有众多不确定性,今后快递企业之间的结盟、合作还会更多,并不断加速。与此同时,受到疫情影响,已披露数据的快递公司在营收和利润方面均有大幅下跌,而这或许也对其整年的业绩和公司此后的竞争策略形成一定的影响。在赵小敏看来,未来的半年到一年,业绩不是主要的竞争点,核心在于各个快递公司是否会讲出新的“故事”。具体来讲,圆通将迎来20周年,立志要扭转局面;申通的“故事”还在延续,并将可能迎来彻底的“新生”;中通快递在加盟制中的地位暂时无人能超越,目标已经定在“绝对领先”;百世的全面开花的战略也开始调整,有望回归“聚焦”,证明自己有很大的竞争力,与此同时,达达率先IPO之后,京东物流也即将IPO,即时配送、车联网以及商超、农村等与供应链、物流上下游息息相关的领域也将诞生新的故事与悬念。“过去10多年,中国快递行业是在中国经济红利中高速成长起来的,接下来将真正回归于行业规律,一些原始化的发展模式将逐渐淘汰,而整个行业整体的产量将越来越大,行业整合的看点也越来越多。”赵小敏表示。截至5月25日收盘,韵达股份股价为32.48元,较前日上涨1.50%,市值为723.10亿元;德邦快递涨停报收13元,市值为124.80亿元。

2020年05月26日 11:19