编者按：

       当前，数字经济风起云涌，公共采购领域的数字化实践、国有企业采购与供应链的数字化转型方兴未艾。

       为总结近年来公共采购和国企采购领域在采购管理和采购执行中的新趋势、新成绩、新特点，中国物流与采购联合会公共采购分会、采购与供应链管理专业委员会启动了“2021年公共采购和国企采购示范案例”征集活动。

       近期，案例征集活动尘埃落定。经过专家组评议，42篇示范案例脱颖而出。中物联采购委公众号平台、中物联公共采购分会公众号平台将对相关案例进行逐一展示。本期关注的是数采小博：小博采购机器人助力企业采购数字化、自动化、智能化转型升级创新案例。

数采小博：小博采购机器人助力企业采购数字化、自动化、智能化转型升级

报送单位：数采小博科技发展有限公司

小博采购机器人

       （一）方案背景

       在深化改革、政府简政放权、优化营商环境的大背景下，随着云计算、大数据、人工智能、5G、区块链等技术的广泛应用，技术的发展推动了采购业务数字化升级的进程，政府、企业、高校对采购管理改革也不断深入。特别是近年来国央企采购利用电子商务和现代互联网、云计算、大数据、区块链技术建设的线上采购平台，充分发挥了电子商务高效率、低成本和透明化的优势，极大地提升了采购业务长期以来被诟病的效率问题。

       但是，随着线上采购平台对采购流转效率的提高以及采购商品数据规模的增加，对各个国央企的采购部门提出了新的挑战，尤其是面对新时代下采购平台的海量商品数据，企业如果不能及时、高效的解决采购管理中的重点、难点问题，那么由此引发的质量、价格、服务将更加严重。为此，数采小博通过多年来政府、国央企、银行等的采购平台项目建设、管理、运营的一些经验，从2014年起开始了采购平台商品价格管理的探索和研发，经过多年的积累与提升，最终梳理出了小博采购机器人这一核心产品，从实施效果看，基本实现了数字化、智能化的监管。

       （二）行业痛点

       1.商品库无统一规范的标准

       商品价格管理一个重要的基础是标准化的商品库，而目前行业内各供应商基础本上是根据各自的管理要求建立商品标准、规范，甚至末级品目的名称也不尽一致，如空调有的供应商未级品目是立式空调、壁挂空调、吸顶空调，有的末级品目是空调，而将立式、壁挂、吸顶等作为参数。在商品没有统一的标准规范下，商品聚合就存在困难，对商品进行比价基本做不到。另一方面，生产厂商、代理商、供应商也用各种手段使产品差异化，包括渠道差异化、区域差异化，哪怕是这些差异化商品的关键配置是一样的，人为制造各种不可比来达到商业的目的。

       2.各采购平台商品价格信息不共享

       目前国内的采购平台供应商服务能力不一，商品的价格也高低不同，即使是同一个供应商也会针对不同地区、用户的采购平台进行差异化的价格供货，在目前的政府、企业、高效采购平台均独立建设的模式下，商品价格虚高、厂商供应商差异化价格问题不容易发现，商品的价格管理就存在问题。

       3.商品数据智能识别需要大量数据的积累

不同标准的商品按统一标准识别并输出，需要较多的商品管理经验及更多的、时间更久的数据积累，再持续地对商品智能识别算法进行优化，将机器人深度学习应用到商品管理，辅助人工不断纠错，往复循环地不断改进与培训机器人，让机器人能力更强大，需要大量的数据来支持，不断的优化，积累经验。

       （三）解决方案

       数采小博科技发展有限公司作为国内一流的采购数字化解决方案提供商，凭借国央企成熟的采购平台的建设经验，研制“小博采购机器人”产品，以大数据、NLP、AI、RPA等技术赋能小博机器人，通过“平台+运营”的模式，助力企业采购数字化、自动化、智能化转型升级，提升企业采购管理规范化、标准化、精细化，专属的智慧采购专家。

       基于“小博采购机器人”互联网大数据、人工智能、AI算法等先进技术实现海量商品的数据整理工作，为采购平台接入的商品进行打码归一处理。实现商品标准库建设、商品价格监测管理以及全网比价服务，助力企业采购降本、增效、阳光、合规。

小博采购机器人总体架构

       1.数据智能集采

       通过智能爬虫、PRA机器人、DTS数据传输和API数据接口等方式采集全国16家以上省级政府采购商城、20多个厂商官网、15个大型综合电商自营及多家小型行业电商平台的商品信息，通过定时更新和触发更新的机制，确保采集商品信息与其来源网站一致、同步，采集的商品数据有效、可用。

       2.建立标准商品模版

       建立商品标准模版是对不同来源、不同定义属性的商品进行归一管理的前提，商品标准模版数据来源两部分，一部分品目由厂商建立，一部分依据综合电商及多个政府、企业采购平台商品标准，经过严格的评估确定。商品标准模版包括参数项、参数值，参数项分为关键参数、销售参数、比价参数及一般参数等标签。

       3.商品智能归一

       将获取到的不同来源、不同描述标准的商品运用RPA机器人和深度学习及人工审校的方式，逐个分析不同来源的商品描述定义，按统一商品属性标准和商品相似度值进行聚合、归一识别打码处理，同码的商品即为同款商品。

       4.建立比价商品库

       通过智能商品归一后形成的商品池，是实行全网价格监测的价格参照来源，目前标准商品库沉淀累计有3000多个品目700多万个商品2000多万个价格数据。

       5.合理价模型管理

       根据国内采购平台应用情况看，应用单一价格管理模型往往在部分品目管理中存在不足，价格模型根据可以应用情况不断优化，包括对价格时间分布加权、销量加权及品牌附加值加权等，使监测结果更加准确，符合市场和采购政策要求。目前常用的合理价模型包括最低价上浮合理价法、系数权重合理价法、算术平均合理价法、四分位平均价等。

       6.监测统计报表（报告）

       由于监测范围商品价格动态调整，商品的合理价也会调整，“小博采购机器人”定期对采购平台上架商品进行抽查或全网巡查，高于合理价商品自动生成价格监测报告，并对来源参照商品的价格进行快照存证，确保在需要时可以佐证商品下架的合理性。

       （四）方案特点

       1.大数据商品标准化

       大数据商品标准是依托博思深耕政府、国央企及高校采购多年，甄选各政府、企业采购网站，结合京东、苏宁等大型电商网站，借鉴第三方专业平台，通过自研算法和人工整理、审定，将不同高低维度的商品数据，输为同一维度且标准统一的结构化数据，最终形成一套商品基线库。截止到目前，“小博采购机器人”标准库中标准化品目以达3000余个，其中政采品目相关商品700多万，标准品牌2.4万个，标准参数项7.2万个，标准参数值23万多个。

       依托成熟的大数据商品标准体系，数采小博不仅可基于标准商品库为用户提供多种商品标准化服务，还可结合用户行业采购政策、业务特点及客户需求，为用户建立自有的行业标准商品库，提高用户自身商品清洗、商品标准能力，提升采购平台商品管理水平。

       为采购平台服务提供标准接口，建立标准化的品目、品牌、型号、图片、属性参数、参数值等，并形成相关的增加、补充、优化机制，保证商品管理规范同步市场。

       2.AI商品归一算法

       商品归一算法是基于人工智能NLP实现的判断两个或多个商品是否指向同一客观实体（是否对应的同款商品）的算法。归一的大致处理流程如下图所示。

       （1）流程一：商品核心字段提取

       “小博采购机器人”从非规范化的商品标题、属性信息中提取品牌、型号等核心数据，解决商品信息中存在的信息输入不规范的问题，提高商品信息的准确性，减少冗余信息。

       （2）流程二：基于语义召回和核心字段同一关系扩展的SPU预划分

       “小博采购机器人”通过使用上一步的核心字段提取，以及将商品标题语义向量化操作，将商品进行SPU的预划分（大范围的预选筛选）。对核心字段相同的商品识别为“内部商品”，对部分核心参数相同且可通过语义召回的商品识别为“扩展商品”。

       （3）流程三：基于商品相似度的SPU划分

       “小博采购机器人”通过上一步的初步归一之后，对“入围”的商品数据再进行更为细致的筛选，通过计算两两商品之间的相似度，对“内部商品”和“扩展商品”筛选出高相似度的商品数据作为最终的归一结果。

       （4）流程四：基于关键属性的SPU划分

       “小博采购机器人”针对特殊类目的一些商品数据，在做相似度计算的时候需要精确到更细化的关键属性维度（例如硒鼓颜色、纸张克重等），需要对这些类目的商品单独做预定义的关键属性抽取。

       3.大数据价格监测

       目前“小博采购机器人”已经积累2000多个标准化品目，含60余个电商平台品目、40多个采购平台商品目录，10多个政府与企业平台商品目录，总计700多万个比价商品数据。针对采购常见的140类商品目录，监测准确率可达90%以上。

       通过大数据价格监测，可为采购用户构建数字采购核心要素体系，并实现以下目标：

       （1）确保上架时商品价格不高于合理价

       商品上架前，系统对商城商品价格进行监测，高于该商品的合理价时，系统不允许商品上架，并提示供应商当前维护价格高于市场合理价，由供应商进行价格调整或向业务主管部门提出申请查价，同时业务主管部门可查询统计因价格偏高而被拦截的商品情况。

       （2）对上架后商品实时更新价格并管理商品

每天系统对上架商品的价格进行全盘扫描，对于价格高于市场合理价的商品进行自动下架，并将下架商品信息推送给供应商，同时业务主管部门及运营人员后台可查询。

       （3）定期出具监测报告促进商品规范管理

       每月或每季度抽查部分品目和商品，进行全网价格监测，出具价格监测报告，作为对违规供应商、商品处理的依据，并提出合理化建议，不断提升商城的服务质量，促进商城规范管理。

       4.合理价格分析模型

       （1）最低价上浮合理价法

       最低价格合理上浮是根据监测采集的全部价格，包括电子卖场及竞价结果、电子商务平台、厂家等价格，考虑到政企采购对售后服务的要求及货款结算周期等因素，根据不同的品目、价格区间以监测到的最低价为基数设定不同的上浮系数。

       （2）系数权重合理价法

       系数权重是指按不同行业、不同地区、不同数据源等属性，设置对应的价格系数，在分别按行业、地区、数据源等属性计算合理价后，分别乘以对应系数再累加，即为系数权重合理价。

       （3）算术平均合理价法

       “算数平均价”应该说是有法律依据的管理方法，《政府采购法》第十七条要求“集中采购机构进行政府采购活动，应当符合采购价格低于市场平均价格”。算法相对简单，针对获取到的同款商品全部价格数据进行平均计算而来。

       （4）四分位平均价

       四分位是统计学中分位数统计分析的一种，与常见的中低高三分位数相似，即把所有数值由小到大顺序排序，并分成四等份，处于三个分割点的数值就是四分位数。第一四分位数又称较小四分位数，是该样本中所有数据由小到大排列后第25%个数字的数值。

       （5）置信区间平均价法

       此算法是将采集到的商品网上销售价、历史成交价按正态分布成样本集，按科学的算法筛除价格样本集中两端正负偏离较大的价格，形成一个可信的价格区间，称为置信区间，再计算置信区间的平均价。

       上述几种管理方法，是在应用中不断总结和摸索出来的，各有优劣，需要结合网上商城、供应商、商品的管理要求选择应用或组合应用，并动态调整优化。公共采购大数据价格监测平台支持用户按管理要用灵活配置价格管理模型的要求。

       （五）技术特点

       1．人工智能-NLP自然语言识别技术

       “小博采购机器人”在商品归一打码过程中应用NLP自然语言处理技术，可实现对标准化商品库中的海量商品数据进行归一分组、阈值匹配以及商品特征断言。其中主要算法模型包含：

       Transformer 模型：用于商品的特征（品牌、型号）提取

       BERT 模型：用于商品的相似度计算（文本蕴含）、类目预测中的商品特征提取

       Milvus：用于商品名称（商品标题）的语义向量索引和召回

       Cosine 余弦相识度：类目预测中提取的商品特征与预训练的类目特征的相似度计算

       TF/IDF：辅助召回更多的可能的同款商品数据

       2．大数据数据处理应用技术

       “小博采购机器人”经过多年的市场积累，目前商品数据已达千万量级，并商品数量还在以每月10%的速度增加。面对如此海量的商品数据，“小博采购机器人”采用了包含Kafka、Spark、hbase、zookeeper、Hadoop在内的多项技术大数据应用处理技术来提升业务处理效率。

       Kafka技术：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。

       Spark技术：提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。

       Hbase技术：是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可低成本的快速搭建起大规模结构化存储集群。

       Zookeeper技术：ZooKeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

       Hadoop技术：Hadoop实现了一个分布式文件系统，支持充分利用集群的威力进行高速运算和存储，提供高吞吐量来访问应用程序的数据，提升数据处理能力。

       3．企业级流程自动化RPA技术

       “小博采购机器人”在面对新时代的采购平台海量的商品数据时，可为采购用户提供RPA技术，通过模仿人的方式，自动执行一系列的业务流程，如特供专供商品智能识别、商品信息智能识别监测、商品智能比价等服务，可实现7*24*365无间隙工作，相当于人工15倍的超高工作效率，使业务能够以零错误率执行大量重复性任务，从而大大降低企业运营成本。

       （六）应用场景

       1．商品特供专供识别

       通用类的商品采购平台中不允许特供专供商品销售，这样容易出现价采购或豪华采购现象。因此，识别特供专供也是标准商品库和价格监测服务的一项重要服务。

       通过“小博采购机器人”可对于上架的商品进行识别，如果商品在监测范围内没有匹配到销售上架信息的，或通过对商品来源网站进行追溯也无法找到与之一致的商品，系统将认为该商品仅在本网有售，并认定为是特供专供商品。针对特供专供商品，系统可执行基于规则进行智能判断，实现商品的快速审核与下架。

       2．商品信息不规范识别

       “小博采购机器人”可为采购平台提供商品信息标准体系，包括商品命名规则、商品参数完整、商品的品牌规范、品目等内容，并支持对厂商、供应商提供的商品信息进行规范化监测，如出现商品关键参数不全的，系统可自动标注为商品信息不规范，并执行下架操作。

       3．商品智能化价格审核

       “小博采购机器人”可对供应商上传的商品价格进行监测，当商品价格高于合理价的，系统不允许商品上架。同时，对于已经上架的商品，实行价格动态监管，商品合理价格将根据监测范围内的商品实时价格结合商品价格管理模型进行监测，对于超出规定范围内的商品可实现自动下架处理。

       4．自动生成价格监测报告

       “小博采购机器人”支持用户选择抽查的品目，设置监测条件，每季度系统可自动生成价格监测报告。并支持监测报告人工复核功能。

       报告内容包含：①商城各供应商高于合理价的商品数及比率情况；②商城监测品目高于合理价各个品目商品数及比率情况；③监测品目高于合理价的前五个商品及供应商；④商城高于合理价前十的商品及供应商。年度报告除以上数据统计外，“小博采购机器人”还支持提供对商城一年的情况总结报告，以及对存在的问题以及优化建议等。

       5．相似商品智能推荐

       “小博采购机器人”基于人工智能算法，从商品描述、商品相似配置、价格区间等不同维度进行分析判定，向用户推送相似度高且价格更优的商品，切实为用户便捷选品、采购降本提供方便。

       6．商品智能比价

       “小博采购机器人”在实现商品归一后，可为采购平台实现同一商品的精准横向比价以及纵向比价，并依托商品相似度比对功能，实现相似商品的价格信息，为采购人采购决策提供比价支撑。

       （七）方案价值

       “小博采购机器人”设计核心理念是为采购人提供最优性价比的服务，核心价值立足于提升企业现代化采购管理的效率与准确性，切实帮助企业实现提升采购业务流转效率，降低采购业务成本的核心目标。

       1．降成本

       利用“小博采购机器人”，完成商品归一，实现采购平台商品价格横向、纵向、全网等多维度比价，直接成本降低约15%；

       2．提效率

       利用“小博采购机器人”，可为采购平台实现商品信息标准化管理，商品价格智能化审核管理，提升采购管理工作效率约60%。

       3．促合规

       传承多年政府采购监管经验，充分运用“制度+科技”手段，结合“小博采购机器人”对商品管控的创新模式，规避特供专供商品上架、规避天价采购或豪华采购现象的出现。

       建设成效

       “小博采购机器人”运用“互联网+”、大数据、云计算和区块链技术，通过智能语义和分析系统，采集和共享多个公开的政府、企业采购采购平台商品信息、综合电商商品信息，建立统一的标准商品库，实现商品可视化、参数化，归集全国多个地方的商品价格，并运用科学合理的模型建立商品入库或下架的合理控制价，对商品上架拦截或强制自动下架和违规处理。有效控制商品价格，为商品提供全国多个地方的价格参照，并利用区块链技术对异常价格存证管理。具体体现在四个方面：

       采购需求标准化：可以通过标准商品库的标准化、规范化的商品参数管理，按要求不指定品牌、型号，而是根据技术参数要求筛选对应的商品进行竞价或直购比选；

       采购预算精准化：可实现采购平台商品信息、技术参数全部公开，可查、可选，根据预算配置要求，可以对应商品合理价格，作为编制预算的依据；

       采购价格市场化：可支持上架商品与大数据平台对比校验，要满足一定上架要求，如至少不同的两个价格来源渠道，且通过数理模型建立的合理价管理，确保采购商品“市场可选、价格可比”；

       采购监管智能化：可实现拟上架商品全部经过与大数据平台校验，上架后商品定期监测扫描，对各种监管点异常进行预警或自动化处理；自动统计各供应商的信用排名等。