一、背景
对于现代企业来说,数据是信息化的血液,是企业最核心的资产。缺乏数据标准化,数据质量差是全球企业普遍面对的一个战略问题。在企业数字化转型之路上,数据治理就像一条枢纽,连接着企业业务的命脉,为企业发展提供新鲜血液。而如何搭建这条枢纽,为企业保驾护航、清除障碍,是需要重点考虑的关键。
在数据治理过程中可能遇到各类难题,例如物料主数据分类标准不统一,存在数据“脏乱差”等情况,导致企业业务流转受到影响。
针对该问题,一般情况下,在数据流转过程中,通过校验方式确保数据的唯一性、完整性。同时对已产生的“脏”数据,采用手工清洗方式,包括线下EXCEL、线上手工编辑、线上模板导入等对数据进行纠正。
但是传统方式下,问题数据需要人工处理,工作量较大,处理效率较低,且或多或少存在疏漏,无法保证数据准确度。
三维天地打破传统模式,结合AI技术,例如物料智能分类、自动清洗、相似度检测等,进一步提升了数据治理的效率,保障了数据质量。
二、AI在数据治理中的应用
三维天地自主研发的主数据管理平台,结合AI技术,在物料主数据申请、审核、查询等环节中进行应用。物料主数据申请时,系统可结合机器学习算法,采用模型训练方式(如图1)实现自动分类功能。支持输入描述,自动识别特征值,并准确对应到相应的分类模板,如图2。
物料主数据审核时,使用机器学习算法,自动对物料类别归属进行判断、对属性值进行校验和纠错,若不符合校验,则自动提示错误原因,待审核的数据达到特定要求后可自动审核通过,如图3。
物料主数据查询时,支持检索界面和检索功能,支持语义判断功能,对用户输入的物料描述和系统中已存在的物料描述进行比对,按相似度匹配查询结果供用户选择,如图4。
数据清洗是数据治理中的重要环节,旨在去除无效、重复、不完整和错误的数据。三维天地结合了AI技术,应用于数据清洗的各个方面,包括数据去重、缺失值填充、异常值检测等,如图5。
三、AI技术的缺陷
同时,AI技术仍存在或多或少的缺陷,例如高成本问题、数据偏差问题、缺乏“常识”等。
3.1. 高成本问题
人工智能模型,通常需要大量的计算资源和存储空间才能进行训练和应用,这对于一些资源有限的设备或环境来说是一个挑战。此外,AI技术还需要在最新的硬件和软件上运行,以保持更新和满足最新的要求,因此成本较高。
3.2. 数据偏差问题
人工智能系统需要大量的数据来进行训练和学习,但是这些数据往往存在着偏差。例如,在物料类别智能识别时,由于训练数据集中,可能只包含了某类物料,这就导致了在识别其他类别物料时,可能会出现误判的情况。
3.3. 缺乏“常识”
人工智能系统往往只能根据训练数据进行决策与推断,缺乏像人类一样的“常识”。例如,在一个关于餐桌的场景中,如果桌子上只有餐巾纸、餐盘、餐具等物品,但是缺少食物,人类很容易推断出这个餐桌是空的,但是对于人工智能系统来说,如果没有特别训练,可能会出现误判的情况。
尽管人工智能存在缺陷,但其对全球产业的影响是不可否认的,它始终是计算机科学的前沿学科,计算机编程语言和其他计算机软件都因人工智能的进展得以存在。
四、总结与展望
未来,数据治理需更加注重效率。在保障数据的一致性、完整性、及时性、稳定性的同时,减少人工工作量,实现降本增效。
此外,数据治理从根本上讲是关于组织行为的,AI技术也只是起到辅助的作用。要想高效高质量完成数据治理,仍需要企业各业务部门人员的参与。
企业需要在保护数据安全的前提下,积极推动AI技术的应用,建立规范的数据治理机制,促进数据的共享和互联互通,实现数据的价值创造。
从国家发展视角来看,AI技术未来的发展也十分重要。作为科学研究和技术创新的重要工具之一,人工智能不仅有助于人们更好地理解自然界和人类行为规律,而且能促进社会进步与发展。人工智能是国家竞争力的重要组成部分,国家要加强人工智能领域的发展,提高生产力和效率,降低生产成本。
其次,从企业发展视角来看,人工智能可以帮助企业做出更好的决策,提高运营效率,实现企业的数字化转型。
人工智能技术在数据管理中的运用,未来将更加强调数据质量,强调数据安全与隐私权益的保障,将推动数据的共享与公开,以助力企业实现更高的商业价值,并同步推动国家信息化建设的深入与经济的持续发展。