Fake It until You Make It：数据合成技术，LLM时代的「血液提供商」
填补真实数据的不足，同时应对数据稀缺和隐私问题。
到2024年，60%的数据用于开发AI和分析项目将综合产生。
以上是研究机构Gartner的最新预测。
它指出，许多公司已经开始使用合成数据来训练AI模型，填补真实数据的不足，同时应对数据稀缺和隐私问题。
去年11月，一篇发表在Nature杂志上的研究也表明使用合成数据替代真实医疗保健数据的有效性。
合成数据和表格合成数据
何为合成数据（Synthetic Data）？
它是通过算法、统计模型或生成人工智生成的数据，而非真实的观测数据。
为了生成一组合成数据，需要通过算法分析原始数据从而得到原始数据中的特征分布、特征之间的关联以及特征规律等要素，再进行生成。
总的来说，合成数据具有以下优势：
- 可控性强：可根据需要控制数据的生成规则、分布特征等 ，控制合成数据部分特征；
- 数据量大：可快速生成大量的数据；
- 隐私保护：不涉及真实个人信息，避免隐私泄露的潜在风险。
那么，何为表格合成数据（Taublar Synthetic Data）？
表格合成数据是结构化的数据，具有明确的列和行，适用于需要处理大量结构化数据的情况。
相比之下，其他合成数据可能是非结构化的文本、图像或音频数据，处理起来更为复杂。
表格合成数据可以更容易地模拟真实世界中的业务场景和数据分布。
实际业务中，许多公司需要处理大量的结构化数据，如销售数据、客户信息、财务报表等。通过使用表格合成数据，这些公司可以更快地构建和训练AI模型。
为何使用合成数据？
在数据驱动的时代，真实数据在数据分析应用中的价值和效果是显著的，但收集真实数据不仅费时费力，而且成本高昂。
另外，使用真实数据进行分析并公开结果可能引发数据泄露问题，甚至法律纠纷等问题。
即使数据经过脱敏处理，现代攻击手段如数据推断攻击、数据重构攻击等仍可能恢复出敏感信息。
来自哈工大（深圳）数据安全研究院的研究人员注意到，通过使用合成数据就是一种规避手段。在某些情况下，它比现实世界中的同类产品更安全、更便宜、同样有效：
首先，更安全。
合成数据不存在现实世界数据的错误或隐私泄漏问题，可以自由共享且不会损害用户隐私
其次，更便宜。
合成数据还可以定制化地按照规则进行大规模生成。
再者，同样有效。
来自数据安全研究院的研究人员创建了一组开源组件（合成数据生成器，SDG），并由研究院的数据科学家、工程师研发了一系列配套的算法，研究人员发现，在超过80%的实际测试中，合成数据可以媲美真实数据的效果。
表格合成数据的典型应用场景
合成数据的有以下典型应用场景：
数据集不平衡：通过控制合成数据的标签、特征比例，可以有效解决数据不平衡问题；
数据脱敏：传统数据脱敏场景中，采用遮盖方法屏蔽关键信息，会显著降低数据质量，且仍存在隐私泄漏风险，使用数据合成技术替换脱敏技术，可以有效提升数据质量，并规避隐私风险。
政务数据开放：和数据脱敏场景类似，合成数据可以最大限度避免数据开放所带来的隐私泄漏风险。
AI模型训练：合成数据已经大量用于AI模型训练，用于应对数据的不足，数据稀缺，隐私等问题。
业务系统测试：合成数据可以模拟真实数据的情况，帮助测试人员在不接触真实数据的情况下进行测试，提高测试效率和准确性。
专用于表格数据合成的开源组件
合成数据生成器（Synthetic Data Generator，SDG）是由哈工大（深圳）刘川意教授团队开源的一款专注于结构化表格数据快速生成的组件。目前在GitHub上关注度已有1.8K stars，并已有多位Contributor。
SDG支持多种模型，并针对执行速度、内存等方面进行专门优化，例如：合成数据生成器处理千万级别数据，这是当前其他数据合成组件做不到的。
此外，合成数据生成器还集成了使用大模型的仿真技术生成模型，通过学习原始数据或者表格的元数据，LLM模型能够生成符合自然世界基本特点的数据表，与现有模型相比，这种方法支持无原始数据的合成数据生成，不需要进行繁琐的特征工程，仅凭原始数据表格的元数据（metadata）来快速生成数据表，节省了大量的时间和人力成本。
其示例如下图所示：
此外，合成数据生成器还支持表外特征的自动推断，通过学习数据表的元数据和用户提供的表外特征信息，大语言模型根据数据表的元数据和其所掌握的知识，生成高质量的表外特征数据。
例子如下：
合成数据生成器团队还将持续维护组件，保持对工业界、学术界的最新情况追踪，适时增加新的模型；同时会根据Issue 以及实际业务需求情况，持续添加新特性以满足业务要求。
下一步，团队将进一步推出基于大模型微调的数据合成模型。
SDG使用Apache-2.0开源协议，并设有微信技术交流群和 Slack 交流群，欢迎开发者进行使用、反馈，提出建议。
项目源码：https://github.com/hitsz-ids/synthetic-data-generator/tree/main
项目网站：https://sdg.idslab.iot
- 百度打通两大国民产品！六边形AI创作新物种「自由画布」来了2024-11-14
- AI毒液刷屏抖音小红书！闲鱼10元代生成一次，但官网其实免费2024-11-10
- 钉钉上线工单等六大场景AI助理，AI继续深入到业务中2024-11-13
- 空间智能版ImageNet来了！李飞飞吴佳俊团队出品2024-11-10
相关阅读
