这款NLP神器火了！关键词提取、结果可视化，从小白进阶大神
快速优雅地处理NLP数据集
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
如何快速优雅地处理你的NLP数据集？
试试这款号称「从小白到大神」的Texthero的工具包。
不仅编写快速简单，而且功能全面，预处理、表征、可视化样样精通，在Reddit上17个小时内就获得了近1.1k的热度。
连刚脱机的NLP程序猿看了都想与数据集再战几回：
下面是Texthero的使用效果。
△ 优雅美观的NLP数据处理效果
事实上，Texthero的优雅绝不仅仅在于友好的上手度，最关键的是，它省略了大量重复性代码编写工作。
只需要几行代码，Texthero就能帮你完成想要的数据预处理、表征、可视化等操作，极大程度上解放了你的双手。
来看看Texthero进行数据预处理、各种算法后的可视化效果。
效果展示
首先，进行文本清理，然后采用TF-IDF算法进行特征表示，并对此可视化：
PCA降维后的效果duangduang的：
△ 进行文本清理和TF-IDF表征后的可视化效果
这不是你想要的？
那么，除了预处理和表征外，试试加上K均值聚类算法，并进行可视化：
效果如下：
△ 进行预处理、表征和K均值聚类算法后的数据效果
经过K均值聚类算法处理后的结果一目了然。
不仅运行快，加载代码后，结果会生成在在同一个界面上，整体逻辑流程显得非常明了。
△ 使用效果
从展示效果来看，Texthero只需要编写少量代码，就能得到你想要的结果，为数据处理省去了不少时间。
事实上，只要掌握基本使用逻辑，萌新也能快速上手这款NLP数据处理神器。
使用指南
pip一下texthero后（或从GitHub上直接下载工具包，文末附代码链接），采用import导入它和pandas：
之后，加载你需要处理的文本信息数据集（这里采用了BBC sport数据库举例）：
然后就可以开始使用了：
预处理
如果需要进行快速的数据预处理操作，直接使用「文本清理」就行：
当然，如果你需要对文本信息进行更细节的处理操作，例如将所有标点符号替换成空格、或者删除<>中的所有内容，Texthero也提供了非常完备的工具包，以供使用。
△ 光是预处理栏目就有这么多工具
再也不用编写一大堆代码，专门清理文本中的冗余数据了。
表征
同样，如果需要进行TF-IDF算法特征表示的话，同样只需要几行代码就能实现：
一键出结果：
如果需要更多的算法，这里也有meanshift、NMF等算法可以选用，每种算法基本都集成在一行代码中，你想要的这里都有。
可视化
而在可视化方向上，Texthero同样展现出了强大的能力，这里以PCA降维后的结果进行展示：
可视化效果非常清晰：
同样，可视化也可以自定义颜色、结果展示维度等，只需要一点Python的知识就能快速使用。
这么方便的NLP数据处理工具包，赶紧用起来～
传送门
代码链接：
https://github.com/jbesomi/texthero
项目链接：
https://texthero.org/
- 首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为2023-12-13
- IDC霍锦洁：AI PC将颠覆性变革PC产业2023-12-08
- AI视觉字谜爆火！梦露转180°秒变爱因斯坦，英伟达高级AI科学家：近期最酷的扩散模型2023-12-03
- 苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型2023-12-07
相关阅读
AI攻破高数核心，1秒内精确求解微分方程、不定积分，性能远超Matlab
