near_synonym_model

near-synonym

near-synonym, 中文反义词/近义词/同义词(antonym/synonym)工具包.

一、安装

1.1 注意事项

默认不指定numpy版本(标准版numpy==1.20.4) 标准版本的依赖包详见 requirements-all.txt

1.2 通过PyPI安装

   pip install near-synonym
   使用镜像源, 如：
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple near-synonym
   不带依赖安装, 之后缺什么包再补充什么
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple near-synonym --no-dependencies

1.3 模型文件

• github项目源码自带模型文件只有1w+词向量, 完整模型文件在near_synonym/near_synonym_model,
• pip下载的软件包里边只有5w+词向量, 放在data目录下;
• 完整的词向量详见huggingface网站的Macropodus/near_synonym_model,
• 或完整的词向量详见百度网盘分享链接https://pan.baidu.com/s/1lDSCtpr0r2hKrGrK8ZLlFQ, 密码: ff0y

二、使用方式

2.1 快速使用, 反义词, 近义词

import near_synonym

word = "喜欢"
word_antonyms = near_synonym.antonyms(word)
word_synonyms = near_synonym.synonyms(word)
print("反义词:")
print(word_antonyms)
print("近义词:")
print(word_synonyms)
"""
反义词:
[('讨厌', 0.6857), ('厌恶', 0.5406), ('憎恶', 0.485), ('不喜欢', 0.4079), ('冷漠', 0.4051)]
近义词:
[('喜爱', 0.8813), ('爱好', 0.8193), ('感兴趣', 0.7399), ('赞赏', 0.6849), ('倾向', 0.6137)]
"""

2.2 详细使用

import near_synonym

word = "喜欢"
word_antonyms = near_synonym.antonyms(word, topk=8, annk=256, annk_cpu=128, batch_size=32,
                     rate_ann=0.4, rate_sim=0.4, rate_len=0.2, rounded=4, is_debug=False)
print("反义词:")
print(word_antonyms)
# 当前版本速度很慢, 召回数量annk_cpu/annk可以调小

三、技术原理

3.1 技术详情

near-synonym, 中文反义词/近义词工具包.
流程: Word2vec -> ANN -> NLI -> Length

# Word2vec, 词向量, 使用skip-ngram的词向量;
# ANN, 近邻搜索, 使用annoy检索召回;
# NLI, 自然语言推断, 使用Roformer-sim的v2版本, 区分反义词/近义词;
# Length, 惩罚项, 词语的文本长度惩罚;

3.2 TODO

1. 推理加速, 训练小的NLI模型, 替换掉笨重且不太合适的roformer-sim-ft;【20240320已完成ERNIE-SIM，但转为ONNX为340M太大, 考虑浅层网络, 转第四点4.】
2. 使用大模型构建更多的NLI语料;
3. 使用大模型直接生成近义词, 同义词表, 用于前置索引+训练相似度;【20240407已完成】
4. 近义词反义词识别考虑使用经典NLP分类模型, text_cnn/text-rcnn, 基于字向量;【do-ing, 仿transformers写config/tokenizer/model, 方便余预训练模型集成】
5. word2vec召回不太行, 考虑直接使用大模型qwen1.5-0.5b生成;

3.3 其他实验

fail, 使用情感识别, 取得不同情感下的词语(失败, 例如可爱/漂亮同为积极情感);
fail, 使用NLI自然推理, 已有的语料是句子, 不是太适配;

四、对比

4.1 相似度比较

五、参考

• https://ai.tencent.com/ailab/nlp/en/index.html
• https://github.com/ZhuiyiTechnology/roformer-sim
• https://github.com/liuhuanyong/SentenceSimilarity
• https://github.com/yongzhuo/Macropodus
• https://github.com/chatopera/Synonyms

六、日历

2024.04.07, qwen-7b-chat模型构建28w+词典的近义词/反义词表, 即ci_atmnonym_synonym.json, v0.1.0版本(使用huggface_hub下载数据);
2024.03.14, 初始化near-synonym, v0.0.3版本;

Reference

For citing this work, you can refer to the present GitHub project. For example, with BibTeX:

@misc{Macropodus,
    howpublished = {https://github.com/yongzhuo/near-synonym},
    title = {near-synonym},
    author = {Yongzhuo Mo},
    publisher = {GitHub},
    year = {2024}
}