pinyin-tokenizer

pinyintokenizer, 拼音分词器，将连续的拼音切分为单字拼音列表。

APACHE-2.0 License

Downloads

1.1K

Stars

Committers

View Code on GitHub

Ecosystems: Python

Bot releases are hidden (Show)

pinyin-tokenizer - 0.0.1 Latest Release

Published by shibing624 almost 2 years ago

Full Changelog: https://github.com/shibing624/pinyin-tokenizer/commits/0.0.1

Package Rankings

Top 26.41% on Pypi.org

Badges

Extracted from project README

Related Projects

minimind

【大模型】3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！

27 Jul 2024 2,087

ChineseNLPCorpus

中文自然语言处理数据集，平时做做实验的材料。欢迎补充提交合并。

01 Dec 2018 4,255

pytextclassifier

pytextclassifier is a toolkit for text classification. 文本分类，LR，Xgboost，TextCNN，FastText，TextRNN，B...

28 Apr 2017 482

ChatPaper

Use ChatGPT to summarize the arXiv papers. 全流程加速科研，利用chatgpt进行论文全文总结+专业翻译+润色+审稿+审稿回复

08 Mar 2023 18,298

python-pinyin

汉字转拼音(pypinyin)

14 Sep 2013 4,699

CodeAssist

CodeAssist is an advanced code completion tool that provides high-quality code completions for Py...

09 Feb 2022 54

HarvestText

文本挖掘和预处理工具（文本清洗、新词发现、情感分析、实体识别链接、关键词抽取、知识抽取、句法分析等），无监督或弱监督方法

19 Nov 2018 2,391

GPT2-Chinese

Chinese version of GPT2 training code, using BERT tokenizer.

31 May 2019 7,448

pke_zh

pke_zh, python keyphrase extraction for chinese(zh). 中文关键词或关键句提取工具，实现了KeyBert、PositionRank、TopicR...

21 Jan 2021 175

python-tutorial

Python实用教程，包括：Python基础，Python高级特性，面向对象编程，多线程，数据库，数据科学，Flask，爬虫开发教程。

13 Mar 2017 1,963

nlpcommon

NLP common tools.

28 Dec 2021 5

text2vec

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似...

12 Nov 2019 4,034

simple-pinyin

simple-pinyin 基于隐马尔可夫模型的简易拼音输入法（拼音转汉字）

05 Jul 2022 37

xmnlp

xmnlp：提供中文分词, 词性标注, 命名体识别，情感分析，文本纠错，文本转拼音，文本摘要，偏旁部首，句子表征及文本相似度计算等功能

04 Feb 2018 1,231

parrots

Automatic Speech Recognition(ASR), Text-To-Speech(TTS) engine. 中英语音识别、多角色语音合成，支持多语言，准确率高

26 Aug 2018 457