Skip to content

Releases: alesapin/xtok

First version of tokenizer

07 Feb 16:26
8d1a469
Compare
Choose a tag to compare
Pre-release

Умеет разбивать текст на токены без какой-либо семантической и сантаксической информации. Версии бинарника и python-wheels под linux.