| | --- |
| | license: mit |
| | datasets: |
| | - CohereForAI/aya_collection_language_split |
| | metrics: |
| | - f1 |
| | - recall |
| | - precision |
| | language: |
| | - te |
| | - kn |
| | - gu |
| | - mr |
| | - ml |
| | - bn |
| | - pa |
| | - ta |
| | library_name: transformers |
| | --- |
| | This is based on [Kredor's work](https://huggingface.co/kredor/punctuate-all). But the languages are: Telugu, Tamil, Malayalam, Kannada, Gujarathi, Panjabi, Marathi and Bengali. |
| |
|
| | ----- report ----- |
| |
|
| | precision recall f1-score support |
| | |
| | 0 0.99 0.99 0.99 18156530 |
| | . 0.95 0.95 0.95 987478 |
| | , 0.82 0.79 0.80 1064002 |
| | ? 0.97 0.96 0.97 316902 |
| | - 0.94 0.86 0.90 226991 |
| | : 0.94 0.96 0.95 262314 |
| | |
| | accuracy 0.97 21014217 |
| | macro avg 0.93 0.92 0.93 21014217 |
| | weighted avg 0.97 0.97 0.97 21014217 |
| | |
| |
|
| | ----- confusion matrix ----- |
| |
|
| | t/p 0 . , ? - : |
| | 0 1.0 0.0 0.0 0.0 0.0 0.0 |
| | . 0.0 1.0 0.0 0.0 0.0 0.0 |
| | , 0.2 0.0 0.8 0.0 0.0 0.0 |
| | ? 0.0 0.0 0.0 1.0 0.0 0.0 |
| | - 0.1 0.0 0.0 0.0 0.9 0.0 |
| | : 0.0 0.0 0.0 0.0 0.0 1.0 |
| | |
| |
|
| | ## Install |
| |
|
| | To get started install the package from [pypi](https://pypi.org/project/deepmultilingualpunctuation/): |
| |
|
| | ```bash |
| | pip install deepmultilingualpunctuation |
| | ``` |
| | ### Restore Punctuation |
| | ```python |
| | from deepmultilingualpunctuation import PunctuationModel |
| | |
| | model = PunctuationModel('ModelsLab/punctuate-indic-v1') |
| | text = "హ్యారీ చాలా చిన్న వ్యవసాయ కలిగి ఒక పెద్ద పొలం కావాలని కలలు కనేవాడు ఒకసారి తన తండ్రి బిల్ ను అడిగాడు అక్కడి భూమి నాకు కావాలి నేను దాన్ని ఎలా పొందగలను" |
| | result = model.restore_punctuation(text) |
| | print(result) |
| | ``` |
| |
|
| | **output** |
| | > హ్యారీ చాలా చిన్న వ్యవసాయ కలిగి ఒక పెద్ద పొలం కావాలని కలలు కనేవాడు ఒకసారి తన తండ్రి బిల్ ను అడిగాడు, అక్కడి భూమి నాకు కావాలి, నేను దాన్ని ఎలా పొందగలను? |
| |
|
| | ### Predict Labels |
| | ```python |
| | from deepmultilingualpunctuation import PunctuationModel |
| | |
| | model = PunctuationModel('ModelsLab/punctuate-indic-v1') |
| | text = "హ్యారీ చాలా చిన్న వ్యవసాయ కలిగి ఒక పెద్ద పొలం కావాలని కలలు కనేవాడు ఒకసారి తన తండ్రి బిల్ ను అడిగాడు అక్కడి భూమి నాకు కావాలి నేను దాన్ని ఎలా పొందగలను" |
| | clean_text = model.preprocess(text) |
| | labled_words = model.predict(clean_text) |
| | print(labled_words) |
| | ``` |
| |
|
| | **output** |
| |
|
| | > ['హ్యారీ', '0', 0.7721978], |
| | ['చాలా', '0', 0.9996537], |
| | ['చిన్న', '0', 0.9703038], |
| | ['వ్యవసాయ', '0', 0.99389863], |
| | ['కలిగి', '0', 0.66695035], |
| | ['ఒక', '0', 0.99995697], |
| | ['పెద్ద', '0', 0.9995778], |
| | ['పొలం', '0', 0.999982], |
| | ['కావాలని', '0', 0.9995049], |
| | ['కలలు', '0', 0.99998343], |
| | ['కనేవాడు', '0', 0.3442819], |
| | ['ఒకసారి', '0', 0.925744], |
| | ['తన', '0', 0.9999279], |
| | ['తండ్రి', '0', 0.82426786], |
| | ['బిల్', '0', 0.9998516], |
| | ['ను', '0', 0.99997056], |
| | ['అడిగాడు', ',', 0.55599153], |
| | ['అక్కడి', '0', 0.9996816], |
| | ['భూమి', '0', 0.9978115], |
| | ['నాకు', '0', 0.9999769], |
| | ['కావాలి', ',', 0.873619], |
| | ['నేను', '0', 0.99976164], |
| | ['దాన్ని', '0', 0.999979], |
| | ['ఎలా', '0', 0.99997866], |
| | ['పొందగలను', '?', 0.9895349] |
| |
|
| |
|
