Como faço para escrever uma frase em NLTK?
estou a usar o nltk, por isso quero criar os meus próprios textos personalizados tal como os predefinidos no nltk.livro. No entanto, acabei de chegar ao método como
my_text = ['This', 'is', 'my', 'text']
gostaria de descobrir qualquer forma de introduzir o meu "texto" como:
my_text = "This is my text, this is a nice way to input text."
Que método, python's ou de nltk me permite fazer isto. E mais importante, Como posso subestimar os símbolos de pontuação?
36
2 answers
Isto está na página principal de nltk.org:
>>> import nltk
>>> sentence = """At eight o'clock on Thursday morning
... Arthur didn't feel very good."""
>>> tokens = nltk.word_tokenize(sentence)
>>> tokens
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning',
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.']
121
Author: Pavel Anossov, 2013-02-24 23:28:02
Como @PavelAnossov respondeu, a resposta canónica, use a função word_tokenize em nltk:
from nltk import word_tokenize
sent = "This is my text, this is a nice way to input text."
word_tokenize(sent)
Se a sua sentença for suficientemente simples:
Usando o conjunto string.punctuation, Remova a pontuação e depois divida com o delimitador de espaços em branco:
import string
x = "This is my text, this is a nice way to input text."
y = "".join([i for i in x if not in string.punctuation]).split(" ")
print y
-8
Author: alvas, 2017-07-27 07:13:58