tokenize

estou a usar o nltk, por isso quero criar os meus próprios textos personalizados tal como os predefinidos no nltk.livro ... ue método, python's ou de nltk me permite fazer isto. E mais importante, Como posso subestimar os símbolos de pontuação?

eu tenho tentado tokenize uma string usando o espaço como delimitador mas não funciona. Alguém tem alguma sugestão sobr ... é como o seguinte pch = strtok (str," "); while (pch != NULL) { printf ("%s\n",pch); pch = strtok (NULL, " "); }

sou novo no python e gostaria de saber como posso tokenizar strings com base num delimitador especificado. Por exemplo, ... r", "\s"] ou uma string "red/blue" para ["red", "blue"], qual seria a maneira mais apropriada para fazer isso? Obrigado.

Todos, tenho um ficheiro de registo com o conteúdo abaixo. Request from Centercord. 2010-12-14 12:42:13.724 [ 6796] ... fffffffffffffffffffffffffff 2010-12-14 12:42:21.802 [ 5960] tttttttttttttttttttttttttttt relativamente a:, Kanagaraj

Java tem um método split conveniente: String str = "The quick brown fox"; String[] results = str.split(" "); Existe uma maneira fácil de fazer isto em C++?