natural-content
Advanced tools
Comparing version 1.0.1 to 1.0.2
var _ = require('underscore'); | ||
var stopwords = require("./lib/stopwords").stopwords; | ||
@@ -45,7 +46,8 @@ | ||
// Remove numbers, empty string & stopwords | ||
if (withStopWords) { | ||
return _.filter(words, function(word){return (word !== '') && ! _.isNumber(word); }); | ||
return _.filter(words, function(word){return (word !== '') && isNaN(word); }); | ||
} | ||
else { | ||
return _.filter(words, function(word){return (word !== '' && ! _.isNumber(word) && stopwords.indexOf(word) === -1); }); | ||
return _.filter(words, function(word){return (word !== '' && isNaN(word) && stopwords.indexOf(word) === -1); }); | ||
} | ||
@@ -217,3 +219,3 @@ | ||
return { | ||
nbrDocsByWords : [], | ||
nbrDocsByWords : {}, | ||
words : [] | ||
@@ -220,0 +222,0 @@ }; |
1182
lib/stopwords.js
@@ -1,3 +0,3 @@ | ||
module.exports.stopwords = [ | ||
'à', 'à demi', 'être', 'sa', 'r', 'j', 'm', 'e', 'b', 'i', 'v', 'f', 'o', 'u', 'x', 'z', 'h', 'k', 'p', | ||
module.exports.stopwords = [ | ||
'*', 'à', 'à demi', 'être', 'sa', 'r', 'j', 'm', 'e', 'b', 'i', 'v', 'f', 'o', 'u', 'x', 'z', 'h', 'k', 'p', | ||
'g', 'q', 'fr', 'zh', 'cn', 'kk', 'do', 'fu', 'vo', 'ga', 'op', 'mu', 'lo', 'cf', 'bo', 'mA', 'qg', 'be', | ||
@@ -25,591 +25,591 @@ 'ad', 'ar', 'at', 'dj', 'bu', 'yu', 'ku', 'fm', 'dA', 'no', 'mr', 'of', 'fi', 'is', 'ii', 'so', 'vu', 'to', | ||
'vers', 'voie', 'voient', 'volontiers', 'vont', 'votre', 'vous', 'vraiment', 'vraisemblablement', 'y', | ||
"a", | ||
"à", | ||
"â", | ||
"abord", | ||
"afin", | ||
"ah", | ||
"ai", | ||
"aie", | ||
"ainsi", | ||
"allaient", | ||
"allo", | ||
"allô", | ||
"allons", | ||
"après", | ||
"assez", | ||
"attendu", | ||
"au", | ||
"aucun", | ||
"aucune", | ||
"aujourd", | ||
"aujourd'hui", | ||
"auquel", | ||
"aura", | ||
"auront", | ||
"aussi", | ||
"autre", | ||
"autres", | ||
"aux", | ||
"auxquelles", | ||
"auxquels", | ||
"avaient", | ||
"avais", | ||
"avait", | ||
"avant", | ||
"avec", | ||
"avoir", | ||
"ayant", | ||
"b", | ||
"bah", | ||
"beaucoup", | ||
"bien", | ||
"bigre", | ||
"boum", | ||
"bravo", | ||
"brrr", | ||
"c", | ||
"ça", | ||
"car", | ||
"ce", | ||
"ceci", | ||
"cela", | ||
"celle", | ||
"celle-ci", | ||
"celle-là", | ||
"celles", | ||
"celles-ci", | ||
"celles-là", | ||
"celui", | ||
"celui-ci", | ||
"celui-là", | ||
"cent", | ||
"cependant", | ||
"certain", | ||
"certaine", | ||
"certaines", | ||
"certains", | ||
"certes", | ||
"ces", | ||
"cet", | ||
"cette", | ||
"ceux", | ||
"ceux-ci", | ||
"ceux-là", | ||
"chacun", | ||
"chaque", | ||
"cher", | ||
"chère", | ||
"chères", | ||
"chers", | ||
"chez", | ||
"chiche", | ||
"chut", | ||
"ci", | ||
"cinq", | ||
"cinquantaine", | ||
"cinquante", | ||
"cinquantième", | ||
"cinquième", | ||
"clac", | ||
"clic", | ||
"combien", | ||
"comme", | ||
"comment", | ||
"compris", | ||
"concernant", | ||
"contre", | ||
"couic", | ||
"crac", | ||
"d", | ||
"da", | ||
"dans", | ||
"de", | ||
"debout", | ||
"dedans", | ||
"dehors", | ||
"delà", | ||
"depuis", | ||
"derrière", | ||
"des", | ||
"dès", | ||
"désormais", | ||
"desquelles", | ||
"desquels", | ||
"dessous", | ||
"dessus", | ||
"deux", | ||
"deuxième", | ||
"deuxièmement", | ||
"devant", | ||
"devers", | ||
"devra", | ||
"différent", | ||
"différente", | ||
"différentes", | ||
"différents", | ||
"dire", | ||
"divers", | ||
"diverse", | ||
"diverses", | ||
"dix", | ||
"dix-huit", | ||
"dixième", | ||
"dix-neuf", | ||
"dix-sept", | ||
"doit", | ||
"doivent", | ||
"donc", | ||
"dont", | ||
"douze", | ||
"douzième", | ||
"dring", | ||
"du", | ||
"duquel", | ||
"durant", | ||
"e", | ||
"effet", | ||
"eh", | ||
"elle", | ||
"elle-même", | ||
"elles", | ||
"elles-mêmes", | ||
"en", | ||
"encore", | ||
"entre", | ||
"envers", | ||
"environ", | ||
"es", | ||
"ès", | ||
"est", | ||
"et", | ||
"etant", | ||
"étaient", | ||
"étais", | ||
"était", | ||
"étant", | ||
"etc", | ||
"été", | ||
"etre", | ||
"être", | ||
"eu", | ||
"euh", | ||
"eux", | ||
"eux-mêmes", | ||
"excepté", | ||
"f", | ||
"façon", | ||
"fais", | ||
"faisaient", | ||
"faisant", | ||
"fait", | ||
"feront", | ||
"fi", | ||
"flac", | ||
"floc", | ||
"font", | ||
"g", | ||
"gens", | ||
"h", | ||
"ha", | ||
"hé", | ||
"hein", | ||
"hélas", | ||
"hem", | ||
"hep", | ||
"hi", | ||
"ho", | ||
"holà", | ||
"hop", | ||
"hormis", | ||
"hors", | ||
"hou", | ||
"houp", | ||
"hue", | ||
"hui", | ||
"huit", | ||
"huitième", | ||
"hum", | ||
"hurrah", | ||
"i", | ||
"il", | ||
"ils", | ||
"importe", | ||
"j", | ||
"je", | ||
"jusqu", | ||
"jusque", | ||
"k", | ||
"l", | ||
"la", | ||
"là", | ||
"laquelle", | ||
"las", | ||
"le", | ||
"lequel", | ||
"les", | ||
"lès", | ||
"lesquelles", | ||
"lesquels", | ||
"leur", | ||
"leurs", | ||
"longtemps", | ||
"lorsque", | ||
"lui", | ||
"lui-même", | ||
"m", | ||
"ma", | ||
"maint", | ||
"mais", | ||
"malgré", | ||
"me", | ||
"même", | ||
"mêmes", | ||
"merci", | ||
"mes", | ||
"mien", | ||
"mienne", | ||
"miennes", | ||
"miens", | ||
"mille", | ||
"mince", | ||
"moi", | ||
"moi-même", | ||
"moins", | ||
"mon", | ||
"moyennant", | ||
"n", | ||
"na", | ||
"ne", | ||
"néanmoins", | ||
"neuf", | ||
"neuvième", | ||
"ni", | ||
"nombreuses", | ||
"nombreux", | ||
"non", | ||
"nos", | ||
"notre", | ||
"nôtre", | ||
"nôtres", | ||
"nous", | ||
"nous-mêmes", | ||
"nul", | ||
"o", | ||
"o|", | ||
"ô", | ||
"oh", | ||
"ohé", | ||
"olé", | ||
"ollé", | ||
"on", | ||
"ont", | ||
"onze", | ||
"onzième", | ||
"ore", | ||
"ou", | ||
"où", | ||
"ouf", | ||
"ouias", | ||
"oust", | ||
"ouste", | ||
"outre", | ||
"p", | ||
"paf", | ||
"pan", | ||
"par", | ||
"parmi", | ||
"partant", | ||
"particulier", | ||
"particulière", | ||
"particulièrement", | ||
"pas", | ||
"passé", | ||
"pendant", | ||
"personne", | ||
"peu", | ||
"peut", | ||
"peuvent", | ||
"peux", | ||
"pff", | ||
"pfft", | ||
"pfut", | ||
"pif", | ||
"plein", | ||
"plouf", | ||
"plus", | ||
"plusieurs", | ||
"plutôt", | ||
"pouah", | ||
"pour", | ||
"pourquoi", | ||
"premier", | ||
"première", | ||
"premièrement", | ||
"près", | ||
"proche", | ||
"psitt", | ||
"puisque", | ||
"q", | ||
"qu", | ||
"quand", | ||
"quant", | ||
"quanta", | ||
"quant-à-soi", | ||
"quarante", | ||
"quatorze", | ||
"quatre", | ||
"quatre-vingt", | ||
"quatrième", | ||
"quatrièmement", | ||
"que", | ||
"quel", | ||
"quelconque", | ||
"quelle", | ||
"quelles", | ||
"quelque", | ||
"quelques", | ||
"quelqu'un", | ||
"quels", | ||
"qui", | ||
"quiconque", | ||
"quinze", | ||
"quoi", | ||
"quoique", | ||
"r", | ||
"revoici", | ||
"revoilà", | ||
"rien", | ||
"s", | ||
"sa", | ||
"sacrebleu", | ||
"sans", | ||
"sapristi", | ||
"sauf", | ||
"se", | ||
"seize", | ||
"selon", | ||
"sept", | ||
"septième", | ||
"sera", | ||
"seront", | ||
"ses", | ||
"si", | ||
"sien", | ||
"sienne", | ||
"siennes", | ||
"siens", | ||
"sinon", | ||
"six", | ||
"sixième", | ||
"soi", | ||
"soi-même", | ||
"soit", | ||
"soixante", | ||
"son", | ||
"sont", | ||
"sous", | ||
"stop", | ||
"suis", | ||
"suivant", | ||
"sur", | ||
"surtout", | ||
"t", | ||
"ta", | ||
"tac", | ||
"tant", | ||
"te", | ||
"té", | ||
"tel", | ||
"telle", | ||
"tellement", | ||
"telles", | ||
"tels", | ||
"tenant", | ||
"tes", | ||
"tic", | ||
"tien", | ||
"tienne", | ||
"tiennes", | ||
"tiens", | ||
"toc", | ||
"toi", | ||
"toi-même", | ||
"ton", | ||
"touchant", | ||
"toujours", | ||
"tous", | ||
"tout", | ||
"toute", | ||
"toutes", | ||
"treize", | ||
"trente", | ||
"très", | ||
"trois", | ||
"troisième", | ||
"troisièmement", | ||
"trop", | ||
"tsoin", | ||
"tsouin", | ||
"tu", | ||
"u", | ||
"un", | ||
"une", | ||
"unes", | ||
"uns", | ||
"v", | ||
"va", | ||
"vais", | ||
"vas", | ||
"vé", | ||
"vers", | ||
"via", | ||
"vif", | ||
"vifs", | ||
"vingt", | ||
"vivat", | ||
"vive", | ||
"vives", | ||
"vlan", | ||
"voici", | ||
"voilà", | ||
"vont", | ||
"vos", | ||
"votre", | ||
"vôtre", | ||
"vôtres", | ||
"vous", | ||
"vous-mêmes", | ||
"vu", | ||
"w", | ||
"x", | ||
"y", | ||
"z", | ||
"zut", | ||
"alors", | ||
"au", | ||
"aucuns", | ||
"aussi", | ||
"autre", | ||
"avant", | ||
"avec", | ||
"avoir", | ||
"bon", | ||
"car", | ||
"ce", | ||
"cela", | ||
"ces", | ||
"ceux", | ||
"chaque", | ||
"ci", | ||
"comme", | ||
"comment", | ||
"dans", | ||
"des", | ||
"du", | ||
"dedans", | ||
"dehors", | ||
"depuis", | ||
"deux", | ||
"devrait", | ||
"doit", | ||
"donc", | ||
"dos", | ||
"droite", | ||
"début", | ||
"elle", | ||
"elles", | ||
"en", | ||
"encore", | ||
"essai", | ||
"est", | ||
"et", | ||
"eu", | ||
"fait", | ||
"faites", | ||
"fois", | ||
"font", | ||
"force", | ||
"haut", | ||
"hors", | ||
"ici", | ||
"il", | ||
"ils", | ||
"je", | ||
"juste", | ||
"la", | ||
"le", | ||
"les", | ||
"leur", | ||
"là", | ||
"ma", | ||
"maintenant", | ||
"mais", | ||
"mes", | ||
"mine", | ||
"moins", | ||
"mon", | ||
"mot", | ||
"même", | ||
"ni", | ||
"nommés", | ||
"notre", | ||
"nous", | ||
"nouveaux", | ||
"ou", | ||
"où", | ||
"par", | ||
"parce", | ||
"parole", | ||
"pas", | ||
"personnes", | ||
"peut", | ||
"peu", | ||
"pièce", | ||
"plupart", | ||
"pour", | ||
"pourquoi", | ||
"quand", | ||
"que", | ||
"quel", | ||
"quelle", | ||
"quelles", | ||
"quels", | ||
"qui", | ||
"sa", | ||
"sans", | ||
"ses", | ||
"seulement", | ||
"si", | ||
"sien", | ||
"son", | ||
"sont", | ||
"sous", | ||
"soyez", | ||
"sujet", | ||
"sur", | ||
"ta", | ||
"tandis", | ||
"tellement", | ||
"tels", | ||
"tes", | ||
"ton", | ||
"tous", | ||
"tout", | ||
"trop", | ||
"très", | ||
"tu", | ||
"valeur", | ||
"voie", | ||
"voient", | ||
"vont", | ||
"votre", | ||
"vous", | ||
"vu", | ||
"ça", | ||
"étaient", | ||
"état", | ||
"étions", | ||
"été", | ||
"être" | ||
"a", | ||
"à", | ||
"â", | ||
"abord", | ||
"afin", | ||
"ah", | ||
"ai", | ||
"aie", | ||
"ainsi", | ||
"allaient", | ||
"allo", | ||
"allô", | ||
"allons", | ||
"après", | ||
"assez", | ||
"attendu", | ||
"au", | ||
"aucun", | ||
"aucune", | ||
"aujourd", | ||
"aujourd'hui", | ||
"auquel", | ||
"aura", | ||
"auront", | ||
"aussi", | ||
"autre", | ||
"autres", | ||
"aux", | ||
"auxquelles", | ||
"auxquels", | ||
"avaient", | ||
"avais", | ||
"avait", | ||
"avant", | ||
"avec", | ||
"avoir", | ||
"ayant", | ||
"b", | ||
"bah", | ||
"beaucoup", | ||
"bien", | ||
"bigre", | ||
"boum", | ||
"bravo", | ||
"brrr", | ||
"c", | ||
"ça", | ||
"car", | ||
"ce", | ||
"ceci", | ||
"cela", | ||
"celle", | ||
"celle-ci", | ||
"celle-là", | ||
"celles", | ||
"celles-ci", | ||
"celles-là", | ||
"celui", | ||
"celui-ci", | ||
"celui-là", | ||
"cent", | ||
"cependant", | ||
"certain", | ||
"certaine", | ||
"certaines", | ||
"certains", | ||
"certes", | ||
"ces", | ||
"cet", | ||
"cette", | ||
"ceux", | ||
"ceux-ci", | ||
"ceux-là", | ||
"chacun", | ||
"chaque", | ||
"cher", | ||
"chère", | ||
"chères", | ||
"chers", | ||
"chez", | ||
"chiche", | ||
"chut", | ||
"ci", | ||
"cinq", | ||
"cinquantaine", | ||
"cinquante", | ||
"cinquantième", | ||
"cinquième", | ||
"clac", | ||
"clic", | ||
"combien", | ||
"comme", | ||
"comment", | ||
"compris", | ||
"concernant", | ||
"contre", | ||
"couic", | ||
"crac", | ||
"d", | ||
"da", | ||
"dans", | ||
"de", | ||
"debout", | ||
"dedans", | ||
"dehors", | ||
"delà", | ||
"depuis", | ||
"derrière", | ||
"des", | ||
"dès", | ||
"désormais", | ||
"desquelles", | ||
"desquels", | ||
"dessous", | ||
"dessus", | ||
"deux", | ||
"deuxième", | ||
"deuxièmement", | ||
"devant", | ||
"devers", | ||
"devra", | ||
"différent", | ||
"différente", | ||
"différentes", | ||
"différents", | ||
"dire", | ||
"divers", | ||
"diverse", | ||
"diverses", | ||
"dix", | ||
"dix-huit", | ||
"dixième", | ||
"dix-neuf", | ||
"dix-sept", | ||
"doit", | ||
"doivent", | ||
"donc", | ||
"dont", | ||
"douze", | ||
"douzième", | ||
"dring", | ||
"du", | ||
"duquel", | ||
"durant", | ||
"e", | ||
"effet", | ||
"eh", | ||
"elle", | ||
"elle-même", | ||
"elles", | ||
"elles-mêmes", | ||
"en", | ||
"encore", | ||
"entre", | ||
"envers", | ||
"environ", | ||
"es", | ||
"ès", | ||
"est", | ||
"et", | ||
"etant", | ||
"étaient", | ||
"étais", | ||
"était", | ||
"étant", | ||
"etc", | ||
"été", | ||
"etre", | ||
"être", | ||
"eu", | ||
"euh", | ||
"eux", | ||
"eux-mêmes", | ||
"excepté", | ||
"f", | ||
"façon", | ||
"fais", | ||
"faisaient", | ||
"faisant", | ||
"fait", | ||
"feront", | ||
"fi", | ||
"flac", | ||
"floc", | ||
"font", | ||
"g", | ||
"gens", | ||
"h", | ||
"ha", | ||
"hé", | ||
"hein", | ||
"hélas", | ||
"hem", | ||
"hep", | ||
"hi", | ||
"ho", | ||
"holà", | ||
"hop", | ||
"hormis", | ||
"hors", | ||
"hou", | ||
"houp", | ||
"hue", | ||
"hui", | ||
"huit", | ||
"huitième", | ||
"hum", | ||
"hurrah", | ||
"i", | ||
"il", | ||
"ils", | ||
"importe", | ||
"j", | ||
"je", | ||
"jusqu", | ||
"jusque", | ||
"k", | ||
"l", | ||
"la", | ||
"là", | ||
"laquelle", | ||
"las", | ||
"le", | ||
"lequel", | ||
"les", | ||
"lès", | ||
"lesquelles", | ||
"lesquels", | ||
"leur", | ||
"leurs", | ||
"longtemps", | ||
"lorsque", | ||
"lui", | ||
"lui-même", | ||
"m", | ||
"ma", | ||
"maint", | ||
"mais", | ||
"malgré", | ||
"me", | ||
"même", | ||
"mêmes", | ||
"merci", | ||
"mes", | ||
"mien", | ||
"mienne", | ||
"miennes", | ||
"miens", | ||
"mille", | ||
"mince", | ||
"moi", | ||
"moi-même", | ||
"moins", | ||
"mon", | ||
"moyennant", | ||
"n", | ||
"na", | ||
"ne", | ||
"néanmoins", | ||
"neuf", | ||
"neuvième", | ||
"ni", | ||
"nombreuses", | ||
"nombreux", | ||
"non", | ||
"nos", | ||
"notre", | ||
"nôtre", | ||
"nôtres", | ||
"nous", | ||
"nous-mêmes", | ||
"nul", | ||
"o", | ||
"o|", | ||
"ô", | ||
"oh", | ||
"ohé", | ||
"olé", | ||
"ollé", | ||
"on", | ||
"ont", | ||
"onze", | ||
"onzième", | ||
"ore", | ||
"ou", | ||
"où", | ||
"ouf", | ||
"ouias", | ||
"oust", | ||
"ouste", | ||
"outre", | ||
"p", | ||
"paf", | ||
"pan", | ||
"par", | ||
"parmi", | ||
"partant", | ||
"particulier", | ||
"particulière", | ||
"particulièrement", | ||
"pas", | ||
"passé", | ||
"pendant", | ||
"personne", | ||
"peu", | ||
"peut", | ||
"peuvent", | ||
"peux", | ||
"pff", | ||
"pfft", | ||
"pfut", | ||
"pif", | ||
"plein", | ||
"plouf", | ||
"plus", | ||
"plusieurs", | ||
"plutôt", | ||
"pouah", | ||
"pour", | ||
"pourquoi", | ||
"premier", | ||
"première", | ||
"premièrement", | ||
"près", | ||
"proche", | ||
"psitt", | ||
"puisque", | ||
"q", | ||
"qu", | ||
"quand", | ||
"quant", | ||
"quanta", | ||
"quant-à-soi", | ||
"quarante", | ||
"quatorze", | ||
"quatre", | ||
"quatre-vingt", | ||
"quatrième", | ||
"quatrièmement", | ||
"que", | ||
"quel", | ||
"quelconque", | ||
"quelle", | ||
"quelles", | ||
"quelque", | ||
"quelques", | ||
"quelqu'un", | ||
"quels", | ||
"qui", | ||
"quiconque", | ||
"quinze", | ||
"quoi", | ||
"quoique", | ||
"r", | ||
"revoici", | ||
"revoilà", | ||
"rien", | ||
"s", | ||
"sa", | ||
"sacrebleu", | ||
"sans", | ||
"sapristi", | ||
"sauf", | ||
"se", | ||
"seize", | ||
"selon", | ||
"sept", | ||
"septième", | ||
"sera", | ||
"seront", | ||
"ses", | ||
"si", | ||
"sien", | ||
"sienne", | ||
"siennes", | ||
"siens", | ||
"sinon", | ||
"six", | ||
"sixième", | ||
"soi", | ||
"soi-même", | ||
"soit", | ||
"soixante", | ||
"son", | ||
"sont", | ||
"sous", | ||
"stop", | ||
"suis", | ||
"suivant", | ||
"sur", | ||
"surtout", | ||
"t", | ||
"ta", | ||
"tac", | ||
"tant", | ||
"te", | ||
"té", | ||
"tel", | ||
"telle", | ||
"tellement", | ||
"telles", | ||
"tels", | ||
"tenant", | ||
"tes", | ||
"tic", | ||
"tien", | ||
"tienne", | ||
"tiennes", | ||
"tiens", | ||
"toc", | ||
"toi", | ||
"toi-même", | ||
"ton", | ||
"touchant", | ||
"toujours", | ||
"tous", | ||
"tout", | ||
"toute", | ||
"toutes", | ||
"treize", | ||
"trente", | ||
"très", | ||
"trois", | ||
"troisième", | ||
"troisièmement", | ||
"trop", | ||
"tsoin", | ||
"tsouin", | ||
"tu", | ||
"u", | ||
"un", | ||
"une", | ||
"unes", | ||
"uns", | ||
"v", | ||
"va", | ||
"vais", | ||
"vas", | ||
"vé", | ||
"vers", | ||
"via", | ||
"vif", | ||
"vifs", | ||
"vingt", | ||
"vivat", | ||
"vive", | ||
"vives", | ||
"vlan", | ||
"voici", | ||
"voilà", | ||
"vont", | ||
"vos", | ||
"votre", | ||
"vôtre", | ||
"vôtres", | ||
"vous", | ||
"vous-mêmes", | ||
"vu", | ||
"w", | ||
"x", | ||
"y", | ||
"z", | ||
"zut", | ||
"alors", | ||
"au", | ||
"aucuns", | ||
"aussi", | ||
"autre", | ||
"avant", | ||
"avec", | ||
"avoir", | ||
"bon", | ||
"car", | ||
"ce", | ||
"cela", | ||
"ces", | ||
"ceux", | ||
"chaque", | ||
"ci", | ||
"comme", | ||
"comment", | ||
"dans", | ||
"des", | ||
"du", | ||
"dedans", | ||
"dehors", | ||
"depuis", | ||
"deux", | ||
"devrait", | ||
"doit", | ||
"donc", | ||
"dos", | ||
"droite", | ||
"début", | ||
"elle", | ||
"elles", | ||
"en", | ||
"encore", | ||
"essai", | ||
"est", | ||
"et", | ||
"eu", | ||
"fait", | ||
"faites", | ||
"fois", | ||
"font", | ||
"force", | ||
"haut", | ||
"hors", | ||
"ici", | ||
"il", | ||
"ils", | ||
"je", | ||
"juste", | ||
"la", | ||
"le", | ||
"les", | ||
"leur", | ||
"là", | ||
"ma", | ||
"maintenant", | ||
"mais", | ||
"mes", | ||
"mine", | ||
"moins", | ||
"mon", | ||
"mot", | ||
"même", | ||
"ni", | ||
"nommés", | ||
"notre", | ||
"nous", | ||
"nouveaux", | ||
"ou", | ||
"où", | ||
"par", | ||
"parce", | ||
"parole", | ||
"pas", | ||
"personnes", | ||
"peut", | ||
"peu", | ||
"pièce", | ||
"plupart", | ||
"pour", | ||
"pourquoi", | ||
"quand", | ||
"que", | ||
"quel", | ||
"quelle", | ||
"quelles", | ||
"quels", | ||
"qui", | ||
"sa", | ||
"sans", | ||
"ses", | ||
"seulement", | ||
"si", | ||
"sien", | ||
"son", | ||
"sont", | ||
"sous", | ||
"soyez", | ||
"sujet", | ||
"sur", | ||
"ta", | ||
"tandis", | ||
"tellement", | ||
"tels", | ||
"tes", | ||
"ton", | ||
"tous", | ||
"tout", | ||
"trop", | ||
"très", | ||
"tu", | ||
"valeur", | ||
"voie", | ||
"voient", | ||
"vont", | ||
"votre", | ||
"vous", | ||
"vu", | ||
"ça", | ||
"étaient", | ||
"état", | ||
"étions", | ||
"été", | ||
"être" | ||
] |
{ | ||
"name": "natural-content", | ||
"version": "1.0.1", | ||
"version": "1.0.2", | ||
"description": "A set of natural functions like tf.idf, extract words & n-grams, ... (experimental project)", | ||
@@ -5,0 +5,0 @@ "main": "index.js", |
@@ -10,3 +10,3 @@ var assert = require("assert"); | ||
"word2 word7 word8 word9 word10 word7 word11 word7 word11 word11 word11 word11.", | ||
" word7 word2" ]; | ||
" word7 word2 " ]; | ||
@@ -25,4 +25,9 @@ it('Statements', function() { | ||
words = natural.getWords("word1 word2 word3 word4. le la sur word5", false); | ||
console.log("words", words); | ||
assert(words.length === 5); | ||
words = natural.getWords("word1 word2 word3 1234 word4 156,78. le la sur word5", false); | ||
console.log(words); | ||
assert(words.length === 5); | ||
}); | ||
@@ -29,0 +34,0 @@ |
19751
855