New Case Study:See how Anthropic automated 95% of dependency reviews with Socket.Learn More
Socket
Sign inDemoInstall
Socket

natural-content

Package Overview
Dependencies
Maintainers
1
Versions
23
Alerts
File Explorer

Advanced tools

Socket logo

Install Socket

Detect and block malicious and high-risk dependencies

Install

natural-content - npm Package Compare versions

Comparing version 1.0.1 to 1.0.2

8

index.js
var _ = require('underscore');
var stopwords = require("./lib/stopwords").stopwords;

@@ -45,7 +46,8 @@

// Remove numbers, empty string & stopwords
if (withStopWords) {
return _.filter(words, function(word){return (word !== '') && ! _.isNumber(word); });
return _.filter(words, function(word){return (word !== '') && isNaN(word); });
}
else {
return _.filter(words, function(word){return (word !== '' && ! _.isNumber(word) && stopwords.indexOf(word) === -1); });
return _.filter(words, function(word){return (word !== '' && isNaN(word) && stopwords.indexOf(word) === -1); });
}

@@ -217,3 +219,3 @@

return {
nbrDocsByWords : [],
nbrDocsByWords : {},
words : []

@@ -220,0 +222,0 @@ };

@@ -1,3 +0,3 @@

module.exports.stopwords = [
'à', 'à demi', 'être', 'sa', 'r', 'j', 'm', 'e', 'b', 'i', 'v', 'f', 'o', 'u', 'x', 'z', 'h', 'k', 'p',
module.exports.stopwords = [
'*', 'à', 'à demi', 'être', 'sa', 'r', 'j', 'm', 'e', 'b', 'i', 'v', 'f', 'o', 'u', 'x', 'z', 'h', 'k', 'p',
'g', 'q', 'fr', 'zh', 'cn', 'kk', 'do', 'fu', 'vo', 'ga', 'op', 'mu', 'lo', 'cf', 'bo', 'mA', 'qg', 'be',

@@ -25,591 +25,591 @@ 'ad', 'ar', 'at', 'dj', 'bu', 'yu', 'ku', 'fm', 'dA', 'no', 'mr', 'of', 'fi', 'is', 'ii', 'so', 'vu', 'to',

'vers', 'voie', 'voient', 'volontiers', 'vont', 'votre', 'vous', 'vraiment', 'vraisemblablement', 'y',
"a",
"à",
"â",
"abord",
"afin",
"ah",
"ai",
"aie",
"ainsi",
"allaient",
"allo",
"allô",
"allons",
"après",
"assez",
"attendu",
"au",
"aucun",
"aucune",
"aujourd",
"aujourd'hui",
"auquel",
"aura",
"auront",
"aussi",
"autre",
"autres",
"aux",
"auxquelles",
"auxquels",
"avaient",
"avais",
"avait",
"avant",
"avec",
"avoir",
"ayant",
"b",
"bah",
"beaucoup",
"bien",
"bigre",
"boum",
"bravo",
"brrr",
"c",
"ça",
"car",
"ce",
"ceci",
"cela",
"celle",
"celle-ci",
"celle-là",
"celles",
"celles-ci",
"celles-là",
"celui",
"celui-ci",
"celui-là",
"cent",
"cependant",
"certain",
"certaine",
"certaines",
"certains",
"certes",
"ces",
"cet",
"cette",
"ceux",
"ceux-ci",
"ceux-là",
"chacun",
"chaque",
"cher",
"chère",
"chères",
"chers",
"chez",
"chiche",
"chut",
"ci",
"cinq",
"cinquantaine",
"cinquante",
"cinquantième",
"cinquième",
"clac",
"clic",
"combien",
"comme",
"comment",
"compris",
"concernant",
"contre",
"couic",
"crac",
"d",
"da",
"dans",
"de",
"debout",
"dedans",
"dehors",
"delà",
"depuis",
"derrière",
"des",
"dès",
"désormais",
"desquelles",
"desquels",
"dessous",
"dessus",
"deux",
"deuxième",
"deuxièmement",
"devant",
"devers",
"devra",
"différent",
"différente",
"différentes",
"différents",
"dire",
"divers",
"diverse",
"diverses",
"dix",
"dix-huit",
"dixième",
"dix-neuf",
"dix-sept",
"doit",
"doivent",
"donc",
"dont",
"douze",
"douzième",
"dring",
"du",
"duquel",
"durant",
"e",
"effet",
"eh",
"elle",
"elle-même",
"elles",
"elles-mêmes",
"en",
"encore",
"entre",
"envers",
"environ",
"es",
"ès",
"est",
"et",
"etant",
"étaient",
"étais",
"était",
"étant",
"etc",
"été",
"etre",
"être",
"eu",
"euh",
"eux",
"eux-mêmes",
"excepté",
"f",
"façon",
"fais",
"faisaient",
"faisant",
"fait",
"feront",
"fi",
"flac",
"floc",
"font",
"g",
"gens",
"h",
"ha",
"hé",
"hein",
"hélas",
"hem",
"hep",
"hi",
"ho",
"holà",
"hop",
"hormis",
"hors",
"hou",
"houp",
"hue",
"hui",
"huit",
"huitième",
"hum",
"hurrah",
"i",
"il",
"ils",
"importe",
"j",
"je",
"jusqu",
"jusque",
"k",
"l",
"la",
"là",
"laquelle",
"las",
"le",
"lequel",
"les",
"lès",
"lesquelles",
"lesquels",
"leur",
"leurs",
"longtemps",
"lorsque",
"lui",
"lui-même",
"m",
"ma",
"maint",
"mais",
"malgré",
"me",
"même",
"mêmes",
"merci",
"mes",
"mien",
"mienne",
"miennes",
"miens",
"mille",
"mince",
"moi",
"moi-même",
"moins",
"mon",
"moyennant",
"n",
"na",
"ne",
"néanmoins",
"neuf",
"neuvième",
"ni",
"nombreuses",
"nombreux",
"non",
"nos",
"notre",
"nôtre",
"nôtres",
"nous",
"nous-mêmes",
"nul",
"o",
"o|",
"ô",
"oh",
"ohé",
"olé",
"ollé",
"on",
"ont",
"onze",
"onzième",
"ore",
"ou",
"où",
"ouf",
"ouias",
"oust",
"ouste",
"outre",
"p",
"paf",
"pan",
"par",
"parmi",
"partant",
"particulier",
"particulière",
"particulièrement",
"pas",
"passé",
"pendant",
"personne",
"peu",
"peut",
"peuvent",
"peux",
"pff",
"pfft",
"pfut",
"pif",
"plein",
"plouf",
"plus",
"plusieurs",
"plutôt",
"pouah",
"pour",
"pourquoi",
"premier",
"première",
"premièrement",
"près",
"proche",
"psitt",
"puisque",
"q",
"qu",
"quand",
"quant",
"quanta",
"quant-à-soi",
"quarante",
"quatorze",
"quatre",
"quatre-vingt",
"quatrième",
"quatrièmement",
"que",
"quel",
"quelconque",
"quelle",
"quelles",
"quelque",
"quelques",
"quelqu'un",
"quels",
"qui",
"quiconque",
"quinze",
"quoi",
"quoique",
"r",
"revoici",
"revoilà",
"rien",
"s",
"sa",
"sacrebleu",
"sans",
"sapristi",
"sauf",
"se",
"seize",
"selon",
"sept",
"septième",
"sera",
"seront",
"ses",
"si",
"sien",
"sienne",
"siennes",
"siens",
"sinon",
"six",
"sixième",
"soi",
"soi-même",
"soit",
"soixante",
"son",
"sont",
"sous",
"stop",
"suis",
"suivant",
"sur",
"surtout",
"t",
"ta",
"tac",
"tant",
"te",
"té",
"tel",
"telle",
"tellement",
"telles",
"tels",
"tenant",
"tes",
"tic",
"tien",
"tienne",
"tiennes",
"tiens",
"toc",
"toi",
"toi-même",
"ton",
"touchant",
"toujours",
"tous",
"tout",
"toute",
"toutes",
"treize",
"trente",
"très",
"trois",
"troisième",
"troisièmement",
"trop",
"tsoin",
"tsouin",
"tu",
"u",
"un",
"une",
"unes",
"uns",
"v",
"va",
"vais",
"vas",
"vé",
"vers",
"via",
"vif",
"vifs",
"vingt",
"vivat",
"vive",
"vives",
"vlan",
"voici",
"voilà",
"vont",
"vos",
"votre",
"vôtre",
"vôtres",
"vous",
"vous-mêmes",
"vu",
"w",
"x",
"y",
"z",
"zut",
"alors",
"au",
"aucuns",
"aussi",
"autre",
"avant",
"avec",
"avoir",
"bon",
"car",
"ce",
"cela",
"ces",
"ceux",
"chaque",
"ci",
"comme",
"comment",
"dans",
"des",
"du",
"dedans",
"dehors",
"depuis",
"deux",
"devrait",
"doit",
"donc",
"dos",
"droite",
"début",
"elle",
"elles",
"en",
"encore",
"essai",
"est",
"et",
"eu",
"fait",
"faites",
"fois",
"font",
"force",
"haut",
"hors",
"ici",
"il",
"ils",
"je",
"juste",
"la",
"le",
"les",
"leur",
"là",
"ma",
"maintenant",
"mais",
"mes",
"mine",
"moins",
"mon",
"mot",
"même",
"ni",
"nommés",
"notre",
"nous",
"nouveaux",
"ou",
"où",
"par",
"parce",
"parole",
"pas",
"personnes",
"peut",
"peu",
"pièce",
"plupart",
"pour",
"pourquoi",
"quand",
"que",
"quel",
"quelle",
"quelles",
"quels",
"qui",
"sa",
"sans",
"ses",
"seulement",
"si",
"sien",
"son",
"sont",
"sous",
"soyez",
"sujet",
"sur",
"ta",
"tandis",
"tellement",
"tels",
"tes",
"ton",
"tous",
"tout",
"trop",
"très",
"tu",
"valeur",
"voie",
"voient",
"vont",
"votre",
"vous",
"vu",
"ça",
"étaient",
"état",
"étions",
"été",
"être"
"a",
"à",
"â",
"abord",
"afin",
"ah",
"ai",
"aie",
"ainsi",
"allaient",
"allo",
"allô",
"allons",
"après",
"assez",
"attendu",
"au",
"aucun",
"aucune",
"aujourd",
"aujourd'hui",
"auquel",
"aura",
"auront",
"aussi",
"autre",
"autres",
"aux",
"auxquelles",
"auxquels",
"avaient",
"avais",
"avait",
"avant",
"avec",
"avoir",
"ayant",
"b",
"bah",
"beaucoup",
"bien",
"bigre",
"boum",
"bravo",
"brrr",
"c",
"ça",
"car",
"ce",
"ceci",
"cela",
"celle",
"celle-ci",
"celle-là",
"celles",
"celles-ci",
"celles-là",
"celui",
"celui-ci",
"celui-là",
"cent",
"cependant",
"certain",
"certaine",
"certaines",
"certains",
"certes",
"ces",
"cet",
"cette",
"ceux",
"ceux-ci",
"ceux-là",
"chacun",
"chaque",
"cher",
"chère",
"chères",
"chers",
"chez",
"chiche",
"chut",
"ci",
"cinq",
"cinquantaine",
"cinquante",
"cinquantième",
"cinquième",
"clac",
"clic",
"combien",
"comme",
"comment",
"compris",
"concernant",
"contre",
"couic",
"crac",
"d",
"da",
"dans",
"de",
"debout",
"dedans",
"dehors",
"delà",
"depuis",
"derrière",
"des",
"dès",
"désormais",
"desquelles",
"desquels",
"dessous",
"dessus",
"deux",
"deuxième",
"deuxièmement",
"devant",
"devers",
"devra",
"différent",
"différente",
"différentes",
"différents",
"dire",
"divers",
"diverse",
"diverses",
"dix",
"dix-huit",
"dixième",
"dix-neuf",
"dix-sept",
"doit",
"doivent",
"donc",
"dont",
"douze",
"douzième",
"dring",
"du",
"duquel",
"durant",
"e",
"effet",
"eh",
"elle",
"elle-même",
"elles",
"elles-mêmes",
"en",
"encore",
"entre",
"envers",
"environ",
"es",
"ès",
"est",
"et",
"etant",
"étaient",
"étais",
"était",
"étant",
"etc",
"été",
"etre",
"être",
"eu",
"euh",
"eux",
"eux-mêmes",
"excepté",
"f",
"façon",
"fais",
"faisaient",
"faisant",
"fait",
"feront",
"fi",
"flac",
"floc",
"font",
"g",
"gens",
"h",
"ha",
"hé",
"hein",
"hélas",
"hem",
"hep",
"hi",
"ho",
"holà",
"hop",
"hormis",
"hors",
"hou",
"houp",
"hue",
"hui",
"huit",
"huitième",
"hum",
"hurrah",
"i",
"il",
"ils",
"importe",
"j",
"je",
"jusqu",
"jusque",
"k",
"l",
"la",
"là",
"laquelle",
"las",
"le",
"lequel",
"les",
"lès",
"lesquelles",
"lesquels",
"leur",
"leurs",
"longtemps",
"lorsque",
"lui",
"lui-même",
"m",
"ma",
"maint",
"mais",
"malgré",
"me",
"même",
"mêmes",
"merci",
"mes",
"mien",
"mienne",
"miennes",
"miens",
"mille",
"mince",
"moi",
"moi-même",
"moins",
"mon",
"moyennant",
"n",
"na",
"ne",
"néanmoins",
"neuf",
"neuvième",
"ni",
"nombreuses",
"nombreux",
"non",
"nos",
"notre",
"nôtre",
"nôtres",
"nous",
"nous-mêmes",
"nul",
"o",
"o|",
"ô",
"oh",
"ohé",
"olé",
"ollé",
"on",
"ont",
"onze",
"onzième",
"ore",
"ou",
"où",
"ouf",
"ouias",
"oust",
"ouste",
"outre",
"p",
"paf",
"pan",
"par",
"parmi",
"partant",
"particulier",
"particulière",
"particulièrement",
"pas",
"passé",
"pendant",
"personne",
"peu",
"peut",
"peuvent",
"peux",
"pff",
"pfft",
"pfut",
"pif",
"plein",
"plouf",
"plus",
"plusieurs",
"plutôt",
"pouah",
"pour",
"pourquoi",
"premier",
"première",
"premièrement",
"près",
"proche",
"psitt",
"puisque",
"q",
"qu",
"quand",
"quant",
"quanta",
"quant-à-soi",
"quarante",
"quatorze",
"quatre",
"quatre-vingt",
"quatrième",
"quatrièmement",
"que",
"quel",
"quelconque",
"quelle",
"quelles",
"quelque",
"quelques",
"quelqu'un",
"quels",
"qui",
"quiconque",
"quinze",
"quoi",
"quoique",
"r",
"revoici",
"revoilà",
"rien",
"s",
"sa",
"sacrebleu",
"sans",
"sapristi",
"sauf",
"se",
"seize",
"selon",
"sept",
"septième",
"sera",
"seront",
"ses",
"si",
"sien",
"sienne",
"siennes",
"siens",
"sinon",
"six",
"sixième",
"soi",
"soi-même",
"soit",
"soixante",
"son",
"sont",
"sous",
"stop",
"suis",
"suivant",
"sur",
"surtout",
"t",
"ta",
"tac",
"tant",
"te",
"té",
"tel",
"telle",
"tellement",
"telles",
"tels",
"tenant",
"tes",
"tic",
"tien",
"tienne",
"tiennes",
"tiens",
"toc",
"toi",
"toi-même",
"ton",
"touchant",
"toujours",
"tous",
"tout",
"toute",
"toutes",
"treize",
"trente",
"très",
"trois",
"troisième",
"troisièmement",
"trop",
"tsoin",
"tsouin",
"tu",
"u",
"un",
"une",
"unes",
"uns",
"v",
"va",
"vais",
"vas",
"vé",
"vers",
"via",
"vif",
"vifs",
"vingt",
"vivat",
"vive",
"vives",
"vlan",
"voici",
"voilà",
"vont",
"vos",
"votre",
"vôtre",
"vôtres",
"vous",
"vous-mêmes",
"vu",
"w",
"x",
"y",
"z",
"zut",
"alors",
"au",
"aucuns",
"aussi",
"autre",
"avant",
"avec",
"avoir",
"bon",
"car",
"ce",
"cela",
"ces",
"ceux",
"chaque",
"ci",
"comme",
"comment",
"dans",
"des",
"du",
"dedans",
"dehors",
"depuis",
"deux",
"devrait",
"doit",
"donc",
"dos",
"droite",
"début",
"elle",
"elles",
"en",
"encore",
"essai",
"est",
"et",
"eu",
"fait",
"faites",
"fois",
"font",
"force",
"haut",
"hors",
"ici",
"il",
"ils",
"je",
"juste",
"la",
"le",
"les",
"leur",
"là",
"ma",
"maintenant",
"mais",
"mes",
"mine",
"moins",
"mon",
"mot",
"même",
"ni",
"nommés",
"notre",
"nous",
"nouveaux",
"ou",
"où",
"par",
"parce",
"parole",
"pas",
"personnes",
"peut",
"peu",
"pièce",
"plupart",
"pour",
"pourquoi",
"quand",
"que",
"quel",
"quelle",
"quelles",
"quels",
"qui",
"sa",
"sans",
"ses",
"seulement",
"si",
"sien",
"son",
"sont",
"sous",
"soyez",
"sujet",
"sur",
"ta",
"tandis",
"tellement",
"tels",
"tes",
"ton",
"tous",
"tout",
"trop",
"très",
"tu",
"valeur",
"voie",
"voient",
"vont",
"votre",
"vous",
"vu",
"ça",
"étaient",
"état",
"étions",
"été",
"être"
]
{
"name": "natural-content",
"version": "1.0.1",
"version": "1.0.2",
"description": "A set of natural functions like tf.idf, extract words & n-grams, ... (experimental project)",

@@ -5,0 +5,0 @@ "main": "index.js",

@@ -10,3 +10,3 @@ var assert = require("assert");

"word2 word7 word8 word9 word10 word7 word11 word7 word11 word11 word11 word11.",
" word7 word2" ];
" word7 word2 " ];

@@ -25,4 +25,9 @@ it('Statements', function() {

words = natural.getWords("word1 word2 word3 word4. le la sur word5", false);
console.log("words", words);
assert(words.length === 5);
words = natural.getWords("word1 word2 word3 1234 word4 156,78. le la sur word5", false);
console.log(words);
assert(words.length === 5);
});

@@ -29,0 +34,0 @@

SocketSocket SOC 2 Logo

Product

  • Package Alerts
  • Integrations
  • Docs
  • Pricing
  • FAQ
  • Roadmap
  • Changelog

Packages

npm

Stay in touch

Get open source security insights delivered straight into your inbox.


  • Terms
  • Privacy
  • Security

Made with ⚡️ by Socket Inc