Zipf's Law
par le Docteur Richard S. Wallace
Un article assez intéressant sur la loi de Zipf (professeur George Kingsley Zipf): Zipf's Law par Richard Wallace.
En gros: la loi de Zipf dit qu'un mot a une profondeur conceptuelle plus importante quand il apparaît moins souvent dans un corpus.
Pendant ma thèse, j'ai trouvé aussi des règles moins triviales: ce qu'on appelle les mots vides, c'est-à-dire les mots outils/charnières de la langue sont liés avec de nombreux mots différents, alors que les mots ayant un sens important, même s'ils ont une fréquence importante, co-occurrent avec beaucoup moins de mots.
J'en parle ici.
Dans un Réseau de Concepts, celà revient à trouver des mots avec un nombre de liens afférents et/ou efférents relativement faibles (relativement à leur fréquence).
En gros: quand on a un corpus parlant essentiellement d'un sujet, les mots exprimant ce sujet vont avoir une fréquence haute. Comment les distinguer des mots vides? En calculant un ratio fréquence/liens (les liens étant le nombre de mots suivant ou précédant ce mot).
Partagez cet article!
Par H-I
|
| 14/11/2003 21:08
| IA
|
aucun commentaire
| 