¿Sabía que en todos los idiomas, la palabra más frecuente aparece el doble de veces que la segunda palabra más frecuente? Este fenómeno llamado 'Ley de Zipf' tiene más de un siglo de antigüedad, pero hasta ahora, los científicos no han podido dilucidarexactamente, Sander Lestrade, lingüista de la Universidad Radboud en los Países Bajos, propone una nueva solución a este notorio problema en PLOS ONE.
La ley de Zipf describe cómo la frecuencia de una palabra en el lenguaje natural depende de su rango en la tabla de frecuencias. Por lo tanto, la palabra más frecuente aparece dos veces más que el segundo trabajo más frecuente, tres veces más que la palabra siguiente,y así sucesivamente hasta la palabra menos frecuente. La ley lleva el nombre del lingüista estadounidense George Kingsley Zipf, quien fue el primero en tratar de explicarla alrededor de 1935.
El mayor misterio en lingüística computacional
"Creo que es seguro decir que la ley de Zipf es el mayor misterio en lingüística computacional", dice Sander Lestrade, lingüista de la Universidad de Radboud en Nijmegen, Países Bajos. "A pesar de décadas de teorización, sus orígenes siguen siendo esquivos". Lestradeahora muestra que la ley de Zipf puede explicarse por la interacción entre la estructura de las oraciones sintaxis y el significado de las palabras semántica en un texto. Utilizando simulaciones por computadora, pudo demostrar que ni la sintaxis ni la semántica son suficientes para inducir un Zipfiandistribución por sí misma, pero esa sintaxis y semántica 'se necesitan' para eso.
"En el idioma inglés, pero también en holandés, solo hay tres artículos, y decenas de miles de sustantivos", explica Lestrade. "Como se usa un artículo antes de casi cada sustantivo, los artículos ocurren mucho más a menudo que los sustantivos".Pero eso no es suficiente para explicar la ley de Zipf. "Dentro de los sustantivos, también se encuentran grandes diferencias. La palabra 'cosa', por ejemplo, es mucho más común que 'submarino', y por lo tanto se puede usar con más frecuencia. Pero en ordenpara que ocurra con frecuencia, una palabra tampoco debería ser demasiado general. Si multiplica las diferencias de significado dentro de las clases de palabras, con la necesidad de cada clase de palabras, encontrará una distribución magnífica de Zipfian. Y esta distribución solo difiere un poco del Zipfianideal, tal como lo hace el lenguaje natural "
No solo las predicciones basadas en el nuevo modelo de Lestrades son completamente consistentes con los fenómenos encontrados en el lenguaje natural, su teoría también es válida para casi todos los idiomas del mundo, no solo para el inglés o el holandés. Lestrade: "Estoy muy contento con este hallazgo, yEstoy convencido de mi teoría. Sin embargo, su confirmación debe venir de otros lingüistas ".
Fuente de la historia :
Materiales proporcionado por Universidad de Radboud . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :