Où puis-je trouver une liste de mots d'arrêt hébreu?
6 Réponses :
Je doute qu'il y ait une ouverture disponible, mais comme une simple approximation, vous pouvez créer une liste de jetons très fréquents dans un corpus raisonnablement grand. Ensuite, en fonction de votre besoin, vous pouvez utiliser la liste comme telle ou filtrer manuellement, ou faire une erreur d'essai et d'erreur avec votre algorithme pour voir comment cela fonctionne.
Voici une liste des 100 jetons les plus courants de Un joli gros corpus que j'ai. Notez que, à mes fins, j'ai compté divers caractères de ponctuation comme jetons. Le nombre "1" représente tous les jetons numériques, d'où sa position haute dans la liste.
Vous seriez probablement au courant de cette liste d'arrêt est un concept problématique en hébreu en raison de la morphologie et de l'orthographe - certaines des utilisations utiles sont juste attachées aux mots.
function getStopWords(){
return array(
'×× ×™',
'×ת',
'×תה',
'×× ×—× ×•',
'×תן',
'×ת×',
'×”×',
'הן',
'×”×™×',
'הו×',
'שלי',
'שלו',
'שלך',
'שלה',
'×©×œ× ×•',
'שלכ×',
'שלכן',
'שלה×',
'שלהן',
'לי',
'לו',
'לה',
'×œ× ×•',
'לכ×',
'לכן',
'לה×',
'להן',
'×ותה',
'×ותו',
'×–×”',
'×–×ת',
'×לה',
'×לו',
'תחת',
'מתחת',
'מעל',
'בין',
'×¢×',
'עד',
'× ×’×¨',
'על',
'×ל',
'מול',
'של',
'×צל',
'כמו',
'×חר',
'×ותו',
'בלי',
'×œ×¤× ×™',
'×חרי',
'מ×חורי',
'עלי',
'עליו',
'עליה',
'עליך',
'×¢×œ×™× ×•',
'עליכ×',
'לעיכן',
'עליה×',
'עליהן',
'כל',
'כול×',
'כולן',
'כך',
'×›×›×”',
'×›×–×”',
'×–×”',
'זות',
'×ותי',
'×ותה',
'×ות×',
'×ותך',
'×ותו',
'×ותן',
'××•×ª× ×•',
'ו×ת',
'×ת',
'×תכ×',
'×תכן',
'×יתי',
'×יתו',
'×יתך',
'×יתה',
'×ית×',
'×יתן',
'××™×ª× ×•',
'×יתכ×',
'×יתכן',
'×™×”×™×”',
'תהיה',
'היתי',
'היתה',
'×”×™×”',
'להיות',
'עצמי',
'עצמו',
'עצמה',
'עצמ×',
'עצמן',
'×¢×¦×ž× ×•',
'עצמה×',
'עצמהן',
'מי',
'מה',
'×יפה',
'היכן',
'×‘×ž×§×•× ×©×‘×•',
'××',
'ל×ן',
'×œ×ž×§×•× ×©×‘×•',
'×ž×§×•× ×‘×•',
'××™×–×”',
'מהיכן',
'×יך',
'כיצד',
'ב×יזו מידה',
'מתי',
'בשעה ש',
'×›×שר',
'כש',
'למרות',
'×œ×¤× ×™',
'×חרי',
'מ×יזו סיבה',
'הסיבה שבגללה',
'למה',
'מדוע',
'ל×יזו תכלית',
'×›×™',
'יש',
'×ין',
'×ך',
'×ž× ×™×Ÿ',
'מ×ין',
'מ×יפה',
'יכל',
'יכלה',
'יכלו',
'יכול',
'יכולה',
'יכולי×',
'יכולות',
'יוכלו',
'יוכל',
'מסוגל',
'ל×',
'רק',
'×ולי',
'×ין',
'ל×ו',
'××™',
'כלל',
'× ×’×“',
'××',
'×¢×',
'×ל',
'×לה',
'×לו',
'××£',
'על',
'מעל',
'מתחת',
'מצד',
'בשביל',
'לבין',
'ב×מצע',
'בתוך',
'דרך',
'מבעד',
'ב×מצעות',
'למעלה',
'למטה',
'מחוץ',
'מן',
'לעבר',
'מכ×ן',
'×›×ן',
'×”× ×”',
'הרי',
'פה',
'ש×',
'×ך',
'בר×',
'שוב',
'×בל',
'מבלי',
'בלי',
'מלבד',
'רק',
'בגלל',
'מכיוון',
'עד',
'×שר',
'ו×ילו',
'למרות',
'×ס',
'כמו',
'כפי',
'××–',
'×חרי',
'כן',
'לכן',
'לפיכך',
'מ×ד',
'×¢×–',
'מעט',
'מעטי×',
'במידה',
'שוב',
'יותר',
'מדי',
'×’×',
'כן',
'× ×•',
'×חר',
'×חרת',
'×חרי×',
'×חרות',
'×שר',
'×ו'
);
}
Le Centre de Mila dispose d'une liste de jetons haute fréquence compilés de grandes corporaillons avec lesquelles ils travaillent. Voir le bas de la page: http: // www .mila.cs.technion.ac.il / hébreu / ressources / corpora / index.html .
Également, une autre chose à prendre en compte est d'arrêter les mots ambiguïté - où un certain mot peut être sans aucun sens ou avec une signification très imprévente. Par exemple - les mots אלה et אשר, les deux sont à la fois des prépositions hébraïques et des noms personnels valides. Plus d'informations sur ce phénomène hébraïque se trouvent ici: http: // www.code972.com/blog/2010/05/CHallenges-Intexing-hebrew/ (Faites défiler jusqu'à "Arrêt des mots ambiguïté").
À cause de cela, je ne pense pas qu'il soit possible d'avoir une liste d'arrêt hébraïque complète et absolue - elle dépend trop de vos corpus et de votre cas d'utilisation.
Le lien fourni précédemment est cassé. Ceci est le nouveau lien: http://www.mila.cs.technion.ac .il / index.html
La liste en question a des termes manquants (אךך, אכןכן, אכםכם, etc.).
genre Cordialement, Yaron Shahrabani.
Voici une liste de 500 mots d'arrêt hébraïque (avec et sans les comptes):
https: // github .com / gidim / hebrewstopwords
Également disponible ici:
J'ai trouvé ce fichier .xlsx dans https: //yeda.cs. technion.ac.il/resources_lexicons_stopWords.html C'est une liste très d'accès (lignes 23K) et vous pouvez obtenir la liste de personnes assez rapidement