o Xxi!6 @sdZddlZddlZddlmZmZmZmZmZddl m Z m Z m Z m Z mZmZddlmZmZddlmZmZddlmZz dd lmZmZWn&eynejejejeZ ej!de dd l"mZmZYnwej#d kZ$Gd d d e%Z&Gd dde%Z'Gddde(Z)dS)ua The tokenizer module supplies Token and Tokenizer classes. Usage: >>> from janome.tokenizer import Tokenizer >>> t = Tokenizer() >>> for token in t.tokenize('すもももももももものうち'): ... print(token) ... すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ with wakati ('分かち書き') mode: >>> from janome.tokenizer import Tokenizer >>> t = Tokenizer() >>> for token in t.tokenize('すもももももももものうち', wakati=True): ... print(token) ... すもも も もも も もも の うち with user dictionary (IPAdic format): .. code-block:: shell $ cat examples/user_ipadic.csv 東京スカイツリー,1288,1288,4569,名詞,固有名詞,一般,*,*,*,東京スカイツリー,トウキョウスカイツリー,トウキョウスカイツリー 東武スカイツリーライン,1288,1288,4700,名詞,固有名詞,一般,*,*,*,東武スカイツリーライン,トウブスカイツリーライン,トウブスカイツリーライン とうきょうスカイツリー駅,1288,1288,4143,名詞,固有名詞,一般,*,*,*,とうきょうスカイツリー駅,トウキョウスカイツリーエキ,トウキョウスカイツリーエキ >>> t = Tokenizer("user_ipadic.csv", udic_enc="utf8") >>> for token in t.tokenize('東京スカイツリーへのお越しは、東武スカイツリーライン「とうきょうスカイツリー駅」が便利です。'): ... print(token)... ... 東京スカイツリー 名詞,固有名詞,一般,*,*,*,東京スカイツリー,トウキョウスカイツリー,トウキョウスカイツリー へ 助詞,格助詞,一般,*,*,*,へ,ヘ,エ の 助詞,連体化,*,*,*,*,の,ノ,ノ お越し 名詞,一般,*,*,*,*,お越し,オコシ,オコシ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 、 記号,読点,*,*,*,*,、,、,、 東武スカイツリーライン 名詞,固有名詞,一般,*,*,*,東武スカイツリーライン,トウブスカイツリーライン,トウブスカイツリーライン 「 記号,括弧開,*,*,*,*,「,「,「 とうきょうスカイツリー駅 名詞,固有名詞,一般,*,*,*,とうきょうスカイツリー駅,トウキョウスカイツリーエキ,トウキョウスカイツリーエキ 」 記号,括弧閉,*,*,*,*,」,」,」 が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 便利 名詞,形容動詞語幹,*,*,*,*,便利,ベンリ,ベンリ です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス 。 記号,句点,*,*,*,*,。,。,。 with user dictionary (simplified format): .. code-block:: shell $ cat examples/user_simpledic.csv 東京スカイツリー,カスタム名詞,トウキョウスカイツリー 東武スカイツリーライン,カスタム名詞,トウブスカイツリーライン とうきょうスカイツリー駅,カスタム名詞,トウキョウスカイツリーエキ >>> t = Tokenizer("user_simpledic.csv", udic_type="simpledic", udic_enc="utf8") >>> for token in t.tokenize('東京スカイツリーへのお越しは、東武スカイツリーライン「とうきょうスカイツリー駅」が便利です。'): ... print(token) N)IteratorUnionTupleOptionalAny)LatticeNode SurfaceNodeBOSEOSNodeType)UserDictionaryCompiledUserDictionary)SystemDictionaryMMapSystemDictionary)Matcher) all_fstdata connectionslc@sTeZdZdZddedeefddZdefdd Z d e d eddfd d Z ddZ dS)Tokenz> A Token object contains all information for a token. NnodeextracCs||_||_dSN)rr)selfrrrO/home/air/biblejyuku/back/venv/lib/python3.10/site-packages/janome/tokenizer.py__init__us zToken.__init__returncCs|dkr|jjS|dkr|jr|jdS|jjS|dkr(|jr$|jdS|jjS|dkr8|jr4|jdS|jjS|dkrH|jrD|jd S|jjS|d krX|jrT|jd S|jjS|d krh|jrd|jd S|jjS|dkrp|jj S dS)Nsurfacepart_of_speechr infl_typer infl_form base_formreadingphonetic node_type) rrrrr r!r#r%r'r))rnamerrr __getattr__ys"zToken.__getattr__r*valuecCst|||dSr)object __setattr__)rr*r,rrrr.szToken.__setattr__c Cs:|jd|jd|jd|jd|jd|jd|j S)N ,)rrr r!r#r%r')rrrr__str__sz Token.__str__r) __name__ __module__ __qualname____doc__r rrrrr+strr.r1rrrrrps  rc@seZdZdZdZdZd&ddddeddd ed ed ed ed e de defddZ ddddded e de dede e e eff ddZddZddZddZdd Zd!d"Zd#d$Zd%S)' Tokenizerz` A Tokenizer tokenizes Japanese texts with system and optional user defined dictionary. iiutf8ipadicF)udic_enc udic_typemax_unknown_lengthwakatimmapdotfileudicr;r<r=r>r?r@cCs||||_tt|_|rt|_nt|_|r;|dr*t |||t |_ nt j |r7t|t |_ nd|_ nd|_ ||_dS)a Initialize Tokenizer object with optional arguments. :param udic: (Optional) user dictionary file (CSV format) or directory path to compiled dictionary data :param udic_enc: (Optional) character encoding for user dictionary. default is 'utf-8' :param udic_type: (Optional) user dictionray type. supported types are 'ipadic' and 'simpledic'. default is 'ipadic' :param max_unknows_length: (Optional) max unknown word length. default is 1024. :param wakati: (Optional) if given True load minimum sysdic data for 'wakati' mode. :param mmap: (Optional) if given False, memory-mapped file mode is disabled. Set this option to False on any environments that do not support mmap. Default is True on 64bit architecture; otherwise False. .. seealso:: http://mocobeta.github.io/janome/en/#use-with-user-defined-dictionary z.csvN)r>rrmatcherrinstancesys_dicrendswithrruser_dicospathisdirrr=)rrAr;r<r=r>r?r@rrrrs      zTokenizer.__init__T)r> baseform_unkr@textrJrcCs<|jrd}|rt|tjkr|||||S||||dS)a Tokenize the input text. :param text: unicode string to be tokenized :param wakati: (Optinal) if given True returns surface forms only. default is False. :param baseform_unk: (Optional) if given True sets base_form attribute for unknown tokens. default is True. :param dotfile: (Optional) if specified, graphviz dot file is output to the path for later visualizing of the lattice graph. This option is ignored when the input length is larger than MAX_CHUNK_SIZE. :return: generator yielding tokens (wakati=False) or generator yielding string (wakati=True) Tr8)r>lenr7MAX_CHUNK_SIZE_Tokenizer__tokenize_stream)rrKr>rJr@rrrtokenizes zTokenizer.tokenizec csb|}t|}d}||kr/|||d|||\}}|D]} | Vq||7}||ksdSdS)Nr)striprL_Tokenizer__tokenize_partial) rrKr>rJr@ text_length processedtokenspostokenrrr__tokenize_streamszTokenizer.__tokenize_streamc s|jr|sttt|tj}t||j}d}|||s|||td|| d}|j rK|j |} | D] } | t | tjq9t| dk} |j ||j} | D] } | t | tjqUt| dk} |j||} | r| D]| r~|js~qs|js|jn|j} | dksJ||}t|dt||| dD]"}|j||}|vstfdd|Dr|||7}q|jj}|sJ|D]#}|\}}}}|r|nd}|||||dd|ddf }| t|tjqqs||7}|||r|| }t!|dt"sJt!|dt#s"J|r1d d |ddD}nMg}|ddD]D}t$|t krX|j%tjkrX|&t'||j(|j)q9t$|t kru|j%tjkru|&t'||j (|j)q9|&t'|q9|r|j*|d ||fS) Nr2zutf-8rc3s|]}|vVqdSrr).0 _compat_catescaterr sz/Tokenizer.__tokenize_partial..*cSsg|]}|jqSr)r)rYrrrr sz0Tokenizer.__tokenize_partial..)filename)+r>WakatiModeOnlyExceptionminrLr7rMrrD_Tokenizer__should_splitencoderFlookupaddr r USER_DICTrBSYS_DICTget_char_categoriesunknown_invoked_alwaysunknown_groupingunknown_lengthr=rangeanyvaluesunknownsgetr UNKNOWNforwardendbackward isinstancer r typer)appendr lookup_extranumgenerate_dotfile)rrKr>rJr@ chunk_sizelatticerUencoded_partial_textentriesematchedcateslengthbufp_catesunknown_entriesentryleft_idright_idcostrr#dummy_dict_entry min_cost_pathrTrrr[r__tokenize_partialst         "    * zTokenizer.__tokenize_partialcCs2|t|kp|tjkp|tjko||d|Sr)rLr7rM CHUNK_SIZE_Tokenizer__splittable)rrKrUrrr__should_split+s zTokenizer.__should_splitcCs||dp ||S)Nr_)_Tokenizer__is_punct_Tokenizer__is_newlinerrKrrr __splittable1szTokenizer.__splittablecCs@|dkp|dkp|dkp|dkp|dkp|dkp|dkp|dkS) Nu、u。r0.u？?u！!r)rcrrr __is_punct4s@zTokenizer.__is_punctcCs|dp |dS)Nz z )rErrrr __is_newline7szTokenizer.__is_newlineN)r8)r2r3r4r5rMrDEFAULT_MMAP_MODEr6intboolrrrrrOrNrQrdrrrrrrrr7sB  +  D r7c@s eZdZdS)rbN)r2r3r4rrrrrb;srb)*r5sysrGtypingrrrrrr~rr r r r r dicrr system_dicrrfstr janome.sysdicrr ImportErrorrHdirnameabspath__file__ parent_dirinsertsysdicmaxsizerr-rr7 Exceptionrbrrrrs(L    &&