o hU)@sddlmZmZmZmZddlmZddlZddlZddl Z ddl Z ddl m Z m Z mZmZmZmZddlmZddlZddlmZddlZddlZddlmZddlZddlmZdd l m!Z!dd l"m#Z#m$Z$ddl Z ddl%Z%dd l&m'Z'dd l(m)Z)eZ*d Z+e'j,e+dZ-e-dZ.dZ/ddZ0ddZ1ddZ2ddZ3ddZ4ddZ5ddZ6dd Z7e*8d!d"d#Z9e*:d$d%e fd&d'Z;e*:d(d)efd*d+Z"szask_openai..zgpt-4o)modelmessagesr)openaichat completionscreatechoicesmessagerstrip)r valid_messagesresponseanswerrrr ask_openai!sr+cstjjjdd|d}d|dtd}t|d}|D]}||q Wdn1s2wY|dtd}t |t |t |dt d |S) Nztts-1nova)rvoiceinputz tmp/audio--z.mp3wbzhttps://z.s3.amazonaws.com/) clientaudiospeechr$timeopen iter_byteswrite s3_client upload_file bucket_nameosremove)textuser_idr) audio_filefchunks3_keyrrrsynthesize_speech+s     rCcCs0t}|d|d|dtj|dS)Nz --headlessz --disable-gpuz --no-sandboxoptions)r add_argumentrChromerDrrr init_driverLs     rHcCst|jt|jkS)N)rnetloc)base_urltest_urlrrris_same_domainSsrLc st}d}z_|D]U}z7td|||tdt|jd}|jdd}d}|D]}||7}q-|d|d|d 7}Wq t y^}ztd |d |WYd }~q d }~ww|W| S| w) uVurl_list에 있는 각 페이지의 sections_group HTML만 크롤링 (내부 링크 X)u 🟢 크롤링 중: z html.parsersections_group)class_z  u [에러] z: N) rHprintrr4sleepr page_sourcefind_allprettify Exceptionquitall_text) url_listdriverall_htmlurlsoupsections page_htmlsectionerrrfetch_all_pages_with_seleniumVs*     rccCs.d|d}tjjd|tjdgdd}|jS)Nu 以下の内容を丁寧に修正してください。 - 企業名の代わりに「弊社」という表現を使ってください。 - 本社のスタッフがお客様に話しかける感じにしてください。 - 「ホームページに記載されている」といった表現は削除してください。 - 数値がある場合は、マークダウン形式の表で表示してください。 - 冒頭の挨拶文（例：「お客様各位」「いつもご利用ありがとうございます」「お問い合わせありがとうございます」など）は省略してください。 以下が修正対象の文章です： z gemini-1.5-proTEXTresponse_modalitiesrcontentsconfig)r1modelsgenerate_contentrGenerateContentConfigr=) raw_answerpromptr)rrrrefine_answer_with_geminis  rpcs0d|}tjjd|tjdgdd}|jS)u!homepage_urlを選択する関数ul 以下の情報を元に、質問に対して最も適切なURLを一つ以上配列の形で選んでください。 - 出力形式は配列のみを返すこと。例: ['https://segue-g.jp/company/boardmember/index.html','https://segue-g.jp/ir/results/settle.html'] - 回答や説明文は不要です。配列形式のみ出力してください。 【URLリスト】 - 企業理念 : https://segue-g.jp/company/sdgs/index.html - IR 情報 : https://segue-g.jp/ir/index.html - 財務、業績報告 : https://segue-g.jp/ir/results/settle.html - 株式情報 : https://segue-g.jp/ir/stock/index.html - 当社の強み : https://segue-g.jp/ir/investor/strong_point/index.html - 成長戦略 : https://segue-g.jp/ir/investor/strategy/index.html - 会社概要 : https://segue-g.jp/company/basic/index.html - 企業理念 : https://segue-g.jp/company/brand/index.html - 沿革 : https://segue-g.jp/company/history/index.html - 役員一覧 : https://segue-g.jp/company/boardmember/index.html - 事業紹介 : https://segue-g.jp/business/index.html 【質問】 rdrerfrh)r1rkrlrrmr=r')questionror)rrrchoose_homepage_urls rrc s|ds d|}t|IdH}t|}t|IdH}td|tdt|d|}tjj d|gt j t j t dgdgdd }td |jd g}|rZ|d ||re|d |j|d|d|}tjj d|t j dgdd }t|j} | S)Nu 御社のu$segue-g 사이트 크롤링 결과: z url_list : u#株式会社 セグエグループ rd)google_search_retrievalre)toolsrgrhu웹 검색결과: un※ 回答には情報源のリンクや「ホームページに記載されている」などの表現を含めないでください。※ 回答は丁寧である必要はありますが、挨拶文（例：「お客様各位」「お問い合わせありがとうございます」など）は含めず、要点から始めてください。※ 回答を生成するときに、企業公式サイトの情報とウェブ検索の情報が同じ情報を持っている場合は、それを参照してください。※ 情報の内容が異なる場合は、企業公式サイトの情報を優先してください。u"[企業公式サイトの情報]: u[ウェブ検索の情報]: u [質問]: rQrf) startswithrrast literal_evalrcrRstrr1rkrlrrmToolGoogleSearchRetrievalr=appendjoinrp) rq url_list_strrZ website_datawebsearch_inputwebsearch_data prompt_parts full_promptr)refined_answerrrrgenerate_gemini_answersF      rz/healthcs ddiS)Nstatushealthyrrrrr health_checksrz/apigeV2_2/speech speech_textcs6|j}|j}|stdddt||IdH}d|iS)NzText is required status_codedetailr?)r= chat_tokenrrC)rr=rr?rrrr3s r3z/apigeV2_2/ask_question user_questioncs2|j}|stdddt|IdH}d|iS)NrzQuestion is requiredrr*)rqr'rr)r question_textgenerated_answerrrrgemini_questions   r)=fastapirrrrfastapi.responsesrr!boto3r;r4schemasrrr r r r rjr pandaspdsklearn.feature_extraction.textrloggingrequestsbs4rnumpynpseleniumr!selenium.webdriver.chrome.optionsr urllib.parserrrvgoogler google.genairrouterAPI_KEYClientr1r8r:r+rCrHrLrcrprrrrrpostr3rrrrrsP            !,#A