o h+@sddlmZmZmZmZddlmZddlZddlmZddl Z ddl Z ddl Z ddl Z ddl mZmZmZmZmZmZddlmZmZddlZddlmZddlZddlZddlmZddlZdd l m!Z!dd l"m#Z#dd l$m%Z%m&Z&ddl Z ddl'Z'eZ(ee_)eed Z*e *d Z+dZ,ddZ-ddZ.ddZ/ddZ0ddZ1ddZ2ddZ3ddZ4e(5dd d!Z6e(7d"d#efd$d%Z8e(7d&d'efd(d)Z9dS)*) APIRouter HTTPExceptionRequestDepends)RedirectResponseN)OpenAI) ChatMessage SpeechText QuizMessageLineUser MedicineText UserQuestion)loggeropenai_api_key)TfidfVectorizer) BeautifulSoup) webdriver)Options)urljoinurlparse)api_keys3z$shanri-ai-chatbot-for-text-to-speechcs8dd|D}tjjjd|d}|jdjj}|S)NcSsg|] }|dr|qS)content)get).0msgr)/home/air/V2/gptbackup/chatbot_router5.py !szask_openai..gpt-4omodelmessagesr)openaichat completionscreatechoicesmessagerstrip)r"valid_messagesresponseanswerrrr ask_openai sr-cstjjjdd|d}d|dtd}t|d}|D]}||q Wdn1s2wY|dtd}t |t |t |dt d |S) Nztts-1nova)r!voiceinputz tmp/audio--z.mp3wbzhttps://z.s3.amazonaws.com/) clientaudiospeechr&timeopen iter_byteswrite s3_client upload_file bucket_nameosremove)textuser_idr+ audio_filefchunks3_keyrrrsynthesize_speech*s     rEcCs0t}|d|d|dtj|dS)Nz --headlessz --disable-gpuz --no-sandboxoptions)r add_argumentrChromerFrrr init_driverKs     rJcCst|jt|jkS)N)rnetloc)base_urltest_urlrrris_same_domainRsrNc st}d}z_|D]U}z7td|||tdt|jd}|jdd}d}|D]}||7}q-|d|d|d 7}Wq t y^}ztd |d |WYd }~q d }~ww|W| S| w) uVurl_list에 있는 각 페이지의 sections_group HTML만 크롤링 (내부 링크 X)u 🟢 크롤링 중: z html.parsersections_group)class_z z u [에러] z: N) rJprintrr6sleepr page_sourcefind_allprettify Exceptionquit) url_listdriverall_htmlurlsoupsections page_htmlsectionerrrfetch_all_pages_with_seleniumUs*     rccCsTdddddddddddddddd|dg}tjjjd |d }|jd jjS) NsystemuK以下の内容でこれらの部分を重点に修正してください。roleruQ企業名の代わりに弊社という表現を使った方がいいと思う。uH本社のスタッフがお客様に言う感じにしてください。u^ホームページに記載されている のような言葉は取り除いてください。u数値に関する内容が出たら、マークダウン形式の表で作成して答えてくれ。数値情報がなければあえて表にする必要はない。userrr rr3r$r%r&r'r(r) raw_answerr"r+rrrrefine_answer_with_gpts rjcsdddddddddddddddddddd ddd ddd ddd ddd dddddddddddd|dg}tjjjd|d}|jdjjS)u#homepage_url을 선택하는 함수rdu質問を分析し、回答を作成する際に必要な情報を持つURLを返す必要があります。質問を見てURLを選択してください。reuT最も情報がある可能性が高いURLを配列で返す必要があります。u関数の戻り値のように、配列のみを返す必要があります。 例) ['https://segue-g.jp/company/boardmember/index.html','https://segue-g.jp/ir/results/settle.html']u9企業理念 : https://segue-g.jp/company/sdgs/index.htmlu,IR 情報 : https://segue-g.jp/ir/index.htmluJ財務、業績報告、売上 : https://segue-g.jp/ir/results/settle.htmlu5株式情報 : https://segue-g.jp/ir/stock/index.htmluH当社の強み : https://segue-g.jp/ir/investor/strong_point/index.htmluA成長戦略 : https://segue-g.jp/ir/investor/strategy/index.htmlu:会社概要 : https://segue-g.jp/company/basic/index.htmlu:企業理念 : https://segue-g.jp/company/brand/index.htmlu6沿革 : https://segue-g.jp/company/history/index.htmluA役員一覧 : https://segue-g.jp/company/boardmember/index.htmlu5事業紹介 : https://segue-g.jp/business/index.htmlrgu 質問 : rr rrh)questionr"r+rrrchoose_hompage_urls, rlc s&|ds d|}t|IdH}t|}t|IdH}td|dtdt|tjj dddigd |d }|j rA|j nd }td |d ddd ddd ddd ddg}|rh| d d|d|ru| d d|d| d|dtj j j d|d}|jdjj}t|} | S)uaGPT-4o를 사용해 ug-inc.net 크롤링 데이터 + 웹 검색 정보를 포함한 답변 생성u 御社のNu크롤링 데이터 u#여기까지가 데이터입니다.z url_list : rtypeweb_search_previewu#株式会社 セグエグループ )r!toolsr0rOu웹 검색결과: rdu`与えられた質問を見て、関連情報を取得して回答を作成してください。reu回答を生成するときに、企業公式サイトの情報とウェブ検索の情報が同じ情報を持っている場合は、それを参照してください。uc情報の内容が異なる場合は、企業公式サイトの情報を優先してください。u?回答に何を参照したかは言わないでください。uI以下の企業公式サイトの情報を参考にしてください。 uC以下のウェブ検索の情報を参考にしてください。 rgr r) startswithrlast literal_evalrcrSstrr3 responsesr& output_textappendr$r%r'r(rrj) rk url_list_strrZ website_dataweb_search_responseweb_search_textr"r+initial_answerrefined_answerrrrgenerate_gpt_answers@    r}z/healthcs ddiS)Nstatushealthyrrrrr health_checksrz/apiV2_2/speech speech_textcs6|j}|j}|stdddt||IdH}d|iS)NzText is required status_codedetailrA)r? chat_tokenrrE)rr?rrArrrr5s r5z/apiV2_2/ask_question user_questioncs2|j}|stdddt|IdH}d|iS)NrzQuestion is requiredrr,)rkr)rr})r question_textgenerated_answerrrr ask_questions   r):fastapirrrrfastapi.responsesrr#rreboto3r=r6schemasrr r r r r configrrjsonsklearn.feature_extraction.textrloggingrequestsbs4rnumpynpseleniumr!selenium.webdriver.chrome.optionsr urllib.parserrrqrouterrr3r:r<r-rErJrNrcrjrlr}rrpostr5rrrrrsP          !,<