o !g=(@sddlmZmZmZmZddlmZddlZddlmZddl Z ddl Z ddl Z ddl Z ddl Z ddlmZmZmZmZmZmZddlmZmZddlZddlZddlZddlZddlmZddlZddl Z ddl!m"Z"ddl#Z$ddlmZddl%Z&dd l'm(Z(dd l)m*Z*eZ+ee_,eed Z-d Z.e(j/e.d e(0Z1e 2d Z3dZ4ddZ5ddZ6ddZ7ddZ8d1ddZ9ddZ:ddZ;dd Zd#d$d%Z?e+@d&d'efd(d)ZAe+@d*d+efd,d-ZBe+@d.d+efd/d0ZCdS)2) APIRouter HTTPExceptionRequestDepends)RedirectResponseN)OpenAI) ChatMessage SpeechText QuizMessageLineUser MedicineText UserQuestion)loggeropenai_api_key)TfidfVectorizer) BeautifulSoup)genai)types)api_keyz'AIzaSyB0gBfm2dXJaxUoX-T40SDomM7f4vQkQQUs3z$shanri-ai-chatbot-for-text-to-speechcs8dd|D}tjjjd|d}|jdjj}|S)NcSsg|] }|dr|qS)content)get).0msgr /home/air/api/chatbot_router5.py *szask_openai..gpt-4omodelmessagesr)openaichat completionscreatechoicesmessagerstrip)r valid_messagesresponseanswerrrr ask_openai)sr+cstjjjdd|d}d|dtd}t|d}|D]}||q Wdn1s2wY|dtd}t |t |t |dt d |S) Nztts-1nova)rvoiceinputz tmp/audio--z.mp3wbzhttps://z.s3.amazonaws.com/) clientaudiospeechr$timeopen iter_byteswrite s3_client upload_file bucket_nameosremove)textuser_idr) audio_filefchunks3_keyrrrsynthesize_speech3s     rCc sz(ddi}tj||dd}|t|jd}|d}ddd |D}|WStjyD}ztd |WYd }~d Sd }~ww) u$특정 URL에서 정보를 가져옴 User-Agent Mozilla/5.0 headerstimeout html.parserp cSsg|]}|qSr)get_text)rrKrrrrMz&fetch_website_data..u)웹사이트 정보 가져오기 실패: N) requestsrraise_for_statusrr=find_alljoinRequestExceptionprint)urlrHr)soup paragraphsr=errrfetch_website_dataDs  rZc szQddi}tj||dd}|t|jd}|h}|jdddD]}|d }tj||}| |r9| |q"d }|D]} t d | |t | d 7}q>|WStj ym} zt d | WYd} ~ d Sd} ~ ww)uE홈페이지에서 내부 링크를 찾아 전체 페이지 크롤링rDrErFrGrJaT)hrefr\rOu크롤링 중:  u웹사이트 크롤링 실패: N)rPrrQrr=rRurllibparseurljoin startswithaddrUrZrT) base_urlrHr)rWlinksa_tagr\full_urlall_textrVrYrrrfetch_all_pagesUs.   rhcsp|dt|g}||jddd}t|| d}fdd|D}d|d|S)uE질문과 관련 있는 텍스트를 상위 20개 문장으로 제한rLrNcsg|]}|qSrr)ri sentencesrrrwrNz&find_relevant_text..)splitr fit_transformTtoarraynpargsortrS)question text_data max_sentences max_length vectorizer similarities top_indices top_sentencesrrmrfind_relevant_textos r}cCsTdddddddddddddddd|dg}tjjjd |d }|jd jjS) NsystemuK以下の内容でこれらの部分を重点に修正してください。roleruQ企業名の代わりに弊社という表現を使った方がいいと思う。uH本社のスタッフがお客様に言う感じにしてください。u^ホームページに記載されている のような言葉は取り除いてください。u数値に関する内容が出たら、マークダウン形式の表で作成して答えてくれ。数値情報がなければあえて表にする必要はない。userrrr) gpt_clientr"r#r$r%r&r) raw_answerr r)rrrrefine_answer_with_gpt|s rcCs8td}d|d}tjjd|tjdgdd}|jS)Ngemini-1.5-prou 以下の内容を丁寧に修正してください。 - 企業名の代わりに「弊社」という表現を使ってください。 - 本社のスタッフがお客様に話しかける感じにしてください。 - 「ホームページに記載されている」といった表現は削除してください。 - 数値がある場合は、マークダウン形式の表で表示してください。 以下が修正対象の文章です： z TEXT)response_modalitiesrcontentsconfig)rGenerativeModel gemini_clientmodelsgenerate_contentrGenerateContentConfigr=)rrpromptr)rrrrefine_answer_with_geminis   rc Cstd}|r t||nd}tjjdddigd|d}t|j|jr&|jnd}dd d dd d g}|r?|dd |d |rL|dd |d |d|d tjj jd|d}|j dj j }t |}|S)uaGPT-4o를 사용해 ug-inc.net 크롤링 데이터 + 웹 검색 정보를 포함한 답변 생성https://segue-g.jp/rOrtypeweb_search_previewz Unite & Grow )rtoolsr.r~u`与えられた質問を見て、関連情報を取得して回答を作成してください。ru?回答に何を参照したかは言わないでください。uI以下の企業公式サイトの情報を参考にしてください。 uC以下のウェブ検索の情報を参考にしてください。 rrr)rhr}r responsesr$rU output_textappendr"r#r%r&rr) ru website_data relevant_textweb_search_responseweb_search_textr r)initial_answerrefined_answerrrrgenerate_gpt_answers0 rcCstd}|r t||nd}ddg}|r|d||d|d|}tjjd|tjtj t d gd gd d }|j }t |}|S) NrrOu{以下の質問に対して、Google検索結果や公式サイトの情報をもとに丁寧に回答してください。u※ 回答には情報源のリンクや「ホームページに記載されている」などの表現を含めないでください。u"[企業公式サイトの情報]: u [質問]: r]r) google_searchr)rrr) rhr}rrSrrrrrToolGoogleSearchRetrievalr=r)rurr prompt_parts full_promptr)rrrrrgenerate_gemini_answers(  rz/healthcs ddiS)Nstatushealthyrrrrr health_checksrz /api/speech speech_textcs6|j}|j}|stdddt||IdH}d|iS)NzText is required status_codedetailr?)r= chat_tokenrrC)rr=rr?rrrr3s r3z/api/gpt_question user_questionc,|j}|stdddt|}d|iSNrzQuestion is requiredrr*)rur'rrr question_textgenerated_answerrrr gpt_question   rz/api/gemini_questioncrr)rur'rrrrrrgemini_question rr)rirj)Dfastapirrrrfastapi.responsesrr!rreboto3r;r4 db_moduleschemasrr r r r r rrrhttpxjsonpandaspdPyPDF2sklearn.feature_extraction.textrloggingrPbs4r urllib.parser^numpyrsgoogler google.genairrouterrrAPI_KEY configureClientrr1r8r:r+rCrZrhr}rrrrrrpostr3rrrrrrsb              (