o \h+@sddlmZmZmZmZddlmZddlZddlmZddl Z ddl Z ddl Z ddl Z ddl mZmZmZmZmZmZddlmZmZddlZddlmZddlZddlZddlmZddlZdd l m!Z!dd l"m#Z#dd l$m%Z%m&Z&ddl Z ddl'Z'dd l(m(Z(eZ)ee_*eed Z+e +dZ,dZ-ddZ.ddZ/ddZ0ddZ1ddZ2ddZ3ddZ4ddZ5e)6d d!d"Z7e)8d#d$efd%d&Z9e)8d'd(efd)d*Z:dS)+) APIRouter HTTPExceptionRequestDepends)RedirectResponseN)OpenAI) ChatMessage SpeechText QuizMessageLineUser MedicineText UserQuestion)loggeropenai_api_key)TfidfVectorizer) BeautifulSoup) webdriver)Options)urljoinurlparse)datetime)api_keys3z$shanri-ai-chatbot-for-text-to-speechcs8dd|D}tjjjd|d}|jdjj}|S)NcSsg|] }|dr|qS)content)get).0msgr-/home/air/segue/gpt/backup/chatbot_router4.py "szask_openai..gpt-4omodelmessagesr)openaichat completionscreatechoicesmessagerstrip)r#valid_messagesresponseanswerrrr ask_openai!sr.cstjjjdd|d}d|dtd}t|d}|D]}||q Wdn1s2wY|dtd}t |t |t |dt d |S) Nztts-1nova)r"voiceinputz tmp/audio--z.mp3wbzhttps://z.s3.amazonaws.com/) clientaudiospeechr'timeopen iter_byteswrite s3_client upload_file bucket_nameosremove)textuser_idr, audio_filefchunks3_keyrrrsynthesize_speech+s     rFcCs0t}|d|d|dtj|dS)Nz --headlessz --disable-gpuz --no-sandboxoptions)r add_argumentrChromerGrrr init_driverLs     rKcCst|jt|jkS)N)rnetloc)base_urltest_urlrrris_same_domainSsrOc st}d}zZ|D]P}z2td|||t|jd}|jdd}d}|D]}||7}q(|d|d|d7}Wq tyY}ztd |d |WYd }~q d }~ww|W|S|w) uVurl_list에 있는 각 페이지의 sections_group HTML만 크롤링 (내부 링크 X)u 🟢 크롤링 중: z html.parsersections_group)class_z z u [에러] z: N) rKprintrr page_sourcefind_allprettify Exceptionquit) url_listdriverall_htmlurlsoupsections page_htmlsectionerrrfetch_all_pages_with_seleniumVs(    rbcCsTdddddddddddddddd|dg}tjjjd |d }|jd jjS) NsystemuK以下の内容でこれらの部分を重点に修正してください。roleruQ企業名の代わりに弊社という表現を使った方がいいと思う。uH本社のスタッフがお客様に言う感じにしてください。u^ホームページに記載されている のような言葉は取り除いてください。u数値に関する内容が出たら、マークダウン形式の表で作成して答えてくれ。数値情報がなければあえて表にする必要はない。userr r!rr4r%r&r'r(r)r) raw_answerr#r,rrrrefine_answer_with_gpts ricsdddddddddddddddddddd ddd ddd ddd ddd dddddddddddd|dg}tjjjd|d}|jdjjS)u#homepage_url을 선택하는 함수rcu質問を分析し、回答を作成する際に必要な情報を持つURLを返す必要があります。質問を見てURLを選択してください。rduT最も情報がある可能性が高いURLを配列で返す必要があります。u関数の戻り値のように、配列のみを返す必要があります。 例) ['https://segue-g.jp/company/boardmember/index.html','https://segue-g.jp/ir/results/settle.html']u9企業理念 : https://segue-g.jp/company/sdgs/index.htmlu,IR 情報 : https://segue-g.jp/ir/index.htmluJ財務、業績報告、売上 : https://segue-g.jp/ir/results/settle.htmlu5株式情報 : https://segue-g.jp/ir/stock/index.htmluH当社の強み : https://segue-g.jp/ir/investor/strong_point/index.htmluA成長戦略 : https://segue-g.jp/ir/investor/strategy/index.htmlu:会社概要 : https://segue-g.jp/company/basic/index.htmlu:企業理念 : https://segue-g.jp/company/brand/index.htmlu6沿革 : https://segue-g.jp/company/history/index.htmluA役員一覧 : https://segue-g.jp/company/boardmember/index.htmlu5事業紹介 : https://segue-g.jp/business/index.htmlrfu 質問 : r r!rrg)questionr#r,rrrchoose_hompage_urls, rkcs|ds d|}ttdt|IdH}t|}ttdttdt|IdH}ttdddd dd d g}|rP|dd |d |d |d ttd t j j j d|d}ttd|j djj}ttdt|}ttd|S)uaGPT-4o를 사용해 ug-inc.net 크롤링 데이터 + 웹 검색 정보를 포함한 답변 생성u 御社のuurl 선택 시작Nuurl 선택 끝u크롤링시작u 크롤링끝rcu`与えられた質問を見て、関連情報を取得して回答を作成してください。rdu?回答に何を参照したかは言わないでください。uI以下の企業公式サイトの情報を参考にしてください。 rfu대답생성 시작r r!u대답생성 종료ru답변 정리 시작u답변 정리 종료) startswithrSrnowrkast literal_evalrbappendr4r%r&r'r(r)rri)rj url_list_strrY website_datar#r,initial_answerrefined_answerrrrgenerate_gpt_answers6  ruz/healthcs ddiS)Nstatushealthyrrrrr health_checksrxz /api2/speech speech_textcs6|j}|j}|stdddt||IdH}d|iS)NzText is required status_codedetailrB)r@ chat_tokenrrF)ryr@r~rBrrrr6s r6z/api2/ask_question user_questioncs2|j}|stdddt|IdH}d|iS)NrzzQuestion is requiredr{r-)rjr*rru)r question_textgenerated_answerrrr ask_questions   r);fastapirrrrfastapi.responsesrr$rreboto3r>r7schemasrr r r r r configrrjsonsklearn.feature_extraction.textrloggingrequestsbs4rnumpynpseleniumr!selenium.webdriver.chrome.optionsr urllib.parserrrnrrouterrr4r;r=r.rFrKrOrbrirkrurrxpostr6rrrrrsR           !+C