
* 겪고 있는 문제 상황을 최대한 자세하게 작성해주세요.
* 문제 해결을 위해 어떤 시도를 해보았는지 구체적으로 함께 알려주세요.
!pip install langchain
!pip install openai==0.27.8
!pip install tiktoken
from langchain.document_loaders import WebBaseLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.chat_models import ChatOpenAI
from langchain.chains.summarize import load_summarize_chain
from langchain.prompts import PromptTemplate
loader = WebBaseLoader(web_path="https://ko.wikipedia.org/wiki/NewJeans")
documents = loader.load()
#print(documents)
text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=100,length_function=len)
docs = text_splitter.split_documents(documents)
template= '''
{text} 다음의 내용을 한글로 요약해 줘
{text}
'''
combine_template='''
내용에 대한 요약은 markdown형식으로 해 줘
{text}
'''
prompt = PromptTemplate(template=template,input_variables=['text'])
combine_prompt = PromptTemplate(template=combine_template,input_variables=['text'])
#print(len(docs))
#print(docs[10])
chat = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0.9,openai_api_key=" ")
chain = load_summarize_chain(chat,chain_type="map_reduce",verbose=True,map_prompt= prompt, combine_prompt= combine_prompt)
chain.run(docs[:-1])
template= '''
{text} 다음의 내용을 한글로 요약해 줘
{text}
'''
combine_template='''
내용에 대한 요약은 markdown형식으로 해 줘
{text} ''' 이부분의 경우 {text}라고 정의한 부분이 없는데 어떻게 실행되는지 이해가 안돼서 자세히 설명해 주세요.제생각엔 loader 변수를 text로 받으면 될 것 같았는데 받지 않았구요.그리고 prompt를 왜 map_prompt로 받는지에 대해서도 설명 부탁드려요.
