个人网站icp备案教程杭州线上推广
选择金融领域的专业文档作为源文件
这里选择 《博金大模型挑战赛-金融千问14b数据集》，这个数据集包含若干公司的年报，我们将利用这个年报搭建金融问答机器人。
具体下载地址 这里
git clone https://www.modelscope.cn/datasets/BJQW14B/bs_challenge_financial_14b_dataset.git
具体目录如下：
这里直接使用已经识别的纯文本数据，即pdf_txt_file目录下的文件。
选择词向量模型
这里选用m3e-base。M3E是专注于中文文本处理,具有强大的文本处理能力和灵活的部署选项,适合资源受限或需要私有化的应用场景
这里
git clone https://www.modelscope.cn/Jerry0/m3e-base.git
读取与清洗数据
1, 读取文件列表
import osdir_path = "bs_challenge_financial_14b_dataset/pdf_txt_file"
all_files = os.listdir(dir_path)
print(all_files)
2，清洗数据
从结果我们可以观察到文件名都是乱码，我们需要把文件名改成公司名，可以一看就看出是哪个公司的年报，并且在后续处理的时候把公司名加入到每个chuck中，在后续检索的时候对应指定公司的query就能匹配这个公司相关的一系列信息。
（1），读取数据
import re
for file in all_files:with open(os.path.join(dir_path, file), "r",encoding = "utf-8") as f:lst = f.readlines()pattern = ".*发行人.*股份有限公司\n"name = "" for line in lst[-20:]: if re.match(pattern, line): name = linename = name.split("：")[-1] breakif name == "" :pattern = ".*股份有限公司\n"for line in lst: if re.match(pattern, line): name = lineif "：" in name:name = name.split("：")[-1] break name = name.strip() #找到公司名后：创建一个新文件夹存放if name != "" : print(file,name)try:with open("financial_dataset/{}.txt".format(name), "w",encoding = "utf-8") as f:for line in lst:f.write(line)except Exception as e:print(e)continue
（2）经过研究，文本里会含有多个股份有限公司，所以想过滤一次“.*发行人.*股份有限公司”，再过滤“.*股份有限公司” 。然后把新文件放到独立的目录下
import osdir_path = "financial_dataset"
files = os.listdir(dir_path)
files
（3）然后对文件名做最后的筛选，公司名称一般不超过20个字符。
new_files = []
for item_file in files:if len(item_file) > 20:continueelse:if " " in item_file:continueif "、" in item_file:continuenew_files.append(item_file)
new_files
至此数据清洗完毕。如果还有其他需求可以自行再根据规则清洗。
读取无结构文本内并切片
1，使用UnstructuredFileLoader加载文件
def get_all_text(file_list):documents = []#遍历所有目标文件#使用tqdm可视化库，以时间轴的形式展示出来for one_file in tqdm(file_list):print(one_file)file_suffix = one_file.split(".")[-1]if file_suffix == "txt":loader = TextLoader(one_file,encoding = "utf-8")else:continuedocuments.extend(loader.load())return documentsfile_list = [os.path.join(dir_path, item) for item in new_files]
docs = get_all_text(file_list)
2，数据切片
由于1个文档的内容比较多，超过大模型的上下文窗口限制，所以需要把数据切片。
调用langchain里的text_splitter分割为chunk,每个chunk设置为350个大小，同时overlap为150，也就是前一个chunk的后150个字符跟后一个chunk的前150个字符是一样的。通过这样的方式避免在分chunk的时候遗漏相关信息
from langchain.text_splitter import RecursiveCharacterTextSplittertext_splitter = RecursiveCharacterTextSplitter(chunk_size=350, chunk_overlap=150)
split_docs = text_splitter.split_documents(docs)
print(split_docs[0])
可以看page_content里没公司名称，但我们在query的时候希望与公司相关，所有把公司名也放到page_content里
for one_chunk in split_docs:one_chunk.page_content = one_chunk.metadata["source"].split("/")[-1] + one_chunk.page_content + one_chunk.metadata["source"].split("/")[-1]
print(split_docs[0])
数据向量化并保存到向量数据库中
使用词向量模型把前面切分的chunk转化成词向量，保存到向量数据库中。
from langchain_huggingface import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(model_name="m3e-base") from langchain.vectorstores import Chroma
# 定义持久化路径
persist_directory = 'data_base/chroma'
# 加载数据库
vectordb = Chroma.from_documents(documents=split_docs[:20000],#由于自己电脑性能有限，如果很久没完成的时候，可以重新启动执行，改成取1000或者500。记得删除已经生成的向量数据库文件。embedding=embeddings,persist_directory=persist_directory # 允许我们将persist_directory目录保存到磁盘上
)
会自动保存到磁盘上:
数据清洗和切片已完毕。