LangChain:数据增强之文本切割器

在Langchain的数据增强模块,数据以 Document 对象和向量形式在各个包装器之间流转。向量形式的数据由向量数据库管理,而被转换为向量之前,数据以 Document 对象的形式存在。

阅读更多

理解嵌入(Embedding)的定义、原理及意义

在自然语言处理(NLP)和大语言模型(LLM)中,嵌入(Embedding) 是一个核心概念。它的本质是将文本(如单词、句子或文档)转换为数值形式的向量(一串数字),使得计算机能够理解和处理这些文本的语义信息。

阅读更多

LangChain:数据增强之加载器-Loader

LangChain框架中的Loader组件是数据增强处理流程中的核心模块,负责将不同格式的数据源转换为统一的Document对象。这些文档对象包含文本内容(page_content)和元数据(metadata),为后续的文本处理、嵌入、问答等操作奠定基础。

阅读更多

LangChain:数据增强概念

LangChain 框架的数据增强模块主要基于检索增强生成(RAG)技术,通过整合外部知识库提升大语言模型(LLM)在专业领域、实时性要求和私有数据场景下的表现。

阅读更多

Agent:ReAct框架

Agent的ReAct框架是一种结合推理(Reasoning)行动(Acting)的AI智能体开发框架,旨在通过动态的思考与执行循环解决复杂任务。

阅读更多

Agent:Master-Worker模式

Agent的Master-Worker模式是一种并行任务处理架构,通过任务分解、动态分配与结果归并实现高并发场景下的效率提升。其核心思想是将系统分为两类角色:Master(主控节点)负责任务调度与结果整合,Worker(工作节点)负责执行具体子任务。

阅读更多

LangChain:模型I/O之输出解析器

LangChain的输出解析器(Output Parser)是Model I/O模块的核心组件之一,主要用于将语言模型(LLM)的非结构化文本输出转换为结构化数据。它们确保模型输出符合特定格式,便于后续处理,比如解析模型的输出数据。

阅读更多

LangChain:模型I/O之示例选择器

示例选择器的作用是在传递给模型的示例中进行选择,以确保示例的数量和内容长度不会超过模型的处理能力。这样,即使有大量的示例,模型也能够有效地处理提示词,而不会因为示例过多或内容过长而无法处理。

阅读更多