Langchain4j-1-流式输出

流式输出
参考文档：

• 响应流式输出
  
• AI Services Flux
  

前置准备

• 导入响应式编程依赖包：
  

1. <dependency>
2.     <groupId>dev.langchain4j</groupId>
3.     langchain4j-reactor</artifactId>
4.     <version>1.0.0-beta3</version>
5. </dependency>

复制代码

• 配置文件设置字符集：
  

1. # 设置响应的字符编码，避免流式返回输出乱码  
2. server.servlet.encoding.charset=utf-8  
3. server.servlet.encoding.enabled=true  
4. server.servlet.encoding.force=true

复制代码

• StreamingChatResponseHandler 处理流式事件：
  

1. public interface StreamingChatResponseHandler {
3.     void onPartialResponse(String partialResponse);
5.     void onCompleteResponse(ChatResponse completeResponse);
7.     void onError(Throwable error);
8. }

复制代码

通过实现 StreamingChatResponseHandler，可以为以下事件定义操作：

• 当生成下一个部分响应时：调用 onPartialResponse(String partialResponse)。可以在标记可用时立即将其发送到 UI。
  
• 当 LLM 完成生成时：调用 onCompleteResponse(ChatResponse completeResponse)。 ChatResponse 对象包含完整的响应（AiMessage）以及 ChatResponseMetadata。
  
• 当发生错误时：调用 onError(Throwable error)。
  

原生使用

• LanguageModel -> StreamingLanguageModel
  
• ChatLanguageModel -> StreamingChatLanguageModel
  

1. // Config.java
2. @Configuration  
3. public class LLMConfig  
4. {
5.         // 流式对话接口 StreamingChatModel  
6.         @Bean  
7.         public StreamingChatModel streamingChatModel(){  
8.             return OpenAiStreamingChatModel.builder()  
9.                         .apiKey(System.getenv("ALIQWEN_API"))  
10.                         .modelName("qwen-plus")  
11.                         .baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1")  
12.                     .build();  
13.         }
14. }
16. // Controller.java
17. @RestController  
18. @Slf4j  
19. public class StreamingChatModelController  
20. {  
21.     @Resource //直接使用 low-level LLM API   
22.     private StreamingChatModel streamingChatLanguageModel;  
23.   
24.     // http://localhost:9007/chatstream/chat?prompt=天津有什么好吃的  
25.     @GetMapping(value = "/chatstream/chat")  
26.     public Flux<String> chat(@RequestParam("prompt") String prompt)  
27.     {  
28.         System.out.println("---come in chat");  
29.   
30.         return Flux.create(emitter -> {  
31.             streamingChatLanguageModel.chat(prompt, new StreamingChatResponseHandler()  
32.             {  
33.                 @Override  
34.                 public void onPartialResponse(String partialResponse)  
35.                 {  
36.                     emitter.next(partialResponse);  
37.                 }  
38.   
39.                 @Override  
40.                 public void onCompleteResponse(ChatResponse completeResponse)  
41.                 {  
42.                     emitter.complete();  
43.                 }  
44.   
45.                 @Override  
46.                 public void onError(Throwable throwable)  
47.                 {  
48.                     emitter.error(throwable);  
49.                 }  
50.             });  
51.         });  
52.     }

复制代码

AI Services 使用

• 接口签名为：Flux chatFlux(String prompt);
  
• 传递 streamingChatModel 创建
  

1. // ChatAssistant.java
2. public interface ChatAssistant  
3. {  
4.     String chat(String prompt);  
5.   
6.     Flux<String> chatFlux(String prompt);  
7. }
9. // Config.java
10. @Configuration
11. public class LLMConfig  
12. {
13.         @Bean  
14.         public ChatAssistant chatAssistant(StreamingChatModel streamingChatModel){  
15.             return AiServices.create(ChatAssistant.class, streamingChatModel);  
16.         }
17. }

复制代码

来源：豆瓜网用户自行投稿发布，如果侵权，请联系站长删除