longchain4j 学习系列(1)-ollama本地调用

longchain4j是比spring-ai更早出现的大模型相关工程开源框架，社区成熟，活跃度高。下面演示如何用longchain4j调用本地ollama
一、核心pom依赖

1. 1
2. 2 <dependency>
3. 3     <groupId>dev.langchain4j</groupId>
4. 4     langchain4j</artifactId>
5. 5     <version>1.1.0</version>
6. 6 </dependency>
7. 7
8. 8
9. 9 <dependency>
10. 10     <groupId>dev.langchain4j</groupId>
11. 11     langchain4j-ollama</artifactId>
12. 12     <version>1.1.0-rc1</version>
13. 13 </dependency>

复制代码

View Code 二、注入对应实例

1. @Configuration
2. public class OllamaConfig {
4.     @Value("${ollama.base-url:http://localhost:11434}")
5.     private String ollamaBaseUrl;
7.     @Value("${ollama.model:qwen3:0.6b}")
8.     private String ollamaModel;
10.     @Value("${ollama.timeout:60}")
11.     private Integer timeoutSeconds;
13.     /**
14.      * 配置Ollama聊天模型
15.      *
16.      * @return ChatLanguageModel实例
17.      */
18.     @Bean
19.     public ChatModel chatModel() {
20.         return OllamaChatModel.builder()
21.                 .baseUrl(ollamaBaseUrl)
22.                 .modelName(ollamaModel)
23.                 .timeout(Duration.ofSeconds(timeoutSeconds))
24.                 .logRequests(true)
25.                 .logResponses(true)
26.                 .build();
27.     }
29.     @Bean
30.     public StreamingChatModel streamingChatModel() {
31.         return OllamaStreamingChatModel.builder()
32.                 .baseUrl(ollamaBaseUrl)
33.                 .modelName(ollamaModel)
34.                 .timeout(Duration.ofSeconds(timeoutSeconds))
35.                 .logRequests(true)
36.                 .logResponses(true)
37.                 .build();
38.     }
39. }

复制代码

注：与spring-ai不同，longchain4j的流式响应，需要1个单独的模型StreamingChatModel
三、yaml配置

1. server:
2.   port: 8080
3.   servlet:
4.     context-path: /
6. spring:
7.   application:
8.     name: longchain4j-study
9.   
10.   # 日志配置
11.   logging:
12.     level:
13.       com.example.longchain4jstudy: DEBUG
14.       dev.langchain4j: DEBUG
15.     pattern:
16.       console: "%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n"
18. # Ollama配置
19. ollama:
20.   base-url: http://localhost:11434
21.   model: qwen3:0.6b
22.   timeout: 60
24. # 应用信息
25. info:
26.   app:
27.     name: LongChain4j Study
28.     version: 1.0.0
29.     description: LongChain4j学习项目 - 集成Ollama聊天示例

复制代码

四、API示例

1.     @Autowired
2.     private ChatModel chatModel;
4.     @Autowired
5.     private StreamingChatModel streamingChatModel;
7.     /**
8.      * 发送聊天消息（GET方式）
9.      *
10.      * @param prompt 用户输入的消息
11.      * @return 聊天响应
12.      */
13.     @GetMapping(value = "/chat", produces = MediaType.TEXT_PLAIN_VALUE)
14.     public ResponseEntity<String> chat(@RequestParam String prompt) {
15.         log.info("收到聊天请求: {}", prompt);
17.         try {
18.             String aiResponse = chatModel.chat(prompt);
19.             return ResponseEntity.ok(aiResponse);
21.         } catch (Exception e) {
22.             log.error("与Ollama通信时发生错误", e);
23.             String errorResponse = "抱歉，处理您的请求时发生了错误: " + e.getMessage();
24.             return ResponseEntity.ok(errorResponse);
25.         }
26.     }
28.     /**
29.      * 流式聊天消息（GET方式）
30.      *
31.      * @param prompt 用户输入的消息
32.      * @return 流式聊天响应
33.      */
34.     @GetMapping(value = "/chat/stream", produces = "text/html;charset=utf-8")
35.     public Flux<String> chatStream(@RequestParam String prompt) {
36.         log.info("收到流式聊天请求: {}", prompt);
38.         Sinks.Many<String> sink = Sinks.many().unicast().onBackpressureBuffer();
40.         streamingChatModel.chat(prompt, new StreamingChatResponseHandler() {
41.             @Override
42.             public void onPartialResponse(String s) {
43.                 log.info("收到部分响应: {}",s);
44.                 // 发送SSE格式的数据
45.                 sink.tryEmitNext(escapeToHtml(s));
46.             }
48.             @Override
49.             public void onCompleteResponse(ChatResponse chatResponse) {
50.                 log.info("流式响应完成");
51.                 sink.tryEmitComplete();
52.             }
54.             @Override
55.             public void onError(Throwable throwable) {
56.                 log.error("流式响应发生错误", throwable);
57.                 sink.tryEmitError(throwable);
58.             }
59.         });
61.         return sink.asFlux();
62.     }

复制代码

五、运行效果

 

 
文中代码：
yjmyzz/longchain4j-study at day01　
 
参考：
https://docs.langchain4j.dev/https://docs.langchain4j.info/ 

来源：豆瓜网用户自行投稿发布，如果侵权，请联系站长删除