feat(data):热词算法优化（最近24小时资讯+去重）

- 新增 GetNews24HoursList 方法，用于获取最近24小时内的新闻数据
- 支持按来源筛选新闻，如“财联社电报”
- 添加内容去重逻辑，避免重复新闻条目
- 自动加载新闻关联的标签信息，并构建主题标签字段
- 优化查询逻辑，提升数据获取效率与准确性

README.md

@@ -37,11 +37,9 @@
 | [LMStudio](https://lmstudio.ai/) | ✅ | 本地大模型运行平台                                                                                                                                                                                                                                                         |
 | [AnythingLLM](https://anythingllm.com/) | ✅ | 本地知识库                                                                                                                                                                                                                                                             |
 | [DeepSeek](https://www.deepseek.com/) | ✅ | deepseek-reasoner,deepseek-chat                                                                                                                                                                                                                                   |
-| [大模型聚合平台](https://cloud.siliconflow.cn/i/foufCerk) | ✅ | 如：[302.AI](https://share.302.ai/1KUpfG)，[硅基流动](https://cloud.siliconflow.cn/i/foufCerk)，[火山方舟](https://www.volcengine.com/experience/ark?utm_term=202502dsinvite&ac=DSASUQY5&rc=IJSE43PZ) |
+| [大模型聚合平台](https://cloud.siliconflow.cn/i/foufCerk) | ✅ | 如：[硅基流动](https://cloud.siliconflow.cn/i/foufCerk)，[火山方舟](https://www.volcengine.com/experience/ark?utm_term=202502dsinvite&ac=DSASUQY5&rc=IJSE43PZ) |
 
 ### <span style="color: #568DF4;">各位亲爱的朋友们，如果您对这个项目感兴趣，请先给我一个<i style="color: #EA2626;">star</i>吧，谢谢！</span>💕
-- 302.AI：新用户使用邀请码注册，即可领取 $1 测试额度！[注册链接](https://share.302.ai/1KUpfG)
-
 [//]: # (- 优云智算（by UCloud）：万卡规模4090免费用10小时，新人注册另增50万tokens，海量热门源项目镜像一键部署，[注册链接]&#40;https://www.compshare.cn/image-community?ytag=GPU_YY-gh_gostock&#41;)
 - 火山方舟：新用户每个模型注册即送50万tokens，[注册链接](https://www.volcengine.com/experience/ark?utm_term=202502dsinvite&ac=DSASUQY5&rc=IJSE43PZ)
 - 硅基流动(siliconflow)，注册即送2000万Tokens，[注册链接](https://cloud.siliconflow.cn/i/foufCerk)

app.go

@@ -428,7 +428,8 @@ func (a *App) domReady(ctx context.Context) {
 			a.cronEntrys["MonitorStockPrices"] = id
 		}
 		entryID, err := a.cron.AddFunc(fmt.Sprintf("@every %ds", interval+10), func() {
-			news := data.NewMarketNewsApi().GetNewTelegraph(30)
+			//news := data.NewMarketNewsApi().GetNewTelegraph(30)
+			news := data.NewMarketNewsApi().TelegraphList(30)
 			if config.EnablePushNews {
 				go a.NewsPush(news)
 			}
@@ -564,65 +565,84 @@ func (a *App) CheckStockBaseInfo(ctx context.Context) {
 		SetResult(stockBasics).
 		Get("http://8.134.249.145:18080/go-stock/stock_basic.json")
 
-	count := int64(0)
-	db.Dao.Model(&data.StockBasic{}).Count(&count)
-	if count == int64(len(*stockBasics)) {
-		return
-	}
-	for _, stock := range *stockBasics {
-		stockInfo := &data.StockBasic{
-			TsCode: stock.TsCode,
-			Name:   stock.Name,
-			Symbol: stock.Symbol,
-			BKCode: stock.BKCode,
-			BKName: stock.BKName,
-		}
-		db.Dao.Model(&data.StockBasic{}).Where("ts_code = ?", stock.TsCode).First(stockInfo)
-		if stockInfo.ID == 0 {
-			db.Dao.Model(&data.StockBasic{}).Create(stockInfo)
-		} else {
-			db.Dao.Model(&data.StockBasic{}).Where("ts_code = ?", stock.TsCode).Updates(stockInfo)
-		}
+	db.Dao.Unscoped().Model(&data.StockBasic{}).Where("1=1").Delete(&data.StockBasic{})
+	err := db.Dao.CreateInBatches(stockBasics, 400).Error
+	if err != nil {
+		logger.SugaredLogger.Errorf("保存StockBasic股票基础信息失败:%s", err.Error())
 	}
 
+	//count := int64(0)
+	//db.Dao.Model(&data.StockBasic{}).Count(&count)
+	//if count == int64(len(*stockBasics)) {
+	//	return
+	//}
+	//for _, stock := range *stockBasics {
+	//	stockInfo := &data.StockBasic{
+	//		TsCode: stock.TsCode,
+	//		Name:   stock.Name,
+	//		Symbol: stock.Symbol,
+	//		BKCode: stock.BKCode,
+	//		BKName: stock.BKName,
+	//	}
+	//	db.Dao.Model(&data.StockBasic{}).Where("ts_code = ?", stock.TsCode).First(stockInfo)
+	//	if stockInfo.ID == 0 {
+	//		db.Dao.Model(&data.StockBasic{}).Create(stockInfo)
+	//	} else {
+	//		db.Dao.Model(&data.StockBasic{}).Where("ts_code = ?", stock.TsCode).Updates(stockInfo)
+	//	}
+	//}
+
 	stockHKBasics := &[]models.StockInfoHK{}
 	resty.New().R().
 		SetHeader("user", "go-stock").
 		SetResult(stockHKBasics).
 		Get("http://8.134.249.145:18080/go-stock/stock_base_info_hk.json")
-	for _, stock := range *stockHKBasics {
-		stockInfo := &models.StockInfoHK{
-			Code:   stock.Code,
-			Name:   stock.Name,
-			BKName: stock.BKName,
-			BKCode: stock.BKCode,
-		}
-		db.Dao.Model(&models.StockInfoHK{}).Where("code = ?", stock.Code).First(stockInfo)
-		if stockInfo.ID == 0 {
-			db.Dao.Model(&models.StockInfoHK{}).Create(stockInfo)
-		} else {
-			db.Dao.Model(&models.StockInfoHK{}).Where("code = ?", stock.Code).Updates(stockInfo)
-		}
+
+	db.Dao.Unscoped().Model(&models.StockInfoHK{}).Where("1=1").Delete(&models.StockInfoHK{})
+	err = db.Dao.CreateInBatches(stockHKBasics, 400).Error
+	if err != nil {
+		logger.SugaredLogger.Errorf("保存StockInfoHK股票基础信息失败:%s", err.Error())
 	}
+
+	//for _, stock := range *stockHKBasics {
+	//	stockInfo := &models.StockInfoHK{
+	//		Code:   stock.Code,
+	//		Name:   stock.Name,
+	//		BKName: stock.BKName,
+	//		BKCode: stock.BKCode,
+	//	}
+	//	db.Dao.Model(&models.StockInfoHK{}).Where("code = ?", stock.Code).First(stockInfo)
+	//	if stockInfo.ID == 0 {
+	//		db.Dao.Model(&models.StockInfoHK{}).Create(stockInfo)
+	//	} else {
+	//		db.Dao.Model(&models.StockInfoHK{}).Where("code = ?", stock.Code).Updates(stockInfo)
+	//	}
+	//}
 	stockUSBasics := &[]models.StockInfoUS{}
 	resty.New().R().
 		SetHeader("user", "go-stock").
 		SetResult(stockUSBasics).
 		Get("http://8.134.249.145:18080/go-stock/stock_base_info_us.json")
-	for _, stock := range *stockUSBasics {
-		stockInfo := &models.StockInfoUS{
-			Code:   stock.Code,
-			Name:   stock.Name,
-			BKName: stock.BKName,
-			BKCode: stock.BKCode,
-		}
-		db.Dao.Model(&models.StockInfoUS{}).Where("code = ?", stock.Code).First(stockInfo)
-		if stockInfo.ID == 0 {
-			db.Dao.Model(&models.StockInfoUS{}).Create(stockInfo)
-		} else {
-			db.Dao.Model(&models.StockInfoUS{}).Where("code = ?", stock.Code).Updates(stockInfo)
-		}
+
+	db.Dao.Unscoped().Model(&models.StockInfoUS{}).Where("1=1").Delete(&models.StockInfoUS{})
+	err = db.Dao.CreateInBatches(stockUSBasics, 400).Error
+	if err != nil {
+		logger.SugaredLogger.Errorf("保存StockInfoUS股票基础信息失败:%s", err.Error())
 	}
+	//for _, stock := range *stockUSBasics {
+	//	stockInfo := &models.StockInfoUS{
+	//		Code:   stock.Code,
+	//		Name:   stock.Name,
+	//		BKName: stock.BKName,
+	//		BKCode: stock.BKCode,
+	//	}
+	//	db.Dao.Model(&models.StockInfoUS{}).Where("code = ?", stock.Code).First(stockInfo)
+	//	if stockInfo.ID == 0 {
+	//		db.Dao.Model(&models.StockInfoUS{}).Create(stockInfo)
+	//	} else {
+	//		db.Dao.Model(&models.StockInfoUS{}).Where("code = ?", stock.Code).Updates(stockInfo)
+	//	}
+	//}
 
 }
 func (a *App) NewsPush(news *[]models.Telegraph) {
@@ -1337,7 +1357,8 @@ func (a *App) GetTelegraphList(source string) *[]*models.Telegraph {
 }
 
 func (a *App) ReFleshTelegraphList(source string) *[]*models.Telegraph {
-	data.NewMarketNewsApi().GetNewTelegraph(30)
+	//data.NewMarketNewsApi().GetNewTelegraph(30)
+	data.NewMarketNewsApi().TelegraphList(30)
 	data.NewMarketNewsApi().GetSinaNews(30)
 	telegraphs := data.NewMarketNewsApi().GetTelegraphList(source)
 	return telegraphs

app_common.go

@@ -1,10 +1,12 @@
 package main
 
 import (
-	"github.com/wailsapp/wails/v2/pkg/runtime"
 	"go-stock/backend/agent"
 	"go-stock/backend/data"
 	"go-stock/backend/models"
+	"strings"
+
+	"github.com/wailsapp/wails/v2/pkg/runtime"
 )
 
 // @Author spark
@@ -26,48 +28,66 @@ func (a *App) StockNotice(stockCode string) []any {
 func (a *App) IndustryResearchReport(industryCode string) []any {
 	return data.NewMarketNewsApi().IndustryResearchReport(industryCode, 7)
 }
-func (a App) EMDictCode(code string) []any {
+func (a *App) EMDictCode(code string) []any {
 	return data.NewMarketNewsApi().EMDictCode(code, a.cache)
 }
 
-func (a App) AnalyzeSentiment(text string) data.SentimentResult {
+func (a *App) AnalyzeSentiment(text string) data.SentimentResult {
 	return data.AnalyzeSentiment(text)
 }
 
-func (a App) HotStock(marketType string) *[]models.HotItem {
+func (a *App) HotStock(marketType string) *[]models.HotItem {
 	return data.NewMarketNewsApi().XUEQIUHotStock(100, marketType)
 }
 
-func (a App) HotEvent(size int) *[]models.HotEvent {
+func (a *App) HotEvent(size int) *[]models.HotEvent {
 	if size <= 0 {
 		size = 10
 	}
 	return data.NewMarketNewsApi().HotEvent(size)
 }
-func (a App) HotTopic(size int) []any {
+func (a *App) HotTopic(size int) []any {
 	if size <= 0 {
 		size = 10
 	}
 	return data.NewMarketNewsApi().HotTopic(size)
 }
 
-func (a App) InvestCalendarTimeLine(yearMonth string) []any {
+func (a *App) InvestCalendarTimeLine(yearMonth string) []any {
 	return data.NewMarketNewsApi().InvestCalendar(yearMonth)
 }
-func (a App) ClsCalendar() []any {
+func (a *App) ClsCalendar() []any {
 	return data.NewMarketNewsApi().ClsCalendar()
 }
 
-func (a App) SearchStock(words string) map[string]any {
+func (a *App) SearchStock(words string) map[string]any {
 	return data.NewSearchStockApi(words).SearchStock(5000)
 }
-func (a App) GetHotStrategy() map[string]any {
+func (a *App) GetHotStrategy() map[string]any {
 	return data.NewSearchStockApi("").HotStrategy()
 }
 
-func (a App) ChatWithAgent(question string, aiConfigId int, sysPromptId *int) {
+func (a *App) ChatWithAgent(question string, aiConfigId int, sysPromptId *int) {
 	ch := agent.NewStockAiAgentApi().Chat(question, aiConfigId, sysPromptId)
 	for msg := range ch {
 		runtime.EventsEmit(a.ctx, "agent-message", msg)
 	}
 }
+
+func (a *App) AnalyzeSentimentWithFreqWeight(text string) map[string]any {
+	if text == "" {
+		telegraphs := data.NewMarketNewsApi().GetNews24HoursList("财联社电报", 1000)
+		messageText := strings.Builder{}
+		for _, telegraph := range *telegraphs {
+			messageText.WriteString(telegraph.Content + "\n")
+		}
+		text = messageText.String()
+	}
+	result, frequencies := data.AnalyzeSentimentWithFreqWeight(text)
+	// 过滤标点符号和分隔符
+	cleanFrequencies := data.FilterAndSortWords(frequencies)
+	return map[string]any{
+		"result":      result,
+		"frequencies": cleanFrequencies,
+	}
+}

backend/data/data/dict/README.md

@@ -0,0 +1 @@
+Some dict/zh data is from [github.com/fxsjy/jieba](https://github.com/fxsjy/jieba)

backend/data/data/dict/base.txt

@@ -0,0 +1,746 @@
+# 金融股票全场景分词字典（去重优化版）
+# 格式：单词 权重 词性 | 权重280-350分，核心术语优先匹配，无重复词汇
+# 覆盖：净买卖、股指、财务指标、交易操作、政策宏观、热点概念等全场景
+
+# 一、净买卖与资金流向（核心交易表述）
+净卖出 340 v
+净买入 340 v
+净卖出额 330 n
+净买入额 330 n
+净卖出量 330 n
+净买入量 330 n
+资金净流出 340 n
+资金净流入 340 n
+净额 330 n
+买卖净额 330 n
+资金净额 330 n
+北向资金净买入 330 n
+北向资金净卖出 330 n
+南向资金净买入 320 n
+南向资金净卖出 320 n
+主力资金净买入 330 n
+主力资金净卖出 330 n
+散户资金净买入 320 n
+散户资金净卖出 320 n
+机构资金净买入 330 n
+机构资金净卖出 330 n
+游资净买入 320 n
+游资净卖出 320 n
+大单净买入 320 n
+大单净卖出 320 n
+中单净买入 320 n
+中单净卖出 320 n
+小单净买入 320 n
+小单净卖出 320 n
+净买入占比 320 n
+净卖出占比 320 n
+净买入率 320 n
+净卖出率 320 n
+连续净买入 320 v
+连续净卖出 320 v
+单日净买入 320 n
+单日净卖出 320 n
+累计净买入 320 n
+累计净卖出 320 n
+净买入创纪录 310 adj
+净卖出创纪录 310 adj
+净买入放量 310 v
+净卖出放量 310 v
+净买入缩量 310 v
+净卖出缩量 310 v
+净多 310 n
+净空 310 n
+净多头 310 n
+净空头 310 n
+净多头头寸 310 n
+净空头头寸 310 n
+跌超 310 n
+跌逾 310 n
+
+# 二、金融资讯与市场分析
+金融资讯 350 n
+市场快讯 340 n
+财经新闻 340 n
+政策解读 330 n
+市场分析 330 n
+行业研报 320 n
+宏观经济 330 n
+微观层面 310 n
+基本面 320 n
+技术面 320 n
+资金面 320 n
+政策面 320 n
+市场情绪 320 n
+风险偏好 310 n
+流动性 320 n
+估值修复 310 n
+价值投资 310 n
+趋势投资 310 n
+波段操作 310 n
+左侧交易 290 n
+右侧交易 290 n
+止损止盈 300 n
+仓位管理 300 n
+资产配置 310 n
+分散投资 290 n
+集中投资 290 n
+风险控制 310 n
+系统性风险 300 n
+非系统性风险 290 n
+黑天鹅事件 310 n
+灰犀牛事件 300 n
+熔断机制 300 n
+市场监管 310 n
+信息披露 310 n
+内幕交易 300 n
+操纵市场 300 n
+
+# 三、全球主要股指（含中英文缩写）
+# 中国市场
+A股 350 n
+港股 350 n
+上证指数 350 n
+深证成指 350 n
+创业板指 340 n
+科创板指 330 n
+北证50 330 n
+沪深300 350 n
+沪深300指数 350 n
+中证500 340 n
+中证500指数 340 n
+中证1000 330 n
+中证1000指数 330 n
+上证50 340 n
+上证50指数 340 n
+科创50 330 n
+科创50指数 330 n
+上证综指 350 n
+富时中国A50指数 340 n
+FTSE China A50 330 n
+恒生指数 340 n
+HSI 330 n
+恒生科技指数 340 n
+恒生国企指数 330 n
+H股指数 330 n
+# 美洲市场
+道琼斯工业平均指数 350 n
+DJIA 340 n
+标普500指数 350 n
+S&P 500 340 n
+纳斯达克综合指数 340 n
+纳斯达克100指数 340 n
+Nasdaq 100 330 n
+罗素2000指数 320 n
+Russell 2000 310 n
+标普400中型股指数 310 n
+标普600小型股指数 310 n
+纽约证交所综合指数 310 n
+NYSE Composite 300 n
+# 欧洲市场
+德国DAX指数 330 n
+DAX 30 320 n
+法国CAC40指数 330 n
+CAC 40 320 n
+富时100指数 330 n
+FTSE 100 320 n
+欧元斯托克50指数 320 n
+Euro Stoxx 50 310 n
+英国富时250指数 310 n
+FTSE 250 300 n
+意大利富时MIB指数 310 n
+FTSE MIB 300 n
+西班牙IBEX 35指数 310 n
+IBEX 35 300 n
+# 亚太其他市场
+日经225指数 330 n
+Nikkei 225 320 n
+日经500指数 310 n
+韩国综合股价指数 320 n
+韩国kospi指数 320 n
+KOSPI 310 n
+澳洲标普200指数 310 n
+S&P/ASX 200 300 n
+印度孟买敏感指数 310 n
+Sensex 300 n
+印度Nifty 50指数 310 n
+Nifty 50 300 n
+# 全球综合指数
+MSCI指数 320 n
+MSCI全球指数 330 n
+MSCI World Index 320 n
+MSCI新兴市场指数 330 n
+MSCI Emerging Markets 320 n
+富时罗素全球指数 320 n
+FTSE Russell Global Index 310 n
+摩根大通全球债券指数 310 n
+全球股指 300 n
+发达市场指数 300 n
+新兴市场指数 300 n
+金砖国家指数 300 n
+G20国家指数 300 n
+# 股指衍生工具
+指数期货 320 n
+股指期货 320 n
+富时中国A50指数期货 320 n
+沪深300股指期货 320 n
+标普500股指期货 320 n
+纳斯达克100股指期货 310 n
+指数成分股 320 n
+指数权重股 320 n
+指数涨幅 320 n
+指数跌幅 320 n
+指数反弹 310 n
+指数回调 310 n
+指数创新高 310 v
+指数创新低 310 v
+指数估值 310 n
+指数市盈率 310 n
+
+# 四、A股龙头公司（资讯高频）
+贵州茅台 310 n
+宁德时代 310 n
+比亚迪 300 n
+隆基绿能 300 n
+长江电力 290 n
+中国平安 300 n
+招商银行 300 n
+五粮液 290 n
+美的集团 290 n
+格力电器 290 n
+海康威视 290 n
+迈瑞医疗 290 n
+恒瑞医药 290 n
+中芯国际 300 n
+中兴通讯 290 n
+东方财富 290 n
+爱尔眼科 290 n
+通威股份 290 n
+药明康德 290 n
+阳光电源 290 n
+天齐锂业 290 n
+赣锋锂业 290 n
+中国中免 290 n
+海螺水泥 280 n
+万科A 280 n
+保利发展 280 n
+招商蛇口 280 n
+上汽集团 280 n
+宝钢股份 280 n
+
+# 五、财务与估值核心指标
+市盈率 350 n
+PE 350 n
+动态市盈率 340 n
+静态市盈率 340 n
+滚动市盈率 340 n
+市净率 350 n
+PB 350 n
+市销率 330 n
+PS 330 n
+市现率 320 n
+PCF 320 n
+净资产收益率 350 n
+ROE 350 n
+总资产收益率 330 n
+ROA 330 n
+毛利率 340 n
+净利率 340 n
+销售净利率 330 n
+资产负债率 340 n
+营收 340 n
+营业收入 340 n
+净利润 350 n
+归母净利润 340 n
+扣非净利润 340 n
+EPS 330 n
+每股收益 330 n
+现金流 340 n
+经营活动现金流 330 n
+自由现金流 330 n
+营收增长率 330 n
+净利润增长率 330 n
+股息率 320 n
+分红率 320 n
+换手率 330 n
+成交量 340 n
+成交额 340 n
+量比 320 n
+振幅 320 n
+
+# 六、政策与宏观经济
+货币政策 330 n
+财政政策 330 n
+稳健货币政策 320 n
+积极财政政策 320 n
+宽松政策 320 n
+紧缩政策 320 n
+利率 330 n
+基准利率 320 n
+LPR 330 n
+贷款市场报价利率 320 n
+存款准备金率 320 n
+MLF 320 n
+中期借贷便利 310 n
+逆回购 320 n
+正回购 310 n
+汇率 330 n
+人民币汇率 330 n
+美元汇率 320 n
+通胀 320 n
+CPI 330 n
+PPI 330 n
+GDP 330 n
+国内生产总值 320 n
+PMI 330 n
+采购经理人指数 320 n
+行业政策 320 n
+产业政策 320 n
+税收政策 310 n
+补贴政策 310 n
+关税 310 n
+贸易政策 310 n
+地缘政治 310 n
+大宗商品 320 n
+原油价格 310 n
+黄金价格 310 n
+有色金属价格 300 n
+
+# 七、金融产品与机构
+股票 320 n
+基金 320 n
+公募基金 310 n
+私募基金 310 n
+ETF 320 n
+指数基金 310 n
+混合型基金 300 n
+股票型基金 310 n
+债券型基金 300 n
+货币基金 290 n
+REITs 310 n
+可转债 310 n
+可交换债 300 n
+期货 310 n
+股指期货 310 n
+国债期货 300 n
+商品期货 300 n
+期权 300 n
+融资融券 310 n
+两融余额 300 n
+北向资金 320 n
+南向资金 310 n
+沪股通 310 n
+深股通 310 n
+陆股通 310 n
+证券公司 310 n
+券商 320 n
+基金公司 300 n
+保险公司 300 n
+银行 310 n
+监管机构 310 n
+证监会 320 n
+交易所 320 n
+上交所 320 n
+深交所 320 n
+北交所 310 n
+港交所 310 n
+社保基金 310 n
+养老金 300 n
+QFII 300 n
+RQFII 290 n
+北向资金机构 300 n
+
+# 八、热点概念与行业
+AI 330 n
+人工智能 330 n
+算力 330 n
+大数据 320 n
+云计算 320 n
+半导体 320 n
+芯片 320 n
+集成电路 310 n
+新能源 320 n
+光伏 320 n
+锂电 320 n
+储能 320 n
+充电桩 310 n
+新能源车 320 n
+智能汽车 310 n
+自动驾驶 310 n
+军工 310 n
+国防军工 300 n
+医药 310 n
+创新药 310 n
+医疗器械 300 n
+CXO 300 n
+白酒 310 n
+消费 320 n
+可选消费 300 n
+必选消费 300 n
+食品饮料 310 n
+家电 300 n
+地产 300 n
+房地产 300 n
+基建 300 n
+新基建 310 n
+数字经济 320 n
+数字货币 310 n
+区块链 300 n
+元宇宙 300 n
+低空经济 310 n
+人形机器人 310 n
+工业互联网 300 n
+物联网 300 n
+5G 300 n
+6G 300 n
+
+# 九、交易操作与行情
+上涨 310 v
+下跌 310 v
+涨停 310 v
+跌停 310 v
+反弹 300 v
+反转 300 v
+回调 300 v
+横盘 290 v
+震荡 290 v
+跳水 300 v
+拉升 300 v
+砸盘 300 v
+护盘 290 v
+建仓 300 v
+加仓 300 v
+减仓 300 v
+清仓 300 v
+平仓 300 v
+抄底 300 v
+逃顶 300 v
+追涨 290 v
+杀跌 290 v
+套牢 280 v
+解套 280 v
+净流入 300 n
+净流出 300 n
+主力资金 300 n
+资金流入 290 v
+资金流出 290 v
+放量 290 v
+缩量 290 v
+高换手 290 n
+低换手 280 n
+高估值 290 n
+低估值 290 n
+超预期 300 v
+不及预期 300 v
+符合预期 290 v
+利好 310 n
+利空 310 n
+政策利好 310 n
+业绩利好 310 n
+风险警示 300 n
+涨停板 300 n
+跌停板 300 n
+一字涨停 290 n
+一字跌停 290 n
+打开涨停 280 v
+打开跌停 280 v
+集合竞价 290 n
+连续竞价 280 n
+开盘价 340 n
+收盘价 340 n
+最高价 330 n
+最低价 330 n
+均价 330 n
+昨日收盘价 320 n
+涨跌额 330 n
+涨跌幅 340 n
+涨幅 340 n
+跌幅 340 n
+涨停价 330 n
+跌停价 330 n
+打开涨停 320 v
+打开跌停 320 v
+熔断 330 n
+临时停牌 320 n
+复牌 320 v
+停牌 320 n
+量价齐升 320 n
+量价背离 320 n
+高开 320 n
+低开 320 n
+平开 320 n
+高走 320 v
+低走 320 v
+震荡上行 320 v
+震荡下行 320 v
+
+# 十、委托交易与规则
+限价委托 340 n
+市价委托 340 n
+止损委托 330 n
+止盈委托 330 n
+预埋单 320 n
+条件单 330 n
+触发委托 320 n
+追涨委托 320 n
+抄底委托 320 n
+挂单 330 n
+撤单 330 v
+成交 340 v
+未成交 320 adj
+部分成交 320 adj
+委托价 320 n
+成交价 320 n
+委托量 320 n
+买单 330 n
+卖单 330 n
+买入 340 v
+卖出 340 v
+做多 330 v
+做空 330 v
+开仓 330 v
+满仓 330 v
+空仓 330 v
+半仓 320 v
+轻仓 320 v
+重仓 320 v
+底仓 320 n
+补仓 320 v
+T+1交易 330 n
+T+0交易 330 n
+日内交易 320 n
+短线交易 320 n
+中线交易 320 n
+长线交易 320 n
+集合竞价交易 320 n
+连续竞价交易 320 n
+保证金 320 n
+杠杆 320 n
+融资 320 n
+融券 320 n
+融资买入 320 v
+融券卖出 320 v
+融资余额 320 n
+融券余额 320 n
+两融业务 320 n
+信用账户 320 n
+普通账户 320 n
+资金账户 320 n
+证券账户 320 n
+持仓 330 n
+持仓股 320 n
+持仓数量 320 n
+可用资金 320 n
+可取资金 320 n
+冻结资金 320 n
+交易成本 320 n
+手续费 320 n
+佣金 320 n
+印花税 320 n
+过户费 320 n
+交易规费 320 n
+B股 310 n
+H股 310 n
+美股 310 n
+创业板 320 n
+科创板 320 n
+主板 320 n
+纳斯达克 310 n
+纽交所 310 n
+标普500 310 n
+道琼斯 310 n
+成分股 310 n
+权重股 310 n
+龙头股 310 n
+中小盘股 310 n
+大盘股 310 n
+小盘股 310 n
+ST股 320 n
+*ST股 320 n
+退市股 320 n
+次新股 320 n
+新股 320 n
+打新 320 v
+新股申购 320 n
+中签 320 v
+新股上市 320 n
+限售股 310 n
+解禁 310 v
+股权登记日 310 n
+除权除息日 310 n
+派息 310 n
+分红 310 n
+送股 310 n
+转增股 310 n
+配股 310 n
+除权 310 n
+除息 310 n
+填权 310 v
+贴权 310 v
+筹码分析 310 n
+盘口分析 310 n
+K线图 310 n
+均线 310 n
+日均线 310 n
+周均线 310 n
+月均线 310 n
+MACD 310 n
+KDJ 310 n
+RSI 310 n
+布林带 310 n
+成交量均线 310 n
+支撑位 310 n
+压力位 310 n
+阻力位 310 n
+突破 310 v
+跌破 310 v
+站稳 310 v
+回落 310 v
+横盘整理 310 n
+震荡整理 310 n
+洗盘 310 n
+吸筹 310 n
+出货 310 n
+建仓成本 310 n
+持仓周期 310 n
+交易频率 310 n
+长线持有 310 v
+高抛低吸 310 v
+追涨杀跌 310 v
+低吸高抛 310 v
+顺势而为 310 n
+逆向投资 310 n
+交易软件 300 n
+行情软件 300 n
+交易终端 300 n
+手机炒股 300 n
+电脑炒股 300 n
+网上交易 300 n
+电话委托 290 n
+营业部交易 290 n
+交易系统 300 n
+行情系统 300 n
+Level-2行情 300 n
+实时行情 300 n
+延时行情 290 n
+交易接口 300 n
+量化交易 310 n
+算法交易 300 n
+程序化交易 300 n
+自动交易 300 n
+智能投顾 300 n
+券商APP 300 n
+交易佣金 300 n
+开户 300 v
+销户 290 v
+转户 290 v
+绑定银行卡 290 v
+银证转账 300 n
+银证通 290 n
+第三方存管 290 n
+赛道股 330 n
+抱团股 310 n
+妖股 310 n
+庄股 310 n
+# 主要财经网站与机构名词（格式：单词 权重 词性）
+# 权重320-350分，与核心金融术语优先级一致，确保精准识别
+
+# 一、国内财经网站（资讯高频来源）
+东方财富网 350 n
+同花顺财经 340 n
+财新网 340 n
+新浪财经 340 n
+第一财经 330 n
+金融界 330 n
+华尔街见闻 330 n
+每日经济新闻 330 n
+证券时报网 330 n
+财联社 330 n
+和讯网 320 n
+证券之星 320 n
+中国证券报 330 n
+上海证券报 330 n
+证券日报 320 n
+界面新闻 320 n
+澎湃新闻财经 320 n
+腾讯财经 320 n
+网易财经 320 n
+凤凰财经 320 n
+
+# 二、国际财经媒体（全球市场资讯来源）
+彭博社 350 n
+路透社 350 n
+金融时报 340 n
+华尔街日报 340 n
+雅虎财经 320 n
+CNBC 320 n
+路透财经 330 n
+彭博财经 330 n
+英国金融时报 330 n
+美国消费者新闻与商业频道 320 n
+日经新闻 320 n
+韩国经济新闻 310 n
+
+# 三、国际金融机构（投行/基金/银行）
+高盛集团 350 n
+摩根士丹利 350 n
+摩根大通 350 n
+瑞银集团 340 n
+汇丰银行 340 n
+野村证券 330 n
+贝莱德 350 n
+桥水基金 340 n
+黑石集团 340 n
+橡树资本 330 n
+花旗集团 330 n
+美银美林 330 n
+德意志银行 320 n
+瑞士信贷 320 n
+法国巴黎银行 320 n
+三菱日联金融集团 310 n
+
+# 四、国内外金融监管与交易机构
+中国证监会 350 n
+美联储 350 n
+英国金融行为管理局 330 n
+香港证监会 330 n
+纽约证券交易所 350 n
+纳斯达克 350 n
+香港交易所 340 n
+伦敦证券交易所 340 n
+芝商所集团 330 n
+泛欧证券交易所 330 n
+上海证券交易所 340 n
+深圳证券交易所 340 n
+北京证券交易所 330 n
+中国人民银行 350 n
+银保监会 340 n
+国家金融监督管理总局 340 n
+财政部 340 n
+发改委 330 n
+石油输出国组织 340 n
+国际能源署 330 n
+美国能源信息署 320 n
+世界银行 330 n
+国际货币基金组织 330 n
+
+# 五、国内核心金融机构（券商/基金/银行）
+中国工商银行 340 n
+中国建设银行 340 n
+中国农业银行 340 n
+中国银行 340 n
+交通银行 330 n
+招商银行 330 n
+兴业银行 320 n
+浦发银行 320 n
+中信证券 340 n
+华泰证券 330 n
+中金公司 330 n
+中信建投 330 n
+国泰君安 330 n
+广发证券 320 n
+东方证券 320 n
+南方基金 330 n
+易方达基金 330 n
+华夏基金 330 n
+嘉实基金 320 n
+博时基金 320 n

backend/data/data/dict/jp/README.md

@@ -0,0 +1 @@
+dict.txt 通过内部工具生成, Copyright 2017 ego authors. 商用和拷贝请注明来源和版权

backend/data/data/dict/zh/stop_word.txt

@@ -0,0 +1,88 @@
+,
+.
+?
+!
+"
+@
+，
+。
+、
+？
+！
+：
+“
+”
+；
+　
+（
+）
+《
+》
+~
+*
+<
+>
+/
+\
+|
+-
+_
++
+=
+&
+^
+%
+#
+`
+;
+$
+￥
+‘
+’
+〉
+〈
+…
+＞
+＜
+＠
+＃
+＄
+％
+︿
+＆
+＊
+＋
+～
+｜
+［
+］
+｛
+｝
+啊
+阿
+哎
+哎呀
+哎哟
+唉
+俺
+俺们
+按
+按照
+吧
+吧哒
+把
+罢了
+被
+本
+本着
+比
+比方
+比如
+鄙人
+彼
+彼此
+边
+别
+别的
+别说
+并

backend/data/market_news_api.go

@@ -33,6 +33,73 @@ func NewMarketNewsApi() *MarketNewsApi {
 	return &MarketNewsApi{}
 }
 
+func (m MarketNewsApi) TelegraphList(crawlTimeOut int64) *[]models.Telegraph {
+	//https://www.cls.cn/nodeapi/telegraphList
+	url := "https://www.cls.cn/nodeapi/telegraphList"
+	res := map[string]any{}
+	_, _ = resty.New().SetTimeout(time.Duration(crawlTimeOut)*time.Second).R().
+		SetHeader("Referer", "https://www.cls.cn/").
+		SetHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.60").
+		SetResult(&res).
+		Get(url)
+	var telegraphs []models.Telegraph
+
+	if v, _ := convertor.ToInt(res["error"]); v == 0 {
+		if res["data"] == nil {
+			return m.GetNewTelegraph(30)
+		}
+		data := res["data"].(map[string]any)
+		rollData := data["roll_data"].([]any)
+		for _, v := range rollData {
+			news := v.(map[string]any)
+			ctime, _ := convertor.ToInt(news["ctime"])
+			dataTime := time.Unix(ctime, 0)
+			logger.SugaredLogger.Debugf("dataTime: %s", dataTime)
+			telegraph := models.Telegraph{
+				Content:         news["content"].(string),
+				Time:            dataTime.Format("15:04:05"),
+				DataTime:        &dataTime,
+				Url:             news["shareurl"].(string),
+				Source:          "财联社电报",
+				IsRed:           GetLevel(news["level"].(string)),
+				SentimentResult: AnalyzeSentiment(news["content"].(string)).Description,
+			}
+			cnt := int64(0)
+			db.Dao.Model(telegraph).Where("time=? and content=?", telegraph.Time, telegraph.Content).Count(&cnt)
+			if cnt > 0 {
+				continue
+			}
+			telegraphs = append(telegraphs, telegraph)
+			db.Dao.Model(&models.Telegraph{}).Create(&telegraph)
+			logger.SugaredLogger.Debugf("telegraph: %+v", &telegraph)
+			if news["subjects"] == nil {
+				continue
+			}
+			subjects := news["subjects"].([]any)
+			for _, subject := range subjects {
+				name := subject.(map[string]any)["subject_name"].(string)
+				tag := &models.Tags{
+					Name: name,
+					Type: "subject",
+				}
+				db.Dao.Model(tag).Where("name=? and type=?", name, "subject").FirstOrCreate(&tag)
+				db.Dao.Model(models.TelegraphTags{}).Where("telegraph_id=? and tag_id=?", telegraph.ID, tag.ID).FirstOrCreate(&models.TelegraphTags{
+					TelegraphId: telegraph.ID,
+					TagId:       tag.ID,
+				})
+			}
+
+		}
+		//db.Dao.Model(&models.Telegraph{}).Create(&telegraphs)
+		//logger.SugaredLogger.Debugf("telegraphs: %+v", &telegraphs)
+	}
+
+	return &telegraphs
+}
+func GetLevel(s string) bool {
+	return s > "C"
+}
+
 func (m MarketNewsApi) GetNewTelegraph(crawlTimeOut int64) *[]models.Telegraph {
 	url := "https://www.cls.cn/telegraph"
 	response, _ := resty.New().SetTimeout(time.Duration(crawlTimeOut)*time.Second).R().
@@ -77,7 +144,7 @@ func (m MarketNewsApi) GetNewTelegraph(crawlTimeOut int64) *[]models.Telegraph {
 		if telegraph.Content != "" {
 			telegraph.SentimentResult = AnalyzeSentiment(telegraph.Content).Description
 			cnt := int64(0)
-			db.Dao.Model(telegraph).Where("time=? and source=?", telegraph.Time, telegraph.Source).Count(&cnt)
+			db.Dao.Model(telegraph).Where("time=? and content=?", telegraph.Time, telegraph.Content).Count(&cnt)
 			if cnt == 0 {
 				db.Dao.Create(&telegraph)
 				telegraphs = append(telegraphs, telegraph)
@@ -118,6 +185,7 @@ func (m MarketNewsApi) GetNewsList(source string, limit int) *[]*models.Telegrap
 	return news
 }
 func (m MarketNewsApi) GetNewsList2(source string, limit int) *[]*models.Telegraph {
+	NewMarketNewsApi().TelegraphList(30)
 	news := &[]*models.Telegraph{}
 	if source != "" {
 		db.Dao.Model(news).Preload("TelegraphTags").Where("source=?", source).Order("id desc,is_red desc").Limit(limit).Find(news)
@@ -959,3 +1027,33 @@ func (m MarketNewsApi) CailianpressWeb(searchWords string) *models.CailianpressW
 
 	return res
 }
+
+func (m MarketNewsApi) GetNews24HoursList(source string, limit int) *[]*models.Telegraph {
+	news := &[]*models.Telegraph{}
+	if source != "" {
+		db.Dao.Model(news).Preload("TelegraphTags").Where("source=? and created_at>?", source, time.Now().Add(-24*time.Hour)).Order("id desc,is_red desc").Limit(limit).Find(news)
+	} else {
+		db.Dao.Model(news).Preload("TelegraphTags").Where("created_at>?", time.Now().Add(-24*time.Hour)).Order("id desc,is_red desc").Limit(limit).Find(news)
+	}
+	// 内容去重
+	uniqueNews := make([]*models.Telegraph, 0)
+	seenContent := make(map[string]bool)
+	for _, item := range *news {
+		tags := &[]models.Tags{}
+		db.Dao.Model(&models.Tags{}).Where("id in ?", lo.Map(item.TelegraphTags, func(item models.TelegraphTags, index int) uint {
+			return item.TagId
+		})).Find(&tags)
+		tagNames := lo.Map(*tags, func(item models.Tags, index int) string {
+			return item.Name
+		})
+		item.SubjectTags = tagNames
+		//logger.SugaredLogger.Infof("tagNames %v ，SubjectTags：%s", tagNames, item.SubjectTags)
+		// 使用内容作为去重键值，可以考虑只使用内容的前几个字符或哈希值
+		contentKey := strings.TrimSpace(item.Content)
+		if contentKey != "" && !seenContent[contentKey] {
+			seenContent[contentKey] = true
+			uniqueNews = append(uniqueNews, item)
+		}
+	}
+	return &uniqueNews
+}

backend/data/market_news_api_test.go

@@ -10,6 +10,7 @@ import (
 	"testing"
 
 	"github.com/coocood/freecache"
+	"github.com/duke-git/lancet/v2/random"
 	"github.com/tidwall/gjson"
 )
 
@@ -38,7 +39,6 @@ func TestGetIndustryRank(t *testing.T) {
 	res := NewMarketNewsApi().GetIndustryRank("0", 10)
 	for s, a := range res["data"].([]any) {
 		logger.SugaredLogger.Debugf("key: %+v, value: %+v", s, a)
-
 	}
 }
 func TestGetIndustryMoneyRankSina(t *testing.T) {
@@ -234,3 +234,18 @@ func TestInteractiveAnswer(t *testing.T) {
 	logger.SugaredLogger.Debugf(md)
 
 }
+func TestGetNewsList2(t *testing.T) {
+	db.Init("../../data/stock.db")
+	news := NewMarketNewsApi().GetNewsList2("财联社电报", random.RandInt(100, 500))
+	messageText := strings.Builder{}
+	for _, telegraph := range *news {
+		messageText.WriteString("## " + telegraph.Time + ":" + "\n")
+		messageText.WriteString("### " + telegraph.Content + "\n")
+	}
+	logger.SugaredLogger.Debugf("value: %s", messageText.String())
+}
+
+func TestTelegraphList(t *testing.T) {
+	db.Init("../../data/stock.db")
+	NewMarketNewsApi().TelegraphList(30)
+}

backend/data/openai_api.go

@@ -323,7 +323,6 @@ func (o *OpenAi) NewSummaryStockNewsStreamWithTools(userQuestion string, sysProm
 			})
 		}()
 		wg.Wait()
-
 		news := NewMarketNewsApi().GetNewsList2("财联社电报", random.RandInt(100, 500))
 		messageText := strings.Builder{}
 		for _, telegraph := range *news {

backend/data/stock_data_api.go

@@ -9,6 +9,14 @@ import (
 	"context"
 	"encoding/json"
 	"fmt"
+	"go-stock/backend/db"
+	"go-stock/backend/logger"
+	"go-stock/backend/models"
+	"io"
+	"io/ioutil"
+	"strings"
+	"time"
+
 	"github.com/PuerkitoBio/goquery"
 	"github.com/chromedp/chromedp"
 	"github.com/duke-git/lancet/v2/convertor"
@@ -17,17 +25,10 @@ import (
 	"github.com/go-resty/resty/v2"
 	"github.com/robertkrimen/otto"
 	"github.com/samber/lo"
-	"go-stock/backend/db"
-	"go-stock/backend/logger"
-	"go-stock/backend/models"
 	"golang.org/x/text/encoding/simplifiedchinese"
 	"golang.org/x/text/transform"
 	"gorm.io/gorm"
 	"gorm.io/plugin/soft_delete"
-	"io"
-	"io/ioutil"
-	"strings"
-	"time"
 )
 
 const sinaStockUrl = "http://hq.sinajs.cn/rn=%d&list=%s"
@@ -1744,6 +1745,11 @@ func (receiver StockDataApi) GetCommonKLineData(stockCode string, kLineType stri
 	return K
 }
 
+// GetStockHistoryMoneyData 获取股票历史资金流向数据
+func (receiver StockDataApi) GetStockHistoryMoneyData() {
+
+}
+
 // JSONToMarkdownTable 将JSON数据转换为Markdown表格
 func JSONToMarkdownTable(jsonData []byte) (string, error) {
 	var data []map[string]interface{}

backend/data/stock_data_api_test.go

@@ -265,3 +265,20 @@ func TestStockDataApi_GetIndexBasic(t *testing.T) {
 	stockDataApi := NewStockDataApi()
 	stockDataApi.GetIndexBasic()
 }
+
+func TestName(t *testing.T) {
+	db.Init("../../data/stock.db")
+
+	stockBasics := &[]StockBasic{}
+	resty.New().R().
+		SetHeader("user", "go-stock").
+		SetResult(stockBasics).
+		Get("http://8.134.249.145:18080/go-stock/stock_basic.json")
+
+	db.Dao.Unscoped().Model(&StockBasic{}).Where("1=1").Delete(&StockBasic{})
+	err := db.Dao.CreateInBatches(stockBasics, 400).Error
+	if err != nil {
+		t.Log(err.Error())
+	}
+
+}

backend/data/stock_sentiment_analysis.go

@@ -2,11 +2,19 @@ package data
 
 import (
 	"bufio"
+	_ "embed"
 	"fmt"
+	"go-stock/backend/db"
 	"go-stock/backend/logger"
+	"go-stock/backend/models"
 	"os"
+	"regexp"
+	"sort"
 	"strings"
+	"unicode"
 
+	"github.com/duke-git/lancet/v2/fileutil"
+	"github.com/duke-git/lancet/v2/strutil"
 	"github.com/go-ego/gse"
 )
 
@@ -16,7 +24,7 @@ var (
 
 	// 正面金融词汇及其权重
 	positiveFinanceWords = map[string]float64{
-		"上涨": 2.0, "涨停": 3.0, "牛市": 3.0, "反弹": 2.0, "新高": 2.5,
+		"涨": 1.0, "上涨": 2.0, "涨停": 3.0, "牛市": 3.0, "反弹": 2.0, "新高": 2.5,
 		"利好": 2.5, "增持": 2.0, "买入": 2.0, "推荐": 1.5, "看多": 2.0,
 		"盈利": 2.0, "增长": 2.0, "超预期": 2.5, "强劲": 1.5, "回升": 1.5,
 		"复苏": 2.0, "突破": 2.0, "创新高": 3.0, "回暖": 1.5, "上扬": 1.5,
@@ -27,13 +35,13 @@ var (
 
 	// 负面金融词汇及其权重
 	negativeFinanceWords = map[string]float64{
-		"下跌": 2.0, "跌停": 3.0, "熊市": 3.0, "回调": 1.5, "新低": 2.5,
+		"跌": 1.0, "下跌": 2.0, "跌停": 3.0, "熊市": 3.0, "回调": 1.5, "新低": 2.5,
 		"利空": 2.5, "减持": 2.0, "卖出": 2.0, "看空": 2.0, "亏损": 2.5,
 		"下滑": 2.0, "萎缩": 2.0, "不及预期": 2.5, "疲软": 1.5, "恶化": 2.0,
 		"衰退": 2.0, "跌破": 2.0, "创新低": 3.0, "走弱": 1.5, "下挫": 1.5,
 		"利空消息": 3.0, "收益下降": 2.5, "利润下滑": 2.5, "业绩不佳": 2.5,
 		"垃圾股": 2.0, "风险股": 2.0, "弱势": 1.5, "走低": 1.5, "缩量": 2.5,
-		"大跌": 2.5, "暴跌": 3.0, "崩盘": 3.0, "跳水": 3.0, "重挫": 3.0,
+		"大跌": 2.5, "暴跌": 3.0, "崩盘": 3.0, "跳水": 3.0, "重挫": 3.0, "跌超": 2.5, "跌逾": 2.5,
 	}
 
 	// 否定词，用于反转情感极性
@@ -45,7 +53,7 @@ var (
 	degreeWords = map[string]float64{
 		"非常": 1.8, "极其": 2.2, "太": 1.8, "很": 1.5,
 		"比较": 0.8, "稍微": 0.6, "有点": 0.7, "显著": 1.5,
-		"大幅": 1.8, "急剧": 2.0, "轻微": 0.6, "小幅": 0.7,
+		"大幅": 1.8, "急剧": 2.0, "轻微": 0.6, "小幅": 0.7, "逾": 1.8,
 	}
 
 	// 转折词，用于识别情感转折
@@ -54,12 +62,194 @@ var (
 	}
 )
 
-func init() {
-	// 加载默认词典
-	err := seg.LoadDict()
+//go:embed data/dict/base.txt
+var baseDict string
+
+//go:embed data/dict/zh/s_1.txt
+var zhDict string
+
+func InitAnalyzeSentiment() {
+	logger.SugaredLogger.Infof("初始化词典库路径:%s", fileutil.CurrentPath())
+	//加载默认词典
+	err := seg.LoadDictEmbed(zhDict)
+	err = seg.LoadDictEmbed(baseDict)
 	if err != nil {
 		logger.SugaredLogger.Error(err.Error())
 	}
+	stocks := &[]StockBasic{}
+	db.Dao.Model(&StockBasic{}).Find(stocks)
+	for _, stock := range *stocks {
+		if strutil.Trim(stock.Name) == "" {
+			continue
+		}
+		err := seg.AddToken(stock.Name, 188888, "n")
+		if strutil.Trim(stock.BKName) != "" {
+			err = seg.AddToken(stock.BKName, 188888, "n")
+		}
+		if err != nil {
+			logger.SugaredLogger.Errorf("添加%s失败:%s", stock.Name, err.Error())
+		}
+	}
+	stockhks := &[]models.StockInfoHK{}
+	db.Dao.Model(&models.StockInfoHK{}).Find(stockhks)
+	for _, stock := range *stockhks {
+		if strutil.Trim(stock.Name) == "" {
+			continue
+		}
+		err := seg.AddToken(stock.Name, 188888, "n")
+		if strutil.Trim(stock.BKName) != "" {
+			err = seg.AddToken(stock.BKName, 188888, "n")
+		}
+		if err != nil {
+			logger.SugaredLogger.Errorf("添加%s失败:%s", stock.Name, err.Error())
+		}
+	}
+	//stockus := &[]models.StockInfoUS{}
+	//db.Dao.Model(&models.StockInfoUS{}).Where("trim(name) != ?", "").Find(stockus)
+	//for _, stock := range *stockus {
+	//	err := seg.AddToken(stock.Name, 500)
+	//	if err != nil {
+	//		logger.SugaredLogger.Errorf("添加%s失败:%s", stock.Name, err.Error())
+	//	}
+	//}
+	tags := &[]models.Tags{}
+	db.Dao.Model(&models.Tags{}).Find(tags)
+	for _, tag := range *tags {
+		err := seg.AddToken(tag.Name, 188888, "n")
+		if err != nil {
+			logger.SugaredLogger.Errorf("添加%s失败:%s", tag.Name, err.Error())
+		}
+	}
+
+	logger.SugaredLogger.Info("加载词典成功")
+}
+
+// WordFreqWithWeight 词频统计结果，包含权重信息
+type WordFreqWithWeight struct {
+	Word      string
+	Frequency int
+	Weight    float64
+}
+
+// getWordWeight 获取词汇权重
+func getWordWeight(word string) float64 {
+	// 从分词器获取词汇权重
+	freq, pos, _ := seg.Find(word)
+	if pos == "n" {
+		return freq
+	}
+	return 0
+}
+
+// SortByWeightAndFrequency 按权重和频次排序词频结果
+func SortByWeightAndFrequency(frequencies map[string]WordFreqWithWeight) []WordFreqWithWeight {
+	// 将map转换为slice以便排序
+	freqSlice := make([]WordFreqWithWeight, 0, len(frequencies))
+	for _, freq := range frequencies {
+		freqSlice = append(freqSlice, freq)
+	}
+
+	// 按权重降序排列，如果权重相同则按频次降序排列
+	sort.Slice(freqSlice, func(i, j int) bool {
+		if freqSlice[i].Weight != freqSlice[j].Weight {
+			return freqSlice[i].Weight > freqSlice[j].Weight // 权重高的排前面
+		}
+		return freqSlice[i].Frequency > freqSlice[j].Frequency // 权重相同时频次高的排前面
+	})
+
+	return freqSlice
+}
+
+// FilterAndSortWords 过滤标点符号并按权重频次排序
+func FilterAndSortWords(frequencies map[string]WordFreqWithWeight) []WordFreqWithWeight {
+	// 先过滤标点符号和分隔符
+	cleanFrequencies := FilterPunctuationAndSeparators(frequencies)
+
+	// 再按权重和频次排序
+	sortedFrequencies := SortByWeightAndFrequency(cleanFrequencies)
+
+	return sortedFrequencies
+}
+func FilterPunctuationAndSeparators(frequencies map[string]WordFreqWithWeight) map[string]WordFreqWithWeight {
+	filteredWords := make(map[string]WordFreqWithWeight)
+
+	for word, freqInfo := range frequencies {
+		// 过滤纯标点符号和分隔符
+		if !isPunctuationOrSeparator(word) {
+			filteredWords[word] = freqInfo
+		}
+	}
+	return filteredWords
+}
+
+// isPunctuationOrSeparator 判断是否为标点符号或分隔符
+func isPunctuationOrSeparator(word string) bool {
+	// 空字符串
+	if strings.TrimSpace(word) == "" {
+		return true
+	}
+
+	// 检查是否全部由标点符号组成
+	for _, r := range word {
+		if !unicode.IsPunct(r) && !unicode.IsSymbol(r) && !unicode.IsSpace(r) {
+			return false
+		}
+	}
+	return true
+}
+
+// FilterWithRegex 使用正则表达式过滤标点和特殊字符
+func FilterWithRegex(frequencies map[string]WordFreqWithWeight) map[string]WordFreqWithWeight {
+	filteredWords := make(map[string]WordFreqWithWeight)
+
+	// 匹配标点符号、特殊字符的正则表达式
+	punctuationRegex := regexp.MustCompile(`^[[:punct:][:space:]]+$`)
+
+	for word, freqInfo := range frequencies {
+		// 过滤纯标点符号
+		if !punctuationRegex.MatchString(word) && strings.TrimSpace(word) != "" {
+			filteredWords[word] = freqInfo
+		}
+	}
+	return filteredWords
+}
+
+// countWordFrequencyWithWeight 统计词频并包含权重信息
+func countWordFrequencyWithWeight(text string) map[string]WordFreqWithWeight {
+	words := splitWords(text)
+	freqMap := make(map[string]WordFreqWithWeight)
+
+	// 统计词频
+	wordCount := make(map[string]int)
+	for _, word := range words {
+		wordCount[word]++
+	}
+
+	// 构建包含权重的结果
+	for word, frequency := range wordCount {
+		weight := getWordWeight(word)
+		if weight > 100 {
+			freqMap[word] = WordFreqWithWeight{
+				Word:      word,
+				Frequency: frequency,
+				Weight:    weight,
+			}
+		}
+
+	}
+
+	return freqMap
+}
+
+// AnalyzeSentimentWithFreqWeight 带权重词频统计的情感分析
+func AnalyzeSentimentWithFreqWeight(text string) (SentimentResult, map[string]WordFreqWithWeight) {
+	// 原有情感分析逻辑
+	result := AnalyzeSentiment(text)
+
+	// 带权重的词频统计
+	frequencies := countWordFrequencyWithWeight(text)
+
+	return result, frequencies
 }
 
 // SentimentResult 情感分析结果类型

backend/data/stock_sentiment_analysis_test.go

@@ -2,8 +2,11 @@ package data
 
 import (
 	"fmt"
+	"go-stock/backend/logger"
 	"strings"
 	"testing"
+
+	"github.com/duke-git/lancet/v2/random"
 )
 
 // @Author spark
@@ -12,25 +15,28 @@ import (
 //-----------------------------------------------------------------------------------
 
 func TestAnalyzeSentiment(t *testing.T) {
-	// 分析情感
-	text := " 【调查：韩国近两成中小学生过度使用智能手机或互联网】财联社6月19日电，韩国女性家族部18日公布的一项年度调查结果显示，接受调查的韩国中小学生中，共计约17.3%、即超过21万人使用智能手机或互联网的程度达到了“危险水平”，这意味着他们因过度依赖智能手机或互联网而需要关注或干预，这一比例引人担忧。 (新华社)\n"
-	text = "消息人士称，联合利华（Unilever）正在为Graze零食品牌寻找买家。\n"
-	text = "【韩国未来5年将投入51万亿韩元发展文化产业】 据韩联社，韩国文化体育观光部（文体部）今后5年将投入51万亿韩元（约合人民币2667亿元）预算，落实总统李在明在竞选时期提出的“将韩国打造成全球五大文化强国之一”的承诺。\n"
-	//text = "【油气股持续拉升 国际实业午后涨停】财联社6月19日电，油气股午后持续拉升，国际实业、宝莫股份午后涨停，准油股份、山东墨龙。茂化实华此前涨停，通源石油、海默科技、贝肯能源、中曼石油、科力股份等多股涨超5%。\n"
-	//text = " 【三大指数均跌逾1% 下跌个股近4800只】财联社6月19日电，指数持续走弱，沪指下挫跌逾1.00%，深成指跌1.25%，创业板指跌1.39%。核聚变、风电、军工、食品消费等板块指数跌幅居前，沪深京三市下跌个股近4800只。\n"
-	text = "【银行理财首单网下打新落地】财联社6月20日电，记者从多渠道获悉，光大理财以申报价格17元参与信通电子网下打新，并成功入围有效报价，成为行业内首家参与网下打新的银行理财公司。光大理财工作人员向证券时报记者表示，本次光大理财是以其管理的混合类产品“阳光橙增盈绝对收益策略”参与了此次网下打新，该产品为光大理财“固收+”银行理财产品。资料显示，信通电子成立于1996年，核心产品包括输电线路智能巡检系统、变电站智能辅控系统、移动智能终端及其他产品。根据其招股说明书，信通电子2023、2024年营业收入分别较上年增长19.08%和7.97%，净利润分别较上年增长5.6%和15.11%。 (证券时报)"
-	text = " 【以军称拦截数枚伊朗导弹】财联社6月20日电，据央视新闻报道，以军在贝尔谢巴及周边区域拦截了数枚伊朗导弹，但仍有导弹或拦截残骸落地。以色列国防军发文表示，搜救队伍正在一处“空中物体落地”的所在区域开展工作，公众目前可以离开避难场所。伊朗方面对上述说法暂无回应。"
 
+	news := NewMarketNewsApi().GetNewsList2("", random.RandInt(500, 1000))
+	messageText := strings.Builder{}
+	for _, telegraph := range *news {
+		messageText.WriteString(telegraph.Content + "\n")
+	}
+
+	text := messageText.String()
+	// 分析情感
 	words := splitWords(text)
 	fmt.Println(strings.Join(words, " "))
-
 	result := AnalyzeSentiment(text)
-
+	result, frequencies := AnalyzeSentimentWithFreqWeight(text)
+	// 过滤标点符号和分隔符
+	cleanFrequencies := FilterPunctuationAndSeparators(frequencies)
 	// 输出结果
-	fmt.Printf("情感分析结果: %s (得分: %.2f, 正面词:%d, 负面词:%d)\n",
+	logger.SugaredLogger.Infof("情感分析结果: %s (得分: %.2f, 正面词:%d, 负面词:%d)\n 词频统计结果: %v",
 		result.Description,
 		result.Score,
 		result.PositiveCount,
-		result.NegativeCount)
+		result.NegativeCount,
+		cleanFrequencies,
+	)
 
 }

backend/models/models.go

@@ -232,6 +232,7 @@ type Prompt struct {
 type Telegraph struct {
 	gorm.Model
 	Time            string          `json:"time"`
+	DataTime        *time.Time      `json:"dataTime"`
 	Content         string          `json:"content"`
 	SubjectTags     []string        `json:"subjects" gorm:"-:all"`
 	StocksTags      []string        `json:"stocks" gorm:"-:all"`
@@ -239,7 +240,7 @@ type Telegraph struct {
 	Url             string          `json:"url"`
 	Source          string          `json:"source"`
 	TelegraphTags   []TelegraphTags `json:"tags" gorm:"-:migration;foreignKey:TelegraphId"`
-	SentimentResult string          `json:"sentimentResult" gorm:"-:all"`
+	SentimentResult string          `json:"sentimentResult"`
 }
 type TelegraphTags struct {
 	gorm.Model

frontend/components.d.ts

@@ -11,6 +11,7 @@ declare module 'vue' {
     About: typeof import('./src/components/about.vue')['default']
     AgentChat: typeof import('./src/components/agent-chat.vue')['default']
     AgentChat_bk: typeof import('./src/components/agent-chat_bk.vue')['default']
+    AnalyzeMartket: typeof import('./src/components/AnalyzeMartket.vue')['default']
     ClsCalendarTimeLine: typeof import('./src/components/ClsCalendarTimeLine.vue')['default']
     EmbeddedUrl: typeof import('./src/components/EmbeddedUrl.vue')['default']
     Fund: typeof import('./src/components/fund.vue')['default']

frontend/src/components/AnalyzeMartket.vue

@@ -0,0 +1,11 @@
+<script setup>
+
+</script>
+
+<template>
+
+</template>
+
+<style scoped>
+
+</style>

frontend/src/components/market.vue

@@ -1,5 +1,6 @@
 <script setup>
-import {computed, h, onBeforeMount, onBeforeUnmount, onMounted, ref} from 'vue'
+import * as echarts from "echarts";
+import {computed, h, onBeforeMount, onBeforeUnmount, onMounted,onUnmounted, ref} from 'vue'
 import {
   GetAIResponseResult,
   GetConfig,
@@ -12,7 +13,7 @@ import {
   SaveAsMarkdown,
   ShareAnalysis,
   SummaryStockNews,
-  GetAiConfigs
+  GetAiConfigs, AnalyzeSentimentWithFreqWeight
 } from "../../wailsjs/go/main/App";
 import {EventsOff, EventsOn} from "../../wailsjs/runtime";
 import NewsList from "./newsList.vue";
@@ -75,6 +76,8 @@ const indexInterval = ref(null)
 const indexIndustryRank = ref(null)
 const stockCode= ref('')
 const enableTools= ref(true)
+const treemapRef = ref(null);
+let treemapchart =null;
 
 function getIndex() {
   GlobalStockIndexes().then((res) => {
@@ -120,7 +123,13 @@ onBeforeMount(() => {
   indexIndustryRank.value = setInterval(() => {
     industryRank()
   }, 1000 * 10)
+
+
 })
+onMounted(() => {
+  Analyze() // 页面显示
+})
+
 
 onBeforeUnmount(() => {
   EventsOff("changeMarketTab")
@@ -131,8 +140,12 @@ onBeforeUnmount(() => {
   clearInterval(indexIndustryRank.value)
 })
 
+onUnmounted(() => {
+
+});
 EventsOn("changeMarketTab", async (msg) => {
   //message.info(msg.name)
+  console.log(msg.name)
   updateTab(msg.name)
 })
 
@@ -142,6 +155,7 @@ EventsOn("newTelegraph", (data) => {
       telegraphList.value.pop()
     }
     telegraphList.value.unshift(...data)
+    Analyze() // 页面显示
   }
 })
 EventsOn("newSinaNews", (data) => {
@@ -150,6 +164,7 @@ EventsOn("newSinaNews", (data) => {
     sinaNewsList.value.pop()
   }
   sinaNewsList.value.unshift(...data)
+    Analyze() // 页面显示
   }
 })
 
@@ -158,6 +173,32 @@ window.onresize = () => {
   panelHeight.value = window.innerHeight - 240
 }
 
+function Analyze(){
+  console.log("treemapchart:",treemapchart)
+  console.log("treemapRef:",treemapRef.value)
+  treemapchart = echarts.init(treemapRef.value);
+  treemapchart.showLoading()
+  AnalyzeSentimentWithFreqWeight("").then((res) => {
+
+    let option = {
+      legend: {
+        show: false
+      },
+      series: [
+        {
+          type: 'treemap',
+          data: res['frequencies'].slice(0, 20).map(item => ({
+            name: item.Word,
+            value: item.Frequency,
+          }))
+        }
+      ]
+    };
+    treemapchart.setOption(option);
+    treemapchart.hideLoading()
+  })
+}
+
 function getAreaName(code) {
   switch (code) {
     case "america":
@@ -232,6 +273,9 @@ function getAiSummary() {
 function updateTab(name) {
   summaryBTN.value = (name === "市场快讯");
   nowTab.value = name
+  if (name === "市场快讯") {
+    Analyze()
+  }
 }
 
 EventsOn("summaryStockNews", async (msg) => {
@@ -320,14 +364,22 @@ function ReFlesh(source) {
   <n-card>
     <n-tabs type="line" animated @update-value="updateTab" :value="nowTab" style="--wails-draggable:no-drag">
       <n-tab-pane name="市场快讯" tab="市场快讯">
-        <n-grid :cols="2" :y-gap="0">
+        <n-grid :cols="1" :y-gap="0">
           <n-gi>
-            <news-list :newsList="telegraphList" :header-title="'财联社电报'" @update:message="ReFlesh"></news-list>
+            <div  ref="treemapRef"  style="width: 100%;height: 300px;" ></div>
           </n-gi>
           <n-gi>
-            <news-list :newsList="sinaNewsList" :header-title="'新浪财经'" @update:message="ReFlesh"></news-list>
+            <n-grid :cols="2" :y-gap="0">
+              <n-gi>
+                <news-list :newsList="telegraphList" :header-title="'财联社电报'" @update:message="ReFlesh"></news-list>
+              </n-gi>
+              <n-gi>
+                <news-list :newsList="sinaNewsList" :header-title="'新浪财经'" @update:message="ReFlesh"></news-list>
+              </n-gi>
+            </n-grid>
           </n-gi>
         </n-grid>
+
       </n-tab-pane>
       <n-tab-pane name="全球股指" tab="全球股指">
         <n-tabs type="segment" animated>

frontend/src/components/newsList.vue

@@ -49,6 +49,9 @@ const updateMessage = () => {
             <n-text type="warning">查看原文</n-text>
           </a>
         </n-tag>
+        <n-tag v-if="item.sentimentResult" :bordered="false" :type="item.sentimentResult==='看涨'?'error':item.sentimentResult==='看跌'?'success':'info'" size="small">
+          {{ item.sentimentResult }}
+        </n-tag>
       </n-space>
     </n-list-item>
   </n-list>

frontend/wailsjs/go/main/App.d.ts

@@ -14,6 +14,8 @@ export function AddStockGroup(arg1:number,arg2:string):Promise<string>;
 
 export function AnalyzeSentiment(arg1:string):Promise<data.SentimentResult>;
 
+export function AnalyzeSentimentWithFreqWeight(arg1:string):Promise<Record<string, any>>;
+
 export function ChatWithAgent(arg1:string,arg2:number,arg3:any):Promise<void>;
 
 export function CheckSponsorCode(arg1:string):Promise<Record<string, any>>;

frontend/wailsjs/go/main/App.js

@@ -22,6 +22,10 @@ export function AnalyzeSentiment(arg1) {
   return window['go']['main']['App']['AnalyzeSentiment'](arg1);
 }
 
+export function AnalyzeSentimentWithFreqWeight(arg1) {
+  return window['go']['main']['App']['AnalyzeSentimentWithFreqWeight'](arg1);
+}
+
 export function ChatWithAgent(arg1, arg2, arg3) {
   return window['go']['main']['App']['ChatWithAgent'](arg1, arg2, arg3);
 }

main.go

@@ -60,6 +60,7 @@ var BuildKey string
 func main() {
 	checkDir("data")
 	db.Init("")
+	data.InitAnalyzeSentiment()
 	go AutoMigrate()
 
 	//db.Dao.Model(&data.Group{}).Where("id = ?", 0).FirstOrCreate(&data.Group{