feat(backend):优化词典加载与情感分析逻辑

- 重构词典初始化流程，提升加载效率
- 新增CalcToken调用以确保词典更新生效
- 改进用户词典读取路径并增强格式校验
- 忽略空行及注释行，防止无效词条干扰分析
- 使用ReAddToken方法替换原有AddToken实现热更新
- 调整词频权重过滤阈值，提高情感识别准确度
- 引入Score字段用于treemap可视化展示
- 更新基础词典和用户词典内容，强化专业术语覆盖
- 注释冗余测试文本，避免影响正式环境运行
- 增加日志记录以便追踪词典加载与匹配过程

backend/data/data/dict/base.txt

@@ -1,6 +1,6 @@
-# 金融股票全场景分词字典（去重优化版）
+# 金融股票全场景分词字典（最终去重优化版）
 # 格式：单词 权重 词性 | 权重280-350分，核心术语优先匹配，无重复词汇
-# 覆盖：净买卖、股指、财务指标、交易操作、政策宏观、热点概念等全场景
+# 覆盖：净买卖、股指、财务指标、交易操作、政策宏观、热点概念、机构媒体、美股中概股、十五五规划等全场景
 
 # 一、净买卖与资金流向（核心交易表述）
 净卖出 340 v
@@ -136,6 +136,7 @@ Russell 2000 310 n
 标普600小型股指数 310 n
 纽约证交所综合指数 310 n
 NYSE Composite 300 n
+纳斯达克中国金龙指数 310 n
 # 欧洲市场
 德国DAX指数 330 n
 DAX 30 320 n
@@ -198,8 +199,8 @@ G20国家指数 300 n
 
 # 四、A股龙头公司（资讯高频）
 贵州茅台 310 n
-宁德时代 310 n
-比亚迪 300 n
+宁德时代 350 n
+比亚迪 340 n
 隆基绿能 300 n
 长江电力 290 n
 中国平安 300 n
@@ -215,7 +216,7 @@ G20国家指数 300 n
 东方财富 290 n
 爱尔眼科 290 n
 通威股份 290 n
-药明康德 290 n
+药明康德 320 n
 阳光电源 290 n
 天齐锂业 290 n
 赣锋锂业 290 n
@@ -351,21 +352,21 @@ RQFII 290 n
 
 # 八、热点概念与行业
 AI 330 n
-人工智能 330 n
+人工智能 350 n
 算力 330 n
 大数据 320 n
 云计算 320 n
-半导体 320 n
-芯片 320 n
-集成电路 310 n
-新能源 320 n
-光伏 320 n
+半导体 350 n
+芯片 350 n
+集成电路 340 n
+新能源 350 n
+光伏 340 n
 锂电 320 n
-储能 320 n
+储能 340 n
 充电桩 310 n
 新能源车 320 n
 智能汽车 310 n
-自动驾驶 310 n
+自动驾驶 330 n
 军工 310 n
 国防军工 300 n
 医药 310 n
@@ -382,16 +383,16 @@ CXO 300 n
 房地产 300 n
 基建 300 n
 新基建 310 n
-数字经济 320 n
+数字经济 350 n
 数字货币 310 n
 区块链 300 n
 元宇宙 300 n
-低空经济 310 n
-人形机器人 310 n
-工业互联网 300 n
+低空经济 340 n
+人形机器人 330 n
+工业互联网 330 n
 物联网 300 n
 5G 300 n
-6G 300 n
+6G 340 n
 
 # 九、交易操作与行情
 上涨 310 v
@@ -441,8 +442,8 @@ CXO 300 n
 跌停板 300 n
 一字涨停 290 n
 一字跌停 290 n
-打开涨停 280 v
-打开跌停 280 v
+打开涨停 320 v
+打开跌停 320 v
 集合竞价 290 n
 连续竞价 280 n
 开盘价 340 n
@@ -457,8 +458,6 @@ CXO 300 n
 跌幅 340 n
 涨停价 330 n
 跌停价 330 n
-打开涨停 320 v
-打开跌停 320 v
 熔断 330 n
 临时停牌 320 n
 复牌 320 v
@@ -476,271 +475,4 @@ CXO 300 n
 # 十、委托交易与规则
 限价委托 340 n
 市价委托 340 n
-止损委托 330 n
-止盈委托 330 n
-预埋单 320 n
-条件单 330 n
-触发委托 320 n
-追涨委托 320 n
-抄底委托 320 n
-挂单 330 n
-撤单 330 v
-成交 340 v
-未成交 320 adj
-部分成交 320 adj
-委托价 320 n
-成交价 320 n
-委托量 320 n
-买单 330 n
-卖单 330 n
-买入 340 v
-卖出 340 v
-做多 330 v
-做空 330 v
-开仓 330 v
-满仓 330 v
-空仓 330 v
-半仓 320 v
-轻仓 320 v
-重仓 320 v
-底仓 320 n
-补仓 320 v
-T+1交易 330 n
-T+0交易 330 n
-日内交易 320 n
-短线交易 320 n
-中线交易 320 n
-长线交易 320 n
-集合竞价交易 320 n
-连续竞价交易 320 n
-保证金 320 n
-杠杆 320 n
-融资 320 n
-融券 320 n
-融资买入 320 v
-融券卖出 320 v
-融资余额 320 n
-融券余额 320 n
-两融业务 320 n
-信用账户 320 n
-普通账户 320 n
-资金账户 320 n
-证券账户 320 n
-持仓 330 n
-持仓股 320 n
-持仓数量 320 n
-可用资金 320 n
-可取资金 320 n
-冻结资金 320 n
-交易成本 320 n
-手续费 320 n
-佣金 320 n
-印花税 320 n
-过户费 320 n
-交易规费 320 n
-B股 310 n
-H股 310 n
-美股 310 n
-创业板 320 n
-科创板 320 n
-主板 320 n
-纳斯达克 310 n
-纽交所 310 n
-标普500 310 n
-道琼斯 310 n
-成分股 310 n
-权重股 310 n
-龙头股 310 n
-中小盘股 310 n
-大盘股 310 n
-小盘股 310 n
-ST股 320 n
-*ST股 320 n
-退市股 320 n
-次新股 320 n
-新股 320 n
-打新 320 v
-新股申购 320 n
-中签 320 v
-新股上市 320 n
-限售股 310 n
-解禁 310 v
-股权登记日 310 n
-除权除息日 310 n
-派息 310 n
-分红 310 n
-送股 310 n
-转增股 310 n
-配股 310 n
-除权 310 n
-除息 310 n
-填权 310 v
-贴权 310 v
-筹码分析 310 n
-盘口分析 310 n
-K线图 310 n
-均线 310 n
-日均线 310 n
-周均线 310 n
-月均线 310 n
-MACD 310 n
-KDJ 310 n
-RSI 310 n
-布林带 310 n
-成交量均线 310 n
-支撑位 310 n
-压力位 310 n
-阻力位 310 n
-突破 310 v
-跌破 310 v
-站稳 310 v
-回落 310 v
-横盘整理 310 n
-震荡整理 310 n
-洗盘 310 n
-吸筹 310 n
-出货 310 n
-建仓成本 310 n
-持仓周期 310 n
-交易频率 310 n
-长线持有 310 v
-高抛低吸 310 v
-追涨杀跌 310 v
-低吸高抛 310 v
-顺势而为 310 n
-逆向投资 310 n
-交易软件 300 n
-行情软件 300 n
-交易终端 300 n
-手机炒股 300 n
-电脑炒股 300 n
-网上交易 300 n
-电话委托 290 n
-营业部交易 290 n
-交易系统 300 n
-行情系统 300 n
-Level-2行情 300 n
-实时行情 300 n
-延时行情 290 n
-交易接口 300 n
-量化交易 310 n
-算法交易 300 n
-程序化交易 300 n
-自动交易 300 n
-智能投顾 300 n
-券商APP 300 n
-交易佣金 300 n
-开户 300 v
-销户 290 v
-转户 290 v
-绑定银行卡 290 v
-银证转账 300 n
-银证通 290 n
-第三方存管 290 n
-赛道股 330 n
-抱团股 310 n
-妖股 310 n
-庄股 310 n
-# 主要财经网站与机构名词（格式：单词 权重 词性）
-# 权重320-350分，与核心金融术语优先级一致，确保精准识别
-
-# 一、国内财经网站（资讯高频来源）
-东方财富网 350 n
-同花顺财经 340 n
-财新网 340 n
-新浪财经 340 n
-第一财经 330 n
-金融界 330 n
-华尔街见闻 330 n
-每日经济新闻 330 n
-证券时报网 330 n
-财联社 330 n
-和讯网 320 n
-证券之星 320 n
-中国证券报 330 n
-上海证券报 330 n
-证券日报 320 n
-界面新闻 320 n
-澎湃新闻财经 320 n
-腾讯财经 320 n
-网易财经 320 n
-凤凰财经 320 n
-
-# 二、国际财经媒体（全球市场资讯来源）
-彭博社 350 n
-路透社 350 n
-金融时报 340 n
-华尔街日报 340 n
-雅虎财经 320 n
-CNBC 320 n
-路透财经 330 n
-彭博财经 330 n
-英国金融时报 330 n
-美国消费者新闻与商业频道 320 n
-日经新闻 320 n
-韩国经济新闻 310 n
-
-# 三、国际金融机构（投行/基金/银行）
-高盛集团 350 n
-摩根士丹利 350 n
-摩根大通 350 n
-瑞银集团 340 n
-汇丰银行 340 n
-野村证券 330 n
-贝莱德 350 n
-桥水基金 340 n
-黑石集团 340 n
-橡树资本 330 n
-花旗集团 330 n
-美银美林 330 n
-德意志银行 320 n
-瑞士信贷 320 n
-法国巴黎银行 320 n
-三菱日联金融集团 310 n
-
-# 四、国内外金融监管与交易机构
-中国证监会 350 n
-美联储 350 n
-英国金融行为管理局 330 n
-香港证监会 330 n
-纽约证券交易所 350 n
-纳斯达克 350 n
-香港交易所 340 n
-伦敦证券交易所 340 n
-芝商所集团 330 n
-泛欧证券交易所 330 n
-上海证券交易所 340 n
-深圳证券交易所 340 n
-北京证券交易所 330 n
-中国人民银行 350 n
-银保监会 340 n
-国家金融监督管理总局 340 n
-财政部 340 n
-发改委 330 n
-石油输出国组织 340 n
-国际能源署 330 n
-美国能源信息署 320 n
-世界银行 330 n
-国际货币基金组织 330 n
-
-# 五、国内核心金融机构（券商/基金/银行）
-中国工商银行 340 n
-中国建设银行 340 n
-中国农业银行 340 n
-中国银行 340 n
-交通银行 330 n
-招商银行 330 n
-兴业银行 320 n
-浦发银行 320 n
-中信证券 340 n
-华泰证券 330 n
-中金公司 330 n
-中信建投 330 n
-国泰君安 330 n
-广发证券 320 n
-东方证券 320 n
-南方基金 330 n
-易方达基金 330 n
-华夏基金 330 n
-嘉实基金 320 n
-博时基金 320 n
+止损委托 330 n

backend/data/data/dict/user.txt

@@ -0,0 +1,26 @@
+公司 0.1 n
+国家 0.1 n
+国际 0.1 n
+会议 0.1 n
+市场 0.1 n
+经济 0.1 n
+技术 0.1 n
+记者 0.1 n
+时间 0.1 n
+项目 0.1 n
+问题 0.1 n
+企业 0.1 n
+财联社 0.1 n
+上涨 0.1 v
+下跌 0.1 v
+期货  0.1 n
+跌幅 0.1 n
+跌超 0.1 adj
+股票 0.1 n
+冰雪旅游 500 n
+特高压 500 n
+跨境电商 500 n
+俄乌冲突 400 n
+新能源汽车 500 n
+机器人 500 n
+具身智能 500 n

backend/data/stock_sentiment_analysis.go

@@ -13,11 +13,14 @@ import (
 	"strings"
 	"unicode"
 
+	"github.com/duke-git/lancet/v2/convertor"
 	"github.com/duke-git/lancet/v2/fileutil"
 	"github.com/duke-git/lancet/v2/strutil"
 	"github.com/go-ego/gse"
 )
 
+const basefreq float64 = 100
+
 // 金融情感词典，包含股票市场相关的专业词汇
 var (
 	seg gse.Segmenter
@@ -69,22 +72,22 @@ var baseDict string
 var zhDict string
 
 func InitAnalyzeSentiment() {
-	logger.SugaredLogger.Infof("初始化词典库路径:%s", fileutil.CurrentPath())
-	//加载默认词典
-	err := seg.LoadDictEmbed(zhDict)
-	err = seg.LoadDictEmbed(baseDict)
+	err := seg.LoadDictEmbed(baseDict)
 	if err != nil {
 		logger.SugaredLogger.Error(err.Error())
+	} else {
+		logger.SugaredLogger.Info("加载默认词典成功")
 	}
+	seg.CalcToken()
 	stocks := &[]StockBasic{}
 	db.Dao.Model(&StockBasic{}).Find(stocks)
 	for _, stock := range *stocks {
 		if strutil.Trim(stock.Name) == "" {
 			continue
 		}
-		err := seg.AddToken(stock.Name, 188888, "n")
+		err := seg.AddToken(stock.Name, basefreq+500, "n")
 		if strutil.Trim(stock.BKName) != "" {
-			err = seg.AddToken(stock.BKName, 188888, "n")
+			err = seg.AddToken(stock.BKName, basefreq+500, "n")
 		}
 		if err != nil {
 			logger.SugaredLogger.Errorf("添加%s失败:%s", stock.Name, err.Error())
@@ -96,9 +99,9 @@ func InitAnalyzeSentiment() {
 		if strutil.Trim(stock.Name) == "" {
 			continue
 		}
-		err := seg.AddToken(stock.Name, 188888, "n")
+		err := seg.AddToken(stock.Name, basefreq+500, "n")
 		if strutil.Trim(stock.BKName) != "" {
-			err = seg.AddToken(stock.BKName, 188888, "n")
+			err = seg.AddToken(stock.BKName, basefreq+500, "n")
 		}
 		if err != nil {
 			logger.SugaredLogger.Errorf("添加%s失败:%s", stock.Name, err.Error())
@@ -115,13 +118,45 @@ func InitAnalyzeSentiment() {
 	tags := &[]models.Tags{}
 	db.Dao.Model(&models.Tags{}).Find(tags)
 	for _, tag := range *tags {
-		err := seg.AddToken(tag.Name, 188888, "n")
+		err := seg.AddToken(tag.Name, basefreq, "n")
 		if err != nil {
 			logger.SugaredLogger.Errorf("添加%s失败:%s", tag.Name, err.Error())
 		}
 	}
-
-	logger.SugaredLogger.Info("加载词典成功")
+	seg.CalcToken()
+	//加载用户自定义词典 先判断用户词典是否存在
+	if fileutil.IsExist("data/dict/user.txt") {
+		lines, err := fileutil.ReadFileByLine("data/dict/user.txt")
+		if err != nil {
+			logger.SugaredLogger.Error(err.Error())
+			return
+		}
+		for _, line := range lines {
+			if len(line) == 0 || line[0] == '#' {
+				continue
+			}
+			k := strutil.SplitAndTrim(line, " ")
+			switch len(k) {
+			case 1:
+				err = seg.ReAddToken(k[0], 100)
+			case 2:
+				freq, _ := convertor.ToFloat(k[1])
+				err = seg.ReAddToken(k[0], freq)
+			case 3:
+				freq, _ := convertor.ToFloat(k[1])
+				err = seg.ReAddToken(k[0], freq, k[2])
+			default:
+				logger.SugaredLogger.Errorf("用户词典格式错误:%s", line)
+			}
+			logger.SugaredLogger.Infof("添加用户词典[%s]成功", line)
+		}
+		if err != nil {
+			logger.SugaredLogger.Error(err.Error())
+		} else {
+			logger.SugaredLogger.Infof("加载用户词典成功")
+		}
+	}
+	seg.CalcToken()
 }
 
 // WordFreqWithWeight 词频统计结果，包含权重信息
@@ -129,14 +164,17 @@ type WordFreqWithWeight struct {
 	Word      string
 	Frequency int
 	Weight    float64
+	Score     float64
 }
 
 // getWordWeight 获取词汇权重
 func getWordWeight(word string) float64 {
 	// 从分词器获取词汇权重
-	freq, pos, _ := seg.Find(word)
-	if pos == "n" {
-		return freq
+
+	freq, pos, ok := seg.Dictionary().Find([]byte(word))
+	if ok {
+		logger.SugaredLogger.Infof("获取%s的权重:%f,pos:%s,ok:%v", word, freq, pos, ok)
+		return basefreq + freq
 	}
 	return 0
 }
@@ -149,13 +187,11 @@ func SortByWeightAndFrequency(frequencies map[string]WordFreqWithWeight) []WordF
 		freqSlice = append(freqSlice, freq)
 	}
 
-	// 按权重降序排列，如果权重相同则按频次降序排列
+	// 按权重*频次降序排列
 	sort.Slice(freqSlice, func(i, j int) bool {
-		if freqSlice[i].Weight != freqSlice[j].Weight {
-			return freqSlice[i].Weight > freqSlice[j].Weight // 权重高的排前面
-		}
-		return freqSlice[i].Frequency > freqSlice[j].Frequency // 权重相同时频次高的排前面
+		return freqSlice[i].Weight*float64(freqSlice[i].Frequency) > freqSlice[j].Weight*float64(freqSlice[j].Frequency)
 	})
+	logger.SugaredLogger.Infof("排序后的结果:%v", freqSlice)
 
 	return freqSlice
 }
@@ -228,11 +264,12 @@ func countWordFrequencyWithWeight(text string) map[string]WordFreqWithWeight {
 	// 构建包含权重的结果
 	for word, frequency := range wordCount {
 		weight := getWordWeight(word)
-		if weight > 100 {
+		if weight > 200 {
 			freqMap[word] = WordFreqWithWeight{
 				Word:      word,
 				Frequency: frequency,
 				Weight:    weight,
+				Score:     float64(frequency) * weight,
 			}
 		}
 

backend/data/stock_sentiment_analysis_test.go

@@ -2,11 +2,10 @@ package data
 
 import (
 	"fmt"
+	"go-stock/backend/db"
 	"go-stock/backend/logger"
 	"strings"
 	"testing"
-
-	"github.com/duke-git/lancet/v2/random"
 )
 
 // @Author spark
@@ -16,17 +15,21 @@ import (
 
 func TestAnalyzeSentiment(t *testing.T) {
 
-	news := NewMarketNewsApi().GetNewsList2("", random.RandInt(500, 1000))
+	db.Init("../../data/stock.db")
+	InitAnalyzeSentiment()
+
 	messageText := strings.Builder{}
-	for _, telegraph := range *news {
-		messageText.WriteString(telegraph.Content + "\n")
-	}
+	//news := NewMarketNewsApi().GetNewsList2("", random.RandInt(500, 1000))
+	//for _, telegraph := range *news {
+	//	messageText.WriteString(telegraph.Content + "\n")
+	//}
 
 	text := messageText.String()
+	//text = " 【周六你需要知道的隔夜全球要闻：美联储鸽声重振 美股走势回稳】 1、纽约联储行长威廉姆斯表示，随着劳动力市场走软，美联储近期内仍有再次降息的空间。 2、美联储理事斯蒂芬·米兰表示，自上次联邦公开市场委员会（FOMC）会议以来的经济数据应“促使人们偏向鸽派立场”。 3、波士顿联邦储备银行行长柯林斯表示，由于通胀可能在一段时间内保持高位，维持利率不变“目前合适”。 4、据CME“美联储观察”，截至北京时间11月22日6时30分，美联储12月降息25个基点的概率为69.4%，维持利率不变的概率为30.6%。 5、美国劳工统计局表示，11月CPI报告将于12月18日发布，同时取消了10月CPI报告发布，表示无法追溯采集政府停摆期间未能收集的部分数据。 6、俄罗斯总统普京表示，已收到美提出解决俄乌冲突的计划，俄罗斯愿意进行和平谈判。美国总统特朗普表示，他认为27日是乌克兰接受美国支持的和平计划的最后期限。 7、美联储高官鸽派言论提振市场情绪，美股三大指数收盘集体上涨，道琼斯指数涨1.08%，标普500指数涨0.98%，纳斯达克综合指数涨0.88%。甲骨文跌超5%，英伟达跌超1%。纳指本周累计跌2.74%，标普500指数累跌1.95%，道指累跌1.91%。英伟达本周累跌5.9%。 8、热门中概股多数上涨，纳斯达克中国金龙指数收涨1.23%。蔚来涨超3%，哔哩哔哩、理想汽车涨超2%，京东、小鹏汽车涨超1%。 9、国际油价下跌，交易员评估乌克兰与俄罗斯可能达成和平协议的前景。WTI 1月期货下跌1.6%，结算价报每桶58.06美元，为过去五个交易日中第四次下跌。布伦特1月期货下跌1.3%，结算价报每桶62.56美元。 10、美联储延长压力测试改进方案征询期，为银行反馈提供更多时间。 11、由于美国人对个人财务状况的看法恶化，美国消费者信心在11月跌至接近纪录最低水平；密歇根大学数据显示，11月消费者信心指数降至51，10月为53.6。 12、日本央行政策委员会委员Kazuyuki Masu表示，日本央行接近作出加息决定。 13、穆迪将意大利信用评级从BAA3上调至BAA2，展望稳定。\n"
+	text = "财联社电：英伟达周五冲高回落，股价涨幅收于1%，市场普遍认为其走势疲软"
 	// 分析情感
 	words := splitWords(text)
 	fmt.Println(strings.Join(words, " "))
-	result := AnalyzeSentiment(text)
 	result, frequencies := AnalyzeSentimentWithFreqWeight(text)
 	// 过滤标点符号和分隔符
 	cleanFrequencies := FilterPunctuationAndSeparators(frequencies)

frontend/src/App.vue

@@ -53,6 +53,7 @@ const containerRef = ref({})
 const realtimeProfit = ref(0)
 const telegraph = ref([])
 const groupList = ref([])
+const officialStatement= ref("")
 const menuOptions = ref([
   {
     label: () =>
@@ -599,6 +600,7 @@ onBeforeMount(() => {
   GetVersionInfo().then(result => {
     if(result.officialStatement){
       content.value = result.officialStatement+"\n\n"+content.value
+      officialStatement.value = result.officialStatement
     }
   })
 
@@ -669,7 +671,7 @@ onBeforeMount(() => {
 })
 
 onMounted(() => {
-  WindowSetTitle("go-stock：AI赋能股票分析✨  未经授权,禁止商业目的！ [数据来源于网络,仅供参考;投资有风险,入市需谨慎]")
+  WindowSetTitle("go-stock：AI赋能股票分析✨ "+officialStatement.value+"  未经授权,禁止商业目的！ [数据来源于网络,仅供参考;投资有风险,入市需谨慎]")
   contentStyle.value = "max-height: calc(92vh);overflow: hidden"
   GetConfig().then((res) => {
     if (res.enableNews) {

frontend/src/components/market.vue

@@ -179,7 +179,7 @@ function Analyze(){
   treemapchart = echarts.init(treemapRef.value);
   treemapchart.showLoading()
   AnalyzeSentimentWithFreqWeight("").then((res) => {
-
+    console.log(res)
     let option = {
       legend: {
         show: false
@@ -187,9 +187,11 @@ function Analyze(){
       series: [
         {
           type: 'treemap',
-          data: res['frequencies'].slice(0, 20).map(item => ({
+          data: res['frequencies'].map(item => ({
             name: item.Word,
-            value: item.Frequency,
+           // value: item.Frequency,
+           // value: item.Weight,
+            value: item.Score,
           }))
         }
       ]

main.go

@@ -125,7 +125,7 @@ func main() {
 
 	// Create application with options
 	err = wails.Run(&options.App{
-		Title:     "go-stock：AI赋能股票分析✨",
+		Title:     "go-stock：AI赋能股票分析✨ " + OFFICIAL_STATEMENT,
 		Width:     width * 4 / 5,
 		Height:    920,
 		MinWidth:  minWidth,