todo-基于LLM应用层的文本分析

简介

TODO.

• 基于LLM应用层的文本分析
  应用区别于基础，基础强调模型架构、模型训练等环节。

• 传统NLP
  词性标注
  近义词判断（embedding）
  NER
  SpaCy
  NLTK

• LLM
  通用模型适合做 Summary
  Proxy、在线 Finetune、最佳 base model
  Prompt：CoT、特殊字符分隔符、Agent都是有效的，但是目前最佳Prompt 范式还没有形成。
  Normalization：定义 + embedding + 设计度量值（余弦相似度、曼哈顿距离/L1范数） + 聚类。