命题的否定-处理大模型随机性的一个想法

简介

如何保证LLMs的回答来自”理解”了一个问题，而非统计学习下，”猜对”了一个问题的答案？
过程：

1. 向GPT提问一个原命题 P，GPT回答答案 A1
2. 向GPT提问命题P的否定 ¬P，GPT回答答案 A2
3. 假如A1=¬(A2)，那么可以认为GPT有更大概率”理解”了该问题。

正文

背景

在离散数学中：

命题的否定：
如果一个命题可以用谓词逻辑表示，那么对其进行否定通常是对谓词进行否定操作。例如，对于命题 “所有的整数都是偶数”，可以用谓词逻辑表示为∀x (P (x))，其中 P (x) 表示 “x 是偶数”，那么它的否定就是∃x (¬P (x))，即 “存在一个整数不是偶数”。
命题的否定和原命题有相反的真假性。

逆命题、否命题和逆否命题：
对于 “若…… 则……” 这种蕴含关系 “P→Q”：

• 逆命题是 “Q→P”，对原条件和结论进行了交换。
• 否命题是 “¬P→¬Q”，对原条件和结论分别进行否定。
• 逆否命题是 “¬Q→¬P”，既交换了条件和结论又进行了否定。你否命题和原命题的真假性相同。

构思：用命题的否定的T/F

如何保证LLMs的回答来自”理解”了一个问题，而非统计学习下，”猜对”了一个问题的答案？
过程：

1. 向GPT提问一个原命题 P，GPT回答答案 A1
2. 向GPT提问命题P的否定 ¬P，GPT回答答案 A2
3. 假如A1=¬(A2)，那么可以认为GPT有更大概率”理解”了该问题。

这个做法可以：

1. 检验大模型的回答可信度
2. 增加、派生训练数据，(P, A) —> (¬P, ¬A)

更多构思：用逆否命题

同上，但是更麻烦。