类 ChatGPT 模型存在的局限性

尽管类ChatGPT模型经过数月的迭代和完善已经初步融入了部分领域以及人们的日常生活但目前市面上的产品和相关技术仍然存在一些问题以下列出一些局限性进行详细说明与成因分析

1互联网上高质量、大规模、经过清洗的公开数据集和开源、结构高效的预训练LLM仍然不足。这是因为收集和清洗数据集的过程非常烦琐和复杂且预训练LLM的训练需要高性能设备和大量优质数据集。

2针对同一问题重复输入会导致不一致的回答。有时也会出现稍微改变一些词语模型的回答就会从无法回答转变为正确回答的情况。这是因为训练时得到的LLM缺乏泛化能力输入格式不规范且噪声多。

3模型虽然能够回答一些通用性问题但是在涉及一些专业领域或者具体情境的问题时就会显得力不从心。这是因为LLM训练数据并没有覆盖所有领域和场景而且模型本身也缺乏足够的知识库和推理能力来处理复杂的问题。

4LLM由于缺乏常识知识输入缺乏事实依据和事实验证因此在类ChatGPT模型在大规模运用时容易产生幻觉生成错误答案并出现推理错误等问题。

5类ChatGPT模型在生成文本时存在输出很难被人类理解和解释且很难被人类监督并纠正的问题这是因为模型基于深度学习生成文本时并不遵循任何明确的规则或逻辑而是根据概率分布来选择最可能的词汇。

6类ChatGPT模型依赖于基础模型但基础模型为了产生能力“涌现”的现象需要庞大的参数量来支撑其存储的知识规模。因此相关产品的部署和运行不仅需要高昂的硬件成本和资源消耗而且难以适应移动设备和边缘计算等场景。

7类ChatGPT模型使用奖励机制作为训练类ChatGPT模型的主要方法并不受法律和道德准则的约束。因此可能会被恶意利用造成严重的安全隐患或者法律风险。此外与用户交互时能够记住与会话相关的项目以及用户输入、缓存、日志等隐私信息。以及可能存在利用模型逻辑强大的对话能力与丰富的知识进行诈骗或作弊的情况。除了上述局限外目前作为构建基石的基础模型仍存在一些原理问题尚未得到突破例如无法保持自我一致性、无法处理比token更小的单元以及多模态领域表示困难等问题。

学术问题付费咨询及相关探讨
博士担任《Mechanical System and Signal Processing》审稿专家担任
《中国电机工程学报》优秀审稿专家《控制与决策》《系统工程与电子技术》等EI期刊审稿专家担任《计算机科学》《电子器件》 《现代制造过程》 《船舶工程》 《轴承》 《工矿自动化》 《重庆理工大学学报》 《噪声与振动控制》 《机械传动》 《机械强度》 《机械科学与技术》 《机床与液压》《声学技术》《应用声学》等中文核心审稿专家。
擅长领域现代信号处理机器学习深度学习数字孪生时间序列分析设备缺陷检测、设备异常检测、设备智能故障诊断与健康管理PHM等。