Goodfire于2024年在旧金山成立，研发用于提高生成式AI模型内部运作可观察性的开发工具，希望提高AI系统的透明度和可靠性，帮助开发者更好地理解和控制AI模型。
神经网络是一种灵活且强大的函数近似方法。而许多应用都需要学习一个相对于某种对称性不变或等变的函数。图像识别便是一个典型示例 —— 当图像发生平移时，情况不会发生变化。等变神经网络（equivariant neural network）可为学习这些不变或等变函数提供一个灵活的框架。
随着人工智能技术的广泛应用，人们认为AI可以避免人类常见的认知偏差。然而，AI本身可能会表现出类似于人类的偏差，例如锚定效应。本文通过回顾“系统1”和“系统2”两个思维模式，探讨AI在这两种模式中的运作方式，分析AI产生认知偏差的原因，并通过具体实验展示AI在面对锚定效应时的表现。本文进一步探讨如何在理解这些局限性的基础上，合理利用AI来改善人类决策质量，并强调AI透明性和可解释性的重要性。
让模型具有更加广泛和通用的认知能力，是当前人工智能（AI）领域发展的重要目标。目前流行的大模型路径是基于 Scaling Law (尺度定律) 去构建更大、更深和更宽的神经网络提升模型的表现，可称之为 “基于外生复杂性” 的通用智能实现方法。然而，这一路径也面临着一些难以克服的困境，例如高昂的计算资源消耗和能源消耗，并且在可解释性方面存在不足。
在软件开发的世界里，代码的生成、编辑、测试和调试一直是核心活动。
简而言之：矩阵 → ReLU 激活 → 矩阵
本文首先简单回顾了『等效交互可解释性理论体系』（20 篇 CCF-A 及 ICLR 论文），并在此基础上，严格推导并预测出神经网络在训练过程中其概念表征及其泛化性的动力学变化，即在某种程度上，我们可以解释在训练过程中神经网络在任意时间点的泛化性及其内在根因。
LLM 很强大，但也存在一些明显缺点，比如幻觉问题、可解释性差、抓不住问题重点、隐私和安全问题等。检索增强式生成（RAG）可大幅提升 LLM 的生成质量和结果有用性。
大模型当上福尔摩斯，学会对视频异常进行检测了。 来自华中科技大学、百度、密歇根大学的研究团队，提出了一种可解释性的视频异常检测框架，名为Holmes-VAD。
香港大学推出的XRec模型通过融合大型语言模型的语义理解和协同过滤技术，增强了推荐系统的可解释性，使用户能够理解推荐背后的逻辑。这一创新成果不仅提升了用户体验，也为推荐技术的未来发展提供了新方向和动力。
