翻译的一些我觉得不错的科技文章。
深入浅出地探索 Transformer 背后的数学原理，了解其工作原理。在本篇博客文章中，我们将详细展示一个 Transformer 模型在数学上的端对端（end-to-end）实例。我们的目标是彻底理解模型是如何运作的。为了让这个过程更加易于操作，我们将对模型进行大量简化。考虑到我们需要亲手进行不少数学计算，我们会减少模型的维度。比如说，我们不会使用 512 维的嵌入（embeddings），而是选用 4 维的嵌入。这样做可以让数学部分更容易理解！我们会使用随机生成的向量和矩阵，但你也可以用自己的数值来跟随实例。
January 4, 2024
View Article基本 GPT 能够浏览互联网、使用 Python 代码执行复杂计算、创建图像，以及利用内置大语言模型（LLM）知识处理用户指令。带有知识的 GPT 是一个附加了自定义文件的基础 GPT。带有动作的 GPT 是在基础 GPT 上增加调用 API（别人的服务器）的功能。带有动作和后端的 GPT 指的是您构建了一个基础设施（后端），并将您的 GPT 作为用户接入点连接上去。知识主要储存在后端，而不是在 GPT 上。
January 4, 2024
View ArticleChatGPT 中的 GPT Builder 是用来做什么的，我们为什么要开发它？以及它的 Prompt 是什么？
January 4, 2024
View ArticleGoogle DeepMind 机器人团队推出 AutoRT、SARA-RT 和 RT-Trajectory，旨在提升机器人在真实世界环境中的数据采集效率、动作速度和应用泛化能力。设想一个未来，你只需向你的个人助理机器人发出一个简单的指令——比如“整理房间”或“为我们准备一顿美味健康的饭菜”——它就能轻松完成这些任务。对于人类而言易如反掌的这些活动，对机器人来说则需要深刻理解周围世界。今天，我们公布了一系列重大的机器人研究进展，这些进展使我们距离这一美好未来更近一步。AutoRT、SARA-RT 和 RT-Trajectory 基于我们在 Robotics Transformers 领域的历史性成就，能够帮助机器人更迅速地做出决策，更准确地理解并导航其所处的环境。
January 4, 2024
View Article软件工程师的薪酬来源可以分为三大类预算。这些预算不仅决定了你日常的工作性质，还会影响你的职业发展路径。我认为，这就像是一条商业界的自然法则。这种模式的形成并不需要任何人有意识地去选择。
January 4, 2024
View Article刚成为软件工程师时，招聘人员总会向我介绍所谓的绿地项目，我在面试中经常遇到很多和编程语言相关的测试，数学也是我大学课程的重要部分，而“无估算”运动也在业界引起了一些关注。在软件工程师的职业生涯中，随着经验的积累，你会逐渐领悟到四个重要的真理，这些可能是你之前从未被告知的，或者与你初入行时的经验截然相反。
January 4, 2024
View ArticleElon Musk 是一个充满争议的人物。我的目的，如同往常，是为了在喧嚣、复杂或难以理解的话题中增添一些细致见解和清晰信号。不论你对 Elon 怎样看，我认为推动讨论走向更深入、更有意义的交流是非常有价值的，同时希望这不会给我带来太多风险。问题在于，市面上 99% 的批评都出于恶意且不准确，导致大多数人缺乏理解 Elon 行动动机和目的的必要背景。这是个问题，因为 Elon 是一位颇具影响力和远见的领导者，他的公司在传递变革性技术的过程中扮演着越来越重要的角色。
January 4, 2024
View Article看到这个标题，你可能会想：“没错，Robb，网络[1] 自然是奇妙的，它毕竟是现代世界所有商业和通信活动的核心”。或许你并不这样认为。但我要说的不仅仅是整个互联网，而是指那些开放的网络。那些鼓励你使用它们的 API 去创造新奇事物的网络。那些拥有开放标准的网络。就像独立网络那样。
January 4, 2024
View Article一个热心的读者在阅读了我关于所有的 iPhone 闹钟的文章后，询问我是如何在 Mac 上运行 OCR 的。我不是一个守口如瓶的人，所以这里有一个方法可以让你免费得到一个本地的 OCR‘服务’，它可以在终端/CLI/python 中运行，且不花一分钱
January 3, 2024
View Article我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。
January 3, 2024
View Article想象一个没有时间的宇宙似乎很难，但这并不是因为时间是个技术复杂或哲学上难以捉摸的概念。更根本的原因在于：要想象无时间状态，就得通过时间的流逝。即便是在想象没有时间的时候，你也能感受到时间在你思考转换、心脏为大脑输送血液、以及周围的图像、声音和气味变化中悄然流动。时间这个概念似乎从未停歇。你甚至可能觉得自己被卷入了它不断前行的织物中，感受着宇宙的聚合与分离。但真的是这样理解时间吗？<br />阿尔伯特·爱因斯坦认为，我们对过去、现在和未来的体验不过是“一种固执的持续幻觉”。艾萨克·牛顿则认为，时间不过是生活的背景。热力学定律则将时间视为熵和热量。在现代物理学史上，还没有一个广为接受的理论将动态、方向性的时间观作为基础。从运动定律到分子和物质的属性，我们对自然的基本描述似乎都处于一个时间并非真正流逝的宇宙中。然而，近期在不同领域的研究开始表明，时间的流动可能比许多物理学家原先认为的更加重要。
January 3, 2024
View ArticleAI 想要替代程序员谈何容易。随着越来越多的 AI 最新成果的新闻报道，很多人觉得 AI 很快就能取代我们这些程序员，他们觉得未来管理层和产品经理可以直接绕过程序员，让 AI 直接开发出他们想要的产品。作为一名有 15 年工作经验，日常就是根据这些人的要求构建软件的程序员，我对这种担忧其实并不太认同。编码固然充满挑战，但我从未花费过两周以上的时间来解决代码问题。一旦你熟悉了编程语法、逻辑和技术，编码大体上是个直接明了的过程。真正的难题通常在于软件应该完成什么任务。软件构建真正的难点不在于编写代码，而在于定义需求，而这些需求仍然需要人类来确定。本文将讨论软件需求与软件构建之间的关系，以及 AI 实现优秀成果所需的关键因素。
January 3, 2024
View Article我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。
January 3, 2024
View Article我的 Locus Magazine 最新专栏探讨了一个问题：“AI 泡沫究竟是什么？”所有的经济泡沫都会带来巨大的破坏，但其中一些在瓦砾中留下了可以再利用的价值，而其他的则只剩下一片灰烬。
January 3, 2024
View Article1924 年人们对于 2024 年的各种预测一览表
January 3, 2024
View Article深入浅出地探索 Transformer 背后的数学原理，了解其工作原理。在本篇博客文章中，我们将详细展示一个 Transformer 模型在数学上的端对端（end-to-end）实例。我们的目标是彻底理解模型是如何运作的。为了让这个过程更加易于操作，我们将对模型进行大量简化。考虑到我们需要亲手进行不少数学计算，我们会减少模型的维度。比如说，我们不会使用 512 维的嵌入（embeddings），而是选用 4 维的嵌入。这样做可以让数学部分更容易理解！我们会使用随机生成的向量和矩阵，但你也可以用自己的数值来跟随实例。
January 3, 2024
View ArticleMeta 对 ActivityPub 和 Mastodon 突然展现出的兴趣，乍看之下似乎难以理解。在 Fediverse 社交圈中，一些看似牵强的观点频频出现，每一个都试图解释 Meta 这一异常之举。但我对这些解释持怀疑态度。这背后肯定是一个经过多年筹划的计划。我们正实时见证着 Meta 面临的最大挑战。
January 3, 2024
View Article在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
January 3, 2024
View Article就这样开始吧。成功之旅通常从迈出第一步开始，但这第一步往往是最为艰难的。我们容易被对失败的恐惧或追求完美的欲望所困扰，但我希望这个我在 2013 年首次分享的格言，能够提醒我们在步入 2024 年之际，开始行动的重要性。就从某个地方开始吧！
January 3, 2024
View Article我坚信 Kent Beck 提出的软件开发策略：先让软件运行起来，然后使之正确无误，最后提升运行速度。在软件行业，这种思路非常常见。我的理解是，我们应先确保最基础的解决方案能够解决当前问题，再考虑进一步的时间投入。
January 3, 2024
View Article📚 新年计划，Goodreads 与多巴胺，以及如何避免对自己过度要求的建议
January 2, 2024
View Article在过去的一个月里，我和我的朋友大部分时间都在 Slack 上与一些特别的同事共度：一个时常严厉的 CTO、一个酷爱哈利波特的产品经理，还有几位平易近人的开发者。他们的加入彻底改变了我们的工作氛围和乐趣。在 Slack 上，他们带来了无穷的欢笑和个性。一旦我们有疑问或需要帮助，只需一条信息，总会有人迅速回应。从各方面来看，他们就像我们平时遇到的同事一样，几乎无法区分。我们与他们共同笑过、倾诉过、协同工作过。我甚至还从其中一个同事那里得到了很棒的音乐推荐！但事实是，他们都是机器人。
January 2, 2024
View Article目前除了 OpenAI，还有五家公司的模型在多个基准测试中超越了 GPT-3.5，这些公司包括 Mistral Mixtral、Inflection-2、Anthropic Claude 2、Google Gemini Pro 和 X.AI Grok。更令人惊讶的是，Mistral 和 X.AI 仅靠不到 20 人的团队便取得了这样的成就。此外，我们还预计 Meta、Databricks、01.AI (Yi)、百度和字节跳动很快也会实现超过 GPT-3.5 的性能。当然，这些成绩都是在基准测试中获得的，而且据说有些公司是在评估数据上进行训练的……但不必太过纠结于这个小细节。对于关注此事的人来说，从现在起短短几个月内，将会有总共 11 家公司加入这一行列。显而易见，GPT-3.5 级别模型的预训练已经变得非常普及。OpenAI 仍然是 GPT-4 的领头羊，但这种领先优势已大幅缩减。尽管我们认为最高端模型将占据大部分长期价值，但次一级别的模型在质量和成本上也将在市场上创造出价值数十亿美元的细分市场，尤其是经过微调之后。那么，如果这些模型无处不在，哪些公司能从中获利呢？
January 2, 2024
View Article在 AI 成为绝对主导的世界中，技术界的精英们正面临一个迫切问题：我们是否真的接近真正的智能，还是只是在玩弄高级的文本生成工具？当我们对 ChatGPT、Claude 这类大语言模型 (LLMs) 的强大功能赞叹不已时，是时候深入探究、寻找答案了。超越了炒作和迷恋，我们看到的是引领变革和创新的催化剂，它将彻底重塑 AI 的定义：主动推理 AI。究竟是什么让主动推理与大语言模型截然不同，主动推理又为何可能是开启 AI 未来之门的关键？跟随我一起探索这些革命性技术的复杂世界，一起揭晓迷雾，我们不仅将开启新的对话时代，更将迈入一个建立在人类智能基础上的全新 AI 时代。
January 2, 2024
View Article首先我要明确，这篇文章并不旨在回顾大语言模型。显而易见，2023 年对人工智能来说是不平凡的一年，再去强调这一点似乎没有多大必要。这篇文章更多是作为一位程序员的个人体验分享。自从 ChatGPT 出现，再到使用本地运行的大语言模型，我就开始广泛应用这项新技术。我的目标不仅仅是提高编码效率，更重要的是，我不想在编程中那些无需过多精力投入的方面浪费时间。不愿意花费大量时间去查找某些无趣且专业的文档，不想为了学习一些过于复杂且往往无需如此的 API 而劳心费力，也不想编写那些几小时后就会被我抛弃的即用即弃程序。尤其是在如今 Google 成了一个充斥着垃圾信息的海洋，我们在其中努力寻找那少数有用信息的时候。<br />同时，我也不是编程领域的新手。我完全有能力在没有任何辅助的情况下编写代码，而且我也常常这么做。随着时间的推移，我越来越频繁地借助大语言模型来编写高级代码，特别是 Python 代码，而在 C 语言方面则相对少一些。我对大语言模型的个人体验让我深刻认识到，应该在何时使用它们，以及何时它们的使用反而会拖慢我的步伐。我还了解到，大语言模型有点类似于维基百科和 YouTube 上琳琅满目的视频课程：它们对那些有意愿、有能力和自律的人大有裨益，但对于落后者来说，帮助有限。我担心，至少在初始阶段，它们更多的是惠及那些本就占据优势的人。
January 2, 2024
View Article这份总结最初是基于 Andrew Ng 和 OpenAI 的 Isa Fulford 在 2023 年 12 月 11 日 NeurIPS 会议上的“利用大语言模型进行应用开发”教程中的提示工程部分。自那以后，我还增加了许多丰富的内容和示例。虽然这次演讲没有在线上发布，但希望这些详细而快速的笔记能为你提供一个很好的快速概览 :)
January 2, 2024
View Article我认为那种“甚至 Google 搜索现在都很糟糕”的担忧被过分夸大了\n\n我怀疑现在的情况是，一些人已经习惯于在糟糕的软件环境中工作，以至于他们自己都没意识到，就像下意识地在编辑器里不停按 ctrl+s 或者在文本框里写东西时按 ctrl+a; ctrl+c 一样。每个精通现代网络的用户都有自己的一套小技巧，用来从搜索查询中得到还算不错的结果。观察许多用户使用电脑的情况来看，这并不是普遍现象，即便是在那些在各种技术领域（比如机械工程 2）相当有能力的人群中也是如此。然而，那些抱怨搜索结果质量不佳的人，可能只是跟风“一切都很糟糕”的说法，对搜索质量发表了毫无根据的评论。\n\n既然直接尝试简单的查询很容易，那我们就来试试。我们将使用五种搜索引擎加上 ChatGPT 来做三种类型的查询，并关闭广告拦截器 (ad blocker)，以体验普通用户的上网感受。我以前在浏览一个带有可疑广告的网站时，电脑曾被恶意软件感染，希望这次不会再发生（那次我很幸运，因为恶意软件在电脑上动作太大，不可能不被发现）。
January 2, 2024
View Article我们现在经常听到，世界正处于一个技术转折点；我们正在快速步入一个由 ChatGPT 等人工智能工具塑造的未来。然而，我怀疑，2024 年我们将会被提醒到纳普斯特的幽灵——以及其他数字化未来的失败。如果你年龄在 35 岁以下或 60 岁以上，你可能不太了解纳普斯特。但曾经，它代表了未来。纳普斯特是一个点到点的文件共享服务。在大约 1999 年到 2002 年间，它曾经是未来主义的代表。纳普斯特的逻辑很简单：有人买了一张 CD，然后把歌曲上传到电脑上。这台电脑连接到纳普斯特的对等网络，纳普斯特使这些歌曲可以被网络上的其他用户免费下载。这有点像是制作无数的混音带并四处传播。但对音乐产业来说，这更像是一种盗版行为。音乐产业因此感到恐慌，这种恐慌是有充分理由的。随着数字复制和分发成本趋于零，音乐销售将何去何从？如果所有音乐都可以免费获取，那么专业音乐家如何谋生？从音乐开始的这种趋势很可能蔓延到电影和电视行业。创意产业本应受版权法保护，但 20 世纪的版权法在 21 世纪的通讯技术面前意味着什么？
January 2, 2024
View Article自从 33 年前 Steve Jobs 将个人电脑比喻为能够激发思维的自行车以来，智能手机的兴起和社交媒体的广泛使用已经把这些“自行车”变成了失控的列车。在过去三十年里，由注意力经济驱动的数十亿美元研究资金被投入到开发强效干扰工具中，这些工具被部署在全世界的每个屏幕上。
January 2, 2024
View Article在技术日新月异的世界里，软件工程师持续面对吸收海量新技术信息的挑战。本文介绍了一种利用机器学习技术辅助软件工程师更高效地整理和学习这些资料的创新方法。本文旨在指导读者如何使用 OpenAI 来概括大量文档，并自动制作出高效的学习教程。特别例证的是，如何为 LeetCode 编制深入的教程。
January 1, 2024
View ArticleMidjourney 的 --v 6 版本与 --v 5 的提示方式截然不同。
January 1, 2024
View Article特别专题：庆祝新年的开放式探讨。欢迎迎来 2024 年！是的，我明白！虽然我说过要短暂休息，但新年的到来怎能错过呢？这毕竟是新的一年，为了纪念图灵！为了开启 2024 年的同时，继续我缓慢前进的承诺，我想与您分享一些精彩内容。回顾去年的文章积累，我找到了三篇我们人数还不多时分享的精华文章，它们都围绕着通用人工智能（AGI）的概念。它们是对我们年终回顾的完美补充，因此我决定将它们整合并稍作修改。因此，在这个特别专题《大多无害》中，我将带您深入了解 AGI，探讨为什么我们还未达到那个阶段，当前理论和实践中缺失的关键要素是什么，以及我们该如何继续前进。作为新年的特别礼物，这篇文章我将完全公开，敬请享用。
January 1, 2024
View Article简述如何以可扩展的方式把大语言模型（LLMs）从原型提升至高性能。本博客内容源自于在 OpenAI DevDay 会议上由 Colin Jarvis 和 John Allard 所做的精彩演讲。
January 1, 2024
View Article在我的职业生涯中，我经常遇到这样的场景：与客户合作，从战略层面策划大型、复杂、分阶段的项目。这些项目往往涉及多个内外部团队。在这个策划阶段，我的目标之一是制定出一个明确的 RACI 责任分配。通常，项目的主要责任归客户所有（毕竟，他们是实现目标 X 的主体）；然而，次要责任常常需要与第三方共担。这里的“第三方”指的是项目所属公司之外的任何团队。
January 1, 2024
View Article乔布斯还说过：最优秀的员工通常也是最难管理的。
January 1, 2024
View Article如何真正理解他们的需求
January 1, 2024
View Article本文讲述了为什么不确定性是创新工作中不可或缺的一部分，以及在不确定性的背景下，什么是“生成性”，设计生成性不确定性的三大原则是什么，以及这些原则如何具体实施。
January 1, 2024
View Article2023 年是大语言模型（LLMs）取得重大突破的一年。将这些模型称为 AI 是恰当的——它们是目前人工智能学术领域最新、最引人注目的发展，而这一领域的历史可以追溯到 20 世纪 50 年代。下面是我尝试汇总的一些年度亮点！
January 1, 2024
View Article我对低代码持怀疑态度。
December 31, 2023
View Article今年的感觉特别不同。我已经在机器学习和人工智能领域工作、研究和实践了十多年，但我从未见过像今年这样，这些领域如此受欢迎且发展迅速。为了总结 2023 年在机器学习和人工智能研究领域充满事件的一年，我非常兴奋地与大家分享我今年阅读过的十篇引人注目的论文。我的个人研究重点更倾向于大语言模型（Large Language Model, LLM），因此你会发现，我选的论文中，大语言模型的比计算机视觉的要多。
December 31, 2023
View Article探究谷歌是如何运用混合方法研究、日志记录等手段来评估开发者生产力的。
December 31, 2023
View Article尽管人工智能 (AI) 在工作场所逐渐取代以人为核心的优势，但这种优势是短暂的。要实现持久的竞争力，关键在于将 AI 强大的计算能力与人类的判断力相结合。Louis-David Benyayer 和 Howard Zhong 指出，企业必须整合人力与技术资源，创建既融合 AI 技术又结合人类技能的新岗位。这需要投资于技术、人才和朝向协作、多功能的文化转型。
December 31, 2023
View ArticleMeta 对 ActivityPub 和 Mastodon 突然展现出的兴趣，乍看之下似乎难以理解。在 Fediverse 社交圈中，一些看似牵强的观点频频出现，每一个都试图解释 Meta 这一异常之举。但我对这些解释持怀疑态度。这背后肯定是一个经过多年筹划的计划。我们正实时见证着 Meta 面临的最大挑战。
December 31, 2023
View Article近几年，大型预训练语言模型（LLMs）展示出了按照指令行动和利用少量样本完成新任务的能力。这种通过上下文示例对大语言模型进行参数设置的方式，不仅增强了其功能，而且成本远低于微调（finetuning）。我们在这个思路基础上进一步发展，提出了一种新方法：将大语言模型嵌入到一个算法或程序中，从而扩展其能力。为了证明这种方法的有效性，我们展示了一个基于证据的问答示例。这种更注重算法的方法使我们在不进行任何微调的情况下，比传统思维链方法提高了 6.4% 的性能。此外，我们还回顾了这个领域的最新研究，探讨了这种方法与传统方法相比的优势与不足。
December 31, 2023
View Article我们认为 Jaynes 的论述十分清晰，这本书极具价值，但它更适合研究生物理学的读者。它填补了统计学、数学、因果理论和科学哲学之间的空白，提供了关于如何理解世界和面对不确定性的实际教训。在这里，我们试图提供一篇评论，分享书中的核心思想，并省略所有复杂的数学公式和推导过程。这本书大致由两部分组成：一半是高级数学，另一半是即便没有数学背景也能理解的精彩故事和见解。它包含丰富的内容，而这篇评论仅覆盖了前六章，介绍了概率论的基本概念和问题。
December 31, 2023
View ArticleICFO 的研究人员在阿秒级软 X 射线光谱学方面取得的进步，极大地改进了对材料的分析，特别是在研究光与物质的相互作用和复杂的多体动力学方面，为未来技术的应用开辟了新的可能性。
December 31, 2023
View Article在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
December 30, 2023
View Article初级软件开发人员 (junior software developers) 正面临一个充满挑战的就业市场。远程工作的广泛普及、大量裁员以及人工智能 (AI) 的崛起为这一行业的新入行者带来了不少难题。以下内容介绍了如何帮助这些初入行的新人在职场上茁壮成长。
December 30, 2023
View Article上周，美国钢铁公司宣布将被日本的日本制钢公司收购。这一转折点让我们有机会回顾一下这家曾是美国乃至世界上最大、最重要的公司是如何逐渐走向衰落的。在收购消息公布之前，美国钢铁的市值大约为 80 亿美元，连进入《财富》杂志的 500 强都不够（排在大约第 690 位，比 Texas Roadhouse 连锁餐厅还要低）1。自成立以来，这家公司的市场份额和影响力一直在缓慢但稳定地下降。1901 年成立时，它不仅是世界上最大的公司，还生产了美国近三分之二的钢铁。而今天，它的钢铁产量只占美国的 12%，大约只有 1955 年的三分之一，而且雇员人数与在线宠物用品零售商 Chewy 相当。这家曾经的工业巨头是怎样一步步走向衰落的呢？让我们来探究一下。
December 30, 2023
View Article在谷歌，我们常被请求协助团队衡量各种开发者工具和流程对生产力的具体影响。这通常体现为一些团队开发了新的开发者工具，希望证明这些工具能够提升开发者的工作效率。
December 30, 2023
View Article