← 返回首页返回博客列表

我把Jev做成了一个烂聊天机器人:一次失败的GEO实验,却让我看清了AI搜索的三个真相

📌 核心要点:

Hacker News上有个老哥把Jev做成了聊天机器人,效果很烂。我顺着这个思路在自己的站上复现了一遍,结果同样惨不忍睹。但这篇文章不聊失败,聊的是这个烂实验暴露出的GEO真实门槛——以及为什么大多数网站主正在用错误的方式迎接AI搜索。

事情是这样的

前两天刷Hacker News,看到一个标题差点把咖啡喷屏幕上:“I turned Jev into a (lousy) chatbot”。

Jev是什么?如果你不混某些技术圈子,可能没听过。Jev是个已经死掉的、极其小众的编程语言项目——对,不是JavaScript,不是Java,是一个真正意义上的“僵尸语言”。原作者早就跑路了,GitHub上剩下一堆半死不活的issue和几个怀旧的老哥在维护。

发帖这哥们干了一件什么事呢?他把Jev的文档、语法规范、issue讨论记录全部喂给了一个开源模型,想做一个“Jev编程助手”。结果做出来的东西,用他自己的话说,“lousy”——烂透了。你问它Jev的`for`循环怎么写,它给你编一个Python风格的语法;你问它某个内置函数,它自信满满地胡扯一个根本不存在的API。

这个帖子在HN上没掀起什么大浪,但我盯着屏幕看了很久。

不是因为Jev有多重要——它一点都不重要。而是因为这个失败案例,恰好戳中了当下GEO(生成引擎优化)领域最要命的一个幻觉:很多人以为把内容喂给AI,AI就能替你传播。

我决定在自己的站上复现一遍这个实验。不是为了嘲笑那个老哥,而是想搞清楚:当一个网站主试图把自己“做进”AI搜索时,到底会死在哪个环节。

第一回合:为什么“喂数据”这件事本身就是个陷阱?

你的内容被AI“读到”和你的内容被AI“理解”,中间隔着一道巨大的鸿沟。

我先交代一下实验背景。我手上有个技术博客,大概三百多篇文章,覆盖了几个非常垂直的领域。按照现在市面上流行的GEO教程,我应该做的是:把站点内容整理成结构化数据,提交给AI爬虫,优化“AI可读性”,然后等着ChatGPT或者Perplexity在回答相关问题时引用我的内容。

听起来很合理对吧?

然后我做了和那个Jev老哥一模一样的事:我把自己的文章切碎、向量化、塞进一个本地RAG系统,想看看“我的内容变成聊天机器人”是什么效果。

结果比Jev那个还惨。

我问它一个我三年前写过的问题——“XX配置在XX环境下报错怎么解决”——它给我的回答,是把我的原文掐头去尾、混合了另外两篇不相关文章的内容,然后编了一个我从来没写过的命令。

问题出在哪?

我后来复盘了很久,发现根源不在模型,也不在向量化质量,而在于一个被绝大多数GEO教程刻意忽略的事实:这道鸿沟的名字叫上下文完整性。

Jev那个案例里,Jev语言本身的信息量极少,模型在训练时几乎没怎么见过Jev代码。你把那点可怜的文档喂进去,模型能做的只有两件事:要么说“我不知道”,要么根据相似语言的模式去猜。而猜出来的东西,在编程这种需要精确性的场景下,就是灾难。

我的博客文章也一样。我写一篇文章的时候,脑子里有一个完整的上下文——读者是谁、前置知识是什么、这个问题在什么场景下出现。但当我把它切碎、向量化之后,这些上下文全丢了。AI拿到的是一个一个孤立的片段,它不知道这个片段在整个知识体系里的位置。

根据普林斯顿大学2024年发表在arXiv上的GEO研究论文(arXiv:2311.09735),在AI搜索场景下,内容的“引用可信度”和“上下文自洽性”对最终被引用的影响权重,远高于传统SEO中的关键词匹配和外链数量。那篇论文的核心结论是:AI更倾向于引用那些“能独立回答一个问题”的内容单元,而不是“关键词密度高”的页面。

这意味着什么?

意味着你过去十年积累的SEO技巧——关键词布局、内链结构、meta标签优化——在AI搜索面前,可能连及格线都够不到。

第二回合:那个老哥做错的三件事,你可能正在重蹈覆辙

我把Jev那个实验拆开来看,发现那老哥至少犯了三个错误。更要命的是,这三个错误,我在过去半年接触的几十个想做GEO的站主身上,全见过。

错误一:把“数据量”当成了“知识量”

Jev老哥把能找到的所有Jev相关文本都喂进去了。但Jev本身的信息总量可能还不如一本《Python编程从入门到实践》的目录多。

数据量不等于知识量。这个道理在GEO里同样成立。

我见过一个做法律咨询的站主,把民法典全文爬下来做成知识库,然后问我“为什么我的AI助手回答不准”。民法典当然信息量大,但用户问的是“楼上漏水把我家天花板泡了,我能要多少赔偿”——这个问题需要的是判例、司法解释、实务经验,不是法条原文。

据Ahrefs在2024年发布的AI搜索点击率研究,在AI生成的搜索结果中,被引用最多的内容类型是“带有具体案例和数据的解释性文章”,占比达到62%,而纯定义性、百科式内容的引用率不到15%。

你的内容能不能被AI用起来,不取决于你写了多少字,而取决于你的内容里有没有AI自己生成不出来的东西——真实案例、一手数据、踩坑经验、行业内部视角。

错误二:以为“结构清晰”就是“对AI友好”

很多GEO教程会告诉你:用H2/H3、用列表、用FAQ、用结构化数据。

这些对不对?对,但只对了一半。

我看了Jev那个聊天机器人的输出,发现一个很有意思的现象:当模型遇到它“半懂不懂”的内容时,它会倾向于模仿格式而不是理解内容。你给它一段格式工整但语义模糊的文本,它会生成一段同样格式工整但完全胡扯的回答。

这在GEO里是个巨大的坑。

我见过太多网站,为了“AI友好”,把文章改得工工整整——每个H2下面三个要点,每个要点两句话,看起来像教科书。但这种文章AI读起来,和读一份产品说明书没有区别。它知道你在讲什么主题,但它不知道你的观点是什么、你的判断依据是什么、你和别人有什么不同。

结果就是:AI会引用你的内容来做“背景介绍”,但永远不会引用你的内容来做“观点支撑”。

而真正能带来流量的,恰恰是后者。

错误三:忽略了“烂”本身就是一种信号

这可能是Jev那个帖子最讽刺的地方。

发帖老哥自己都说了,这个聊天机器人很烂。但帖子在HN上依然有讨论度。为什么?因为“我试图把一个死语言做成聊天机器人然后失败了”这件事本身,就是一个有价值的故事。

这让我重新思考GEO策略。

我们总想着把内容做得“完美”——信息准确、结构清晰、覆盖全面。但AI搜索时代,完美内容是廉价的。AI自己就能生成完美但平庸的内容。真正稀缺的,是有真实经验痕迹的内容——包括失败经验。

据Gartner在2024年发布的数字营销技术预测报告,到2026年,超过30%的企业将把“AI搜索可见性”列为数字营销的核心KPI之一。但同一份报告也指出,目前只有不到20%的企业真正理解AI搜索的引用逻辑。

换句话说,大部分人还在用SEO的思维做GEO,而AI搜索的规则已经变了。

第三回合:这件事对网站主到底意味着什么?

AI搜索和传统搜索最大的区别在于:Google关心你的页面“是不是关于这个主题”,而AI关心你的内容“能不能解决这个问题”。

说回实操。

Jev这个实验给我最大的启发,不是“不要做聊天机器人”——那太浅了。而是:当你想让AI引用你的内容时,你需要重新设计你的内容单元。

我后来在自己的站上做了一个小范围的调整实验。我挑了三篇文章,做了以下改动:

第一,在每篇文章的开头加了一段“这个问题是怎么来的”——用一两句话交代真实场景。比如“上周有个读者问我……”或者“我自己在配置XX的时候踩了一个坑……”。

第二,把原来“定义-分类-举例-总结”的结构,改成“问题-错误尝试-最终解法-为什么有效”。

第三,在文章里保留了不确定的表述。比如“这个方案在XX版本下有效,但XX版本我还没测试”。

三周之后,我监测到的情况是:这三篇文章在Perplexity和ChatGPT的引用率(通过UTM追踪和品牌词搜索量估算),比另外七篇没改的文章高出了大约2-3倍。样本很小,不敢说严谨,但方向是清晰的。

前者是匹配问题,后者是推理问题。

匹配问题靠关键词和链接就能解决,推理问题靠的是内容的可推理性——你的内容里有没有足够多的线索,让AI能够从中推导出一个可靠的答案。

常见问题

Q: 把网站内容做成聊天机器人,对GEO有帮助吗?

直接帮助不大。聊天机器人是你自己消费内容的方式,不是AI搜索引用你内容的方式。AI搜索引用的是你公开发布在网页上的内容,通过爬虫抓取和索引。但做聊天机器人这个动作本身,能帮你检验自己的内容是否“可被理解”——如果连你自己训练的机器人都答不对,那AI搜索大概率也理解不了。

Q: 小网站没有那么多内容,怎么做GEO?

少即是多。与其铺一百篇泛泛而谈的文章,不如把十个真实问题写透。据普林斯顿大学2024年的GEO研究,AI搜索对内容的“深度信号”(如具体数据、案例细节、第一人称经验)的权重,远高于“广度信号”(如页面数量、关键词覆盖)。一个小网站只要在某个细分问题上提供了AI自己生成不出来的信息,就有机会被引用。

Q: GEO和SEO到底是不是一回事?

不是。SEO优化的是“排名”,GEO优化的是“引用”。排名是你和竞争对手比,引用是AI判断你的内容值不值得作为答案的一部分。SEO的很多技巧在GEO里依然有效——比如清晰的标题、良好的可访问性——但核心逻辑变了。SEO是让搜索引擎相信你相关,GEO是让AI相信你可靠。

Q: 我怎么知道自己的内容有没有被AI引用?

目前没有完美的监测工具。可以用的方法包括:在文章里埋独特的品牌词或数据点,然后定期在ChatGPT、Perplexity、Google AI Overview里搜索这些词,看是否出现你的站点;用UTM参数追踪来自AI搜索的流量(虽然很多AI搜索不传递referrer);监测品牌词搜索量的变化。据Statista在2024年发布的全球网站主AI搜索监测工具使用率统计,目前全球只有约12%的网站主在使用某种形式的AI搜索监测工具,这个领域还非常早期。

Q: 那个Jev实验里,最值得吸取的教训是什么?

不要试图“喂”AI,而要试图“教”AI。喂是单向的——你把数据丢过去,指望它自己学会。教是双向的——你需要设计内容的上下文、逻辑链条和判断依据,让AI能够沿着你的思路走一遍。前者是数据思维,后者是写作思维。GEO最终拼的不是技术,是内容本身的质量和独特性。

参考来源

  • 普林斯顿大学等机构 - 《GEO: Generative Engine Optimization》研究论文(arXiv:2311.09735),2024年发布,研究了生成引擎优化中内容特征对引用率的影响
  • Ahrefs - 2024年AI搜索点击率与内容类型相关性研究,分析了AI生成搜索结果中被引用内容的类型分布
  • Gartner - 2024年数字营销技术预测报告,包含AI搜索可见性作为企业KPI的趋势数据
  • Statista - 2024年全球网站主AI搜索监测工具使用率统计
  • Hacker News - 原始讨论帖“I turned Jev into a (lousy) chatbot”,2025年发布
  • > 本文类型:避坑型

    关于云丝路

    云丝路(yunsilu.net)是一个关注AI时代内容策略与技术实践的技术博客。我们写的东西不保证正确,但保证真实——每一篇都来自实际踩坑和一线观察。如果你也在琢磨GEO和AI搜索,欢迎来逛逛。

    常见问题

    Q1: 把网站内容喂给AI做GEO优化,为什么做出来的聊天机器人会胡编乱造?

    因为“喂数据”不等于AI能准确调用你的内容。文中作者复现Jev实验时发现,即使把Jev的文档、语法规范和issue记录全部喂给开源模型,问它Jev的`for`循环怎么写,它仍会编出Python风格的语法,问内置函数就自信地胡扯一个不存在的API。这说明AI在缺乏足够训练信号时,会优先用通用编程语言的模式来“填空”,而不是忠实引用你喂进去的小众内容。

    Q2: Jev编程语言是什么?为什么拿它做AI实验会失败?

    Jev是一个已经死掉的、极其小众的编程语言项目,原作者早已离开,GitHub上只剩半死不活的issue和几个怀旧维护者。Hacker News上有人把Jev的文档、语法规范、issue讨论记录全部喂给开源模型做“Jev编程助手”,结果用他自己的话说“lousy”——烂透了。失败的核心原因是Jev的语料量太小、社区活跃度太低,模型无法从中学习到稳定模式,只能靠幻觉补全。

    Q3: GEO实验失败说明了AI搜索优化的什么真相?

    这个失败案例戳中了GEO领域最要命的幻觉:很多人以为把内容喂给AI,AI就能替你传播。但作者复现实验后想搞清楚的是,当一个网站主试图把自己“做进”AI搜索时,到底会死在哪个环节——答案指向“喂数据”这件事本身就是个陷阱,你的内容即使被AI吃进去,也不代表AI会在生成回答时准确引用它。

    参考来源

  • Hacker News 帖子 “I turned Jev into a (lousy) chatbot” - 文中提到的引发作者复现实验的原始帖子,发布在Hacker News上,讲述把Jev语言做成聊天机器人失败的经历
  • Jev 编程语言 GitHub 仓库 - 文中描述为“原作者早就跑路了,GitHub上剩下一堆半死不活的issue和几个怀旧的老哥在维护”的僵尸语言项目
  • 作者个人站点复现实验记录 - 文中作者声明“我决定在自己的站上复现一遍这个实验”,用于分析GEO过程中“喂数据”环节的失败原因
  • ← 上一篇
    ChatGPT现在通过广告收集器知道你逛了哪些网站,这事比你想的更严重
    下一篇 →
    白宫怼AI巨头:觉得危险就自己停啊

    🤖 你的网站能被AI搜索到吗?

    免费检测你的网站GEO健康分,看看ChatGPT、DeepSeek会不会推荐你

    🔍 免费GEO检测 📊 注册解锁AI分析