Page Assist

前言

• 我想要一个浏览器中的“生成网页总结”侧板很久了。此前我一直使用的是 Brave 浏览器的 Leo，使用其免费的 Claude Haiku 模型用来生成网页总结，以及问答一些网页信息。

• 更换浏览器到 Zen 之后，Leo 肯定是没法用了，但是经过搜索我发现主流的两个基于 LLM 的网页总结 Harpa 和 Sider 都只支持 chromium，且都不开源。

• 我只好选用 Page Assist，本质上是一个用于使用本地 Ollma 模型的 Web UI。正如其窗口名称所言：

  Page Assist - A Web UI for Local AI Models

上下文长度问题

• 我在测试 Chat with current page 功能的时候发现，模型只能获取一部分的上下文。于是我把所有的 context 复制出来，发现其确实截断了网页内容。

• 但是我在这个插件的设置页面里找了半天也没找着任何和 context window 有关的设置选项，最后在 GitHub Issues 里通过搜索关键词 citation 找到了这样的解决方案：

  I just did workaround by increasing the limit of content size:

  RAG Settings -> Retrieval Settings -> Maximum Content Size for Full Context Mode

  Default is 7028, so I just change it to 100000 (I use mistral-large-latest in most cases).

• 也是神奇，上下文长度的设置选项会放在 RAG Settings 里？这也没有用到 embedding model 和向量数据库吧。

• 将这个设置改为 128000 后内容截断的问题立马消失了。

自定义提示词

• 说实话，我对于自定义提示词并不是很熟悉。我对于那些“定义角色，划清职责，结构化输出”的提示词说实话，是非常不信任的。倒也没有什么具体的原因，就是一种感觉有种直觉上的“莫名其妙”。

• 话虽如此，我还是希望能声明模型在这个侧栏里的需求，因此定义了如下两个 prompt：

  分析当前网页内容。

  1. 内容定性：直接指出它是深度分析、新闻快讯、营销软文还是其他类型的内容。
  2. 核心摘要：用最简短的话说明页面在讲什么，以及它的核心价值点。
  3. 定位回答：回答我的问题（如果有，没有则罗列网页内容的结构和各部分概要），并注明信息在文中的大概位置（如：开头、[XX]标题下、中部）。
  4. 诚实原则：如果内容空洞或我问的信息文中没有，请直接告知，不要润色或编造。

• 以及：

  作为一个技术文档提取工具，请执行以下操作：

  1. 技术概览：快速列出该项目的主要功能（Features）和技术栈。
  2. 精确检索：根据我的提问，寻找特定的 API、配置参数或功能描述。
  3. 位置映射：给出该信息所在的具体章节标题或路径，以便我快速定位到原文。
  4. 无则申明：如果文档中没提到我寻找的内容，直接回复“未找到相关描述”，严禁基于常识进行推测。

  要求： 仅负责信息的“提取”与“定位”，保持技术术语原样，回答要干练。

• 总的来说效果还可以，但是在后续关于某些具体信息提问的时候他居然还会按照这个流程来回答……哎哟，再说吧。

愿景

• 不得不承认，当前的方案虽然有效，但属于是一种妥协。这个插件本质上并不是“通过 LLM 帮助用户快速的、更好的浏览网页”而设计的，他本质是一个本地大模型的 Web UI，那个 Chat with current page 更像是一个附带的额外功能。

• 此外，支持 Firefox 的开源插件，我在 GitHub 和 Firefox Extension Store 里搜索了一番几乎找不到几个可用的。

• 我在想，或许我可以自己写一个？我心中对于这样的插件的预期大概有这么几个点：

  1. 总结网页，提供内容评估，标注信息来源，可以一键跳转
  2. 对于技术文档，严谨的查询 api 和文档说明，原样复述
  3. 访问文中的超链接，一并总结（可能需要限制数量）
  4. 对于懒加载内容的网页，加载过的部分予以缓存

• 这些功能感觉并不是很难做，慢慢探索一下吧。