如何比较 Telegram 消息文案：使用 Telegram Expert 进行 A/B 测试

你重写了一条消息，发送了新版本，并获得了更多回复。原因似乎显而易见：新文案表现更好。但收件人、发送者、发送时间，甚至优惠本身都可能同时发生了变化。

这就是为什么比较 Telegram 消息不应从发送两个变体开始，而应从设计测试开始。在启动之前，要明确什么会发生变化、谁会收到每个版本、什么行动算作结果，以及两个组有多长时间来响应。这种方法遵循受控实验的基本原则。

对于外联，请使用预期会收到你消息的受众。Telegram 特别警告，未经请求的广告和商业消息可能导致账号受限。

更多回复并不一定意味着文案表现更好

你需要区分三种观察结果：

1. 收件人回复了；
2. 一个变体获得了更多回复；
3. 差异正是由消息文案造成的。

仅凭前两点无法得出第三个结论。

设想一个假设性测试。变体 A 发送给 200 人，收到 8 条回复。变体 B 发送给 200 人，收到 12 条回复。即 4% 对 6%，因此 B 多产生了 2 个百分点的回复。

从相对角度看，差异为 50%。但这仍然不能证明新文案确实表现更好。在如此小的样本下，差异可能只是偶然。

因此在这个测试中，变体 B 收到了更多回复，但没有足够证据自信地将差异归因于文案本身。

在发送任何内容之前，先确定你要测试什么

“让我们把文案写得更好”这句话并没有定义一个可测试的变化。首先，将新版本与收件人可能遇到的具体问题联系起来。

例如：“我们假设人们不清楚点击后会得到什么。如果我们在第一行说明结果，更多收件人会完成注册。”

这种方法让你能够提前定义变化和结果指标。在 A/B 测试中，假设、指标和测试时长都应在启动前设定。

例如，你可以测试这样的变化：

一旦假设确定，就准备两个版本。如果你测试的是某一特定技巧，请保持其他有意义的条件相同。如果整条消息都变了，结果就适用于整个版本。如果结构、论据和行动号召同时改变，你之后就不能声称是某个特定词语导致了效果。

拆分收件人，以便你真正比较的是文案

两个规模相同的组并不自动具有可比性。如果一个组包含现有客户，另一个组包含新联系人，那么任何差异都可能由受众构成解释，而不是文案。

对于第一次测试，准备一个合适的受众，删除重复项，并将收件人随机分配到 A 和 B。随机分配可以减少组间的系统性差异。

如果数据库包含重要差异——例如不同的联系人来源或之前的对话历史——你可以在这些组内分配变体。在实验设计中，这一原则称为区组化：对已知的外部因素单独处理，变体在其他条件可比的情况下进行比较。

还要检查发送者和发送时间。如果 A 在早上从一个工作账号发送，B 在晚上从另一个账号发送，那你就不再只是在比较文案。

同样，你不应先向同一个人发送 A，然后几天后发送 B，并把两个结果视为独立观察。第二条消息是在第一条消息的语境中被感知的。

Telegram Expert 帮助组织发送，但它不能替代实验

在常规测试中，一部分工作流程会变得例行化。你需要准备数据库、选择工作账号、发送已保存的消息版本，并记录每次操作的结果。这就是为什么该工作流程受益于 Telegram Soft Expert。

Telegram Expert 旨在自动化处理 Telegram 账号和批量消息发送。在“Send SMS”模块中，你可以使用准备好的数据库或用户列表，输入消息文本，添加链接和附件，并使用 spintax，它会从预定义的短语变体中随机选择。

对于 A/B 测试，最好不要将随机短语替换与实验本身混在一起。Spintax 解决的是另一个问题。它在发送时选择一个文本变体，但它本身不会创建两个受控组、保留实验分配，或确定哪个版本表现更好。

因此对于第一次比较，准备固定的 A 和 B 消息，并提前记录每个收件人属于哪个组。在 Telegram Expert 中，随后执行发送。

在启动前，在测试账号上测试两条消息。不仅检查文本，还要检查链接、附件、预览和格式。该模块本身包含消息文本部分的预览。

运行发送，并且不要丢失失败的操作

分配之后，任务不仅仅是发送 200 条 A 消息和 200 条 B 消息。你需要保留分配的版本与实际操作结果之间的联系。

记录：

• 谁被分配到 A 和 B；
• 分配了哪个版本；
• 消息是否实际发送；
• 收件人完成了哪个目标行动；
• 哪些操作以错误告终；
• 违反了哪些测试条件。

这很重要，因为丢失部分观察结果可能会扭曲结果。Microsoft Research描述了实际组构成与计划分配不一致导致实验分析不可靠的情况。

Telegram Expert包含一个“Report Generator”。它从批量消息统计数据库创建报告，并存储操作状态，包括成功和失败的尝试。通过单独的过滤，你可以仅检索状态为“Done”的记录。

对于 A/B 测试，这意味着你不能只取成功发送的列表，而忽略失败的尝试。这样做会改变被比较组的构成。操作报告有助于执行控制，但不能用于自动得出关于文案的统计结论。

Helodata 提供连接基础设施，而不是文案评估

如果你工作环境使用代理，这部分也需要在启动前调整到可比条件。

Helodata 提供住宅、移动和 ISP 代理。在 Telegram Expert 中，添加代理需要地址、端口和身份验证信息，之后可以在专门的模块中检查它们。

在此设置中，Helodata 的角色仅限于连接基础设施。代理不会使两个组具有可比性，也不会决定哪个文案更有效。如果某些发送尝试失败，这些失败需要保留在记录中，并在解释结果时加以考虑。

衡量目标行动，而不仅仅是回复

“回复”可能意味着同意、拒绝、追问，或请求不要再联系。单一的回复数量混合了非常不同的结果。

这就是为什么主要指标应在启动前定义。例如，如果消息的目的是推动活动注册，目标行动就是完成注册。聊天回复可以作为次要指标跟踪，但它们不应取代事先选定的目标。

分母也要提前定义。对于主要分析，你可以计算完成目标行动的唯收件人占分配到相应组的所有人的比例。成功发送消息中的比率可以单独显示，尤其是在某些操作失败的情况下。

两个组应有相同的响应时间。如果 A 在早上发送，B 在晚上发送，那么当天结束时的结果会给两组不同的观察窗口。合适的时长取决于目标行动本身。没有适用于所有测试的通用规则，例如“24 小时”或“7 天”。

即使 A 和 B 有差异，也可能没有赢家

测试所需的收件人数量不能用固定数字设定。它取决于基线目标行动率、你想检测的最小差异、统计功效和选定的显著性阈值。这些是用于计算样本量的参数。

不要一出现第一个方便的结果就停止测试。反复检查中期结果会增加因偶然得出结论的风险。对于标准测试，请提前定义样本量和停止规则。

有四种可能的结果：

即使差异得到确认，也不意味着同样的效果会适用于所有受众。实验结果取决于测试所进行的人群和条件。Microsoft Research 将这一问题单独讨论为外部效度问题。

测试 Telegram 消息的实用工作流程

1. 选择一个受众和一个优惠。
2. 制定关于收件人反应的假设。
3. 定义主要目标行动。
4. 保存确切的 A 和 B 版本。
5. 设置测试规模、观察期和停止规则。
6. 创建不重叠的组，并保留每个收件人的分配。
7. 在测试账号上测试两条消息。
8. 在可比条件下发送两个变体。
9. 将分组分配与成功和失败的操作进行核对。
10. 评估目标行动，并记录决策及其局限性。

Telegram Soft Expert处理此工作流程的操作端：它帮助管理数据库、选择账号、运行批量消息发送，并获取成功和失败操作的数据。分组分配、分配跟踪、目标行动测量和统计推断仍然是流程中独立的部分。

常见问题

你能比较两条完全不同的消息吗？

可以。在这种情况下，结论适用于整个消息版本。要测试某一特定技巧的效果——例如标题或论据顺序——你需要单独进行测试。

你能把两个变体发送给同一批人吗？

对于简单的 A/B 比较，最好使用单独的组。如果一个人先收到 A，然后收到 B，第二个结果取决于第一条消息。那是不同的实验设计。

如果受众很小怎么办？

不要试图不惜一切代价对微小差异强行得出精确结论。你可以单独测试人们是否理解消息、收集定性回复，并将结果作为初步观察。再次统计同一批人并不会创造新的独立样本。

可以用 Telegram Expert 的 spintax 代替 A 和 B 组吗？

Spintax 本身不能替代分组。它从预定义的短语变体中随机选择，但恰当的比较需要受控分配、实际发送版本的记录，以及对结果的单独跟踪。

你能比较两个不同聊天中的帖子吗？

你可以比较得到的结果，但不同社区代表不同条件。这样的投放不能自动视为独立的 A/B 测试。

如果 B 获得更多回复但注册更少怎么办？

使用你在启动前定义的目标。回复可以帮助解释受众行为，但在结果已知后，它们不应取代主要指标。

测试的主要目的不一定是宣布赢家。测试之后，团队应该拥有确切的消息版本、使用它们的条件、执行数据，以及下一次决策的明确依据。正是这份记录让你能够系统性地改进消息，而不是仅凭印象选择文案。