星颖资源网

 找回密码
 立即注册
查看: 12|回复: 1

A:divide:又开始他的长篇大论了

[复制链接]

4万

主题

1万

回帖

17万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
172078
发表于 昨天 10:56 | 显示全部楼层 |阅读模式
谁在改帖子???

anthropic.com (https://www.anthropic.com/news/position-open-weights-models)

Our position on open-weights models (https://www.anthropic.com/news/position-open-weights-models)
Anthropic CEO Dario Amodei on open-weights models
翻译版:
我们对开放权重模型的立场
2026年7月27日
Anthropic首席执行官Dario Amodei发表的一篇文章
过去几天,关于开放权重模型的讨论甚嚣尘上,尤其是来自中国的开放权重模型。有报道称,一些美国官员正在考虑禁止 (https://www.axios.com/2026/07/20/ai-us-china-open-source-kimi)美国公司使用中国开放权重模型。对此,许多科技公司联名签署了一封 (https://x.com/JensenHuang/status/2080643682408321103)支持开放权重模型的信函,甚至有人指责Anthropic公司试图通过禁止开放权重模型来保护自身利益。任何读过我以往文章的人都知道,我并不认为此类禁令是有效的措施,但为了避免任何误解,我在此郑重声明:Anthropic公司从未主张禁止开放权重模型。
不具备危险功能的开放权重模型是一种公共产品:除了运行所需的计算成本外,它们不需要任何其他成本,并且它们为企业、开发者和研究人员提供了价值。
保护主义禁令并不能解决我最严重的国家安全担忧。具体来说,我担心两种噩梦般的局面。我在六个月前发表的论文《技术的青春期 (https://darioamodei.com/essay/the-adolescence-of-technology)》中阐述了这些担忧,并且多年来我一直坚持这些观点:
  • 我最主要的担忧是,专制政府——不仅仅是中国共产党(尽管中共显然是最有能力的威胁)——可能会构建比美国更强大的AI模型,并利用这些模型获得永久的军事优势,或对本国人民进行极其残酷的镇压。美国政府内部普遍存在这种担忧:副总统万斯去年在巴黎警告 (https://www.presidency.ucsb.edu/documents/remarks-the-vice-president-the-artificial-intelligence-action-summit-paris-france)说,“专制政权窃取并利用人工智能来增强其军事、情报和监控能力”,而美国情报界的《2026年度威胁评估 (https://www.dni.gov/files/ODNI/documents/assessments/ATA-2026-Unclassified-Report.pdf)》也指出,“其他全球大国在人工智能领域的迅猛发展正在挑战美国的经济竞争力和国家安全优势”。这些模型是否公开权重并不重要,美国企业是否使用它们也无关紧要。事实上,最危险的模型可能是秘密训练后仅交给中国人民解放军用于无人机,以及交给国家安全部用于监控和镇压的模型。
  • 我第二个担忧是强大的AI模型可能被滥用于发动网络攻击或生物攻击,并且可能存在严重的算法匹配问题 (https://time.com/article/2026/07/24/openai-hugging-face-attack/)。开放权重模型——无论它们来自中国还是其他任何地方——都可能比封闭模型带来更高的风险,因为很难对它们施加保护措施或监控其使用情况,而且一旦权重发布就无法撤回。但是,禁止美国企业使用这些模型并不能解决这一风险,因为恶意行为者不太可能是合法的美国企业。这样做可以保护美国AI公司免受竞争,但这从来都不是我的目标。
    为了解决这些问题,我支持以下三项措施,这些措施我和Anthropic公司一直倡导:
  • 我们不应向中国出售高性能芯片或芯片制造设备,并应严厉打击猖獗的走私活动 (https://www.justice.gov/opa/pr/three-charged-conspiring-unlawfully-divert-cutting-edge-us-artificial-intelligence)以及获取此类芯片的各种变通方法。中国的国内产能有限,因此,由于规模效应定律的 (https://arxiv.org/abs/2001.08361)限制,如果没有美国芯片,就无法制造出比美国更强大的模型。这是阻止威胁一的最有效、最直接的方法,而且通过阻碍美国法律管辖范围之外的模型的训练,也间接地有助于应对威胁二。
  • 我们应该严厉打击工业规模的算法提炼活动 (https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks)。算法提炼比从零开始训练模型效率更高,计算效率也更高。这使得中国能够构建出远超其芯片数量通常所能支持的模型,从而部分规避芯片禁令。算法提炼虽然不能使中共获得与美国同等或更优的人工智能能力,但它可以将中国的领先优势缩小到与美国领先优势相差几个月 (https://www.anthropic.com/research/2028-ai-leadership)之内。诚然,许多进行此类操作的公司会发布开放权重模型——但开放权重本身远不如这些操作背后有一个试图在人工智能前沿超越美国的威权国家这一事实重要。我们应该采取政策干预措施来遏制这种行为。全面禁止开放权重模型既不是正确的解决办法,也不是我们一直呼吁的措施。
  • 所有足够强大的模型,无论开放还是封闭,都应该接受强制性的安全测试。应对第二个威胁的最佳方法是在发布前直接对模型进行网络、生物和智能化风险测试。我认为这个想法实际上已经接近共识:我感到鼓舞的是,特朗普政府近几个月来一直在朝着这个方向努力,而且最近业界也提出了一些建议 (https://demishassabis.substack.com/p/a-framework-for-frontier-ai-and-the-dawning-of-a-new-age),即对所有最强大的模型进行此类测试,无论其来源国或开放/封闭(同时完全豁免能力较弱的模型,例如来自初创公司和学术机构的模型)。开放模型是否会带来更高的风险,以及这种风险是否可以降低,应该通过测试来验证,而不是事先决定——而且可能有一些有前景的方法来提高开放权重模型的安全性,包括Anthropic公司最近关于模块化训练策略的 (https://alignment.anthropic.com/2026/modular-pretraining/)研究。需要注意的是,为了有效,测试需要在全球范围内进行,这意味着即使是中共也需要参与其中。我认为这或许真的有可能:正如我在《技术的青春期》一书中写到的,围绕防止人工智能生物武器的有限合作可能是可能的,因为这也符合中国的利益。
    这让我想到了那封公开信 (https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf)。我基本同意信中的观点:开放权重扩大了人工智能经济的准入范围,至少在某些应用场景下增强了竞争,并赋予客户更大的控制权。关于算法提炼的担忧应该通过有针对性的法律和商业框架来解决——正如我上面提到的那样。但我不同意信中关于开放权重模型必然更容易开发安全措施,或者广泛获取模型能力必然更有利于防御者而非攻击者的论断。在我看来,情况恰恰相反的可能性至少不亚于此。例如,我担心生物学领域会出现严重的攻防不对称,能力足够强大的模型可能能够利用广泛可得的材料迅速制造出足以引发大流行的病毒,而防御这些病毒即使在最好的情况下也需要数年时间(正如我们在“Glass”中所看到的)。诸如此类的问题应该通过严格的发布前测试来验证,而不是预先假设。
    综上所述,我和Anthropic的立场是,我们过去没有、现在也不会提倡禁止所有开放式芯片。相反,我们应该关注的是防止功能强大的芯片落入独裁者手中,阻止大规模的芯片提炼,并要求对所有功能足够强大的芯片(无论开放式还是封闭式)进行安全测试。
  • 注释
  • 有关滥用夺取政权的讨论以及生物风险的讨论,请参阅该论文的第 3 节和第 2 节。
  • 请参阅英国人工智能安全研究所的这份报告 (https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are-leading-open-weight-models-on-cyber),特别是其中指出:“这些优势背后的开放性也使得封闭模型开发者无法采取许多安全措施来检测和阻止滥用行为、在漏洞出现时迭代安全措施、控制用户访问权限以及撤回模型。一旦开源模型发布,这些选项将永久失效:安全措施可以被移除,模型副本可以被下载、重新分发,并在不受监控的私有系统上运行。因此,对于具有危险功能的模型(包括高网络安全能力的模型)而言,开源模型的发布会造成持续且不可逆转的滥用风险。”
  • 另请参阅此处 (https://www.justice.gov/opa/pr/chinese-national-and-two-us-citizens-charged-conspiring-smuggle-artificial-intelligence)、此处 (https://www.justice.gov/opa/pr/us-citizens-and-chinese-nationals-arrested-exporting-artificial-intelligence-technology)和此处, (https://www.justice.gov/opa/pr/us-authorities-shut-down-major-china-linked-ai-tech-smuggling-network)了解美国司法部的更多报告。
  • 在 Anthropic,我们致力于通过自身实践打击大规模的仿冒行为,包括识别并封禁以这种方式使用我们模型的账户。这并非易事——例如,相关账户通常只能在大量仿冒行为发生才能被识别,而且仿冒行为往往涉及创建大量虚假账户,这些账户构成了一个不断变化的目标。任何一家公司的做法都无法彻底解决这个问题,因此我们呼吁制定相关政策。
  • 关于生物威胁和攻防平衡的更详细讨论,请参阅《技术的青春期》第二部分  (https://darioamodei.com/essay/the-adolescence-of-technology#2-a-surprising-and-terrible-empowerment)。总而言之,我认为目前在生物学领域保护我们的并非“防御者”,甚至也不是材料的可用性,而是智力能力与造成灾难性伤害的意愿之间的负相关关系。像互联网搜索甚至DNA合成这样的先前技术远不足以打破这种相关性,但我担心,以人工智能目前的发展速度,它很快就会做到这一点。换句话说,足够强大的技术会消除所有障碍,并暴露攻击者或防御者是否具有固有的结构优势,而我担心在生物学领域,占据优势的是攻击者。
  • 真不要脸啊
    回复

    使用道具 举报

    0

    主题

    2407

    回帖

    4814

    积分

    大师

    Rank: 8Rank: 8

    积分
    4814
    发表于 昨天 18:10 | 显示全部楼层
    感谢星友输出,社区有这种内容才有长期价值。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    微信

    社群

    VIP

    AI

    顶部

    QQ|本站内容来源网友投稿或网络转载,如果有侵权的内容,请联系我们删除。|小黑屋|人人为我,我为人人!| 星颖资源网

    GMT+8, 2026-7-29 07:35 , Processed in 0.045885 second(s), 26 queries .

    快速回复 返回顶部 返回列表