由于AMD启动其3官方全球推出rd. 一代Epyc企业处理器家庭,代号名米兰,我们花了一些时间与AMD’S Forrest Norrod讨论新的处理器,流行如何受到影响,新功能影响了AMD’S新EPYC的定位以及未来的挑战是快速接近企业处理器。

AMD’s 3rd. 一代EPYC,也称为米兰,在单个插座中提供最多64个最新一代Zen 3核心,带有128个PCIe 4.0车道,八通道DDR4-3200内存,以及新的性能优化变体的新型安全功能。领导AMD’这种空间的努力是Datacenter和嵌入式解决方案业务组的高级副总裁兼总经理Forrest Norrod(以前的企业,嵌入式和半自定义组,EESC)。 Forrest已经在AMD超过六年,领导该团队自那不勒斯的第一代EPY产品成立以来。

自那代发布以来,Forrest已经从市场份额低于0.5%(通常称为舍入误差)的集团,到高于10%。这个市场份额增长直接翻译成AMD的收入,现在在传统的X86计算和企业市场中具有大量提议,看看这一市场AMD可以推进的大部分,其中一些是有趣的,其中一些是有趣的面试。 AMD’S Xilinx的收购,将于今年晚些时候关闭Xilinx,也有望为AMD实现新的增长战略’对公司非传统市场的epyc。


伊恩博士蝉联
Anandtech.

Forrest Norrod.
AMD

在这次采访中,我们与Forrest新的米兰处理器讨论,大流行如何影响EPYC采用,新功能影响了AMD’S新型EPYC,定制处理器设计的定位,使新的解决方案能够驾驶Exascale Systems,以及未来的挑战是快速接近企业CPU竞技场。

 

伊恩蝉联:谢谢你今天和我说话!由于这次采访即将到来,AMD将推出其EPYC第三代处理器家庭,米兰。

Forrest Norrod.: 那’s right, we’继续我们参观意大利。对我来说’是一个特别重要的里程碑,因为当我加入AMD时,大约六年半前就在丽莎成为首席执行官之后,使命是让AMD与数据中心领导的相关性。我们举行了意大利的这次旅游,首先是那不勒斯,然后与罗马,现在米兰和热那亚接下来。但是我们在六年前向米兰走到了米兰的前三个步骤。它'对自己和整个团队来说,令人难以置信的影响,所有这些都是原始计划的一部分。它'很高兴看到,团队做了一个令人难以置信的工作。

IC:所以当我们再次回到飞行时,在未来的日期,我们将在意大利结束庆祝下一代EPYC的推出?

FN: 我肯定希望如此。当我们做那不勒斯时,AMD只是回到了它。我们几乎是Scrappy Startup,再次在数据中心 - 我们的资源有限,我们没有'对于任何多余的东西都有任何资金。但是,通过罗马,我们有点更好的情况,我们实际上在罗马做了一个活动 - 那一年我们在全球活动之后大约一个月的罗马做了欧洲发射活动。我们有目的是在米兰做出爆炸事件的这一代,我'很抱歉说没有'发生!但希望随时热那亚来到明年左右,我们'll be back in Italy.

IC:推出新的第三代EPYC,米兰,看到平台从Zen 2核心移动到Zen 3核心,具有性能,缓存和无限结构的更新。 AMD如何定位米兰在市场上就AMD提供了’他自己的罗马和其他公司的竞争产品?

FN: 对我们来说’是下一步。如果您考虑我们的战略,那么与那不勒斯和第一代,它就是恢复市场,表明我们可以生产企业级和云级产品。与罗马,它真的是关于在小芯片周围创新,是第一个到7纳米,而且真的采取了毫无疑问的吞吐量绩效领导。它还具有良好的核心性能领导和核心表现。用米兰,它 ’所有关于使核心更强大,毫无疑问的核心性能领导,并增加了安全功能,并使安全特征确实将该云天然安全到处理器。因此,我们认为这是进入领导,吞吐性能领导和与米兰的绩效领导层的有点高潮,同时建立安全。

IC:我们上次在AMD发言’罗马推出,目标是实现10%的市场份额。在去年中期,AMD达到了这个目标。我们在哪里与米兰一起去–是否有市场份额目标,或特定的胜利,这将衡量产品成功?

FN: 不幸的是,我们’在我们的安静时期,不幸的是我可以’t say. But We’再努力在短期内设立特定的市场份额目标。我会在长远来看,随着我们’在之前说过,我们绝对打算超越历史高水印份额目标。 [本]分享AMD用于在Opteron Days返回的AMD约为26%/ 27%的单位份额和33%的收入份额。我们当然认为我们’在一个驱动器上回到那里,但我不’要给你任何中间检查点。我会说我们认为米兰将继续推动业务,真的’S逐步比第二代更具竞争力 - 一个大的增量。但逐步比第二代更具竞争力,我们认为客户兴奋和牵引力’重新拿到它很大。

IC:在我们上次讨论中,我向伙伴解决方案和AMD询问了问题’利用合作伙伴执行能力以满足需求。米兰的表现较高,因此我怀疑你的需求甚至比以前更高–什么是从过去发起的desg’ve卷入了这一启动的准备,以满足这些合作伙伴的系统协同设计要求?

FN: 关于米兰的伟大事物之一是套接字兼容,当然,软件与罗马兼容。因此,对于建立罗马优化系统的客户,可以充分利用所有功能,例如PCIe Gen 4,或内存能力,米兰几乎是一个替代品。他们可以将米兰放入现有的平台和解决方案,并立即进行性能碰撞。通过[启用此],我们得到了我们在罗马所做的一切的强大基础,我们可以立即利用,或者我们的客户可以立即利用米兰。

所以然后我们想到了我们如何继续扩大生态系统。我们[正在关注]米兰在罗马很好的地区,但也许在某些核心工作负载中可能没有难以忽视的领导。以便’在哪里你看到了很多新解决方案。

我会说另一件事’我们真的打开了很多’重新获得我们的安全功能更广泛地采用。谷歌最近介绍了大约六到七个月前,他们使用安全的加密虚拟化进行机密计算VM。你’我很快就会看到别人这样做。您看到VMware为其[私有云]以及[Public]云提供的支持。你’重新继续看到很多解决方案推出真正利用新的安全功能。

IC:I.’D不询问供需保留。 AMD目前面临着高需求的时期,再加上几个关键领域的短缺,如基板和包装​​技术。一世’M不一定要求您专门对这种情况进行评论,但是,与典型的企业发布相比,这种高需求期如何改变AMD如何实现米兰的推出?

FN: 我认为整个行业显然看到了前所未有的需求水平。一世 阅读,正如我今天早上来的那样,另一篇关于在整个行业中产生供给问题的半导体需求的文章。我们认为我们’在我们的绝对供应量方面以非常好的形状’re of to桌子肯定,我们’在优先考虑我们的企业产品,以及我们的一些非常大客户的产品,如[超高音师]。所以我不’认为我们以任何方式查看发布,供应门控。这是一个优先级的问题。

IC:首席执行官Lisa Su博士在年初突出显示AMD’S企业/数据中心 司和米兰,作为2021年的两个关键联络点之一,与商业业务一起。这是米兰是公司收入,市场份额和品牌标识的关键驱动力。这种焦镜头如何调整您如何接近产品系列,发射和消息传递?

FN: 在服务器端,它’始终一直是关于数据中心客户。你确实在云和传统企业之间有区别,我会说我一般认为我们发现云[客户]稍微更快地采用新技术。既不均愿意将[首先首先]融入新技术,而不彻底审核,或者没有真正确保它’没有扰乱他们的数据中心操作。但在企业,或企业最终客户,升’d说有点保守。

那’为什么我们采取了这一非常审议的多才类战略,不断建立产品组合的实力。做我们所说的事情也是非常重要的。一世’当我们推出那不勒斯时,我肯定会记得,我确实把三年一代的路线图放在那里,我说我们’重新在2019年将成为罗马,我们’到2020年底,重新将是米兰。我们所做的。我们’这一周在您的观众看到这一周启动米兰,但实际上我们在2020年开始了全部生产货物。在那里悬挂了三代路线图,你知道,在你的背上有一种绘制的目标,以便拍摄射击。但是,我们认为建立了我们的客户可以查看并确认AMD关于提供优质产品并按时交付的基准更重要。我认为,让客户对客户进行投资非常重要,以接受我们的技术,并采用它。

很多关于建立越来越多为最终客户调整的伟大产品。因此,与罗马(EPYC第2 Gen)的吞吐量在HPC中非常重要,对云非常重要。它也是很多遗留企业应用程序的一个很好的产品,但它们往往需要更多的每个线程性能敏感。米兰总是旨在成为你所知道的,只是特殊的部分。这些企业应用程序的绝对领导。它’S融合然后是具有右侧企业的AMD,而不放弃云的吞吐量绩效领导。现在我们’展示了三代 - 我们说我们所说的是什么’re去做,我们做到了。我们的客户可以信任我们,我们将在那里为您服务。

IC:我们’现在是一年的大流行,这使得DAMPENER对任何类型的客户期望?是否有任何不愿意部署新系统或采用新平台?

FN: 我不’t think it’在意图或欲望上放了一个阻尼器。事实上,我认为这是看来,它’对于我们来说,有点尾风,因为有更多的人在家工作,每个人现在都需要一个PC。它不再是每户或在我的情况下,现在每人五分之一。我的孩子每个人都有两种或三个设备!所以’在企业和云中的那个角度来看,尾部。

我会说我认为我们确实看到了对企业资格的影响。那’在去年季度和去年季度的季度,只是因为人们关闭了。我们不得不努力建立更多远程测试网站,因为在现场测试装备或者有符合驾驶队的客户不再有人进入这项资格,这是一段长时间的顾客。我肯定停滞不前,我’d在企业客户资格方面对几个季度进行了几个季度。但我认为我们在这一点上很快。

IC:AMD’S for Milan提供专注于一般性能的产品,7003系列,以及每核的性能的许多专用元素,F系列。反馈是在F系列上的反馈,因为它始于罗马,我们应该如何通过这种新的细分提供客户部署?

FN: 嗯,F系列绝对是针对每个核心性能或每个线程性能确实需要的客户设计的。有很多应用程序,特别是遗留应用程序,在那里 ’对于整体申请性能原因或许可成本原因,批判性重要。 F系列真的针对EDA工具的东西 - 我们用于设计这些高度复杂的多核设备的工具Don’T通常与核心相舒展!这些常见的仿真工具是每个核心性能的主导。所以我们将F系列视为完美,我们’在EDA工具采用中有巨大的升值。

还有大量的遗留企业应用程序,每核心许可。如果您想最大限度地提高您的TCO(总拥有成本),它’■关于如何尽可能少的核心。软件成本通常占主导硬件的成本,所以我们’在完全加载的系统中获得了运行八个核心EPYC的客户,完全欺骗了您可以获得的所有内存,以及所有I / O.但他们’RE运行八个核心处理器,高频处理器,以及它’s because they’重新运行一个数据库’重新收取每股核心。所以我们真的看到了每个核心,F系列,完美的那些应用程序,那些许可成本主导的应用程序,或者当申请的特殊性都是这样的’与越来越多的核心相舒长。

IC:在米兰,新的顶级处理器坐落在280 W.对于罗马的推出,我们仅在225 W或240 W中看到顶级处理器,具有280 W的特殊HPC型号。现在,每位客户都能够解锁较高的热量产品,它推动性能更高,但牺牲了远离峰值效率的牺牲品。您是否发现客户正在查看以外的表现?效率通常是良好的优先事项,但它不再是关键问题?

FN: 我会说对于许多客户来说’■所有关于性能,性能,性能。我们最初没有预期改变主流零件的标准TDP范围,对于这一代米兰,我们认为我们将保持相同的价值观。事实上,我们围绕罗马的套接字兼容性战略的一部分是保持套接字,TDP, 并保持需要提供和在不同电压轨上的电源周围的规格。我们没有’T思想将从我们最初为罗马定义它们时会发生变化,但我们得到了许多客户的强烈反馈。他们希望能够掌权更高的灵活性,而且他们的许多最终客户都说表现是主导的事情。

直到您在一定的阈值之后,在提供电力或提供冷却的成本的情况下,它真的开始渐近。在与OEM合作后,我们发现大多数空气冷却系统有280瓦是那种点。我们还具有可配置的TDP部件,绝大多数部件可在225到280瓦的范围内运行,因此客户可以选择。

IC:用AMD考虑的指标之一’S处理器设计是电源的要点。除了从台积电的7nm小芯片外,中央IO死于GlobalFoundries,随着无限织物性能的增加,IO模具现在消耗了处理器总功率的近40%。我们是否会反对IO电力墙 - 如果它可以在那个方面做什么’S从核心带走的力量?

FN: 我倾向于同意这一点。我确实告诉团队,我们花在IO上的每一个瓦特,或者只是核心,这是力量’没有将客户关心的公制,执行该代码。 IO Power对我们这一代巨大的重点是我们的巨大焦点,[它将]前进。

所以I / O死(米兰)实际上是从罗马调整的。最初我们计划相同。它非常接近,但大多数改变[新设计]实际上是为了提高I / O死亡的效率,因为我们在米兰通过它运行更多。我认为期待着,我们将继续推动更积极的功率敏感的设计技术进入下一代undorcore。

当前EPYC系统中的I / O死亡是我们称之为未通知的代名词 - 基本上不是核心的一部分。一般来说’RE试图在未经电话的电源管理和电力效率周围推动更多的创新。你’重新看到我们继续在核心以及未经手上非常努力地驱动过程节点。我们’重新继续在互连周围推动创新。所以无限的面料作为一个协议有很多腿,而是你’请参阅我们继续做事,使得越来越多的功率有效,并降低每位交换机流量的微微约会。

IC:罗马我们看到了一些AMD’S高超扫描客户获得这些处理器的专用版本,具有自定义核心计数/电源限制/钻孔频率。这将是正常的前进,你是否看到对这些定制版本的需求量更多?

FN: 是的,是的,是的,是的。我认为在规模上运营的每个人都始终敏锐地对调整每一个小旋钮来提取所有性能和所有效率。如果你看着你’LL在许多情况下看到平台’由给定的超码客户使用的s可能 - 例如腾讯,我’M只是随意挑选 - 他们不’使用所有的I / O车道。他们的特殊配置’已经优化了 尽可能高效地运行他们的实例,他们不’使用所有I / O,所以零件的自定义,但至少一个问候,正在转向I / O关,融合它,使其归结为零,转移到核心。例如,在该特定情况下,您获得更高的基本频率。我想我们’重新继续[提供定制的解决方案]任何地方’是一堆规模’S保证,它对最终客户产生了差异。我们’重新继续探索这样的事情。

IC:I.ntel promotes that half of its total enterprise CPU sales are of the ‘customized’各种各样的大客户。你能在何处,坐在那里坐在那里的评论吗?

FN: 如果我使用它们的半自定义定义,它’可能是相似的。是的,我’D必须思考它,但它’s probably similar.

IC:I. guess the next question is if there is a minimum order quantity to get a customized part?

FN: 你的意思是,为你?

IC:当然,我’ll有一个特别的!或许是两个,让’S制作双插座!

FN: [chuckles]好吧,你’D可能需要几个备件,以防万一!

实际上我们不’T有一个艰难而快速的规则[关于最小订单数量]。它’谈论与客户的对话。要坦诚,这取决于我们认为这是长期的机会。如果我们认为它’s a hyperscaler that’s会踢轮胎,而是’在一代人中会在一代人中进行比较谦虚’是一个伟大的长期前景,然后我们’ll更容易。它’关于我们认为是长期机会的所有人。

IC:您对将给定处理器锁定给特定客户的意见是什么意思’s platform design?

FN: 那里’渴望安全的安全性,并试图提高安全性,并尝试改善安全的来源’在某人奔跑’S数据中心,他们可以确定这正是他们打算购买的内容,系统提供商已经签署了它。 [系统]是如预期建造的,没有人’自建造和测试后调整了它,您可以放心’s what you’ve got. So that’锁定的意图],它是我们支持的东西。我们不’它实际上为[我们的客户]而言,顺便说一句 - 我的意思是我们的观点,它’s not like we’通过这样做赚更多的钱。  We’RE试图满足OEM客户的请求和他们的一些最终客户,以实现绝对供应链安全性。

IC:在去年我们看到了AMD’客户通过机密计算等技术进行了进展。米兰的阿森纳是什么新的安全增强?

FN: 那里 are a couple. If you look at what we’已经在以前的一代EPYC中实现了,它是关于提供加密隔离,以及可以加密虚拟机的所有内容的加密引擎,或者即使只是一个过程。这意味着任何没有该密钥的人,即使是系统管理员,也可以’看看那个虚拟机。在米兰进一步增强了安全的嵌套分页,即使虚拟机管理程序受到损害,即使有人故意损害虚拟机管理程序并将后门[到系统]妥协,那么安全的嵌套分页仍然可以保护状态的难以嵌入该加密虚拟机。

另一个与这些返回操作相关,返回导向的编程技术导致了一些漏洞。我们确实有一个叫做沉船堆栈的东西,有助于提供额外的安全性,以确保一些黑客已经显示的这些非常微妙的效果可以从[aren’t possible]. We’重新尝试进一步掩盖那些,并使难以妥协。

IC:新的Milan处理器现在具有内存交织的功能,其中包含8个DDR4,6个DDR4通道或4个DDR4通道的通道。我们是否可以到达客户想要减少内存通道配置的阶段,因为DDR占用了太多的物理空间或成本?

FN: 那’一个伟大的问题!因此,我们有一些具有特定优化点的客户,他们想要特定的内存量。他们不’T希望损害任何用于获取该数量的性能,或占用物理空间。在罗马或那不勒斯,有八个频道的内存你可以获得完整的性能 - 你可以获得一个非常好的优化和平衡的系统,只有四个内存渠道,显然你的理论带宽被切成两半,但它得到了很好的优化。如果您有六个内存渠道,则会在延迟和吞吐量的情况下获得此稍微不平衡的条件[将取决于许多因素],这样’s what we’真的试图用六个频道解决六个频道,使额外的灵活性尺寸为您的工作量的内存量而不放弃任何性能。

IC:虽然AMD会增加其处理器产品线上的性能,但DRAM的带宽保持不变。是否有一个理想的拦截点,较高的带宽内存对客户有意义?

FN: 我觉得你’绝对正确,真正在堆栈的顶部,具体取决于工作负载,这可以是性能限制器。如果你’在某些工作负载中比较堆叠部分的顶部,您’重新看到从代代生成的绩效增益,只是因为你是 内存带宽限制在一天结束时。

那’当我们继续增加核心的性能并继续增加核心数量时,我们将继续继续。但您应该希望我们继续增加带宽和内存支持的数量。 DDR5即将到来,这是DDR4的一部分余量。我们在使用高带宽内存中看到了越来越多的兴趣,用于套装解决方案。我想你会看到sku’在未来的未来,来自亨普的各种公司,尤其是AI。最初将相当专门的是坦诚的,因为HBM非常昂贵。因此,对于大多数标准DDR内存,即使是DDR5内存,也意味着HBM将最初限制为令人难以置信的内存延迟敏感的应用程序,然后您知道’我会随着时间的推移而发挥作用。

您可以看到进入路线图的分叉,其中有些部分具有不同的内存层次结构。也许使用存储级存储器作为主存储器,在模具上,或者几乎像L4缓存的较小内存,或者可能是应用程序可以利用的软件管理资源。但无论如何,我想你’LL在未来几年内参见内存系统的创新。

IC:关于创新的主题,在去年年底,AMD推出了CDNA架构和加速器。关于米兰,这里有什么可以帮助增加这些加速器的性能吗?

FN: 那里 are some fabric enhancements in Milan that are sort of subtle. They increase the bandwidth between the cores and the accelerators particularly in a fully loaded system. The other thing is that you’LL请参阅有一些系统,其中包含米兰构建,允许您超频PCIe链接。在某些系统中,我们支持,更快地调高频率。

如果我没有,我会被遗漏’T表示,我们还增加了零件的INT8性能。因此,对于仍有尚未接受GPU加速器或FPGA加速器的客户来说,他们仍然希望在标准CPU编程范式内保持,因此特别是推理,我们看到许多客户真正刚刚在CPU上运行推理工作负载。 INT8性能的加倍真的有助于一点。

IC:所以要确认,那’S pcie链接超频,不是核心?

FN: 是的,哦是的,是的,是的。确切地。超频PCIe。超频可能是错误的方式!那里’s一个名为ESM的东西,扩展速度模式,它’S标准,我们支持它。

IC:AMD recently released the full ROCm 4.0 stack as a complete exascale solution for machine learning and HPC. How does ROCm develop over 2021, and how does that evolve between EPYC and CDNA?

FN: 好问题。我们’公开谈论罗频4.0次,我们’再次在发布会上谈论它。我们’令人难以置信地自豪地成为建立(我们认为的思考)世界上第一个Exastale系统的一部分,将于今年晚些时候在奥克岭国家实验室部署。它’S称为Frontier,它真的使用下一代cDNA架构,本能的部分,这是我们避风港的东西’T宣布。它还使用米兰一代CPU,以及我说的是它实际上是该系统中的CPU是一个名为trento的东西 - 它’如果你愿意,米兰的兄弟姐妹。它’s略有不同 - 它在I / O死中有一个物理上不同的硅片,所以它’与米兰略有不同。但关键方面有一些我们认为的东西很重要 - 它’S一个相干系统。 CPU和GPU将共享一致的虚拟地址空间。 [带有一致性的虚拟地址空间]的重要事项是,您不再需要花费大量的编程时间管理完全独立的内存池。它极大地加速了某些工作负载能够在CPU和GPU之间具有相干的内存池[共享]。我们认为这是非常重要的进展,我们非常自豪,首次实例化将与世界上最大的机器在一起。

IC:我们ll that’在特伦托的一个伟大的小旅游者,谢谢你对此表示。因此,Frontier会成为该无限织物的最终可视化‘All-to-All’ topology?

FN: 我们将继续随着时间的推移进化[无限织物],但边界是一个伟大的,伟大的里程碑。在边境中,您将此完全连贯的Infacinity结构连接到GPU的CPU和GPU彼此。所以我觉得它’对于Infinity Fabric的可扩展性以及它可以做的事情的典范。

谢谢你福雷斯特Norrod和他的团队的时间。

发表评论

22评论

查看所有评论

  • 喊道 - 2021年3月15日星期一 - 关联

    令人难以置信的面试! 回复
  • 先生完美 - 2021年3月15日星期一 - 关联

    It'他们有趣的是他们're看到对F系列的支持。产品有意义,但没有办法知道它是否是利基而不是。

    我想知道这是否意味着他们'LL也有类似的螺纹螺膏的零件?他们停止提供那些低核心伯爵CPU的最后一个,每个人都必须购买他们是否想要的大型核心。
    回复
  • Slash3 - 2021年3月16日星期二 - 关联

    它还推动了很多人妥协,并使用3950倍,甚至是英特尔's 10940x / 10980xe。 回复
  • outsideloop. - 2021年3月15日星期一 - 关联

    请猜测伊恩特伦托! on-epyc gpu死亡? GPU纳入IO死亡? 回复
  • 伊恩蝉联 - 2021年3月15日星期一 - 关联

    包装上的HBM可能 回复
  • jamesindevon. - 2021年3月16日星期二 - 关联

    是时候带回嵌入式DRAM(EDRAM)缓存谣言了吗?

    对于那些没有的人'知道,IBM在其14纳米工艺中开发了EDRAM,以便它们可以将非常大的L4高速缓存放入主机和电源系统中。然后他们将铸造厂业务销售给GlobalFoundries。它'尚不清楚,如果EPYC IO DIE准确使用这一过程 - 如果它确实如此,他们可能会考虑许可EDRAM技术。当你的时候'通过定制模具,制造成本是微量的。

    顺便提一下,这确实显示了EPYC架构的迷人方面之一 - 它必须少于卷取14nm的IO芯片而不是7nm的东西,这意味着每位客户IO芯片很可能。

    It'他们也可能've将克拉互连靠在io死区 - 再次'重新做一个定制的io死,为什么不呢?

    它看起来他们需要传统的GPU来获得他们想要的Teraflops。
    回复
  • eva02langley - 2021年3月16日星期二 - 关联

    我今天早上会读它。我只是喜欢听到森林,他是如此热情。 回复
  • CrystalCowboy. - 2021年3月16日星期二 - 关联

    出色的。关于代码名称,热那亚之后有什么在哪里?我怀疑他们想要推出博洛尼亚。一世'm sure it'是一个非常好的城市,但肉类产品的内涵很难克服。在GPU竞技场中,我发现鱼类主题非常有趣。 回复
  • 伊恩蝉联 - 2021年3月16日星期二 - 关联

    在热那亚之后,有些人提出了都灵,虽然amd hasn't commented.

    还有:佛罗伦萨,巴里,维罗纳,威尼斯,墨西拿,布雷西亚,帕尔马,现代人,法拉拉,蒙扎,福利,维琴察,诺瓦拉,安科纳,比萨罗,莱切,比萨,卢卡,科莫,伊莫拉,马萨,波茨拉,萨沃纳,Acerra, Trani,Portici,锡耶纳......
    回复
  • neoagentsmith. - 2021年3月17日星期三 - 关联

    作为米兰的意大利生活靠近'M由关联产品与如此强大的产品一起讨人喜欢:)
    在热那亚寻找那个派对!
    它来自意大利城市的想法在哪里是代号?
    回复

登录

没有帐户? 立即注册