怀孕后期脚部浮肿的肥大,孕妈们不要忧虑,教你几招轻松应对!
千炮金蟾捕鱼平台
您所在的位置:千炮金蟾捕鱼平台>千炮金蟾捕鱼下载>盈丰真人娱乐平台|硬刚Tensorflow 2.0,pytorch 1.3 今日上线

盈丰真人娱乐平台|硬刚Tensorflow 2.0,pytorch 1.3 今日上线

 ( 2020-01-07 08:06:35   )

盈丰真人娱乐平台|硬刚Tensorflow 2.0,pytorch 1.3 今日上线

盈丰真人娱乐平台,雷锋网 ai 开发者按:就在今年 8 月份,机器学习框架 pytorch 刚发布 1.2 版本(详情可参考:https://www.leiphone.com/news/201908/1g4smdsxufzfhhqc.html),很多开发者甚至还没来得及吃透 1.2,两个月不到,进击的 pytorch 又带着我们进入 1.3 版本时代。

与此前 pytorch 一直受到学术领域研究人员的青睐不同,新版 pytorch 也引起了业界的广泛关注,这主要得益于新版功能对业界支持度的大幅提升。

新版 pytorch 1.3 不仅支持安卓 ios 移动端部署及谷歌云 tpu,进一步加强了框架兼容性;还新增了更多涉及可解释性、加密、以及关于图像语音等工业方面应用;并在量化支持方面,集成了更强的训练功能。该消息一经发布,甚至不少开发者纷纷留言道,要不要转 pytorch???

在 pytorch 开发者大会上,facebook 发布了其深度学习框架 pytorch 1.3,新版 pytorch 带来了重要的新功能,包括对移动端部署的支持、8 位整数的快速模式量化以及命名张量功能。

pytorch 移动端

随着应用程序对更低延迟的要求越来越高,在边缘设备上运行机器学习(ml)变得越来越重要。

它也是像联邦学习等隐私保护技术的基础要素。为了在设备上更高效的运行 ml,pytorch 1.3 现在支持从 python 到在 ios 和 android 上部署的端到端工作流。

在 python 上部署 ios 和 android 移动设备端到端工作流

这个功能还是早期实验版本,针对端到端开发进行了优化,新版本侧重于:

大小优化:根据用户应用程序所需的运算符,构建级别优化和选择性编译(即,仅为所需的运算符提供二进制大小字符)

性能:进一步改善了移动 cpu 和 gpu 的性能和覆盖范围

高级 api:扩展移动原生 api,以覆盖常用预处理和将 ml 集成到移动应用程序中所需的任务。例如计算机视觉和自然语言处理任务。

更多关于 pytorch 移动端:

http://pytorch.org/mobile

量化支持

开发 ml 应用程序时,有效利用服务器端和设备上的计算资源非常重要。为了支持在服务器和边缘设备上进行更有效的部署,pytorch 1.3 现在支持使用常见的 eager 模式进行 8 位模型量化。量化是指用于以降低的精度执行计算和存储的技术,例如:8-bit 整数。

当前的实验特性包括:对训练后量化(post-training quantization)、动态量化(dynamic quantization)和量化感知训练(quantization-aware training)的支持。

它分别利用了 x86 和 arm cpu 的 fbgemm 和 qnnpack 最新的量化内核后端,这些后端与 pytorch 集成在一起,并且现在共享一个通用 api。

更多详细设计和架构信息:

https://pytorch.org/docs/master/quantization.html

量化的实际案例参考:

https://pytorch.org/tutorials/advanced/dynamic_quantization_tutorial.html

命名张量

康奈尔大学的 sasha rush 认为,尽管张量在深度学习中无处不在,但传统的张量实现仍存在明显的缺陷,例如:暴露私有维度、基于绝对位置的 broadcasting 以及在文档中保留类型信息。他提议将命名张量作为替代方法。

即我们可以被允许通过命名张量来命名和访问维度,而无需再根据位置来跟踪张量维度:

同时,命名也使得代码更具可读性和可维护性。pythorch 项目总监 joespisak 也曾在电话采访中表示:「命名张量可以让你写出更干净的代码。我可以将这些命名嵌入到代码中,而不必备注这个数字是高度、这个数字是宽度等;所以,这会使代码更可读、更干净且更易于维护。」

可解释性工具 captum

随着模型变得越来越复杂,开发用于模型可解释性的新方法变得越来越重要。

为了满足这种需求,facebook 推出了可解释性工具 captum,该工具可帮助在 pytorch 开发人员更好的理解其模型生成特定输出的原因。

captum 提供了先进的工具来了解特定神经元和层的重要性,以及他们如何影响模型做出的预测。captum 的算法包括:积分梯度(integrated gradients)、电导(conductance),smoothgrad 和 vargrad 以及 deeplift。

下面的案例展示了如何在预训练的 resnet 模型上应用模型可解释性算法,然后通过将每个像素的属性叠加在图像上来使其可视化。

在预训练的 resnet 模型上应用 captum

更多关于 captum:

https://www.captum.ai/

crypten 加密

ml 通过基于云或机器学习即服务(mlaas)平台的实际应用提出了一系列安全和隐私挑战。尤其对于这些平台上可能不希望或无法共享未加密数据的用户,这导致他们无法充分利用 ml 工具。

为了应对这些挑战,机器学习社区正在探索各种技术方法,包括:同态加密、安全的多方计算、可信任的执行环境、设备上的计算和差异隐私。facebook 也发布了 crypten 来更好地帮助研究人员理解如何应用其中的某些技术,这是一个新的基于社区的研究开源平台,用于推动隐私保护 ml 领域的发展。

除此之外,facebook 也一直在与谷歌的深度思维研究科学家安德鲁·特拉斯克(andrew trask)一起研究保护隐私的模型,udacity course 则是一门学习如何利用工具扩展 pytorch,从而训练能够保护用户隐私 ai 模型的课程。它还包含一个用于加密深度学习库的开源项目,且覆盖了 pythorch、tensorflow 和 keras 框架的扩展。

更多关于 crypten:

https://ai.facebook.com/blog/crypten-a-new-research-tool-for-secure-machine-learning-with-pytorch

github 开源地址:

https://github.com/facebookresearch/crypten

关于 udacity course:

https://cn.udacity.com/course/secure-and-private-ai--ud185

目前网上的数字内容通常不是单一形式,而是由多种形式共同组成,可能包含:文本、图像、音频和视频。pytorch 提供了新的工具和软件库生态系统,来解决构建多模态 ml 系统的问题。以下是一些最新推出的库:

detectron2

detectron2 是在 pytorch 中实现的目标检测库。它提供了对最新模型和任务的支持,以增强的灵活性帮助进行计算机视觉研究,并改善了可维护性和可扩展性,以支持在生产中的用例。

更多关于 detectron2:

https://ai.facebook.com/blog/-detectron2-a-pytorch-based-modular-object-detection-library-

github:

https://github.com/facebookresearch/detectron2

fairseq 的语音扩展

语言翻译和音频处理是系统和应用程序如:搜索、翻译、语音和助手中的关键组件。近年来,随着 transformers 等新架构及大规模预训练方法的发展,这些领域取得了巨大的进步。

facebook 对 fairseq 进行了扩展,这是一个用于序列到序列应用(语言翻译等 seq2seq 应用)的框架,包括对语音和音频识别任务的端到端学习的支持。

github 开源地址:

https://github.com/pytorch/fairseq/tree/master/examples/speech_recognition

除了新增众多功能外,pytorch 还宣布了对 google cloud tpu 的全面支持,以及与阿里云新推出的 pytorch 集成。此外,pytorch 还新增了对两家 ai 硬件的支持,扩展了自己的硬件生态。

google cloud tpu 支持现已广泛可用。在 facebook、google 和 salesforce 的工程师共同努力下,新版的 pytorch 加入对了云 tpu 支持,包括对超级计算机云 tpu pods 的实验性支持。谷歌 colab 还提供了对云 tpu 的 pytorch 支持。

阿里云中添加了对 pytorch 的支持。阿里云的集成涉及 pytorch 1.x 的一键式解决方案,数据科学 workshop notebook 服务,使用 gloo/nccl 进行的分布式训练,以及与阿里巴巴 iaas(如 oss、odps 和 nas)的无缝集成。

ml 硬件生态系统扩展。除了主要的 gpu 和 cpu 合作伙伴之外,pytorch 生态系统还支持专用的 ml 加速器。例如:英特尔不久前推出的 nnp-i 推理芯片、habana labs 的 ai 处理器。

facebook 首席技术官迈克•施罗普弗(mike schroepfer)在会议开始时表示,在过去两年里,facebook 已经不再使用其前身 torch 或 caffe2,而是努力使 pythorch 成为深入学习的主要工具。这对于保持研究人员和开发人员处于同一个页面上至关重要。

施罗普弗在台上说:「这意味着它现在是在 facebook 上进行机器学习(和)深度学习的事实工具,不仅是用于有机发生的研究,而且是在生产中,所以我们绝大多数的模特现在都是在 pythorch 上训练的。」在计算机视觉、nlp、语音、翻译等多个领域都是如此,所有这些系统现在都在使用 pythorch。

facebook 首席技术官迈克•施罗普弗(mike schroepfer)也表示,tensor 处理单元的支持从单芯片训练模型开始,之后将扩展到云计算平台。

原文链接:

https://pytorch.org/blog/pytorch-1-dot-3-adds-mobile-privacy-quantization-and-named-tensors/

博客文章地址:

http://t.cn/aiujzyic

雷锋网 ai 开发者 雷锋网

 

瑞士有一群学过中医的欧洲人