-
Apache Spark Delta Lake写数据使用及实现原理代码解析
所属栏目:[教程] 日期:2019-10-03 热度:153
Delta Lake 写数据是其最基本的功能,而且其使用和现有的 Spark 写 Parquet 文件基本一致,在介绍 Delta Lake 实现原理之前先来看看如何使用它,具体使用如下: df.write.format(delta).save(/data/yangping.wyp/delta/test/) //数据按照dt分区 df.write.f[详细]
-
Linux TCP/IP协议栈,数据发送接收流程,TCP协议特点
所属栏目:[教程] 日期:2019-10-03 热度:51
可以毫不夸张的说现如今的互联网是基于TCP/IP构建起来的网络。弄懂协议栈的原理,无论对调试网络IO性能还是解决网络问题都是有很大帮助的。本片文章就带领大家来看看内核是如何控制网络数据流的。 TCP特点 我们都非常清楚TCP协议设计的初衷,就是保证数据[详细]
-
苹果野心获支持 无人驾驶获路测许可
所属栏目:[教程] 日期:2019-10-03 热度:133
【51CTO.com原创稿件】Business Insider带来了***的消息:苹果公司今日获得加州车辆管理部门DMV的许可证,这意味着苹果可以在加州公路上测试无人驾驶汽车。苹果这次要测试的是2015款雷克萨斯RX450h,同时,有6名驾驶员获得此次智能驾驶测试操作资格。 苹果[详细]
-
5G、自动驾驶、人工智能都到什么阶段了?一张图就能看懂
所属栏目:[教程] 日期:2019-09-28 热度:51
8月29日,全球最具权威的IT市场研究与咨询公司Gartner,发布了2019年度新科技的技术成熟度曲线(Hype Cycle,以下简称「Gartner曲线」)。简单来说,这是一条描述新技术产生后社会预期随时间变化的曲线,它能呈现新技术的市场热度和现实发展的偏离程度,从而[详细]
-
Java性能之优化RPC网络通信
所属栏目:[教程] 日期:2019-09-28 热度:74
服务框架的核心 大型服务框架的核心:RPC通信 微服务的核心是远程通信和服务治理 远程通信提供了服务之间通信的桥梁,服务治理提供了服务的后勤保障 服务的拆分增加了通信的成本,因此远程通信很容易成为系统瓶颈 在满足一定的服务治理需求的前提下,对远[详细]
-
非结构化数据在人工智能中的作用
所属栏目:[教程] 日期:2019-09-28 热度:101
人工智能(AI)系统的交互过程更像人类,这让一些人感到不舒服,但人工智能并不是要取代人类。实际上,它更多的是把机器人从人类身上移除。人工智能的价值很大一部分在于自动化人工过程和快速分析大量数据,这样人类就可以自由地完成需要理性和判断力的高阶[详细]
-
Wi-Fi 6:千兆带宽接入势在必行
所属栏目:[教程] 日期:2019-09-28 热度:67
作为最重要的基础设施之一,光纤宽带已经走进亿万家庭,截止2019年7月,光纤宽带用户数量超过4亿,百兆以上光纤宽带用户占比78.3%,200M宽带正在成为主流套餐。然而,家里的Wi-Fi 体验却不如无线连网速度快。 实际上,运营商的光纤宽带入户只是到了门口的[详细]
-
一文讲弄懂什么是vlan、三层交换机、网关、DNS、子网掩码、MAC地址
所属栏目:[教程] 日期:2019-09-28 热度:121
上次我们发布了什么是arp地址?什么是arp攻击?如何利用arp命令解决网络故障,很多朋友多次问到什么是网关、dns、子网掩码,三层交换机,它们定位的用途;确实,因为网络技术在弱电中确实应用非常广泛,我们平时在vip技术群中也是不断的讨论到网关、vlan、三[详细]
-
深度分析IOT的七大通信协议
所属栏目:[教程] 日期:2019-09-27 热度:89
在物联网协议中,一般分为两大类,一类是传输协议,一类是通信协议。传输协议一般负责子网内设备间的组网及通信;通信协议则主要是运行在传统互联网TCP/IP协议之上的设备通讯协议,负责设备通过互联网进行数据交换及通信。那么物联网都有哪些通信协议呢? 一[详细]
-
FTP与SFTP两者有什么区别
所属栏目:[教程] 日期:2019-09-27 热度:157
在实际项目开发中最常使用的文件传输的方式有ftp和sftp两种,但是这两个传输方式各有什么特点呢?本文接下来将讨论SFTP、FTP的区别。 一、FTP协议 FTP是TCP/IP协议组中的协议之一,TP协议由两个部分组成: FTP服务器(用来存储文件) FTP客户端(用户可以使用F[详细]
-
中国移动黄宇红:中国移动要做5G赋能各行业的开拓者
所属栏目:[教程] 日期:2019-09-27 热度:183
8月8日,中国移动研究院副院长黄宇红在新动能陕耀5G智慧城市论坛暨5G专网创新成果发布活动上表示,中国移动从需求定义、标准制定、技术创新、产业构建、垂直行业应用拓展五个方面做了大量的工作,有效推动了5G端到端产业的成熟与发展。 01中国移动成为全球[详细]
-
数据科学领域的核心技能和新兴技能分别有哪些?
所属栏目:[教程] 日期:2019-09-27 热度:73
近年来随着大数据的迅速发展,各种各样的数据分析技能也逐渐大热,为了找到数据科学领域目前最常用的技能和未来最流行的应用趋势,我们进行了一项调查。 我们确定了数据科学技能的两个主要类别:一个是大多数受访者拥有的13种核心技能,另一个是大多数还没[详细]
-
带你认识HDFS和如何创建3个节点HDFS集群
所属栏目:[教程] 日期:2019-09-27 热度:182
在本文中,大数据专家将为您介绍如何使用HDFS以及如何利用HDFS创建HDFS集群节点。 我们将从HDFS、Zookeeper、Hbase和OpenTSDB上的系列博客开始,了解如何利用这些服务设置OpenTSDB集群。在本文中,我们将探究HDFS。 HDFS Hadoop分布式文件系统(HDFS)是一种[详细]
-
5G发牌百日,浪潮云海推动“高新视频”从概念走向落地
所属栏目:[教程] 日期:2019-09-27 热度:130
日前,基于5G的高新视频新概念被提出。对于高新视频业务,浪潮云海在实施广电互联互通融合媒体云平台项目时已有一定了解,未来浪潮云海将发挥在大规模行业云方面的积累,推动高新视频产业从概念走向落地。 2019年6月6日,中国广电获得5G商用牌照,距今已百[详细]
-
如何保护5G基础设施
所属栏目:[教程] 日期:2019-09-27 热度:153
使用电子访问控制可以对5G基础设施进行物理安全管理。 如今,移动计算和通信的5G时代正在迅速向前发展。5G代表了第五代无线基础设施,这是大规模的网络技术。它可以提供更快的数据传输速率,甚至可以减少需要大量数据的应用程序的延迟、高带宽以及更多的连[详细]
-
如何高效地进行数据建模
所属栏目:[教程] 日期:2019-09-27 热度:76
理解数据是控制任何企业的先决条件。但只有当这些知识能够被分享和传播时,理解才是有用的。有效的数据建模应该是任何企业架构师的首要关注点。 在我的上一篇文章中,我认为理解一个企业的数据是指导一个企业的核心。但理解只是问题的一半。另一半是能够记[详细]
-
5G时代可能才是最难的时代
所属栏目:[教程] 日期:2019-09-27 热度:111
当我们谈5G营销的时候,我们在谈论什么? 由于今年的整体大环境不好,正好现在处于4G转5G的前期节点上,不少人把营销的希望寄托在5G上,但可惜的是,5G救不了营销,甚至会让营销变得越来越难做。 5G无疑会让广告行业和广告表现形式发生巨大的变化,有一些观[详细]
-
Wi-Fi 6无需再观望 此前遭遇“四无”阻碍普及
所属栏目:[教程] 日期:2019-09-27 热度:95
尽管Wi-Fi 6无线技术已出现了两年多,当时它还遵循着802.11ax的习惯叫法,但似乎相比Wi-Fi 5(802.11ac)的持续增长,人们对于Wi-Fi 6的设备仍持谨慎的观望态度。直到本月中旬行业联盟启动了Wi-Fi 6无线标准的认证工作,一时间才让这个新标准再度赢回了不少[详细]
-
Python学完工作不好找?看看数据分析可视化都可以做什么
所属栏目:[教程] 日期:2019-09-26 热度:115
大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活。(大数据被叫烂了,所以用低调的方式来解释我们的初心) 第一步:开工,为基金服务 恰巧[详细]
-
简单的介绍一下大数据中最重要的MapReduce
所属栏目:[教程] 日期:2019-09-26 热度:139
MapReduce执行流程图 概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MapReduce是分布式运行的,由两个阶段组成:Map和Reduce,Map阶段是一个独立的程序,有很多个节点同时运行,每个节点处理一部分数据[详细]
-
三种方法告诉你项目超过255个摄像机怎么设置IP?为什么ip地址通常以192.168开头?
所属栏目:[教程] 日期:2019-09-26 热度:197
我们做弱电的,与ip地址接触最多,无论是弱电的哪方面,都需要跟ip地址打交道,通常我们也会经常听到公网、内网?那什么是公网ip地址呢?什么是私网ip地址呢?为什么我们常见到的ip地址以192.168开头呢? 还有就是一个网段只能容纳254个摄像机,但是我现在项目[详细]
-
关于MU-MIMO Wi-Fi,需要了解的10件事
所属栏目:[教程] 日期:2019-09-25 热度:110
多用户MIMO允许多个Wi-Fi设备同时接收多个数据流。例如,无线接入点(AP)可以同时向四个不同的Wi-Fi设备发送数据。MU-MIMO可以极大地提高网络的吞吐量,是高密场景的一项重要指标。 MIMO是多输入多输出的缩写,自10年前引入的802.11n无线标准的单用户模式(S[详细]
-
100 个网络基础知识普及,看完成半个网络高手
所属栏目:[教程] 日期:2019-09-25 热度:61
本篇文章是关于100个网络基础知识普及,看完成半个网络高手!下面,我们一起来看。 1)什么是链接? 链接是指两个设备之间的连接。它包括用于一个设备能够与另一个设备通信的电缆类型和协议。 2)OSI 参考模型的层次是什么? 有 7 个 OSI 层:物理层,数据链路[详细]
-
不同网段的弱电系统设备之间如何互访?
所属栏目:[教程] 日期:2019-09-25 热度:68
企业随着员工或部门的增多,增加了一个路由器,分了两个网段,A子网和B子网处于不同网段,当网络中存在多个路由器时,要求不同路由器下属的子网可以互相通讯,同时又可以通过宽带路由器上网,这如何实现? 一、案例情景1 企业通过一台路由器R1上网,局域网L[详细]
-
IP地址分配与中继设备
所属栏目:[教程] 日期:2019-09-25 热度:96
1. TCP/IP模型 TCP/IP协议是在OSI参考模型出现之间就被开发的,并广泛部署在计算机网络中。但是,后来由于概念混淆,TCP/IP模型的层次和名称往往与OSI模型的层次名称相互借用。如图1.所示。 图1. OSI模型与TCP/IP模型对比 TCP/IP是一个由许多单独协议组成[详细]