网络编程

  • SQL Developer 客户端图文使用教程

    SQL Developer 客户端图文使用教程

    Oracle SQL Developer是一个免费的、图形化的、集成的数据库开发工具,是SQL Plus的图形化工具。使用SQL Developer,用户可以浏览数据库对象、运行SQL语句和SQL脚本,并且还可以编辑和调试PL/SQL程序。此外,SQL Developer还提供了许多Application Express报表供用户使用,用户也可以创建和保存自己的报表。Oracle SQL Developer使用Java语言编写而成,可以连接到任何9.2.0.1版和更高版本的Oracle数据库,并且可以在Window...

    网络编程 2020-02-24 939 0
  • 如何对抓取的汽车之家车辆参数信息进行数据清洗

    如何对抓取的汽车之家车辆参数信息进行数据清洗

    对汽车之家数据抓取方法可参考我的上一篇文章《汽车之家数据采集用到技术知识总结》,这里介绍数据清洗的方法。一、 车辆参数和选项值对应关系匹配:汽车之家的JSON文件结构如下图所示:可以看到一个参数存在多个属性值的对应关系,这里需要使用SQL中的笛卡尔乘积,将表中的参数和属性一一匹配,语句如下:select ser_id , idx ,  f_name,((idx-1)*ser_num+b.id) as group_id from ...

    网络编程 2019-12-20 998 0
  • 从海量数据中提取汽配商城商品属性和值的方法

    从海量数据中提取汽配商城商品属性和值的方法

    汽车配件商品的产品属性选项,主要是根据对阿里汽车的大量数据分析,确定装饰、导航、配件、装潢和洗车美容等十几个品类的主要参数,供后期开发和测试人员使用。一、 商品数据采集天猫商品都将参数设置在详情页的顶部,这样我们只需要在八爪鱼里写好采集流程,按照不同的商品品类进行抓取,也可以将商品分类写到搜索框里进行统一抓取。然后使用如下SQL语句创建所需要的数据表,方便后续对数据进行处理:SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;...

    网络编程 2019-11-23 846 0
  • 电商项目数据库结构设计说明(上)

    电商项目数据库结构设计说明(上)

    随着项目进展的深入,你会发现如果对于数据结构没有一个准确的把握和理解,那么如同瞎子过河,全靠蒙。作为一个传统的电商项目,最难的地方也就在于数据库中表的关联,以及多表之间的查询关联,缕清表与表之间的关系,那么在后期代码编写中就可以抽丝剥茧,逐步展开。一、商品分类和品牌表的设计我们以某宝的商品分类作为基准,可以看到汽车配件商品涉及的品类繁杂,数量众多,没有一个统一的标准进行精细分类,就连某宝在做三级分类时不得不把分类和品牌进行杂糅,因此这里可以借鉴其一二级分类,三级分类可以作为标签或SKU一部分。这里我们把品牌作为独立...

    网络编程 2019-11-13 704 0
  • 汽车之家数据采集用到技术知识总结

    汽车之家数据采集用到技术知识总结

    在大数据时代,从网络上采集内容成为每个技术人员必须掌握的基本技能,这里边涉及很多知识,本文只就XPath、JsonPath和MySQL的字符串处理函数进行简单介绍。一、使用XPath对XML文档的元素和属性进行遍历XPath(XML Path Language)是一门在XML文档中查找信息的语言。XPath可用来在XML文档中对元素和属性进行遍历。在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。X...

    网络编程 2019-10-01 606 0
  • MySQL数据库优化方案

    MySQL数据库优化方案

    在进行 MySQL 的优化之前必须要了解的就是 MySQL 的查询过程,很多的查询优化工作实际上就是遵循一些原则让 MySQL 的优化器能够按照预想的合理方式运行。数据库优化主要是保持数据库的安全和性能的合理均衡,即保证数据的可持续和高性能访问;数据库优化主要从索引和应用程序SQL语句执行效率,数据库表结构设计,系统配置,存储和主机等硬件等四个方面进行优化。在对MySQL进行优化时考虑的因素:优化成本:硬件>系统配置>数据库表结构>SQL及索引优化效果:硬件<系统配置<数据库表结构&l...

    网络编程 2019-09-23 568 0
  • Centos7 下使用RPM离线安装 MySQL 8.0.13 详细教程

    Centos7 下使用RPM离线安装 MySQL 8.0.13 详细教程

    要安装最新的MySQL 8.0.13到CentOS7上,使用yum安装方式很方便,但是mysql的安装包要从官网下载,速度较慢。改为用rpm安装方式,安装速度就比较快,同时rpm也适合离线安装。一、系统环境配置系统环境:CentOS 7.6.1810 MySQL版本:8.0.13 1、卸载mariadb数据库rpm -qa | grep mariadb yum -y remove mariadb-libs-5.5.52-1.el7.x86_64...

    网络编程 2019-08-21 564 0
  • Oracle数据库的体系结构组件

    Oracle数据库的体系结构组件

    Oracle服务器由两个实体组成:实例和数据库。实例由内存结构和进程组成,而数据库由磁盘上的文件组成。在Oracle服务器上,从物理存储中完全抽象出了逻辑存储。程序员看到的逻辑结构(例如表)不直接与系统管理员看到的物理结构(数据文件)相关。两者的关系由控制文件和数据字典中的结构来维护。我们最常见的数据库环境:一台计算机上一个实例, 打开在本地磁盘上存储的数据库。更复杂的包含多个实例和多个数据库的分布式体系结构不属于OCP考试的范畴(但属于OCM认证的一部分),但你可能在实际中遇到一些有关分布式体系结构的高度概括性问...

    网络编程 2019-06-25 574 0
  • 第五章、 数据控制

    第五章、 数据控制

    SQL定义完整性约束条件的功能主要体现在CREATE TABLE语句和ALTER TABLE语句屮,可以在这些语句屮定义主键、取值唯一的列、不允许空值的列、外键(参照完整性)及其他一些约束条件。在SQL中,数据控制功能包括事务管理功能和数据保护功能,即数据库的恢复、并发控制、数据库的安全性和完整性控制等。本节将主要介绍SQL的安全性控制功能,由于某个用户对某类数据具有何种操作权力是个需求问题而不是技术问题,数据库管理系统的功能是保证这些决定的执行。因此,DBMS必须具备以下功能:将授权的决定告知系统,这是由SQL的...

    网络编程 2019-06-15 513 0
  • 第四章、 数据操纵语言

    第四章、 数据操纵语言

    SQL的数据操纵功能通过数据操纵语言(Data Manipulation Language, DML)实现,用于改变数据库中的数据。数据更新包括插入、删除和修改三种操作,对应INSERT、DELETE和UPDATE 三条语句。在Oracle 12c中,DML除了包括INSERT、UPDATE和DELETE语句之外,还包括TRUNCATE、CALL、EXPLAIN PLAN、LOCK TABLE和MERGE等语句。在本节中将对INSERT、UPDATE、DELETE、TRUNCATE等常用语句进行介绍。一、 INSE...

    网络编程 2019-06-06 516 0