佘晓斌的博客

Google Sheets Python API

1、背景作为一个sql boy 其实基本上大部分的数据均在数据产品做自动化更新了，但是有某些数据因为没有落库(需要excel各种公式计算)，或者是给ceo出日报等，需要比较灵活没有办法放到数据产品上提供服务，这个时候需要把数据放到excel上给到需求方。。。久而久之这样确实是很浪费时间，所以最好的方式是python自动处理计算逻辑，自动写入google sheet(云文档)，需求方...

Posted by 佘晓斌 on September 18, 2022

Hive常用函数小结

hive

1. 窗口函数函数说明 ROW_NUMBER() 从1开始，按照顺序，生成分组内记录的序列，比如，按照pv降序排列，生成分组内每天的pv名次，ROW_NUMBER()的应用场景非常多，再比如，获取分组内排序第一的记录，获取一个session中的第一条refer等 ...

Posted by reprinted articles on April 4, 2020

Ubuntu MySQL安装、卸载以及远程连接

mysql卸载安装

Ubuntu MySQL安装、卸载以及远程连接 1. 安装😃 查看apt list中MySQL版本信息 apt list | grep mysql-server 安装mysql # 会提示让你输入密码（两次） sudo apt-get install -y mysql-server 操作MySQL服务 #启动 sudo servi...

Posted by shexiaobin on March 8, 2020

Hive的安装以及数据源上传

安装hive 下载地址http://mirror.bit.edu.cn/apache/hive/hive-3.1.1/ 1. 解压hive安装包 # 解压 tar -zxvf apache-hive-3.1.1-bin.tar.gz -C ~ # 创建软链接 ln -s apache-hive-3.1.1-bin hive cd hive ls 2.配置HIVE_HOME环...

Posted by shexiaobin on October 28, 2019

婴儿用品数据清洗

使用excel进行数据清洗

三、数据清洗理解数据后，接下来是数据清洗，即数据预处理的过程。数据处理是指对收集到的数据进行加工整理，形成适合数据分析的样式，它是数据分析前比不可少的阶段。数据处理的基本目的是从大量的、杂乱无章、难以理解的数据中，抽取并推导出对解决问题有价值、有意义的数据其中主要包括7个部分，如下图所示：以下是我针对获取的婴儿用品销售信息数据集进行必要的数据清洗过程，其中对不需...

Posted by 佘晓斌 on September 3, 2019

淘宝婴儿用品数据分析

使用excel进行数据分析

前言作为中国深受欢迎的网购零售平台，淘宝网拥有近5亿的注册用户数，每天有超过6000万的固定访客，同时每天的在线商品数已经超过了8亿件，平均每分钟售出4.8万件商品。在对众多商品进行分类后，淘宝网目前主要有十一种一级类目，其中包括母婴用品。近年来，随着母婴行业管理秩序的规范及其商品品质的提升，淘宝母婴用品对消费者散发着巨大的吸引力。2013年12月，我国开始实行单独二孩政策...

Posted by 佘晓斌 on September 3, 2019

淘宝用户行为数据清洗

淘宝用户行为数据

数据清洗查看各字段的数据 -- 查看各字段的情况 SELECT COUNT( DISTINCT tb2_copy1.userId ) 用户数量, COUNT( DISTINCT tb2_copy1.itemId ) 商品数量, COUNT( DISTINCT tb2_copy1.category ) 商品类目数量, count( tb2_copy1.behavior ) AS ...

Posted by shexiaobin on August 17, 2019

MySQL淘宝用户行为分析

使用MySQL进行数据分析

一、提出问题本次分析的目的是想通过对淘宝用户行为数据分析，为以下问题提供解释和改进建议： 1.分析用户使用APP过程中的常见电商分析指标，确定各个环节的流失率，找到需要改进的环节 2.研究用户在不同时间尺度下的行为规律，找到用户在不同时间周期下的活跃规律 3.找到用户对不同种类商品的偏好，找到针对不同商品的营销策略 4.找出最具价值的核心付费用户群，对这部分用户的行为进行分析 ...

Posted by 佘晓斌 on August 17, 2019

MySQL导入上亿级的数据

淘宝用户行为数据

MySQL导入上亿级的数据一、背景最近在天池下载了一份淘宝用户行为数据准备用作数据分析，不过这份数据上亿级别的，所以通过excel或者editplus++是没办法打开的，因此我准备将该数据导入MySQL数据库中，进行后续处理和分析。查看数据情况 windows 电脑: type UserBehavior.csv linux: cat UserBehavior.cs...

Posted by shexiaobin on August 17, 2019

学会用Django框架实现功能(三)

用 Post 方法实现 django 表单

用 Post 方法实现 django 表单使用django自带的表单系统，双向交互 1. Model层 # 评论模型 class Comment(models.Model): name = models.CharField(null=True, blank=True, max_length=200) comment = models.TextField() ...

Posted by shexiaobin on April 22, 2019

{am}xiaobin

Google Sheets Python API

Hive常用函数小结

hive

Ubuntu MySQL安装、卸载以及远程连接

mysql卸载安装

Hive的安装以及数据源上传

婴儿用品数据清洗

使用excel进行数据清洗

淘宝婴儿用品数据分析

使用excel进行数据分析

淘宝用户行为数据清洗

淘宝用户行为数据

MySQL淘宝用户行为分析

使用MySQL进行数据分析

MySQL导入上亿级的数据

淘宝用户行为数据

学会用Django框架实现功能(三)

用 Post 方法实现 django 表单

FEATURED TAGS

ABOUT ME

FRIENDS