扫描右侧图片或微信搜索 “ Java技术分享屋 ” ,回复 “ 验证码 ” ,获取验证密码。
本资料仅供读者预览及学习交流使用,不能用于商业用途,请在下载后24小时内删除。如果喜欢,请购买正版!
资料内容
项目经历
智能数据分析项目
2018.01 - 2019.03
项目描述:
智能数据分析项目项目环境:Linux+Uwsgi+Nginx+Django+Pandas+Sklearn 责任描述:1、项目前期后台框架选择、结构环境搭建方案评估2、负责后台接口开发,后端数据处理方法编写3、开发环境、测试环境搭建与项目部署项目流程:前端:通过用户操作构建数据分析流程图,向后台传递数据/参数Django后台:接受参数,根据参数调用算法对数据进行处理建模,将结果返回前端展示算法模型:采用Pandas+Sklearn对数据分析处理分析建模,涉及特征工程字符串索引、数据分箱、one-hot编码、降维,数据,NLP中文分词构建词向量,目标分类,模型保存与加载
涉及技术:Ajax、文件上传、数据处理与分析、中文分词、文本分类、TF-IDF、SVM、模型建模、数据交互等
你的成就:
前后端全栈开发,部署
文档检索项目
2016.02 - 2018.01
项目描述:
运用Flask+ gunicorn 搭建 责任描述: 1、搭建部署基本环境 2、独立完成后台数据库模型设计,负责后台程序编写 3、独立完成前端展示代码编写 4、独立完成测试、项目部署与后期维护 项目流程:搭建后台,用户输入词汇,后端通过对数据库检索匹配,返回前端展示 涉及技术: 中文分词技术
你的成就:
前后端独立从开发到上线完成此项目
爬虫项目
2016.01 - 2018.01
项目描述:
责任描述:编写爬虫程序,想出反反爬策略,数据清洗可视化
项目概况: 1、需要爬取的数据经过分析,考虑到数据量较多,采用scrapy-redis进行爬取,因为该框架实现url和数据去重、持久化、分布式比较方便,同时应用RedisSpider构建分布式爬虫,爬取更快2、数据提取,对提取中的异常情况充分考虑,完善优化代码,增加代码强壮型3、考虑网站能否打开和打开时间问题,一般需要加异常判断、超时、retry等减少报错4、爬取的数据通过redis集合、sha1加密,等技术手段,实现新提取的数据保存,已爬过的数据更新的断点续爬功能5、对爬取到的数据,通过matplotlib生成直方图、条形图、散点图、饼图、词云等,多维度展示分析数据,并撰写数据分析报告,供需求方对数据有直观的了解
独立完成部署、数据爬取、清洗过滤、可视化
你的成就:
独立开发爬虫系统并部署,获取到的数据独立处理清洗与可视化
电商项目
2016.01 - 2018.01
项目描述:
电商项目: 项目环境:Linux+Uwsgi+Nginx+Django 责任描述:编写部分模块代码,偏重业务逻辑 1、django-celery实现异步,耗时操作发邮件通过celery执行 2、前后端交互,数据库中关于商品信息字段的增删改查 3、redis缓存,对常浏览的商品存放redis,高效访问设计技术: redis缓存、django数据库交互
你的成就:
兼顾多个模块开发