2018-12-09 第十四周周报

[lxs137]

廖祥森

本周工作

• 完成了杰士欣新加的两个功能，后来周总又略微修改了需求。由于扫描条形码的phonegap插件和原本的某个插件不兼容，升级了angular和所有ionic的插件以解决冲突。ionic的兼容性做的有点糟糕，花了好几天在处理这个问题。
• 简单测试了一下AndroidQL的内存占用，大概会多50%以上，但运行效率方面不知道该如何进行测试，要请教一下师兄。

下周工作

• 评估AndroidQL的运行效率

[wdongyu]

王东宇

本周工作

对基于Kubernetes的大数据应用开发环境的基本需求初步进行了一些实现：

• 对于每一个master和slave节点都分别使用helm的方式部署一个Headless Service和一个Pod，完成基础集群的构建；

• 对于不同的用户申请不同的计算资源(Memory、CPU、slave节点数)的需求，通过命令行将需求写入到helm的Values.yaml文件中，然后利用helm上线所需要的集群。同时编写了deploy、down和scale三个脚本，分别完成了用户部署集群、结束集群、调整集群节点的功能；

• 将NFS服务器上的某个文件夹以只读的权限挂载到集群中的master上，实现共享文件区

阅读了几篇Istio的文档与博客：

• 了解Sidecar容器中运行着pilot-agent和envoy两个进程，pilot-agent进程主要负责生成静态的配置文件，其中包含了pilot的xDS server的地址，然后pilot-agent使用这个配置文件来启动envoy进程，这样envoy进程便可以在启动之后利用这个地址动态地获得整个网格的信息，从而完成对出入流量的处理。

下周工作

• 将多个HDFS文件系统正确地挂载到NFS服务器上，并保证它们相互隔离

• 实现更多的需求

想说的话

• 加油

[konnase]

李青坪

本周工作

• 修改ddlp代码，同时支持cpu训练和gpu训练
• 保持ps:worker=1:1，且每台机器上ps和worker成对出现，重新做了gpu上和cpu上的训练，对结果做了可视化。cpu上训练速度几乎呈线性增长

下周工作

• 单机跑两个训练任务和使用容器跑的开销对比
• 不同模型的训练差异
• 不同数据集的训练差异
• ps是否使用gpu的影响

[usernamehcx]

何城贤

本周工作

• 重新设计了在es中的表结果，并在es中加入了中文分词插件，并将之前的爬虫按照讨论的结果重新改写，并将改好的爬虫部署上去
• 在storm上通过shellbolt改写了情感分析算法，处理后的数据成功导入到es中

下周工作

• 通过storm改写之前到数据统计算法，并商讨推荐算法的改写

[jetmuffin]

陈洁

本周工作

• ddlp monitor 修复了一些数据采集的问题，并加了对 docker vth 网卡数据抓取的 monitor
• distributed training 采了一些数据，在 dlkit 上开了一个 notebook 用来分析和可视化
• dlkit 接入 oauth 以及 cephfs，修改 PVC 模式为 flexVolume

下周工作

• 和 @konnase 再针对一些单一变量做一些补充的实验
• 准备 dlkit 演示的例子
• 整理之前 multi-level queue scheduling 的内容，准备毕业设计

[DavidHux]

胡翔

本周工作

质监项目

• 相关性分析 分析法人投资企业相关性。分析投资质量较差的法人和股东；尝试分析较频繁的投资模式。整理相关性分析的实验记录。

下周工作

• 实验特征分析部分。

[tsdjh]

钦明珑

本周工作

• 作业

下周工作

• 作业，备考

想说的话

• 加油

[wazxser]

王月欢

本周工作

• 这周主要马老师那边在帮一个师兄跑实验
• 感觉有点迷茫，看了一些微软的关于深度学习程序在GPU集群中调度的文章，主要提到的是需要多块GPU训练的任务尽量满足locality constriants会效率比较高，一个服务器中的任务应当尽量隔离，避免相互之间的干扰会效率比较高。

下周工作

• 在深度学习程度调度这一方面再继续学习吧

[NAP-GHJ]

葛红军

本周工作

• 优化了微信小助手项目的几个小功能：1、中文输入法：手动进虚拟机将现在部署的20多个虚拟机安装设置使用ADBKeyboard.apk，功能已部署；2、minicap刷新率的问题：在应用启动后，Home键退出应用，使用start activity的方式唤起应用；使用"系统界面调节工具"设置刷新时间为1秒；3、写了一些微信进入不同页面的脚本，还没有部署。
• 基本完成了《基于模型动态调整的Android GUI测试方法》专利的文档
• 解决安卓手机通过socket与PC进行通信的问题，准备将工具的运行过程通过socket将数据展示给前端，其优点主要是比nodejs的版本要实时很多。

下周工作

• 完善一下专利文档；将测试工具结合强化学习的算法，看看实验效果
• 将工具完善为一个完整的系统，准备好毕业设计的思路

[njuywy]

叶炜煜

本周工作

• 继续学习kubernetes官方的scheduler代码。
• 结合一个scheduler的例子对于kubernetes的scheduler运行机制进行学习。

下周工作

• 对于目前的研究问题进一步了解。

[dmemoing]

邓靖

本周工作

• 去日本参加APSEC 2018会议

下周工作

• 实现BFS与DFS相结合的并行测试，进行实验
• 整理论文思路，开始撰写论文

[Toydi]

邱睿

本周工作

• 结合scheduler(简单的kubernetes调度器)了解kubernetes scheduler
• 改写了scheduler项目代码，利用获取到的k8s节点资源状态，实现了kubernetes官方调度器的优选规则LeastRequestedPriority，即如果新的pod要分配给一个节点，这个节点的优先级就由节点空闲的那部分与总容量的比值来决定，而不是原始的随机给节点设置权重的方式。

下周工作

• 了解深度学习程序在kubernetes上的调度问题

[Benjamin15122]

王国畅

本周工作

• 整理ui

下周工作

• 添加数据卷功能与dlkit后台连接