2018-12-02 第十三周周报

[lxs137]

廖祥森

本周工作

• 把之前孟占帅师兄的AndroidQL跑起来了，native层的代码大致看了一遍。这个工作主要的思路是：劫持jdwp的信道实现android native层与client的通信；收到client的初始化请求后，强制GC，suspend所有线程，强制切换ART以解释器模式运行（这一点还没弄清楚）；修改ART的解释器代码，在所有指令的处理逻辑中插桩，注册listener。
• ESXI中DataCenter的文件管理：遇到了一些问题，拷贝DataCenter中的文件是通过创建CopyDatastoreFileTask来完成的，但由于拷贝速度过慢，导致Task会持续很长时间，而这种Task会被ESXI提前终止。

下周工作

• 把杰士欣新加的两个需求完成
• 弄明白是如何强制让ART以解释器模式运行的，以及这个做法是否具有通用性。

[tsdjh]

钦明珑

本周工作

• 各种作业

下周工作

• 各种作业

想说的话

• 提高效率

[wdongyu]

王东宇

本周工作

• 作为大数据课程的助教，对之前的大作业MapReduce代码进行调整，主要修改了数据集的读取方式并通过交叉验证来对准确率进行了预测

• 对于kubernetes中的CRD，需要自定义相关的Controller来进行解析。阅读了一个sample-controller的部分源代码，了解其大致原理：每个Resource在定义后，添加若干的Informer来对其进行追踪，当相关的Resource发生变化时，调用相关的回调函数来进行处理，并由worker来执行真正的处理工作，最后通过client-go来与API-server进行交互

下周工作

• 继续对自定义Controller的具体过程(如client-go部分)进行更深入的了解

想说的话

• 加油

[usernamehcx]

何城贤

本周工作

• 在kubernetes上将爬虫任务跑了起来，数据成功导入es中
• 将中创那边的舆情系统的爬虫部署在虚拟机上，并将数据也导入到了es

下周工作

• 对之前舆情系统的爬虫部分按照讨论的结果改写，尽快将改好的爬虫部署上去

想说的话

• 抓紧时间

[jetmuffin]

陈洁

本周工作

• [oauth] 为 ICS LDAP 增加了 oauth provider，鉴权方式和 github/google oauth 一致，尝试把 DC 的登录改为 ICS oauth，未果（dcos-ui 的鉴权和一般的 oauth 不太一样，需要 iframe 往外发 token）
• [dlkit] 接入了 ICS LDAP；之前 gluster overlay storage 经常会出现故障（gluster-operator 有问题，lvm 的 lv 申请释放经常出现泄漏，导致机器重启），现在改到用 ceph-block 加 ceph-fs，测试了下分配 storage 速度比原来快（原来 gluster 需要 10-20s，现在大概 2-3s）
• [ddlp] 解决了原来的 perf 在 docker container 内故障问题（内核版本不兼容），现在 monitor 以 sidecar container 形式和 benchmark 在一个 pod 里，具体 @konnase 应该会提到。

下周工作

• [dlkit] 在 workspace 中允许接 tensorboard 来显示训练进度，用 tf-serving 来部署训练后的 model
• [ddlp] 从已经跑的几组数据上看，gpu utilization 偶尔会出现使用量抓不到的问题，需要分析和解决
• [ddlp] profiling 需要控制的变量比较多（resource/placement），根据需要的目标设计好几组实验，写一些代码分析和可视化 profiling 结果

[dmemoing]

邓靖

本周工作

• 准备apsec的ppt以及讲稿

• 实现BFS与DFS结合的并行测试，目前实现了一个简单版本，在MainActivity使用BFS进行并发，并发产生的任务都进行DFS探索，对淘宝进行了测试，单个手机直接进行DFS测试一小时能发现52个activity，使用两台手机进行并行测试可以发现67个，调度策略以及DFS测试方法都还需要改进

下周工作

• 修改调度策略以及DFS测试方法，提升工具的测试效果

[NAP-GHJ]

葛红军

本周工作

• 修改了两稿apsec 的ppt以及讲稿，理清了ppt的思路和工作的亮点和缺点，在之后的工作中要继续做好基于wg的分层模型和反馈策略(结合马尔科夫决策链，强化学习Q-learning)
• 在准备PPT的过程中，主要详细看了两篇论文《Multi-level》以及ASE 18的论文，这两篇论文是对我工作很重要的support
• 继续写了一些专利的文档

下周工作

• 把专利文稿剩余的部分写完，画一些流程图和系统架构图
• 完善毕业设计的思路

[wazxser]

王月欢

本周工作

• 了解了一下kubernetes怎么使用自己写的scheduler，把自己写的scheduler的可执行文件生成镜像，部署到kubernetes kube-system namespace中，之后在部署pod的配置文件中可以通过schedulerName来指定特定的scheduler，在本地实验了一下，部署scheduler时从本地仓库拉取镜像失败，还没解决。
• 大概看了另一个定制scheduler的项目，获取资源的方式也是通过api server。

下周工作

• 目前自己写scheduer的话没有什么思路，再多看一些其他scheduler的实现代码。

[konnase]

李青坪

本周工作

• @jetmuffin 解决了perf在container中的问题，遂去掉了通过ssh执行monitor的方式，改为sidecar形式，即为每一个pod创建两个container：benchmark container和monitor container。在调度pending pods的时候会给monitor传入启动命令
• 保持ps:worker=1:1，将ps放在167和168上，worker放169和170上；保持ps:worker=1:1，且每台机器上ps和worker成对出现。跑了几组实验，需要针对结果写一些分析代码
• 阅读OSDI16论文tensorflow
  • local device训练也能使用多个cpu core或者gpu card进行模型并行
  • Node placement：对计算流图进行simulation，得到每个node（比如CNN中的某一层）可放置的devices（CPU or GPU），然后使用贪心策略选出各个devices中node执行时间最短的作为该node放置的device。这是针对模型并行的设计
  • future work提到使用强化学习做node placement
  • 有个内置工具EEG可以拿到不同时刻CPU和GPU由计算流图中的哪些node占用

下周工作

• 控制变量，得到多组实验结果，写一些分析结果的代码

[DavidHux]

胡翔

本周工作

• 质监 分析地址企业相关性。对所有注册企业，找出注册地址相同或相似的情况，检测套牌企业等，
• 分析质量和法人的相关性。分析出存在质量问题的法人或者投资人，给出不合格产品占比较多的法人，并给出排序。

下周工作

• 分析法人投资企业相关性，法人投资关系图谱等。

[Toydi]

邱睿

本周工作

• 仔细阅读了scheduler项目代码，尝试利用获取到的k8s节点资源状态，实现kubernetes官方调度器的优选规则，而不是原始的随机给节点设置权重的方式
• 在集群上部署了自定制的scheduler，看了kubernetes官方的scheduler代码。

下周工作

• 实现kubernetes官方的优选打分调度策略。

[Benjamin15122]

王国畅

本周工作

• 完成了oauth验证，已与后台连接
• 辅助中创的同事们进行前端开发

下周工作

• 用minikube部署一个测试用后台
• 对dlkit进行UI美化，组件更换

想说的话

• 加把劲

[njuywy]

叶炜煜

本周工作

• 跑了一下获取kubernetes内存和cpu资源的代码，完善获取资源部分的接口。
• 阅读kubernetes官方的scheduler代码，了解了一下scheduler的运行机制。

下周工作

• 继续学习scheduler的运行机制。