觉得自己运气很差怎么办，心态快崩。。求开导

http://www.mitbbs.com/article_t/DataSciences/26253.html

此篇文章共收到打赏
0

分享一个转data scientist失败的经历

http://www.mitbbs.com/article_t/DataSciences/22697.html

发信人: Mathilda (Mathilda), 信区: DataSciences
标  题: 分享一个转data scientist失败的经历
发信站: BBS 未名空间站 (Tue Mar 21 00:46:26 2017, 美东)

交代一下背景，CS master， Bioinformatics PhD。三篇一作，引用量150+,其中两篇
是纯算法。
PhD期间做的是algorithm/pipeline development, classification/clustering 等等
machine learning 方法非常熟悉。ML方向的paper看过很多，书也看过不少，
statistics的书也看，自学了很多。coding能力不错，leetcode 前150道题刷了两遍，
几次面试白板写题部分都过了。 python/R/matlab/java都会都用。
我自以为挺全面的了，找data scientist没问题。结果毕业第一年，提交简历基本没有
回应，最后当了码农。第二年我接着申请，面试拿了不少，大概有十个吧。大部分一轮
之后就没音信，有时候我觉得自己明明发挥得很好，我也不知道为啥没有二面。有几次
二面甚至三面了，最后又挂了。
面试总结，其实很多manager或者director对算法没有啥深入和全面的了解，data
science department就相当于公司的service部门，解决各种data analysis的简单问题
，画画图做做t-test,最多拿几个package/library 做做classification, 对于算法的
理解要求并不深。虽然如此，有的面试官就好像故意得瑟自己懂很多数据分析方面的知
识一样，问一些很不实际的问题。我个人觉得在接触数据之前，这些问题根本没有标准
答案的。一次一个director问我Bayesian network里面的markov blanket是什么，虽然
这么刁钻的问题我都回答出来了，他也没要我。另一次一个从业多年的director级别问
我一个算法问题，我回答了，他说不对应该怎样怎样，我当时觉得奇怪没有反驳，后来
查了一下，我明明说的是对的，他说错了.....还有一个director,面了我三四十道题，
涵盖面非常广，statistics, ML, recommender system ...都问到了，我大多数都回答
出来了，以为有希望最后还是没要我。另外一些面试，coding和ML问题都过了，最后因
为我没咋用过sql和hadoop ecosystem而挂。虽然我没有多少工作经验，这方面的课我
是上过的啊。
历经三个月，最后我被面试伤害的体无完肤生无可恋，已经放弃了，回归老本行了。

【预测】2016年总统大选得票数

http://www.mitbbs.com/article_t/DataSciences/21239.html

发信人: leibniz137 (莱布尼兹), 信区: DataSciences
标  题: 【预测】2016年总统大选得票数
发信站: BBS 未名空间站 (Sat Oct 22 19:46:38 2016, 美东)

这里有人自己建模分析预测今年大选结果么？不讲政治，但是客观数据告诉我Trump会
以压倒性的优势，胜过Clinton，出任下一届美国总统。

下面是我做的一个定量模型预测的得票数结果。

－－－－－－－－－－－－－－－－－－－－－－－－
2016 美国总统选举得票数（Electoral Votes）预测：
－－－－－－－－－－－－－－－－－－－－－－－－

总票数（Total Electoral Votes）：538

可能的得票数范围：
Clinton：117 － 184 （21% - 35%）
Trump：354 － 421 （65%  -  79%）

最可能或者平均期望得票数范围：
Clinton：149 － 156 （27% － 29%）
Trump：382 － 389 （71%  -  73%）

顺便提一下对Clinton最有利、对Trump最不利的两个州：
首先，Mississippi，Clinton最有可能取胜，Trump最有可能失利。
其次，Iowa，Clinton也有较大胜算，Trump的胜算较低。
（注意：模型给出的这两个州的结果，没有基于任何政治方面的因素和信息）

立帖为证，拭目以待大选结果的证实、或者证伪，呵呵。

【声明】：希望不要讨论太多政治观点（比如Trump如何如何，Hillary如何如何），因
为这些没必要，也不是本贴关心的重点。

以前的几个面试

http://www.mitbbs.com/article_t/DataSciences/18319.html

发信人: gomakeitreal (benben), 信区: DataSciences
标  题: 以前的几个面试
发信站: BBS 未名空间站 (Sun Oct  4 01:28:44 2015, 美东)

以前面过几家，就给大家加几个data point.

note: no offer for these.


1) 资本1
- 4 coding online questions (can pick python or R or a few other languages),
nothing particularly hard. so don't remember anymore.
- phone technical interview (3-4 simple short questions, some are about your
projects and how you built your model; the last question do a groupby+sum
using 1 MR to check understanding of MR)
- onsite technical/case interviews (a lot of them are mentioned on mitbbs
already. pretty much the same. nothing new.)
- told fit is not good

2) 空气bnb
- take home exam: given data set, evaluate an AB test.
- onsite exam: 9-930 breakfast, 930-130pm work with 15 min lunch, then
present to a panel of 5 data scientist / pm. data very dirty. a lot of
cleaning and feature creations time. they emphasize on business insight,
which may or may not need sophisticated models. you bring your own laptop.
the exam is only ONE question: how to improve X based on the data. i heard
they have a set of questions to rotate, in case there is leakage.
- no reason given

3) 事件brite
- take-home + onsite: nothing really hard that i remembered, mostly past
projects, and since they wanted to build a prod reco sys. they asked that.
- no lunch provided. (this really sucks, b/c no one would have assumed that
if interview schedule includes noon time)
- they mentioned they are going to be more conscious and tries to look at
profit now. 聊了一下内部，不看好他们。 and not very sophisticated at all (in
terms of technology and models)
- recruiter not very friendly
- told fit is not good

4) 图钉
- take home exam: give you data set, do evaluation, like this is the data i
month 1 & 2, given data, anything really change?.
- did not pursue further

急，跪求答案 (moving avg using spark dataframe window functions)

http://www.mitbbs.com/article_t/DataSciences/17933.html

发信人: ww62 (熊孩子), 信区: DataSciences
标  题: 急，跪求答案 (moving avg using spark dataframe window functions)
发信站: BBS 未名空间站 (Fri Sep  4 19:02:44 2015, 美东)

请教大牛们，如何用window functions来算出 3day moving avg。那个error msg看不
懂呢，为啥要hive context。
多谢了～


例子如下，

from pyspark.sql import Window
from pyspark.sql import SQLContext
import pyspark.sql.functions as func

Table T:

Date       Num
07/01       2
07/02       3
07/03       2
07/04       2
07/05       5
07/06       6
07/07       7

sqlCtx = SQLContext(sc)

T.registerTempTable(“T”)

w = Window.partitionBy(T.Date).orderBy(T.Date).rangeBetween(-2,0)

a = (func.avg(T["Num"]).over(w))

T.select(T["Date"],T["Num"],a.alias("moving_avg"))

Error Msg:
Could not resolve window function 'avg'. Note that, using window functions
currently requires a HiveContext;

给各位转行DS的打打气兼选offer求建议

http://www.mitbbs.com/article_t/DataSciences/17775.html

发信人: cons (+++), 信区: DataSciences
标  题: 给各位转行DS的打打气兼选offer求建议
发信站: BBS 未名空间站 (Mon Aug 31 16:28:09 2015, 美东)

基本情况：

engineering phd，有两三年postdoc的经验，原来的研究和DS都不相关，编程水平也一
般，没有刷题。自学了machine learning，统计，python和R，了解了一些big data的
基本概念，上了OMSCS一门课（machine learning）做了几个course project，准备时
间大概有一年（一边在家带孩子一边准备），找工作之前有两年多的gap，面试开始后
又陆陆续续做了两个公司给的project作为interview的一部分。感觉现在DS的job
market还是挺好的，像我这样半路出家的，没利用任何的熟人referral也还是有一些机
会。

所以给板上各位转行的打打气，想找个工作进入这个行列攒经验，各方面不要要求太高
，还是挺容易的，一定要好好坚持。

现在拿到两个offer，还有几个open的interview，一个在DC （chavy chase），一个在
亚特兰大（285和75交界地）

工作情况：
两个都是大公司
亚特兰大的公司因为在IT部门，给的title是developer，需要做的事情也更杂一些，除
了data science，还包括developer（大多是back end）或者business analyst的工作
内容，周围的同事有很多是business和engineering出身，但公司会培训hadoop然后希
望我来展开应用

DC的公司，新成立的一个data science的组，公司很重视，从decision
science的组分出来一部分人，在扩招，title是data scientist，周围的同事也跟我背
景相似，转行的居多，但都有些data science的经验

待遇上DC的工作比亚特兰大工作的绝对值高出有限，但是医疗保险好很多


家庭情况：
家里有小儿两枚，男孩九岁，女儿两岁半，LG会在相应地区开始找工作，但会有几个月
的gap

问题
对于后续找工作，两个工作机会哪个更有优势？
DC和亚特兰大的生活，教育，方便各种信息？

第一次在工业界找工作，找工作麻烦，选offer也一样头疼，请各位不吝赐教，不胜感
谢！～

大家帮忙看看一个小offer

http://www.mitbbs.com/article_t/DataSciences/17425.html

发信人: cons (+++), 信区: DataSciences
标  题: 大家帮忙看看一个小offer
发信站: BBS 未名空间站 (Sat Aug 15 12:02:02 2015, 美东)

找工作两个多月，本周收获小offer一枚

不是很理想，想着要不要pass，又觉得是个积累经验的好机会，不知如何取舍，想听听
大家的意见。

先说说我的情况吧，engineering的phd（排名30左右），3年研究所postdoc的经验，一
直做modeling和simulation，其中涉及data analysis的工作其实不多

gap两年半因为老二出生，有绿卡

两年内边带孩子边自学data science的open course，2015年刚开始读了OSMCS （
master of CS at Gatech）

今年六月初开始投简历（中途vacation耽误了两周）其他都在陆陆续续的投简历，大概
投了50-60份， 有20%的面试，20%的据信，其他杳无音信。

这个offer是个很新的startup（大概十人左右），在中部地区，是个consulting公司，
base salary大概和junior level data scientist持平，每半年至少涨5000，有stock
option（但是这个貌似也没啥用吧），其他的保险啊，搬家费，杂七杂八其他的还有些
（但对我都意义不大，我自己有保险）

公司挺有诚意，需要招人，还在等我的回复。

我第一次在业界找工作，没有经验，想听听各位的建议，

我倒不是很介意第一份工作的工资，就是不知道这样的startup对于我以后找更好的
data scientist意义有多大？还是再积累下经验，一下找个更好的公司？对了我现在还
有两个open的interview，一个是大公司一个是startup，地点和工作都比目前的offer
要好

纠结和矛盾，任何建议都欢迎，真诚感谢～

data science学习问题

http://www.mitbbs.com/article_t/DataSciences/13003.html

发信人: QW7564301 (hiram leo), 信区: DataSciences
标  题: data science学习问题
发信站: BBS 未名空间站 (Thu Jan 22 13:29:56 2015, 美东)

先简要介绍一下我的情况，我本科是数学的，修了一些统计的课程多元统计，时间序列
分析，计量经济学。现在在美帝东北部一所理工类大学读data science master。 第一
个学期学了数据库和统计学习。这个学期打算选big data management（教hadoop
mapreduce），Data Mining。这两门课都是课量比较大的。

其实也不太清楚到底该不该学data mining，因为感觉好多东西都在统计学习那门课都
学过了。然后主要是最后一门课就比较纠结了。可选的有回归分析（其实不太想选，本科
的计量经济学就学的就是回归分析），贝叶斯统计（这个据说在data science领域很有
用？），biovisulization（数据可视化的，但是坑爹的是应用于生物数据，听到bio有
点反感）。最后就是software system design（软件工程主要用java），因为这门课比
较popular，各种专业的人抢着来上这门课，所以我现在暂时是占着这个坑的。

最后这门课要求的coding比较多，根据同学们反映这门课也能够学到很多东西，很门很
有含金量课。选这门课也是为了熟练一下java编程。问题是这门课比较demanding，如
果真的选了这门课就估计没什么时间再跟网上的算法公开课了，也更加没时间刷算法题
了准备暑期实习了（貌似找data scientist工作也要刷题？）。 而且就和data
science的相关性来看，这门课好像和数据科学没多大的关系。

所以最后很是纠结到底选那门课比较好。求版上的大神们给点建议哈。谢谢了。

暴一下前东家，避免有人入火坑

http://www.mitbbs.com/article_t/DataSciences/11821.html

发信人: wokick (kiss), 信区: DataSciences
标  题: 暴一下前东家，避免有人入火坑
发信站: BBS 未名空间站 (Thu Dec 11 00:03:14 2014, 美东)


前东家是四大之一KPMG的Data＆Analytics部门，大号lighthouse，
在里面混了两年，第一年还不错，第二年新partner过来领导，就
开始变粪坑。具体表现如下

１、表面号称自己做大数据的。其实就是用BI商业软件，鼠标点点，
给人做business　analyst做的数据分析。完全没有技术含量。花了
几十万建了个hadoop　cluster，从来没有用过。但招人的时候把自
己吹得天花乱坠。

２、大老板对技术人员完全不尊重，也不信任。丫是白人，CPA出身
完全不懂技术，大学毕业就在公司混，到快５０才成为partner。对
外面的世界完全不了解。以为发了钱，就可以把技术人员当奴隶。
平时和director级别以下的人，基本没有交流，不知道下面的人的个
性和能力。谁能拍马屁，表示忠诚，就提拔谁。

初来的时候，把自己原先手下一堆不懂技术的director调过来管团队
和销售。这些人对技术完全不了解，所以沟通混乱，频频把技术团队
搞得啼笑皆非。当然，也就卖不动有技术含量的项目。

３、二号人物基本是印度人，像八婆，成天传小道消息。在A面前说
B不好，回头又在B面前说A不好。

４、技术团队负责人是个高丽棒子。嫩，缺乏经验，自视高得不得了，
还心胸特别狭窄。和他意见不符合的人，基本就被隔离。不给机会参加
任何有价值的事情和项目。

５、整体水平很差。没有一个靠谱的software engineer和data scientist
没有专业的项目管理，没有code　review。招进来的人，基本是三流水
准。不小心招来几个能干一点的人，都走了。基本不要想学到东西。

希望看到的同胞避免这家公司。史上最烂管理，最烂文化。进去基本是
浪费生命。

新人／转行怎么成为一个DS

http://www.mitbbs.com/article_t/DataSciences/11341.html

发信人: chaoz (晨钟暮鼓), 信区: DataSciences
标  题: 新人／转行怎么成为一个DS
发信站: BBS 未名空间站 (Mon Nov 24 14:43:24 2014, 美东)

本质上，你需要一些DS project经验，而且这些经验要和credible 机构挂靠。

就好像你卖organic fruit，大家都不知道到底啥是organic，所以你说你的是organic
就是organic。但是你怎么说服人家买你的呢。你得要（添油加醋地）吹你的东西有多
好－通过了这个test那个test；但是那还不够，你还得找个什么organic fruit
association来endorse你一下。

找你们学校的 stat professor or CS professor， ask them if they can use some
免费劳力 to do some 机器学习 stuff - or whatever that is remotely related to
数据科学.

Now magically, you are a DS! And the professor and the school can back you
up for that claim!

Then start looking for real DS jobs.

这些只是帮你看起来像个DS，要真正成为DS，你还是得学习＋实践。问题是这个蛋疼的
世界，如果你看起来不象DS，你连成为DS的机会都没有。