본문 바로가기

나름분류해서써보기173

shell에서 xargs를 이용해 멀티로 wget사용해보기 언제쓰냐면앞에 이미지주소를 뽑아내고 > 그 주소를 변수에 담아 > 특정이름으로 다운로드 할때 test@dev:/tmp/script$ echo http://blabla.com/image/12345/org.jpg | cut -d"/" -f 3 | xargs -I% -P4 wget "http://blabla.com/image/12345/org.jpg" -O ./media/log/"%".jpg HTTP request sent, awaiting response... 200 OKLength: 621247 (607K) [image/jpeg]Saving to: ‘./media/log/12345.jpg’ 100%[============================================================.. 2016. 8. 8.
memcache클러스터구성 (python-memcache 패키지) memcache클러스터구성을 (python-memcache 패키지) 사용할때 느낀점 위주로 적는다. consistent Hasing 서버의 수가 변경되는 상황에서, 리퀘스트를 어떻게 분산처리할까로 부터나온 것으로, 서버의 개수가 변하더라도 전체 데이터에 대한 재분배가 필요없고 K/N의 key만 재분배하면 되도록 되어있는 알고리즘이다. ( https://en.wikipedia.org/wiki/Distributed_hash_table )python-memcache 패키지memcache.set(KEY, value) KEY의 해시값으로 커넥션이-유효한-리얼서버 를 정한다.운영중 문제가 된 서버가 있는 경우? init_server List 로 mod 를 통해 서버를 찾는다. init_server List 는 문제.. 2016. 6. 3.
effective pyton 을 읽고 effective pyton 을 읽고 제너레이터 표현식은 이터레이터로 한번에 한 출력만 만드므로 메모리문제를 피할수있다.range 보다는 enumerate(lazy generator 로 이터레이터를 감싼다.) 를 사용하자.이터레이터를 병렬로 처리 하려면 zip을 쓴다. (길이가 다른 경우에는 itertolls의 izip_longest)for / while 루프 뒤에는 else 블럭을 쓰지말자.try/exception/else/finally 에서 각 블럭의 장점을 이용하자.else블럭 : try 블럭이 예외를 일으키지않으면 else블럭이 실행된다. 즉 try블럭의 코드가 성공적으로 실행된 후, finally 블럭에서 공통처리 코드를 실행하기 전에 사용하면 좋다. 또한 이 블럭은 try/exception 블.. 2016. 5. 16.
cat sort_friends_count_over100_result.log | awk -F "\t" '$2 > 100' | wc -l adbdfcdf21a3ef1 500adbdfcdf21a3ef1 100adbdfcdf21a3ef1 400.... 생략 .. 위 처럼 생긴 파일에서 2번째 필드만 자르기 cat sort_friends_count_over100_result.log | awk -F "\t" '$2 > 100' | wc -l cat sort_friends_count_over100_result.log | awk -F "\t" '$2 > 492 && $2 < 494' | wc -l 위 처럼 생긴 파일 2번째 필드 역순으로 소팅하기 sort -nrk 2 friends_count_over100_result2.log 2016. 3. 23.

티스토리툴바