[Linux] 20 Linux System Monitoring Tools Every SysAdmin Should Know

Site Link : http://www.cyberciti.biz/tips/top-linux-monitoring-tools.html


각 유틸리티를 활용한 시스템 Resource Monitor 하기...

크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기

Posted by 삐꾸강아쥐

2010/07/29 17:30 2010/07/29 17:30
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/738

[Red Hat] GFS proto 및 lock table 변경하기 ...

GFS1,2 ( 2는 아직 확인 안 해봤음 호환 될꺼라 생각함 )

GFS Best Practices and Performance Tuning
Configuration and Setup
- Locking, and single to clustered filesystem changes
- Distributed lock management
- Switching from lock_nolock to a clustered filesystem:
- Display the superblock:
-gfs_tool sb /dev/vg00/mygfs all 
## gfs volume 정보 확인

- Change Locking:
-gfs_tool sb /dev/vg00/mygfs proto lock_dlm 
## protocol 변경

- Change Cluster:
-gfs_tool sb /dev/vg00/mygfs locktable mycluster:mygfs 
## locktable 변경

## 상황에 따라선 LVM Locking Type 를 변경 한 후 적용해야 될때도 있다.

기존 2대의 GFS 시스템에서 1대의 Single GFS 로 갈경우 RHCS 가 Start 되어 있지 않아서 LVM 이 Cluster Volume 라고 활성화가 안 된다.

이 경우 일반 LVM 으로 변경 후 Cluster LVM 을 해제 한다. 방법은 아래와 같다.

/etc/lvm/lvm.conf
locking_type=1
to
locking_type=0  ## 1 을 0 으로 변경 한다.

vgchange -aln  ## VG 비 활성화
vgchange -cn VG_Name   ## VG cluster No

/etc/lvm/lvm.conf
locking_type=0
to
locking_type=1  ## 0 을 1 으로 원복 한다.

vgchange -aly  ## VG 활성화
하면 LVM 이 활성화 된다.

그리고 나서 해당 LVM 의 protocol 이나 locktable 을 변경 하면 된다.




크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기(0) 이올린에 추천하기(0)

Posted by 삐꾸강아쥐

2010/07/29 15:13 2010/07/29 15:13
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/736

[Red Hat] Linux Channel Bonding ( RHEL 기준 )

Site Link 1 : http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5.5/html/Deployment_Guide/s2-modules-bonding.html#s3-modules-bonding-directives

RHEL5.5 의 운영 가이드 부분에 포함된 bonding 관련 내용 입니다.

Site Link 2 : https://access.redhat.com/kb/docs/DOC-34633#Configure_bonded_device_on_Red_Hat_Enterprise_Linux_5

Red Hat 의 Knowledgebase 에 있는 내용 입니다. ( 로그인 필요 )

양이 많아서 링크로 대체 합니다.
크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기

Posted by 삐꾸강아쥐

2010/07/22 15:33 2010/07/22 15:33
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/735

[Linux] atop - AT Computing's System & Process Monitor

Site Link : http://www.atoptool.nl/index.php

Description

The program atop is an interactive monitor to view the load on a Linux system. It shows the occupation of the most critical hardware resources (from a performance point of view) on system level, i.e. cpu, memory, disk and network.
It also shows which processes are responsible for the indicated load with respect to cpu- and memory load on process level; disk- and network load is only shown per process if a kernel patch has been installed.

Every interval (default: 10 seconds) information is shown about the resource occupation on system level (cpu, memory, disks and network layers), followed by a list of processes which have been active during the last interval (note that all processes that were unchanged during the last interval are not shown, unless the key 'a' has been pressed). If the list of active processes does not entirely fit on the screen, only the top of the list is shown (sorted in order of activity).
The intervals are repeated till the number of samples (specified as command argument) is reached, or till the key 'q' is pressed in interactive mode.

When atop is started, it checks whether the standard output channel is connected to a screen, or to a file/pipe. In the first case it produces screen control codes (via the curses library) and behaves interactively; in the second case it produces flat ASCII-output.

In interactive mode, the output of atop can be controlled by pressing particular keys. However it is also possible to specify such key as flag on the command line. In the latter case atop will switch to the indicated mode on beforehand; this mode can be modified again interactively. Specifying such key as flag is especially useful when running atop with output to a pipe or file (non-interactively). The flags used are the same as the keys which can be pressed in interactive mode (see section INTERACTIVE COMMANDS).
Additional flags are available to support storage of atop-data in raw format (see section RAW DATA STORAGE).


사용자 삽입 이미지

크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기(0) 이올린에 추천하기(0)

Posted by 삐꾸강아쥐

2010/07/22 15:00 2010/07/22 15:00
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/734

Site Link :https://access.redhat.com/kb/docs/DOC-15252

Issue

If add several hundred GB of RAM to a system, do really need several hundred GB of swap space ?


Environment

Red Hat Enterprise Linux 5


Resolution

Currently Red Hat recommends a linear increase to the amount of swap space on a system as the amount of RAM increases.  Specifically that swap space on a system be twice the amount of RAM when the system has up to 2GB and the amount of RAM plus 2GB when the system has more than 2GB of RAM. This is pretty much the same recommendation as upstream so the reasoning behind it is, the larger the system, the larger memory workload that system will likely encounter.


This no longer makes sense as memory sizes have increased up into the hundreds of GBs range.


The reality is the amount of swap space a system needs is not really a function of the amount of RAM it has but rather the memory workload that is running on that system.  A Red Hat Enterprise Linux 5 system will run just fine with no swap space at all as long as the sum of anonymous memory and system V shared memory is less than about 3/4 the amount of RAM. In this case the system will simply lock the anonymous and system V shared memory into RAM and use the remaining RAM for caching file system data so when memory is exhausted the kernel only reclaims pagecache memory.


Considering that

1) At installation time when configuring the swap space there is no easy way to predetermine the memory a workload will require, and

2) The more RAM a system has the less swap space it typically needs, a better swap space requirements rule for Red Hat Enterprise Linux 5 is:


  • Systems with 4GB of ram or less require a minimum of 2GB of swap space

  • Systems with 4GB to 16GB of ram require a minimum of 4GB of swap space

  • Systems with 16GB to 64GB of ram require a minimum of 8GB of swap space

  • Systems with 64GB to 256GB of ram require a minimum of 16GB of swap space


크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기(0) 이올린에 추천하기(0)

Posted by 삐꾸강아쥐

2010/07/22 14:12 2010/07/22 14:12
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/733

/var/log/messages 에 아래와 같은 형식의 메시지가 뿌려지는 경우가 있다.

server named[18013]: dispatch 0x8face08: shutting down due to TCP receive error: [IP REMOVED]#53: connection reset.
named[8428]: dispatch 0x81eb2b0: shutting down due to TCP receive error: <unknown address, family 48830>: connection reset

본 내용과 관련하여 아래의 링크를 참고 하기 바란다.

link 1 : http://isc.sans.edu/diary.html?storyid=1538&isc=90f7e0cf745ef88d67ec
link 2 : http://marc.info/?l=bind9-users&m=108290465703725&w=2

크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기

Posted by 삐꾸강아쥐

2010/07/01 17:56 2010/07/01 17:56
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/732

[Linux] pidstat 를 이용하여 pid 별 cpu,memory,disk IO 사용률을 확인해 보자

다운로드  : http://pagesperso-orange.fr/sebastien.godard/download.html

리눅스 관련 일을 하다보면 간혹 PID 에 관련하여 cpu, memory, disk IO 에 대한 사용률을 확인해야 할 경우가 있다.
pidstat 은(는) sysstat 에 포함되어져 있으나 RHEL의 sysstat 같은경우 pidstat 를 포함하고 있지 않다.
그러므로 Source 나 SRPM 을 가져다 빌드 해서 써야하는 어려움이 있다.

관련 내용 :
NAME
       pidstat - Report statistics for Linux tasks.

SYNOPSIS
       pidstat  [ -C comm ] [ -d ] [ -h ] [ -I ] [ -l ] [ -p { pid [,...] | SELF | ALL } ] [ -r ] [ -t ] [ -T { TASK | CHILD | ALL } ] [ -u ]
       [ -V ] [ -w ] [ interval [ count ] ]

DESCRIPTION
       The pidstat command is used for monitoring individual tasks currently being managed by the Linux kernel.  It writes to standard output
       activities  for  every  task selected with option -p or for every task managed by the Linux kernel if option -p ALL has been used. Not
       selecting any tasks is equivalent to specifying -p ALL but only active tasks (tasks with non-zero statistics values)  will  appear  in
       the report.

       The pidstat command can also be used for monitoring the child processes of selected tasks.  Read about option -T below.

       The  interval parameter specifies the amount of time in seconds between each report.  A value of 0 (or no parameters at all) indicates
       that tasks statistics are to be reported for the time since system startup (boot).  The count parameter can be specified  in  conjunc-
       tion  with  the  interval  parameter  if this one is not set to zero. The value of count determines the number of reports generated at
       interval seconds apart. If the interval parameter is specified without the count parameter, the pidstat command generates reports con-
       tinuously.

       You can select information about specific task activities using flags.  Not specifying any flags selects only CPU activity.

ex)
추가적으로 옵션은 man 페이지를 참고 하길 바라며, 여기서는 cpu, memory, disk IO 를 확인해 보겠다.

- cpu
# ./pidstat -l -p 7330 2
Linux 2.6.18-194.el5 (backup)   06/15/2010      _x86_64_        (2 CPU)

03:43:34 PM       PID    %usr %system  %guest    %CPU   CPU  Command
03:43:36 PM      7330    0.00    0.00    0.00    0.00     0  sshd: root@pts/0
03:43:38 PM      7330    0.00    0.00    0.00    0.00     0  sshd: root@pts/0
03:43:40 PM      7330    0.00    0.00    0.00    0.00     0  sshd: root@pts/0

- memory
# ../bin/pidstat -r -p 7330 2
Linux 2.6.18-194.el5 (backup)   06/15/2010      _x86_64_        (2 CPU)

03:45:56 PM       PID  minflt/s  majflt/s     VSZ    RSS   %MEM  Command
03:45:58 PM      7330      0.00      0.00   90108   3368   0.16  sshd
03:46:00 PM      7330      0.00      0.00   90108   3368   0.16  sshd
03:46:02 PM      7330      0.00      0.00   90108   3368   0.16  sshd

- disk IO
# ./pidstat -d -p 7330 2
Linux 2.6.18-194.el5 (backup)   06/15/2010      _x86_64_        (2 CPU)

03:44:26 PM       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command
03:44:28 PM      7330      0.00      0.00      0.00  sshd
03:44:30 PM      7330      0.00      0.00      0.00  sshd
03:44:32 PM      7330      0.00      0.00      0.00  sshd


크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기

Posted by 삐꾸강아쥐

2010/06/15 15:49 2010/06/15 15:49
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/730

[Linux] hosid 를 고정 시키자

솔루션중에 License 부분과 관련하여 hostid 로 키를 삼는 경우가 있다.

그러나 해당 hostid 가 IP가 변경되면 hostid 도 변경 된다고 생각 하는 경우가 있다.

그러나 RHEL5 버전을 기준으로 hostid 의 기준 값으로 삼는게 /etc/hosts 의 hostname 과 IP이다
ex)
192.168.100.100 blog.seabow.pe.kr

위 2가지의 값을 가지고 hostid 값을 같는다.

그러나 일반적으로 /etc/hosts 의 hostname 은 loopback 디바이스에 지정을 한다.

ex)
127.0.0.1             blog.seabow.pe.kr localhost.localdomain localhost

이런 경우엔 IP(공인, 사설) 아이피를 변경 하여도 hostid 가 변경되지 않는다. loopback IP를 변경하지 않는다는 전제로

그러나 일부 시스템의 경우는 전자의 경우처럼 공인, 사설 아이피에 hostname 를 지정하는 경우가 생긴다.

그런데 만약 전자의 경우로 사용 하다가 시스템의 IP 가 변경 되는 경우엔  어떻게 hostid 를 고정 시킬 수 있을까?

방법은 간단하다

일단 사용 하려는 IP 를 16 진수로 변환 한다.
RHEL5 에서 친절하게도 관련 프로그램이 들어 있다.

#gethostip
Usage: gethostip [-dxnf] hostname/ip...

해당 프로그램을 이용하여 IP 를 16 진수로 변환 해보자
ex)
# gethostip 192.168.100.100
192.168.100.100 192.168.100.100 C0A86464

그럼 이 값을 바로 쓸 수 있냐???

이것 또한 아니다...

우선 위의 값 "C0A86464" 을 2자리씩 2,1,4,3 순서로 변경 해야 된다.

ex)
C0 A8 64 64(1,2,3,4) -> A8 C0 64 64(2,1,4,3)

또, /etc/hostid 란 파일에 저장을 해야 되지만 바로 적용 시킬수는 없다.

또다른 절차를 거쳐야 한다.

출처 : http://kbase.redhat.com/faq/docs/DOC-21400

#vi hostid.py

from struct import pack

filename = "/etc/hostid"
hostid = pack("I",int("0x210a2501",16)) 
open(filename,"wb").write(hostid)

위의 hostid 대입 값은 0x 에 위에서 대입한 2,1,4,3 순서의 16진수 값을 입력 한다.

# python hostid.py

그리고 /etc/hostid 파일이 생성 되었는지 확인한다.

#ls /etc/hostid -alh
-rw-r--r-- 1 root root 4  5월 14 22:58 /etc/hostid

마지막으로 hostid 를 입력하면 gethostip(2,1,4,3 순서의) 로 확인한 값이 hostid 로 고정된걸 확인할 수 있다.

테스트를 위해서 IP를 바꾸고 값이 변경 되는지 확인하기 바란다.

ps. /etc/hosts에 IP와 hostname 가 제대로 매칭이 되어있지 않으면 000000 와 같은 값을 리턴한다.
크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기(0) 이올린에 추천하기(0)

Posted by 삐꾸강아쥐

2010/05/14 23:13 2010/05/14 23:13
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/727

[Linux] LInux 의 dm-X 와 맵핑된 장치 찾기

리눅스는 device-mapper 의 multipath(mpath0,mpath1) 나 lvm( /dev/vg00/lv00) 에
대해서 실제 Devices 는 dm-X 장치를 사용한다.

하지만 실제 어떤 장치가 dm-X 에 맵핑 되어 있는지는 알기가 쉽지 않다.
ex)
mpath0 -> dm-0
/dev/vg00/lv00 -> dm-1

확인 방법은 아래를 참고 하기 바란다.

# dm-0 에 연결되어 있는 실제 Devices 의 내역
/sys/block/dm-0/slaves

# ls -al
total 0
drwxr-xr-x 2 root root 0 May 12 09:29 .
drwxr-xr-x 4 root root 0 May 12 09:29 ..
lrwxrwxrwx 1 root root 0 May 12 09:29 sda5 -> ../../../block/sda/sda5
lrwxrwxrwx 1 root root 0 May 12 09:29 sdb5 -> ../../../block/sdb/sdb5

# pvs
  PV         VG   Fmt  Attr PSize   PFree
  /dev/sda5  VG0  lvm2 a-   900.41G    0
  /dev/sdb5  VG0  lvm2 a-   900.41G    0

# dm-0 의 Major, minor 넘버
/sys/block/dm-0

# cat dev
253:0

# dmsetup 으로 확인하는 Major, minor 넘버
# dmsetup ls
VG0-data        (253, 0)

]# dmsetup info
Name:              VG0-data
State:             ACTIVE
Read Ahead:        512
Tables present:    LIVE
Open count:        1
Event number:      0
Major, minor:      253, 0
Number of targets: 1
UUID: LVM-qAMVWfCgbM1GlkyJnpue3hj156CjTWXknlknh3KpTQUfToVgnfQRj3hyVysJrolL

# cat /proc/partitions
major minor  #blocks  name

   8     0  976762584 sda
   8     1     104391 sda1
   8     2   31455270 sda2
   8     3    1052257 sda3
   8     4          1 sda4
   8     5  944148051 sda5
   8    16  976762584 sdb
   8    17     104391 sdb1
   8    18   31455270 sdb2
   8    19    1052257 sdb3
   8    20          1 sdb4
   8    21  944148051 sdb5
   9     2   31455168 md2
   9     1    1052160 md1
   9     0     104320 md0
 253     0 1888288768 dm-0
   7     0    3467786 loop0

크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기(0) 이올린에 추천하기(0)

Posted by 삐꾸강아쥐

2010/05/12 13:56 2010/05/12 13:56
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/726

[Linux] Load Average 값을 알아보자

w, top, uptime 등에 보면 load average 값이 나온다
1,5,15 분에 대한 load average 값은 무엇이며, 어떻게 값이 나오는걸까?

w, top, uptime 등등 은  /proc/loadavg 의 값을 참고 하며, .
ex)
# cat /proc/loadavg
0.09 0.04 0.01 1/196 6842

1,2,3 필드는 1,5,15분의 평균 load average 값
4 필드 running(currently  executing  kernel  scheduling  entities ) / total(number of kernel scheduling entities ) Process
5 필드 last running Process ID ( PID of the process that was most recently created on the system )

1,2,3 번의 1,5,15 분간 Load Average 라는것은 1분, 5분, 15분 동안 평균적으로 실행된 프로세스의 수를 의미 한다고 보면 된다.

멘페이지의 내용

man proc
       /proc/loadavg
              The first three fields in this file are load average figures giving the number of jobs in the run queue (state  R)  or  waiting
              for  disk  I/O  (state D) averaged over 1, 5, and 15 minutes.  They are the same as the load average numbers given by uptime(1)
              and other programs.  The fourth field consists of two numbers separated by a slash (/).  The first of these is  the  number  of
              currently  executing  kernel  scheduling  entities (processes, threads); this will be less than or equal to the number of CPUs.
              The value after the slash is the number of kernel scheduling entities that currently exist on the system.  The fifth  field  is
              the PID of the process that was most recently created on the system.


추가적으로 참고 자료 첨부

Red Hat Document 의 /proc/loadavg 에 대한 내용 : http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5.5/html/Deployment_Guide/s2-proc-loadavg.html

링크 1 : http://www.linuxjournal.com/article/9001?page=0,1
링크 2 : http://www.teamquest.com/resources/gunther/display/5/
링크 3 : http://linuxchannel.net/board/read.php?table=alpha&no=124
링크 4 : http://kldp.org/node/616
링크 5 : http://blog.naver.com/neophp/10028811725
크리에이티브 커먼즈 라이센스
Creative Commons License
이올린에 북마크하기

Posted by 삐꾸강아쥐

2010/05/07 11:37 2010/05/07 11:37
이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색, 이올린 태그검색올블로그 태그검색테크노라티 태그검색태그스토리 태그검색티스토리 태그검색
Response
No Trackback , No Comment
RSS :
http://blog.seabow.pe.kr/rss/response/725

« Previous : 1 : 2 : 3 : 4 : 5 : ... 15 : Next »

Recent Trackbacks

Calendar

«   2010/07   »
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

Site Stats

Total hits:
78737
Today:
24
Yesterday:
78
qrcode
QrooQroo code generator