Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíÆ½Ì¨)

Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíÆ½Ì¨)

V0.5.1Ãâ·Ñ°æ
Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíÆ½Ì¨)

Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíÆ½Ì¨)

[V0.5.1Ãâ·Ñ°æ]
È˹¤¼ì²â£¬°²ÐÄÏÂÔØ
Èí¼þͶËß
·ÖÀà
ÍøÒ³Ô´Âë
´óС
1.1MB
ÓïÑÔ
¼òÌåÖÐÎÄ
Èí¼þÊÚȨ
Ãâ·ÑÈí¼þ
ƽ̨
WinAll
¸üÐÂʱ¼ä
2025-02-19

CrawlabÊǸù¾ÝGolangµÄ·Ö²¼Ê½ÅÀ³æ¹ÜÀíϵͳ£¬ÊÊÓÃPython¡¢NodeJS¡¢Go¡¢Java¡¢phpµÈ¶àÖÖ¶àÑù¼ÆËã»úÓïÑÔ¼°Æä¶àÖÖ¶àÑùÅÀ³æ¼Ü¹¹£¬·Ö³ÉDocker¡¢Á¢¼´²¼Êð¡¢KubernetesÈýÖÖ°²Ñb·½·¨£¡

Èí¼þ¼ò½é

¡¡¡¡Crawlab¼Ü¹¹£º

¡¡¡¡CrawlabµÄ¼Ü¹¹°üº¬ÁËÒ»¸öÖ÷½Úµã£¨Master Node£©ºÍºÃ¼¸¸ö¹¤×÷½Úµã£¨Worker Node£©£¬¼°Æä³Ðµ£Í¨Ñ¶ºÍÊý¾ÝÐÅÏ¢´¢´æµÄ360030.html">RedisºÍmongodbÊý¾Ý¿â²éѯ¡£

¡¡¡¡Ç°¶Ë¿ª·¢ÔËÓÃÏòÖ÷½ÚµãÒªÇóÊý¾ÝÐÅÏ¢£¬Ö÷½Úµã¸ù¾ÝMongoDBºÍRedisÀ´Ö´ÐÐÈÎÎñ·¢·ÅÉú²úµ÷¶È¼°Æä²¼Ê𣬹¤×÷½Úµã½Óµ½Ã¿ÈÕÈÎÎñÒԺ󣬸տªÊ¼ÊµÐÐÅÀ³æÃ¿ÈÕÈÎÎñ£¬²¢½«Ã¿ÈÕÈÎÎñ½Y¹û´¢´æµ½MongoDB¡£¼Ü¹¹Ïà¶ÔÐÔÓÚv0.3.0ÒÔǰµÄCelery°æ±¾ºÅÓÐÒ»¶¨µÄ¾«¼õ£¬È¥³ý¿ª¶àÓàµÄ½Úµã¼à¹Ü¿ØÖÆÄ£¿éFlower£¬½Úµã¼à¹Ü¹Ø¼üÓÉRedis½øÐС£

¡¡¡¡Ö÷½Úµã

¡¡¡¡Ö÷½ÚµãÊÇÈ«²¿Crawlab¼Ü¹¹µÄ¹Ø¼ü£¬¹éÊôÓÚCrawlabµÄ¶àýÌåϵͳ¡£Ö÷½Úµã³Ðµ£Óëǰ¶Ë¿ª·¢ÔËÓÿªÕ¹Í¨Ñ¶£¬²¢¸ù¾ÝRedis½«ÅÀ³æÃ¿ÈÕÈÎÎñÅÉ·¢Ë͸ø¹¤×÷½Úµã¡£ÁíÍ⣬Ö÷½Úµã»áͬši£¨²¼Êð£©ÅÀ³æ¸ø¹¤×÷½Úµã£¬¸ù¾ÝRedisºÍMongoDBµÄGridFS¡£

¡¡¡¡¹¤×÷½Úµã

¡¡¡¡¹¤×÷½ÚµãµÄ¹Ø¼ü×÷ÓÃÊÇʵÐÐÅÀ³æÃ¿ÈÕÈÎÎñºÍ´¢´æÅÀÈ¡Êý¾ÝÐÅÏ¢ÓëϵͳÈÕÖ¾£¬¶øÇÒ¸ù¾ÝRedisµÄPubSub¸úÖ÷½ÚµãͨѶ¡£¸ù¾ÝÌáÉý¹¤×÷½Úµã×ÜÊý£¬CrawlabÄܹ»±£Ö¤ºá×ÅÍØÕ¹£¬²»Ò»ÑùµÄÅÀ³æÃ¿ÈÕÈÎÎñÄܹ»·ÖÅɵ½²»Ò»ÑùµÄ½ÚµãÉÏʵÐС£

¡¡¡¡MongoDB

¡¡¡¡MongoDBÊÇCrawlabµÄÔË×÷Êý¾Ý¿â²éѯ£¬´¢´æÓнڵ㡢ÅÀ³æ¡¢Ã¿ÈÕÈÎÎñ¡¢¼Æ»®ÈÎÎñµÈÊý¾ÝÐÅÏ¢£¬´ËÍâGridFSÎĵµ´¢´æ·½·¨ÊÇÖ÷½Úµã´¢´æÅÀ³æÎĵµ²¢Í¬šiµ½¹¤×÷½ÚµãµÄÕýÖмäýÌå¡£

¡¡¡¡Redis

¡¡¡¡RedisÊÇÊ®·Ö»ð±¬µÄKey-ValueÊý¾Ý¿â²éѯ£¬ÔÚCrawlabÖйؼüÍê³É½Úµã¼äÊý¾ÝͨѶµÄ×÷ÓᣱÈÈ磬½Úµã»á½«×ÔÉíÐÅÏ¢ÄÚÈݸù¾ÝHSET´¢´æÔÚRedisµÄnodeshachĿ¼ÖУ¬Ö÷½ÚµãÒÀ¾ÝhachĿ¼À´·Ö±æÏßÉϽڵ㡣

¡¡¡¡Ç°¶Ë¿ª·¢

¡¡¡¡Ç°¶Ë¿ª·¢ÊÇÒ»¸ö¸ù¾Ývue-Element-AdminµÄµ¥Ò³Ó¦Óá£ÔÚÆäÖÐÆ÷ÖØÁËÐí¶à Element-UIµÄ¿ØÖÆÀ´ÊÊÓÃÏà¶ÔµÄÕ¹ÏÖ¡£

Ïà¹Ø×¨Ìâ
ÅÀ³æ¹¤¾ß 41¿î

¶àÌØÈí¼þרÌâΪÄúÌṩÅÀ³æ¹¤¾ß,ÍøÕ¾ÅÀ³æ¹¤¾ß,ÍøÒ³ÅÀ³æ¹¤¾ß;°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£¶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«¹¤¾ßÏÂÔØ

»¥ÁªÍø×ÊѶÅÀ³æ¹¤¾ß
»¥ÁªÍø×ÊѶÅÀ³æ¹¤¾ß
¸üÐÂÈÕÆÚ£º2025-02-19
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-04-27
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-05-02
С˵ÅÀ³æ
С˵ÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ÃÔÄãÅÀ³æ
ÃÔÄãÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ÓÎÃñÅÀ³æ
ÓÎÃñÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-05-04
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ÅÀ³æÂÃÓÎ
ÅÀ³æÂÃÓÎ
¸üÐÂÈÕÆÚ£º2025-02-19
ÈÎÎñÇåµ¥Èí¼þ 34¿î

£»ÏÂÃæµÄС°æ±¾ÍƼöÁËһЩʵÓõÄÒÆ¶¯ÈÎÎñÁбíÈí¼þ£¬Ëü·Ç³£ÊʺÏÉÌÎñ°×Áì¡¢¼ÒÍ¥Ö÷¸¾¡¢×游ĸºÍѧÉú¸´Ï°¿¼ÊÔ¡£Í¨³££¬ÒòΪÓÐÌ«¶àµÄÊÂÇéÐèÒªµ£ÐÄ£¬ÓÐЩÊÂÇé¿ÉÄܻᱻÍü¼ÇÈ¥×ö£¬»òÕßÊDz»ºÏÀíµÄ¡£¼Æ»®°²ÅÅ×öÊÂÇ飬µ¼ÖÂÊÂÇ飬ÈÎÎñûÓÐÍê³É£¬ËùÒÔÏÂÃæÇë´ó¼Ò¿´¿´Ð¡±à´øÀ´µÄÊÖ»úÈÎÎñÁбíÈí¼þ¡£¶àÌØÊÖÓÎרÌâΪÄúÌṩÈÎÎñÇåµ¥Èí¼þ,ÿÈÕÈÎÎñÇåµ¥Èí¼þ¡£°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£

MACÁбíÉú³É¹¤¾ß
MACÁбíÉú³É¹¤¾ß
¸üÐÂÈÕÆÚ£º2025-02-19
HanLinѧϰÈÎÎñ½ø¶ÈÈí¼þ
HanLinѧϰÈÎÎñ½ø¶ÈÈí¼þ
¸üÐÂÈÕÆÚ£º2025-05-18
͸Ã÷ÈÎÎñÀ¸Èí¼þ
͸Ã÷ÈÎÎñÀ¸Èí¼þ
¸üÐÂÈÕÆÚ£º2025-05-01
ToDoList(ÈÎÎñ¹ÜÀíÈí¼þ)
ToDoList(ÈÎÎñ¹ÜÀíÈí¼þ)
¸üÐÂÈÕÆÚ£º2025-04-28
ѰÕÒÎó»áÎÒµÄÊÂÇé
ѰÕÒÎó»áÎÒµÄÊÂÇé
¸üÐÂÈÕÆÚ£º2025-05-08
¡¶ºÃÊÂÇé¡·PPTÏÂÔØ
¡¶ºÃÊÂÇé¡·PPTÏÂÔØ
¸üÐÂÈÕÆÚ£º2025-02-19
¡¶ºÃÊÂÇé¡·PPT¿Î¼þ
¡¶ºÃÊÂÇé¡·PPT¿Î¼þ
¸üÐÂÈÕÆÚ£º2025-02-19
´óÄðïÄú¼ÇÊÂÇé
´óÄðïÄú¼ÇÊÂÇé
¸üÐÂÈÕÆÚ£º2025-04-24
¸ãÊÂÇé°¡±íÇé°ü
¸ãÊÂÇé°¡±íÇé°ü
¸üÐÂÈÕÆÚ£º2025-04-27
ÈÎÎñÈí¼þ 40¿î

¶àÌØÈí¼þרÌâΪÄúÌṩÈÎÎñÈí¼þ,ÈÎÎñÈí¼þapp,¸öÈËÈÎÎñÈí¼þ£¬°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£

°²×¿Êý¾Ý»Ö¸´Èí¼þ
°²×¿Êý¾Ý»Ö¸´Èí¼þ
¸üÐÂÈÕÆÚ£º2025-05-03
¿¼ÑÐÕþÖÎרÌâÁ·Ï°
¿¼ÑÐÕþÖÎרÌâÁ·Ï°
¸üÐÂÈÕÆÚ£º2025-02-19
AspרÌâÎĵµ¼¯
AspרÌâÎĵµ¼¯
¸üÐÂÈÕÆÚ£º2025-02-19
SynciosÆ»¹û°²×¿¹ÜÀí¹¤¾ß
SynciosÆ»¹û°²×¿¹ÜÀí¹¤¾ß
¸üÐÂÈÕÆÚ£º2025-02-19
ÐÒ´æÕß:ÈÎÎñ°²×¿°æ
ÐÒ´æÕß:ÈÎÎñ°²×¿°æ
¸üÐÂÈÕÆÚ£º2025-04-23
ÈÎÎñÊØÎÀÕß°²×¿°æ
ÈÎÎñÊØÎÀÕß°²×¿°æ
¸üÐÂÈÕÆÚ£º2025-04-28
zfontÈí¼þ°²×¿
zfontÈí¼þ°²×¿
¸üÐÂÈÕÆÚ£º2025-05-01
°²×¿ÍƱ³Í¼Èí¼þ
°²×¿ÍƱ³Í¼Èí¼þ
¸üÐÂÈÕÆÚ£º2025-05-08
ÍøÂçÅÀ³æ¹¤¾ß 41¿î

¶àÌØÈí¼þרÌâΪÄúÌá¹©ÍøÂçÅÀ³æ¹¤¾ß,ÍøÂçÅÀ³æ¹¤¾ßÕõÇ®,2024ÄêÍøÂçÅÀ³æ¹¤¾ß;°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£¶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«¹¤¾ßÏÂÔØ

ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-05-02
ÅÀ³æÂÃÓÎ
ÅÀ³æÂÃÓÎ
¸üÐÂÈÕÆÚ£º2025-02-19
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ÅÀÅÀ³æ
ÅÀÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-05-07
ÓÎÃñÅÀ³æ
ÓÎÃñÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ÃÔÄãÅÀ³æ
ÃÔÄãÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
СÅÀ³æ
СÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
С˵ÅÀ³æ
С˵ÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-05-04
ÅÀ³æÈí¼þ 41¿î

ÍøÂçÅÀ³æÊǸù¾ÝÒ»¶¨µÄ¹æÔò×Ô¶¯»ñÈ¡ÍòÎ¬ÍøÐÅÏ¢µÄ³ÌÐò»ò½Å±¾¡£ÍøÂçÅÀ³æÊÇÒ»¸ö×Ô¶¯ÌáÈ¡ÍøÒ³µÄ³ÌÐò¡£Ëü´ÓÍòÎ¬ÍøÏÂÔØËÑË÷ÒýÇæµÄÍøÒ³¡£ËüÊÇËÑË÷ÒýÇæµÄÖØÒª×é³É²¿·Ö¡£ÅÀ³æÈí¼þµÄÖ÷Òª¹¦ÄÜÊǶÔÍøÒ³Êý¾Ý½øÐÐÅÀ³æ¡£ÊÕ¼¯Æ÷Èí¼þÊÇʹÓÃÍøÂçÅÀ³æ¹¦ÄÜ£¬ÎªÄúÊÕ¼¯Ò»Ð©Õ¾µãµÄÅÀ³æÈí¼þ£¬¹©ÄúÏÂÔØºÍʹÓã¡¶àÌØÈí¼þרÌâΪÄúÌṩÅÀ³æÈí¼þ,×îºÃµÄÅÀ³æÈí¼þ,ÅÀ³æÈí¼þ¸ÉÂïÓ᣶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«Èí¼þÏÂÔØ¡£

ÓÎÃñÅÀ³æ
ÓÎÃñÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ÃÔÄãÅÀ³æ
ÃÔÄãÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
С˵ÅÀ³æ
С˵ÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-02-19
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2025-05-04
ÅÀ³æÅÑÂÒ
ÅÀ³æÅÑÂÒ
¸üÐÂÈÕÆÚ£º2025-04-11
ÍøÒ³ÏÂÔØÆ÷(freshwebsuction)
ÍøÒ³ÏÂÔØÆ÷(freshwebsuction)
¸üÐÂÈÕÆÚ£º2025-05-05
ÍøÒ³Ô´ÂëÏÂÔØÆ÷
ÍøÒ³Ô´ÂëÏÂÔØÆ÷
¸üÐÂÈÕÆÚ£º2025-02-19
ÍøÒ³ÅúÁ¿ÏÂÔØÆ÷
ÍøÒ³ÅúÁ¿ÏÂÔØÆ÷
¸üÐÂÈÕÆÚ£º2025-02-19
WebVideoDownloader(ÍøÒ³ÊÓÆµÏÂÔØ)
WebVideoDownloader(ÍøÒ³ÊÓÆµÏÂÔØ)
¸üÐÂÈÕÆÚ£º2025-05-23
ÍøÓÑÆÀÂÛ
ÓÑÇéÁ´½Ó
ÎÂܰÌáʾ
ÄúºÃ:
¸ÐлÄúÏÂÔØ±¾Èí¼þ¡£
ÏÖÑûÇëÄú¹Ø×¢ÎÒÃǵÄ΢ÐŹ«Öںš£
Äú½«»ñÈ¡µ½´ËÈí¼þµÄ°²×°Ê¹Óý̳̼°Èí¼þµÄÏà¹Ø¿Î³Ìѧϰ¡£
ÈçÓÐÒÉÎÊÒ²¿ÉÔÚ΢ÐŹ«ÖÚºÅÖлظ´ÎÊÌ⣬½«»áÓÐÈ˹¤¿Í·þΪÄú½â´ð¡£
ºÃµÄ£¬ÎÒÖªµÀÁË